ChatGPT hangi açılardan Baidu'nun chatbot'una göre daha düşük performans gösteriyor?

Yanlış bilgilendirmeyi izleme kuruluşu NewsGuard'ın raporuna göre, ChatGPT Çince'de İngilizce'ye göre daha fazla yanlış bilgi veriyor. Modellerin kendileri çok dilli olsa da, diller veri kümesinin farklı, örtüşen bölgelerini oluşturuyor ve modellerde bu bölgelerdeki ifadeler veya tahminler arasındaki farklılık derecesini karşılaştıracak mekanizmalar bulunmuyor.

TechCrunch'a göre, kullanıcılar ChatGPT'den İngilizce yanıt vermesini istediğinde, uygulama öncelikle sahip olduğu tüm İngilizce verileri kullanıyor ve aynı durum Çince için de geçerli.

Mart ayında Baidu, Çinli arama devi Ernie'nin yapay zekâ (YZ) modelini temel alan bir sohbet robotu olan "Ernie Bot"u tanıttı. ABD ve Çin arasında devam eden yoğun teknoloji yarışı ortamında, Baidu'nun YZ'ye yaptığı yatırım ve geliştirme çalışmaları daha da fazla ilgi çekti.

Reuters'a göre Baidu, yapay zeka modellerinin performansını değerlendirmek için kullanılan iki standart olan AGIEval ve C-Eval veri kümelerini kullanarak China Science Daily tarafından yapılan test sonuçlarına atıfta bulundu.

Çin'in yapay zeka geliştirme yarışında şu anda üç büyük oyuncu bulunuyor: Tencent, Alibaba ve Baidu.

Ernie, 3.5 puan alarak, üniversite giriş sınavları veya avukatlık ruhsatı sınavları gibi giriş ve yeterlilik sınavlarına dayalı Çince dil testinde olağanüstü yetenek sergiledi.

50 farklı konuyu kapsayan 13.000 çoktan seçmeli sorudan oluşan bir başka Çince dil testinde, Ernie 3.5, iki OpenAI rakibine karşı üstünlüğünü göstermeye devam etti. Bununla birlikte, bilim ve sosyal bilimler konularını içeren, bir grup Amerikan üniversitesi tarafından geliştirilen üçüncü bir testte, Ernie 3.5, ChatGPT ve GPT 4 karşısında tamamen geride kaldı.

Baidu'nun Baş Teknoloji Sorumlusu Haifeng Wang, Ernie Bot'un beta sürümünün yayınlanmasından sadece üç ay sonra, Ernie 3.0 ve Ernie 3.5 üzerine kurulu Baidu'nun büyük dil modelinin (LLM) verimlilik, işlevsellik ve performans açısından iyileşmeler kaydettiğini belirtti. CTO, bu iyileştirmelerin yazma, sorgulama, akıl yürütme ve kod üretmenin yanı sıra eğitim ve çıkarım performansında da belirgin olduğunu söyledi.

Baidu ayrıca yeni modelin Baidu ve üçüncü taraflardan gelen eklentileri destekleyeceğini belirtti. Şirket, "Baidu Arama" eklentisinin entegre edildiğini ve Ernie Bot'a doğru ve gerçek zamanlı bilgi üretme yeteneği kazandırdığını söyledi. Eklentiler, yapay zekanın belirli durumlarda işlev görmesini sağlayan ek uygulamalardır; örneğin uzun metinleri özetlemek ve daha doğru yanıtlar üretmek gibi.

Xinhua Haber Ajansı'nın Haziran ayında yaptığı bir teste göre, Baidu'nun Ernie Bot'u "Çin'in ChatGPT'leri" arasında birinci sırada yer aldı. SCMP'ye göre Baidu, Ernie Bot'u bulut hizmetleri gibi diğer ürünlerine entegre etmek için çaba gösteriyor ve Çinli yapay zeka tabanlı üretken girişimlere yatırım yapmak üzere 139 milyon dolarlık bir girişim sermayesi fonu duyurdu.

Baidu CEO'su ve kurucu ortağı Robin Li, büyük dil modellerinin giderek daha fazla alana nüfuz etmesinin ve dijital ekonomiyi yönlendiren kilit bir faktör haline gelmesinin öngörülebilir olduğunu söyledi.

Kaynak bağlantısı: https://thanhnien.vn/chatgpt-thua-chatbot-baidu-o-diem-nao-185230628031408823.htm