Dalam hal apa ChatGPT lebih rendah kualitasnya dibandingkan chatbot Baidu?

Menurut laporan dari lembaga pengawas misinformasi NewsGuard, ChatGPT memberikan informasi yang lebih tidak akurat dalam bahasa Mandarin daripada dalam bahasa Inggris. Meskipun model-model itu sendiri multibahasa, bahasa-bahasa tersebut merupakan wilayah tumpang tindih yang berbeda dalam dataset, dan model-model tersebut tidak memiliki mekanisme untuk membandingkan tingkat perbedaan antara frasa atau prediksi di seluruh wilayah tersebut.

Menurut TechCrunch , ketika pengguna meminta ChatGPT untuk merespons dalam bahasa Inggris, aplikasi tersebut terutama mengambil semua data berbahasa Inggris yang dimilikinya, dan hal yang sama berlaku untuk bahasa Mandarin.

Pada bulan Maret, Baidu memperkenalkan "Ernie Bot," sebuah chatbot yang berbasis pada model kecerdasan buatan (AI) Ernie milik raksasa pencarian Tiongkok tersebut. Di tengah persaingan teknologi yang intens dan berkelanjutan antara AS dan Tiongkok, investasi dan pengembangan AI oleh Baidu semakin menarik perhatian.

Menurut Reuters, Baidu mengutip hasil uji yang dilakukan oleh China Science Daily menggunakan dataset AGIEval dan C-Eval, dua standar yang digunakan untuk mengevaluasi kinerja model AI.

Persaingan pengembangan AI di Tiongkok saat ini memiliki tiga pemain utama: Tencent, Alibaba, dan Baidu.

Ernie, dengan skor 3,5, menunjukkan kemampuan luar biasa dalam tes bahasa Mandarin yang didasarkan pada ujian masuk dan kemampuan berbahasa, seperti ujian masuk universitas atau ujian sertifikasi pengacara.

Dalam tes bahasa Mandarin lainnya dengan 13.000 pertanyaan pilihan ganda yang mencakup 50 topik berbeda, Ernie 3.5 terus menunjukkan keunggulannya dibandingkan dua pesaingnya dari OpenAI. Namun, ketika melakukan tes ketiga yang dikembangkan oleh sekelompok universitas Amerika, yang mencakup pertanyaan tentang sains dan studi sosial, Ernie 3.5 benar-benar dikalahkan oleh ChatGPT dan GPT 4.

Chief Technology Officer (CTO) Baidu, Haifeng Wang, menyatakan bahwa hanya tiga bulan setelah rilis beta Ernie Bot, model bahasa besar (LLM) Baidu, yang dibangun di atas Ernie 3.0 dan Ernie 3.5, telah mencapai peningkatan dalam efisiensi, fungsionalitas, dan kinerja. Peningkatan ini terlihat jelas dalam penulisan, kueri, penalaran, dan pembuatan kode, serta dalam kinerja pelatihan dan inferensi, kata CTO tersebut.

Baidu juga menyatakan bahwa model baru ini akan mendukung plugin dari Baidu dan pihak ketiga. Perusahaan tersebut mengatakan bahwa plugin "Baidu Search" telah diintegrasikan dan melengkapi Ernie Bot dengan kemampuan untuk menghasilkan informasi yang akurat dan real-time. Plugin adalah aplikasi tambahan yang memungkinkan AI berfungsi dalam situasi tertentu, seperti meringkas teks panjang dan menghasilkan jawaban yang lebih akurat.

Menurut uji coba yang dilakukan pada bulan Juni oleh Kantor Berita Xinhua, Ernie Bot milik Baidu menduduki peringkat teratas di antara "ChatGPT China". Baidu telah mendorong integrasi Ernie Bot ke dalam produk lain, seperti layanan cloud-nya, dan mengumumkan dana modal ventura sebesar $139 juta untuk berinvestasi di perusahaan rintisan generatif AI China, menurut SCMP .

CEO dan salah satu pendiri Baidu, Robin Li, mengatakan bahwa dapat diprediksi bahwa model bahasa yang besar akan semakin merambah lebih banyak bidang, menjadi faktor kunci yang mendorong ekonomi digital.

Tautan sumber