Zalo AI mengumumkan piawaian penilaian kecekapan Vietnam percuma

VMLU (Pemahaman Bahasa Pelbagai Tugas Vietnam) telah dibangunkan oleh Zalo AI dengan kerjasama Japan Advanced Institute of Science and Technology (JAIST) untuk membantu komuniti penyelidikan dan pembangunan AI di Vietnam mempunyai lebih banyak alat untuk menilai kualiti output model AI Generatif Vietnam.

Sehubungan itu, ini ialah satu set piawaian penilaian Vietnam yang berbilang muka, berbilang peringkat dan memenuhi keperluan yang paling pelbagai di pasaran hari ini dengan 10,880 soalan aneka pilihan yang berkisar pada 58 topik berbeza.

zalo ai.jpg — Set standard penilaian kecekapan Vietnam telah dikaji dan dibangunkan oleh jurutera Zalo AI dengan kerjasama JAIST Institute untuk menilai keupayaan memahami dan menggunakan bahasa Vietnam model AI, terutamanya AI Generatif.

Mengapakah AI Vietnam memerlukan satu set lengkap standard penilaian kecekapan bahasa Vietnam?

Pertumbuhan pesat ChatGPT telah mencipta perlumbaan baharu: Generatif AI. Menurut statistik, sejak pengenalan ChatGPT, kini terdapat kira-kira 16,000 model serupa dengan ChatGPT di dunia .

Vietnam tidak terkeluar daripada trend itu apabila terdapat banyak kumpulan penyelidikan dengan skala dan potensi berbeza yang ingin bereksperimen dengan Generatif AI menggunakan bahasa Vietnam. Ini telah menyebabkan keperluan untuk set penilaian kecekapan Vietnam untuk model AI ini untuk mengukur tahap pengetahuan dan pemikiran dalam bahasa Vietnam.

Dalam pasaran semasa, kebanyakan kumpulan penyelidikan LLM di Vietnam perlu membina kit alat penilaian mereka sendiri dengan piawaian mereka sendiri untuk model mereka. Ini adalah alat penilaian dalaman yang belum didedahkan kepada umum. Kit alat penilaian Zalo AI bertujuan untuk keperluan umum, boleh menjadi standard biasa untuk model LLM dan disediakan kepada komuniti AI. Ini membantu kumpulan penyelidikan kecil mengakses set data penilaian yang komprehensif dan membolehkan pihak membandingkan hasil antara satu sama lain. Dari situ, ia mewujudkan motivasi untuk menambah baik model.

Memotivasikan AI Vietnam untuk menyertai gelombang AI Generatif dunia

Pada November 2023, Zalo AI secara rasmi mengumumkan standard penilaian kecekapan bahasa Vietnam VMLU. Ini adalah satu set piawaian yang dikaji dan dibangunkan oleh jurutera Zalo AI dengan kerjasama JAIST Institute untuk menilai keupayaan memahami dan menggunakan bahasa Vietnam bagi model AI, terutamanya AI Generatif.

Kelahiran VMLU telah mendorong individu, syarikat permulaan atau kumpulan penyelidikan kecil untuk membangunkan model AI Vietnam baharu. Ini mewujudkan keadaan untuk penyelidikan baharu, meletakkan asas untuk mengukur ketepatan dan menaik taraf hasil model asas, membantu menyelesaikan proses pembangunan aplikasi AI bahasa Vietnam, yang dicipta oleh orang Vietnam untuk berkhidmat kepada orang Vietnam.

Ini juga merupakan salah satu faktor penting yang menggalakkan pembangunan AI Generatif di Vietnam untuk berjalan lebih pantas, mengejar gelombang pembangunan AI di dunia.

Apakah standard penilaian kecekapan bahasa Vietnam?

Sehubungan itu, ini ialah satu set piawaian penilaian bahasa Vietnam yang berbilang muka, berbilang peringkat, dan memenuhi keperluan yang paling pelbagai dalam pasaran penyelidikan dan pembangunan AI Generatif Vietnam, memfokuskan pada dua bahagian utama: Data (set data ujian) dan satu set piawaian penilaian, sebagai asas untuk menguji model AI yang menggunakan bahasa Vietnam.

Khususnya, set data termasuk 10,880 soalan aneka pilihan yang berputar di sekitar 58 topik berbeza. Setiap topik mempunyai kira-kira 200 soalan dan diedarkan di 4 bidang termasuk: STEM, Sains Sosial, Kemanusiaan dan kategori luas "Diperluas". Dengan set data ini, VMLU mempunyai stratifikasi kesukaran dengan 4 peringkat: Rendah, Menengah, Sekolah Menengah dan Vokasional - untuk universiti dan pasca siswazah. Dari situ, kit alat membantu menilai kecekapan bahasa Vietnam model AI dengan berkesan dalam kedua-dua pengetahuan asas dan menyelesaikan masalah yang kompleks.

Selain itu, untuk membantu kumpulan penyelidik menilai dengan mudah kapasiti model AI Vietnam mereka, pasukan kejuruteraan Zalo AI mereka bentuk arahan yang disertakan supaya kumpulan boleh menggunakannya dengan cepat dan ringkas.

Menyumbang kepada komuniti AI Vietnam

Set standard VMLU dilahirkan sebagai produk yang diselidik dengan tujuan menyumbang kepada dan membangunkan komuniti penyelidikan AI Vietnam khususnya dan komuniti teknologi maklumat secara amnya, tanpa mengenakan bayaran kepada mana-mana pengguna, kumpulan penyelidikan atau perniagaan.

Sebelum ini, Zalo AI telah melaksanakan, mengerahkan dan menganjurkan satu siri pertandingan dan program untuk komuniti AI Vietnam seperti: Cabaran Zalo AI, Hackathon Zalo AI, Sidang Kemuncak AI Zalo... Aktiviti ini bukan sahaja mewujudkan taman permainan untuk komuniti AI Vietnam tetapi juga menggalakkan penerapan AI dalam kehidupan, menyelesaikan masalah sosial yang mendesak dan memenuhi keperluan berjuta-juta rakyat Vietnam.

Dr. Chau Thanh Duc, Ketua Jabatan Penyelidikan AI Zalo - Pensyarah di Universiti Sains Semula Jadi, Universiti Kebangsaan Kota Ho Chi Minh menegaskan: "Zalo AI sentiasa berhasrat untuk menyumbang kepada komuniti AI Vietnam, mewujudkan motivasi untuk AI Vietnam untuk membangunkan. Dari situ, kami menjangkakan akan terdapat lebih banyak produk AI oleh orang Vietnam, untuk orang Vietnam".

Sumber