Zalo AI mengumumkan standar penilaian kemampuan bahasa Vietnam gratis

[iklan_1]

VMLU (Vietnamese Multitask Language Understanding) dikembangkan oleh Zalo AI bekerja sama dengan Japan Advanced Institute of Science and Technology (JAIST) untuk membantu komunitas penelitian dan pengembangan AI di Vietnam memiliki lebih banyak alat untuk mengevaluasi kualitas keluaran model AI Generatif Vietnam.

Dengan demikian, ini adalah seperangkat standar penilaian Vietnam yang memiliki banyak sisi dan tingkat yang memenuhi berbagai kebutuhan paling beragam di pasaran saat ini dengan 10.880 pertanyaan pilihan ganda yang mencakup 58 topik berbeda.

zalo ai.jpg — Serangkaian standar penilaian kemampuan bahasa Vietnam diteliti dan dikembangkan oleh para insinyur AI Zalo bekerja sama dengan JAIST untuk menilai kemampuan memahami dan menerapkan bahasa Vietnam pada model AI, khususnya AI Generatif.

Mengapa AI Vietnam membutuhkan seperangkat standar penilaian kemampuan bahasa Vietnam yang lengkap?

Pertumbuhan pesat ChatGPT telah menciptakan persaingan baru: AI Generatif. Menurut statistik, sejak diperkenalkannya ChatGPT, saat ini terdapat sekitar 16.000 model serupa ChatGPT di dunia .

Vietnam juga mengikuti tren ini karena banyak kelompok peneliti dengan skala dan potensi berbeda yang juga ingin bereksperimen dengan AI Generatif menggunakan bahasa Vietnam. Hal ini mendorong perlunya perangkat penilaian kecakapan bahasa Vietnam untuk model-model AI ini guna mengukur tingkat pengetahuan dan kemampuan berpikir dalam bahasa Vietnam.

Di pasar saat ini, sebagian besar kelompok riset LLM di Vietnam harus membangun perangkat evaluasi mereka sendiri dengan standar mereka sendiri untuk model mereka. Perangkat evaluasi ini merupakan perangkat evaluasi internal yang belum dipublikasikan. Perangkat evaluasi Zalo AI ditujukan untuk kebutuhan umum, dapat menjadi standar umum untuk model LLM, dan disediakan untuk komunitas AI. Hal ini membantu kelompok riset kecil mengakses kumpulan data evaluasi yang komprehensif dan memungkinkan para pihak untuk membandingkan hasil satu sama lain. Dari sana, hal ini menciptakan motivasi untuk meningkatkan model.

Memotivasi AI Vietnam untuk bergabung dengan gelombang AI Generatif dunia

Pada November 2023, Zalo AI resmi mengumumkan standar penilaian kemampuan bahasa Vietnam VMLU. Standar ini merupakan serangkaian standar yang diteliti dan dikembangkan oleh para insinyur Zalo AI bekerja sama dengan JAIST Institute untuk mengevaluasi kemampuan memahami dan menerapkan bahasa Vietnam pada model AI, khususnya AI Generatif.

Kelahiran VMLU telah memotivasi individu, perusahaan rintisan, atau kelompok riset kecil untuk mengembangkan model AI Vietnam yang baru. Hal ini menciptakan kondisi untuk penelitian baru, meletakkan dasar untuk mengukur akurasi dan meningkatkan hasil model dasar, serta membantu menyelesaikan proses pengembangan aplikasi AI berbahasa Vietnam, yang diciptakan oleh orang Vietnam untuk melayani masyarakat Vietnam.

Hal ini juga menjadi salah satu faktor penting yang mendorong perkembangan AI Generatif di Vietnam berjalan lebih cepat, mengejar gelombang perkembangan AI di dunia.

Apa standar penilaian kemampuan bahasa Vietnam?

Dengan demikian, ini adalah seperangkat standar penilaian bahasa Vietnam yang multi-aspek dan multi-level yang memenuhi kebutuhan paling beragam di pasar penelitian dan pengembangan AI Generatif Vietnam, dengan fokus pada dua bagian utama: Data (kumpulan data pengujian) dan seperangkat standar penilaian, sebagai dasar untuk menguji model AI yang menerapkan bahasa Vietnam.

Secara spesifik, set data ini mencakup 10.880 pertanyaan pilihan ganda yang mencakup 58 topik berbeda. Setiap topik memiliki sekitar 200 pertanyaan dan tersebar di 4 bidang, termasuk: STEM, Ilmu Sosial, Humaniora, dan kategori luas "Diperluas". Dengan set data ini, VMLU memiliki stratifikasi tingkat kesulitan dengan 4 tingkat: SD, SMP, SMA, dan SMK - untuk universitas dan pascasarjana. Dari sana, perangkat ini membantu mengevaluasi secara efektif kemampuan bahasa Vietnam model AI, baik dalam pengetahuan dasar maupun pemecahan masalah kompleks.

Selain itu, untuk membantu kelompok penelitian mengevaluasi kemampuan model AI Vietnam mereka dengan mudah, tim teknik AI Zalo telah merancang instruksi sehingga kelompok dapat menggunakannya dengan cepat dan mudah.

Berkontribusi pada komunitas AI Vietnam

Rangkaian standar VMLU lahir sebagai produk penelitian yang ditujukan untuk memberikan kontribusi dan mengembangkan komunitas penelitian AI Vietnam khususnya dan komunitas teknologi informasi secara umum, tanpa memungut biaya kepada pengguna, kelompok penelitian, atau bisnis mana pun.

Sebelumnya, Zalo AI telah melaksanakan, menyebarkan, dan menyelenggarakan serangkaian kompetisi dan program bagi komunitas AI Vietnam seperti: Zalo AI Challenge, Zalo AI Hackathon, Zalo AI Summit... Kegiatan-kegiatan ini tidak hanya menciptakan arena bermain bagi komunitas AI Vietnam, tetapi juga mendorong penerapan AI dalam kehidupan, memecahkan masalah sosial yang mendesak, dan melayani kebutuhan jutaan rakyat Vietnam.

Dr. Chau Thanh Duc, Kepala Departemen Riset AI Zalo - Dosen di Universitas Ilmu Pengetahuan Alam, Universitas Nasional Kota Ho Chi Minh, menegaskan: “Zalo AI selalu bertujuan untuk berkontribusi bagi komunitas AI Vietnam, menciptakan motivasi bagi perkembangan AI Vietnam. Dari sana, kami berharap akan semakin banyak produk AI dari dan untuk masyarakat Vietnam.”

[iklan_2]
Sumber