Zalo AI dan JAIST Institute bekerja sama dengan komunitas untuk mengembangkan LLM tingkat lanjut

Kecerdasan Buatan (AI) berkembang pesat dan membuka peluang yang belum pernah terjadi sebelumnya berkat kemajuan penting dalam riset model AI, yang menciptakan dasar untuk mempromosikan aplikasi serta mengembangkan produk untuk memenuhi kebutuhan praktis. Di Vietnam, tepat setelah perkembangan ChatGPT yang pesat, yang melahirkan serangkaian model AI serupa secara global, kelompok riset domestik dengan skala dan potensi yang berbeda telah bergabung dalam persaingan dengan membangun model bahasa besar (LLM) Vietnam.

Perkembangan model LLM Vietnam memerlukan serangkaian kriteria evaluasi umum untuk membantu pengembang mengukur kualitas model agar memiliki strategi pelatihan yang tepat.

Dr. Nguyen Truong Son - Direktur Ilmiah di Zalo AI, pengembang platform - menilai VMLU LLM Vietnam: "Pasar Vietnam kurang memiliki standar penilaian kualitas jika dibandingkan dengan dunia."

Platform penilaian VMLU LLM dikembangkan oleh Zalo AI dan Japan Advanced Institute of Science and Technology (JAIST).

Menurut Dr. Nguyen Truong Son, kenyataan ini mengharuskan komunitas AI Vietnam untuk bergandengan tangan guna menciptakan standar umum untuk membantu mengevaluasi model AI Vietnam dengan tepat dan memadai, serta menciptakan landasan bagi pengembangan model dengan kualitas yang semakin baik.

Mempromosikan pengembangan standar kualitas baru

Pada November 2023, Zalo AI dan Japan Advanced Institute of Science and Technology (JAIST) akan bekerja sama untuk membangun dan menyediakan secara gratis seperangkat standar untuk mengevaluasi kualitas model LLM Vietnam yang disebut VMLU (Vietnamese Multitask Language Understanding Benchmark Suite for Large Language Models). Ini adalah rangkaian standar "Buatan Vietnam" pertama yang diteliti dan diluncurkan kepada komunitas oleh tim pakar terkemuka Vietnam.

Alih-alih harus membangun alat penilaian mereka sendiri dengan standar mereka sendiri, kelompok penelitian LLM Vietnam telah mampu mengakses kumpulan data penilaian yang komprehensif dan umum.

Standar VMLU berfokus pada 4 bidang, termasuk STEM, ilmu sosial, humaniora, dan ekstensi, dengan tingkat kesulitan yang semakin meningkat: Sekolah Dasar, Sekolah Menengah Pertama, Sekolah Menengah Atas, dan Profesional (S1 & S2). Dengan 10.880 soal pilihan ganda yang mencakup 58 topik dan dibagi ke dalam berbagai tingkatan, versi 2023 ini telah membantu menilai pengetahuan dasar LLM secara efektif.

Hingga akhir tahun 2024, VMLU telah menerbitkan 45 LLM dalam pemeringkatan, menerima permintaan evaluasi dari lebih dari 155 organisasi dan individu, serta merangkum 691 unduhan kriteria evaluasi dan 3.729 evaluasi LLM dari platform tersebut. Banyak organisasi domestik dan asing menggunakan standar VMLU seperti VinBigData, VNPT AI, Viettel Solutions, Ho Chi Minh City University of Technology - VNU, UONLP x Ontocord - Oregon University (AS), DAMO Academy - Alibaba Group, tim SDSRV - Samsung...

Pada fase baru ini, model LLM ditingkatkan secara signifikan, sehingga memerlukan tolok ukur untuk menilai kompetensi kompleks secara lebih mendalam.

"Model LLM menjadi semakin cerdas, hampir sepenuhnya mampu memahami dan menjawab pertanyaan dengan tepat. Oleh karena itu, para pengembang lebih berfokus untuk membekali LLM dengan beragam kemampuan seperti pemahaman bacaan, perencanaan, dialog, dan penalaran yang serupa dengan manusia," ujar Profesor Nguyen Le Minh dari Japan Advanced Institute of Science and Technology (JAIST), mitra Zalo AI dalam pengembangan perangkat penilaian VMLU.

Menanggapi kebutuhan pengembang yang semakin beragam, VMLU baru-baru ini meluncurkan serangkaian standar baru untuk menilai 3 keterampilan termasuk (1) Pemahaman Membaca (ViSQuAD), (2) Penalaran (ViDrop) dan (3) Interaksi (ViDialog).

Standar VMLU 2025.

Serangkaian standar baru telah diluncurkan di situs web VMLU https://vmlu.ai/ bagi individu dan kelompok penelitian untuk mengevaluasi model mereka.

Upaya untuk mendampingi komunitas penguasaan AI

Para ahli VMLU mengatakan mereka akan terus meneliti dan membangun set evaluasi yang lebih beragam di berbagai domain dengan tingkat kesulitan yang berbeda-beda untuk mengevaluasi model bahasa besar secara lebih komprehensif dan akurat mencerminkan pola penggunaan pengguna.

Selain itu, VMLU juga bertujuan untuk mengembangkan seperangkat standar penilaian untuk keamanan dan integritas model LLM untuk memastikan bahwa LLM Vietnam dikembangkan secara bertanggung jawab.

Untuk mempromosikan kapasitas dan semangat penguasaan teknologi baru masyarakat Vietnam, standar penilaian VMLU akan terus diberikan secara gratis kepada komunitas penelitian LLM Vietnam.

Standar VMLU 2025 telah diperbarui di situs web VMLU.

Sebagai pelopor di bidang Kecerdasan Buatan di Vietnam, Zalo AI juga senantiasa mendampingi komunitas dalam meneliti dan mengembangkan solusi AI bagi pengguna di Vietnam.

Selain platform untuk mengevaluasi dan memeringkat kapabilitas model-model bahasa Vietnam utama, sejak 2017, Zalo AI juga menyelenggarakan Zalo AI Challenge dan forum tahunan Zalo AI Summit. Acara-acara ini tidak hanya menghubungkan komunitas AI Vietnam, tetapi juga berkontribusi dalam menginspirasi dan mempromosikan penciptaan produk teknologi AI oleh masyarakat Vietnam untuk melayani masyarakat Vietnam.

Sumber: https://znews.vn/zalo-ai-vien-jaist-dong-hanh-cung-cong-dong-phat-trien-llm-bac-cao-post1589913.html