Insinyur wanita dari Zalo membawa teknologi Vietnam ke konferensi AI terkemuka di dunia.

Enam tahun bersama Zalo telah memungkinkan Bui Thi Cuc untuk lebih mengembangkan minatnya pada kecerdasan buatan. Dari pekerjaan di bidang ilmu data tepat setelah lulus, Cuc telah menjadi insinyur AI senior di Zalo, mewakili tim pengembangan VMLU dan mempresentasikan penelitian di konferensi ACL (Association for Computational Linguistics) di Wina, Austria pada musim panas 2025.

Konferensi ini dianggap sebagai konferensi akademis terkemuka di bidang pemrosesan bahasa alami, yang menarik lebih dari 2.000 peneliti setiap tahunnya. Banyak karya fundamental tentang NLP telah dipresentasikan di sini sebelum menjadi standar industri.

“Sejak hari pertama konferensi, saya merasa kagum dengan skala dan pertukaran akademis yang terbuka,” kenang Cúc. Suasana penelitian berlangsung terus-menerus dari pagi hingga malam, dengan banyak poster yang dipamerkan, diskusi teknis yang panjang, dan kehadiran laboratorium dari Meta, Google, Apple, dan banyak lagi.

Dari Vietnam ke Wina, Austria

Makalah penelitian Bui Thi Cuc, berjudul "ACL VMLU Benchmarks: A comprehensive benchmark toolkit for Vietnamese LLMs," bertujuan untuk mengatasi kurangnya alat evaluasi untuk model bahasa Vietnam berskala besar.

Diluncurkan pada November 2023 oleh Zalo AI dan Japan Advanced Institute of Science and Technology (JAIST), VMLU telah menyediakan serangkaian standar umum untuk membantu pengembang model bahasa skala besar (LLM) yang menargetkan pengguna berbahasa Vietnam dalam mengevaluasi dan mengembangkan strategi pelatihan yang tepat untuk model mereka.

Bui Cuc menyatakan bahwa selama pengembangan VMLU, para anggota menghadapi banyak tantangan, mulai dari membangun tolok ukur hingga memastikan kualitas data. Namun, fase yang paling menegangkan adalah proses pengajuan penelitian. Tingkat penerimaan penelitian di ACL hanya sekitar 25%, dan mereka harus bersaing dengan banyak lembaga penelitian AI besar di seluruh dunia .

“Ketika kami menerima hasil di tingkat Konferensi Borderline – yang berarti temuan tersebut diterima – seluruh tim lebih bahagia dari yang diharapkan. Setelah itu, saya mengumpulkan semua umpan balik dari panel peninjau, mendiskusikannya dengan manajer langsung saya, dan akhirnya meyakinkan para peninjau untuk menaikkan skor agar makalah penelitian tersebut diterima di konferensi utama,” kenang Cúc.

Ibu Bui Thi Cuc, yang mewakili tim pengembangan VMLU, mempresentasikan proyek penelitian tersebut di konferensi ACL.

Ini adalah tolok ukur pertama yang dirancang untuk menilai kemampuan pemahaman bahasa Vietnam pada model bahasa berskala besar. Tolok ukur ini mencakup empat kumpulan data dengan 17.000 pertanyaan untuk mengevaluasi kemampuan dalam: pengetahuan umum, pemahaman bacaan, penalaran, dan dialog.

Menurut para insinyur Zalo, sebagian besar tolok ukur saat ini dirancang untuk bahasa Inggris, yang tidak sepenuhnya mencerminkan konteks sintaksis, semantik, dan budaya bahasa Vietnam. Menerjemahkan langsung rangkaian pertanyaan bahasa Inggris ke dalam bahasa Vietnam seringkali mengakibatkan ketidakakuratan atau hilangnya nuansa semantik.

Untuk menjelaskan kerangka penilaian LLM secara sederhana, bayangkan AI sebagai seorang siswa yang membutuhkan ujian untuk menguji kemampuannya. Saat ini, sebagian besar ujian menggunakan bahasa Inggris, tetapi tim Zalo AI ingin membuat ujian dalam bahasa Vietnam untuk menguji apakah AI benar-benar memahami dan menggunakan bahasa Vietnam dengan baik.

Bapak Nguyen Truong Son, Direktur Sains di Zalo AI, menegaskan: “Sistem evaluasi VMLU menyediakan ‘ukuran’ umum untuk mengevaluasi model bahasa Vietnam skala besar. Setelah dipublikasikan, kami menerima banyak umpan balik positif dari komunitas riset AI baik di dalam maupun luar negeri. Di masa mendatang, saya berharap VMLU akan menjadi standar evaluasi yang banyak digunakan dan diterapkan, tidak hanya di kalangan akademisi tetapi juga di perusahaan yang mengembangkan produk AI.”

Menerapkan AI pada produk Zalo.

Selain nilai akademisnya, VMLU memiliki banyak potensi aplikasi dalam pengembangan produk AI di Zalo.

Menurut Cúc, pertama-tama, tolok ukur ini membantu mengevaluasi akurasi dan pemahaman bahasa dari model yang digunakan dalam produk Kiki Info, sebuah asisten warga digital. Hal ini memungkinkan tim untuk mengidentifikasi keterbatasan model dalam keterampilan tertentu.

Kedua, VMLU digunakan sebagai alat pengujian sebelum menerapkan fitur AI baru, seperti peringkasan pesan, saran balasan otomatis, atau dukungan layanan pelanggan.

Pada akhirnya, dengan kemampuan evaluasi percakapannya, VMLU membantu Zalo mengembangkan chatbot perusahaan dengan komunikasi yang terdengar alami dan selaras dengan budaya komunikasi Vietnam.

"Tujuan terbesar kami adalah menciptakan model AI yang memahami bahasa Vietnam secara alami dan akurat," kata Cúc.

Insinyur muda perempuan itu berharap VMLU akan terus berkembang.

Sekembalinya dari Wina, insinyur muda itu berharap VMLU akan terus berkembang dan menjadi platform bagi banyak kelompok penelitian domestik untuk membandingkan dan mengevaluasi model secara terpadu.

“Saya berharap dataset ini akan menjadi titik awal bagi komunitas AI Vietnam untuk berkembang lebih kuat di tahun-tahun mendatang. Kami ingin memberikan kontribusi kecil untuk menjadikan bahasa Vietnam sebagai bahasa yang dipahami dengan benar dan diproses secara efektif oleh model AI global.”