Enam tahun bersama Zalo telah memungkinkan Bui Thi Cuc untuk lebih mengembangkan minatnya pada Kecerdasan Buatan. Dari posisi ilmuwan data setelah lulus dari universitas, Cuc telah menjadi insinyur AI senior di Zalo, mewakili tim pengembangan VMLU dan mempresentasikan penelitian di konferensi ACL (Association for Computational Linguistics) di Wina, Austria, pada musim panas 2025.

Konferensi ini dianggap sebagai konferensi akademis terkemuka di bidang pemrosesan bahasa alami, yang menarik lebih dari 2.000 peneliti setiap tahunnya. Banyak karya fundamental tentang NLP telah dipresentasikan di sini sebelum menjadi standar industri.

“Sejak hari pertama konferensi, saya merasa kagum dengan skala dan pertukaran akademis yang terbuka,” kenang Cúc. Suasana penelitian berlangsung terus-menerus dari pagi hingga malam, dengan banyak poster yang dipamerkan, diskusi teknis yang panjang, dan kehadiran laboratorium dari Meta, Google, Apple, dan banyak lagi.

Dari Vietnam ke Wina, Austria

Penelitian Bui Thi Cuc, yang berjudul ACL VMLU Benchmarks: A comprehensive benchmark toolkit for Vietnamese LLMs, bertujuan untuk mengatasi kurangnya alat evaluasi untuk model bahasa Vietnam berskala besar.

Diluncurkan pada November 2023 oleh Zalo AI dan Japan Advanced Institute of Science and Technology (JAIST), VMLU telah menyediakan serangkaian standar umum untuk membantu pengembang model bahasa skala besar (LLM) yang menargetkan pengguna berbahasa Vietnam dalam mengevaluasi dan mengembangkan strategi pelatihan yang tepat untuk model mereka.

Ibu Cúc menyatakan bahwa selama pengembangan VMLU, para anggota menghadapi banyak tantangan, mulai dari membangun tolok ukur hingga memastikan kualitas data. Namun, fase yang paling menegangkan adalah proses pengajuan penelitian. Tingkat penerimaan penelitian di ACL hanya sekitar 25%, dan mereka harus bersaing dengan banyak lembaga penelitian AI besar di seluruh dunia .

“Ketika kami menerima hasil di tingkat Konferensi Borderline – yang berarti temuan tersebut diterima – seluruh tim lebih bahagia dari yang diharapkan. Setelah itu, saya mengumpulkan semua umpan balik dari panel peninjau, mendiskusikannya dengan manajer langsung saya, dan akhirnya meyakinkan para peninjau untuk menaikkan skor agar makalah penelitian tersebut diterima di konferensi utama,” kenang Cúc.

anh 1 (3).jpg

Ini adalah tolok ukur pertama yang dirancang untuk menilai kemampuan pemahaman bahasa Vietnam pada model bahasa berskala besar. Tolok ukur ini mencakup empat kumpulan data dengan 17.000 pertanyaan untuk mengevaluasi kemampuan dalam: pengetahuan umum, pemahaman bacaan, penalaran, dan dialog.

Bapak Nguyen Truong Son - Direktur Sains di Zalo AI, menegaskan: “Sistem evaluasi VMLU menyediakan 'ukuran' umum untuk mengevaluasi model bahasa Vietnam skala besar. Setelah dipublikasikan, kami menerima banyak umpan balik positif dari komunitas riset AI baik di dalam maupun luar negeri. Di masa mendatang, saya berharap VMLU akan menjadi standar evaluasi yang banyak digunakan dan diterapkan, tidak hanya di komunitas akademis tetapi juga di perusahaan yang mengembangkan produk AI.”

Menerapkan AI pada produk Zalo.

Selain nilai akademisnya, VMLU memiliki banyak potensi aplikasi dalam pengembangan produk AI di Zalo.

Menurut Cúc, pertama-tama, tolok ukur ini membantu mengevaluasi akurasi dan pemahaman bahasa dari model yang digunakan dalam produk Kiki Info, sebuah asisten warga digital. Hal ini memungkinkan tim untuk mengidentifikasi keterbatasan model dalam keterampilan tertentu.

Kedua, VMLU digunakan sebagai alat pengujian sebelum menerapkan fitur AI baru, seperti peringkasan pesan, saran balasan otomatis, atau dukungan layanan pelanggan.

Pada akhirnya, dengan kemampuan evaluasi percakapannya, VMLU membantu Zalo mengembangkan chatbot perusahaan dengan komunikasi yang terdengar alami dan selaras dengan budaya komunikasi Vietnam.

"Tujuan terbesar kami adalah menciptakan model AI yang memahami bahasa Vietnam secara alami dan akurat," kata Cúc.

foto 2.png

Sekembalinya dari Wina, insinyur muda itu berharap VMLU akan terus berkembang dan menjadi platform bagi banyak kelompok penelitian domestik untuk membandingkan dan mengevaluasi model secara terpadu.

“Saya berharap dataset ini akan menjadi titik awal bagi komunitas AI Vietnam untuk berkembang lebih kuat di tahun-tahun mendatang. Kami ingin memberikan kontribusi kecil untuk menjadikan bahasa Vietnam sebagai bahasa yang dipahami dengan benar dan diproses secara efektif oleh model AI global.”

anh 3.png
Zalo AI Summit 2025, dengan tema “Vietnam di Era AI-ifikasi,” akan diselenggarakan pada pukul 08.00 pagi hari Sabtu, 20 Desember 2025, di Kampus VNG , Zona Pengolahan Ekspor Tan Thuan, Kota Ho Chi Minh.
Acara ini akan disiarkan langsung di saluran informasi resmi Zalo dan diperkirakan akan menarik lebih dari 400 insinyur AI untuk berpartisipasi.
Daftar untuk berpartisipasi di: https://summit.zalo.ai/

Bich Dao

Sumber: https://vietnamnet.vn/nu-ky-su-zalo-dua-cong-nghe-viet-toi-hoi-thao-ai-hang-dau-the-gioi-2471254.html