Zalo'nun kadın mühendisi, Vietnam teknolojisini dünyanın önde gelen yapay zeka konferansına taşıyor.

Zalo'da geçirdiği altı yıl, Bui Thi Cuc'un yapay zekâya olan tutkusunu daha da geliştirmesine olanak sağladı. Mezuniyetinden hemen sonra veri bilimleri alanında bir işte çalışan Cuc, Zalo'da kıdemli bir yapay zekâ mühendisi oldu ve VMLU geliştirme ekibini temsil ederek 2025 yazında Avusturya'nın Viyana kentinde düzenlenen ACL (Hesaplamalı Dilbilim Derneği) konferansında araştırmasını sunacak.

Bu, doğal dil işleme alanındaki önde gelen akademik konferans olarak kabul ediliyor ve her yıl 2.000'den fazla araştırmacıyı kendine çekiyor. Doğal dil işleme alanındaki birçok temel çalışma, sektör standardı haline gelmeden önce burada sunulmuştur.

Cúc, "Konferansın ilk gününden itibaren, büyüklüğü ve açık akademik bilgi alışverişi beni çok etkiledi," diye hatırladı. Araştırma atmosferi sabahtan akşama kadar sürekliydi; çok sayıda poster sergileniyor, uzun teknik tartışmalar yapılıyor ve Meta, Google, Apple ve daha birçok şirketin laboratuvarları bulunuyordu.

Vietnam'dan Viyana, Avusturya'ya

Bui Thi Cuc'un "ACL VMLU Benchmarks: Vietnamca Dil Modelleri için Kapsamlı Bir Karşılaştırma Aracı Seti" başlıklı araştırma makalesi, büyük ölçekli Vietnamca dil modelleri için değerlendirme araçlarının eksikliğini gidermeyi amaçlamaktadır.

Zalo AI ve Japonya İleri Bilim ve Teknoloji Enstitüsü (JAIST) tarafından Kasım 2023'te başlatılan VMLU, Vietnamlı kullanıcıları hedefleyen büyük ölçekli dil modeli (LLM) geliştiricilerinin modelleri için uygun eğitim stratejilerini değerlendirmelerine ve geliştirmelerine yardımcı olmak amacıyla ortak bir standartlar kümesi sağlamıştır.

Bui Cuc, VMLU'nun geliştirilmesi sırasında üyelerin kıyaslama ölçütleri oluşturmaktan veri kalitesini sağlamaya kadar birçok zorlukla karşılaştığını belirtti. Ancak en stresli aşama araştırma gönderim süreciydi. ACL'de araştırma kabul oranı sadece yaklaşık %25'tir ve dünya çapındaki birçok büyük yapay zeka araştırma kurumuyla rekabet etmek zorunda kaldılar.

Cúc, "Sınırda Kalanlar Konferansı düzeyinde sonuçları aldığımızda -yani bulgular kabul edildiğinde- tüm ekip beklenenden daha mutlu oldu. Bundan sonra, değerlendirme panelinden gelen tüm geri bildirimleri topladım, doğrudan yöneticimle görüştüm ve sonunda hakemleri puanı yükseltmeye ikna ettim, böylece araştırma makalesi ana konferansta kabul edildi," diye hatırladı.

VMLU geliştirme ekibini temsilen Bayan Bui Thi Cuc, araştırma projesini ACL konferansında sundu.

Bu, büyük dil modellerinin Vietnamca dil anlama yeteneğini değerlendirmek için tasarlanmış ilk kıyaslama testidir. Kıyaslama testi, genel bilgi, okuma anlama, mantık yürütme ve diyalog alanlarındaki yetenekleri değerlendirmek için 17.000 sorudan oluşan dört veri kümesi içermektedir.

Zalo mühendislerine göre, mevcut kıyaslama testlerinin çoğu İngilizce için tasarlanmıştır ve bu da Vietnam dilinin sözdizimsel, anlamsal ve kültürel bağlamını tam olarak yansıtmamaktadır. İngilizce soru setlerinin doğrudan Vietnam diline çevrilmesi genellikle yanlışlıklara veya anlamsal nüansların kaybına yol açmaktadır.

LLM değerlendirme çerçevesini basit terimlerle açıklamak gerekirse, yapay zekayı yeteneklerini test etmek için bir sınava ihtiyaç duyan bir öğrenci olarak hayal edin. Şu anda çoğu sınav İngilizce, ancak Zalo AI ekibi, yapay zekanın Vietnamca'yı gerçekten anlayıp iyi kullanıp kullanmadığını test etmek için Vietnamca bir sınav oluşturmak istedi.

Zalo AI Bilim Direktörü Bay Nguyen Truong Son şunları söyledi: “VMLU değerlendirme sistemi, büyük ölçekli Vietnamca dil modellerini değerlendirmek için ortak bir ‘ölçüt’ sağlıyor. Yayınlanmasının ardından, hem yurt içinde hem de yurt dışında yapay zeka araştırma topluluğundan çok sayıda olumlu geri bildirim aldık. Gelecekte, VMLU'nun sadece akademik camiada değil, yapay zeka ürünleri geliştiren işletmelerde de yaygın olarak kullanılan ve uygulanan bir değerlendirme standardı olmasını bekliyorum.”

Zalo'nun ürünlerine yapay zeka uygulaması.

VMLU, akademik değerinin ötesinde, Zalo'da yapay zeka ürünlerinin geliştirilmesinde birçok potansiyel uygulama alanına sahiptir.

Cúc'a göre, öncelikle bu kıyaslama, dijital bir vatandaş asistanı olan Kiki Info ürününde kullanılan modellerin doğruluğunu ve dil anlama yeteneğini değerlendirmeye yardımcı oluyor. Bu da ekibin modelin belirli becerilerdeki sınırlamalarını belirlemesine olanak tanıyor.

İkinci olarak, VMLU, mesaj özetleme, otomatik yanıt önerileri veya müşteri hizmetleri desteği gibi yeni yapay zeka özelliklerinin devreye alınmasından önce bir test aracı olarak kullanılır.

Sonuç olarak, VMLU, konuşma değerlendirme yetenekleriyle Zalo'nun Vietnam iletişim kültürüne uygun, doğal ses tonuna sahip kurumsal sohbet botları geliştirmesine yardımcı oluyor.

Cúc, "En büyük hedefimiz, Vietnamca'yı doğal ve doğru bir şekilde anlayabilen yapay zeka modelleri oluşturmak" dedi.

Genç kadın mühendis, VMLU'nun genişlemeye devam edeceğini umuyor.

Viyana'dan dönen genç mühendis, VMLU'nun genişlemeye devam edeceğini ve birçok yerli araştırma grubunun modelleri birleşik bir şekilde karşılaştırıp değerlendirebileceği bir platform haline geleceğini umuyor.

“Umarım bu veri seti, Vietnam yapay zeka topluluğunun önümüzdeki yıllarda daha güçlü bir şekilde gelişmesi için bir başlangıç noktası olur. Vietnamca'yı küresel yapay zeka modellerinin doğru bir şekilde anlayıp etkili bir şekilde işleyebileceği bir dil haline getirmeye küçük de olsa katkıda bulunmak istiyoruz.”