Zalo AI ve JAIST Enstitüsü, ileri düzey LLM geliştirmek için toplulukla iş birliği yapıyor

Zalo AI ve Japonya İleri Bilim ve Teknoloji Enstitüsü (JAIST), Vietnam AI topluluğunun üst düzey LLM modellerini mükemmelleştirmesine eşlik etmek üzere, LLM'nin muhakeme ve etkileşim becerilerini değerlendirmek için bir dizi standart duyurdu.

Yapay Zeka (YZ), YZ model araştırmalarındaki önemli ilerlemeler sayesinde hızla gelişiyor ve benzeri görülmemiş fırsatlar sunuyor. Bu da, hem uygulamaları teşvik etmek hem de pratik ihtiyaçlara hizmet eden ürünler geliştirmek için zemin hazırlıyor. Vietnam'da, küresel çapta bir dizi benzer YZ modelinin doğuşuna yol açan ChatGPT'nin güçlü gelişiminin hemen ardından, farklı ölçek ve potansiyellere sahip yerel araştırma grupları, Vietnamca büyük dil modelleri (LLM) oluşturarak yarışa katıldı.

Vietnam LLM modellerinin yaygınlaşması, geliştiricilerin uygun eğitim stratejilerine sahip olabilmeleri için model kalitesini ölçmelerine yardımcı olacak bir dizi genel değerlendirme kriteri gerektiriyor.

Platform geliştiricisi Zalo AI'da Bilimsel Direktör olan Dr. Nguyen Truong Son, VMLU Vietnamese LLM programını şöyle değerlendirdi: "Vietnam pazarı, dünyayla karşılaştırıldığında kalite değerlendirme standartlarından yoksun."

VMLU LLM değerlendirme platformu Zalo AI ve Japonya İleri Bilim ve Teknoloji Enstitüsü (JAIST) tarafından geliştirilmiştir.

Dr. Nguyen Truong Son'a göre bu gerçeklik, Vietnam AI topluluğunun, Vietnam AI modellerini doğru ve yeterli bir şekilde değerlendirmek için ortak standartlar oluşturmak üzere el ele vermesini ve giderek daha kaliteli modellerin geliştirilmesi için bir temel oluşturmasını gerektiriyor.

Yeni kalite standartlarının geliştirilmesini teşvik etmek

Kasım 2023'te Zalo AI ve Japonya İleri Bilim ve Teknoloji Enstitüsü (JAIST), VMLU (Büyük Dil Modelleri için Vietnamca Çoklu Görev Dili Anlama Ölçüt Paketi) adı verilen Vietnamca LLM modellerinin kalitesini değerlendirmek için bir standart seti oluşturmak ve topluluğa ücretsiz olarak sunmak üzere iş birliği yapacak. Bu, önde gelen Vietnamlı uzmanlardan oluşan bir ekip tarafından araştırılıp topluluğa sunulan ilk "Vietnam'da Üret" standartları setidir.

Vietnam LLM araştırma grupları, kendi standartlarıyla kendi değerlendirme araçlarını oluşturmak zorunda kalmak yerine, kapsamlı ve genel bir değerlendirme veri setine erişebildiler.

VMLU standartları, zorluk seviyeleri giderek artan STEM, sosyal bilimler, beşeri bilimler ve yaygınlaştırma olmak üzere 4 alana odaklanmaktadır: İlkokul, Ortaokul, Lise ve Mesleki (lisans ve lisansüstü). 58 konuyu kapsayan ve birçok seviyeye ayrılmış 10.880 çoktan seçmeli soruyla 2023 sürümü, LLM'nin temel bilgilerini etkili bir şekilde değerlendirmeye yardımcı olmuştur.

2024 yılı sonu itibarıyla VMLU, sıralamalarda 45 LLM (Yüksek Lisans) programı yayınlamış, 155'ten fazla kurum ve kişiden değerlendirme talebi almış ve platform üzerinden 691 değerlendirme kriteri indirmesi ve 3.729 LLM değerlendirmesi toplamıştır. VinBigData, VNPT AI, Viettel Solutions, Ho Chi Minh City Teknoloji Üniversitesi - VNU, UONLP x Ontocord - Oregon Üniversitesi (ABD), DAMO Academy - Alibaba Group, SDSRV ekipleri - Samsung gibi birçok yerli ve yabancı kuruluş VMLU standartlarını kullanmaktadır.

Yeni aşamada LLM modelleri önemli ölçüde geliştiriliyor ve karmaşık yeterliliklerin daha derinlemesine değerlendirilmesi için kıyaslama ölçütlerine ihtiyaç duyuluyor.

Zalo AI'nın VMLU değerlendirme setini geliştirme ortağı olan Japonya İleri Bilim ve Teknoloji Enstitüsü'nden (JAIST) Profesör Nguyen Le Minh, "LLM modelleri giderek daha akıllı hale geliyor ve soruları doğru bir şekilde anlayıp cevaplama konusunda neredeyse tamamen yetkin hale geliyor. Bu nedenle, geliştiriciler, LLM öğrencilerini okuduğunu anlama, planlama, diyalog kurma ve insanlara benzer muhakeme gibi çeşitli yeteneklerle donatmaya daha fazla odaklanıyor," dedi.

Geliştiricilerin giderek çeşitlenen ihtiyaçlarına yanıt olarak VMLU, yakın zamanda (1) Okuma Anlama (ViSQuAD), (2) Muhakeme (ViDrop) ve (3) Etkileşim (ViDialog) olmak üzere 3 beceriyi değerlendirmek için yeni bir standart seti başlattı.

VMLU 2025 standartları.

Yeni standartlar seti, bireylerin ve araştırma gruplarının modellerini değerlendirebilmeleri için VMLU web sitesi https://vmlu.ai/ adresinde yayınlanmıştır.

Yapay zeka ustalığı topluluğuna eşlik etme çabaları

VMLU uzmanları, büyük dil modellerini daha kapsamlı değerlendirmek ve kullanıcıların kullanım modellerini doğru bir şekilde yansıtmak için farklı zorluk seviyelerine sahip farklı alanlarda daha çeşitli değerlendirme setleri oluşturmaya ve araştırmaya devam edeceklerini söyledi.

Ayrıca VMLU, Vietnam LLM'lerinin sorumlu bir şekilde geliştirilmesini sağlamak amacıyla LLM modelinin güvenliği ve bütünlüğü için bir dizi değerlendirme standardı geliştirmeyi de hedeflemektedir.

Vietnam halkının yeni teknolojilere hakim olma kapasitesini ve ruhunu geliştirmek amacıyla, VMLU'nun değerlendirme standartları Vietnam LLM araştırma topluluğuna ücretsiz olarak sağlanmaya devam edecektir.

VMLU 2025 standartları VMLU web sitesinde güncellendi.

Vietnam'da Yapay Zeka alanında öncü olan Zalo AI, aynı zamanda Vietnamlı kullanıcılar için yapay zeka çözümlerinin araştırılması ve geliştirilmesinde topluluğa her zaman eşlik ediyor.

Zalo AI, başlıca Vietnam dil modellerinin yeteneklerini değerlendirme ve sıralama platformuna ek olarak, 2017'den beri Zalo AI Challenge ve yıllık Zalo AI Zirvesi forumunu da düzenlemektedir. Bu etkinlikler, yalnızca Vietnam AI topluluğunu birbirine bağlamakla kalmayıp, aynı zamanda Vietnam halkının Vietnam halkına hizmet edecek yapay zeka teknolojisi ürünleri yaratmasına ilham vermeye ve bu ürünlerin tanıtımını yapmaya da katkıda bulunmaktadır.

Kaynak: https://znews.vn/zalo-ai-vien-jaist-dong-hanh-cung-cong-dong-phat-trien-llm-bac-cao-post1589913.html