Zalo AI ogłasza bezpłatne standardy oceny znajomości języka wietnamskiego

[reklama_1]

Narzędzie VMLU (Vietnamese Multitask Language Understanding) zostało opracowane przez Zalo AI we współpracy z Japońskim Zaawansowanym Instytutem Nauki i Technologii (JAIST), aby zapewnić społeczności zajmującej się badaniami i rozwojem sztucznej inteligencji w Wietnamie większą liczbę narzędzi do oceny jakości wyników wietnamskich modeli generatywnej sztucznej inteligencji.

Zatem jest to zestaw standardów oceny języka wietnamskiego, który jest wieloaspektowy i wielopoziomowy, odpowiadający najróżniejszym potrzebom na dzisiejszym rynku, składający się z 10 880 pytań wielokrotnego wyboru obejmujących 58 różnych tematów.

zalo ai.jpg — Zestaw standardów oceny znajomości języka wietnamskiego został opracowany i opracowany przez inżynierów Zalo AI we współpracy z JAIST Institute w celu oceny umiejętności rozumienia i stosowania języka wietnamskiego w modelach sztucznej inteligencji, zwłaszcza sztucznej inteligencji generatywnej.

Dlaczego AI Vietnam potrzebuje kompletnego zestawu standardów oceny znajomości języka wietnamskiego?

Gwałtowny rozwój ChatGPT stworzył nową rasę: generatywną sztuczną inteligencję. Według statystyk, od momentu wprowadzenia ChatGPT na świecie istnieje obecnie około 16 000 modeli podobnych do ChatGPT.

Wietnam nie jest wyjątkiem od tej tendencji, ponieważ istnieje wiele grup badawczych o różnej skali i potencjale, które chcą eksperymentować z generatywną sztuczną inteligencją, używając języka wietnamskiego. Doprowadziło to do konieczności stworzenia zestawu testów znajomości języka wietnamskiego dla tych modeli sztucznej inteligencji, aby zmierzyć poziom wiedzy i myślenia w tym języku.

Na obecnym rynku większość wietnamskich grup badawczych LLM musi tworzyć własne zestawy narzędzi ewaluacyjnych z własnymi standardami dla swoich modeli. Są to wewnętrzne narzędzia ewaluacyjne, które nie zostały upublicznione. Zestaw narzędzi ewaluacyjnych Zalo AI jest ukierunkowany na ogólne potrzeby, może stanowić wspólny standard dla modeli LLM i jest udostępniany społeczności AI. Umożliwia to małym grupom badawczym dostęp do kompleksowych zestawów danych ewaluacyjnych i umożliwia stronom porównywanie wyników między sobą. W ten sposób motywuje do ulepszania modelu.

Motywowanie wietnamskiej sztucznej inteligencji do dołączenia do światowej fali generatywnej sztucznej inteligencji

W listopadzie 2023 roku Zalo AI oficjalnie ogłosiło standardy oceny znajomości języka wietnamskiego VMLU. Jest to zestaw standardów opracowanych i zbadanych przez inżynierów Zalo AI we współpracy z Instytutem JAIST w celu oceny umiejętności rozumienia i stosowania języka wietnamskiego w modelach sztucznej inteligencji, zwłaszcza w modelach generatywnych.

Powstanie VMLU zmotywowało osoby prywatne, startupy i małe grupy badawcze do opracowywania nowych modeli sztucznej inteligencji w języku wietnamskim. Stwarza to warunki do nowych badań, kładzie podwaliny pod pomiar dokładności i ulepszanie wyników modeli podstawowych, przyczyniając się do ukończenia procesu rozwoju aplikacji sztucznej inteligencji w języku wietnamskim, tworzonych przez Wietnamczyków z myślą o ich potrzebach.

Jest to również jeden z ważnych czynników sprzyjających szybszemu rozwojowi sztucznej inteligencji generatywnej w Wietnamie i dotrzymaniu kroku fali rozwoju sztucznej inteligencji na świecie.

Jakie są standardy oceny znajomości języka wietnamskiego?

Zatem jest to zestaw standardów oceny języka wietnamskiego, który jest wieloaspektowy, wielopoziomowy i spełnia najróżniejsze potrzeby rynku badań i rozwoju w dziedzinie generatywnej sztucznej inteligencji w Wietnamie. Koncentruje się on na dwóch głównych częściach: danych (zestawie danych testowych) oraz zestawie standardów oceny, jako podstawie testowania modeli sztucznej inteligencji wykorzystujących język wietnamski.

Zbiór danych zawiera 10 880 pytań wielokrotnego wyboru, obejmujących 58 różnych tematów. Każdy temat składa się z około 200 pytań i jest podzielony na 4 dziedziny, w tym: STEM (nauka, technika, inżynieria, matematyka), nauki społeczne, nauki humanistyczne oraz szeroką kategorię „Rozszerzony”. W tym zbiorze danych VMLU stosuje stratyfikację trudności z 4 poziomami: podstawowym, średnim, średnim i zawodowym – dla studentów i absolwentów studiów podyplomowych. Na tej podstawie zestaw narzędzi pomaga skutecznie ocenić znajomość języka wietnamskiego przez modele sztucznej inteligencji, zarówno w zakresie wiedzy podstawowej, jak i rozwiązywania złożonych problemów.

Ponadto, aby pomóc grupom badawczym w łatwej ocenie możliwości ich wietnamskich modeli sztucznej inteligencji, zespół inżynierów Zalo AI opracował towarzyszące instrukcje, dzięki którym grupy mogą z nich korzystać szybko i łatwo.

Wnieś swój wkład w wietnamską społeczność AI

Zestaw standardów VMLU powstał jako produkt badawczy mający na celu wniesienie wkładu i rozwój wietnamskiej społeczności badawczej zajmującej się sztuczną inteligencją, a w szczególności społeczności zajmującej się technologiami informacyjnymi w ogóle, bez pobierania opłat od użytkowników, grup badawczych lub przedsiębiorstw.

Wcześniej Zalo AI wdrożyło, uruchomiło i zorganizowało szereg konkursów i programów dla wietnamskiej społeczności zajmującej się sztuczną inteligencją, takich jak: Zalo AI Challenge, Zalo AI Hackathon, Zalo AI Summit... Działania te nie tylko tworzą plac zabaw dla wietnamskiej społeczności zajmującej się sztuczną inteligencją, ale także zachęcają do stosowania sztucznej inteligencji w życiu, rozwiązywania palących problemów społecznych i zaspokajania potrzeb milionów Wietnamczyków.

Dr Chau Thanh Duc, kierownik Działu Badań nad Sztuczną Inteligencją w Zalo – wykładowca na Uniwersytecie Nauk Przyrodniczych Uniwersytetu Narodowego w Ho Chi Minh , potwierdził: „Zalo AI zawsze dąży do wspierania wietnamskiej społeczności AI, motywując wietnamską społeczność do rozwoju AI. Spodziewamy się, że w przyszłości będzie powstawać coraz więcej produktów AI tworzonych przez Wietnamczyków dla Wietnamczyków”.

Źródło