VMLU(베트남어 멀티태스크 언어 이해)는 Zalo AI가 일본 과학 기술고등연구소(JAIST)와 협력하여 개발한 것으로, 베트남의 AI 연구 개발 커뮤니티가 베트남 생성 AI 모델의 출력 품질을 평가할 수 있는 도구를 더 많이 갖출 수 있도록 돕기 위해 개발되었습니다.
따라서 이는 오늘날 시장에서 가장 다양한 요구를 충족하는 다면적이고 다단계적인 베트남어 평가 표준 세트로, 58개의 다양한 주제를 중심으로 10,880개의 객관식 문제로 구성되어 있습니다.
AI Vietnam에 완전한 베트남어 능력 평가 기준이 필요한 이유는 무엇입니까?
ChatGPT의 폭발적인 성장은 새로운 경쟁, 즉 생성 AI를 탄생시켰습니다. 통계에 따르면 ChatGPT 출시 이후 현재 전 세계적 으로 ChatGPT와 유사한 모델이 약 16,000개 존재합니다.
베트남도 이러한 추세에서 크게 벗어나지 않고 있습니다. 다양한 규모와 잠재력을 가진 많은 연구 그룹들이 베트남어를 활용한 생성 AI 실험을 추진하고 있기 때문입니다. 따라서 이러한 AI 모델에 대한 베트남어 지식과 사고 수준을 측정하기 위한 베트남어 능력 평가 도구의 필요성이 대두되었습니다.
현재 베트남 LLM 연구 그룹 대부분은 자체 모델 표준을 기반으로 자체 평가 툴킷을 구축해야 합니다. 이는 아직 공개되지 않은 내부 평가 도구입니다. Zalo AI의 평가 툴킷은 일반적인 요구를 충족하도록 설계되었으며, LLM 모델의 공통 표준으로 활용될 수 있고 AI 커뮤니티에 제공됩니다. 이를 통해 소규모 연구 그룹이 포괄적인 평가 데이터 세트에 접근하고 각 참여자가 결과를 서로 비교할 수 있습니다. 이를 통해 모델 개선에 대한 동기를 부여합니다.
베트남 AI가 세계의 생성적 AI 열풍에 동참하도록 동기를 부여합니다.
2023년 11월, Zalo AI는 VMLU 베트남어 능력 평가 기준을 공식 발표했습니다. 이는 Zalo AI 엔지니어들이 JAIST 연구소와 협력하여 연구 개발한 일련의 표준으로, AI 모델, 특히 생성 AI의 베트남어 이해 및 적용 능력을 평가하기 위해 마련되었습니다.
VMLU의 탄생은 개인, 스타트업 또는 소규모 연구 그룹이 새로운 베트남어 AI 모델을 개발하도록 동기를 부여했습니다. 이는 새로운 연구를 위한 여건을 조성하고, 기본 모델의 정확도 측정 및 결과 개선을 위한 토대를 마련하며, 베트남 국민이 베트남 국민을 위해 개발한 베트남어 AI 애플리케이션의 개발 과정을 완성하는 데 기여합니다.
이는 베트남의 생성적 AI 개발이 더욱 빠르게 진행되고, 세계의 AI 개발 흐름에 발맞추는 데 중요한 요인 중 하나이기도 합니다.
베트남어 능력 평가 기준은 무엇입니까?
따라서 이는 베트남 생성 AI 연구 개발 시장의 가장 다양한 요구를 충족하는 다면적이고 다단계적인 베트남어 평가 표준 세트이며, 베트남어를 적용하는 AI 모델을 테스트하기 위한 기초가 되는 데이터(테스트 데이터 세트)와 일련의 평가 표준이라는 두 가지 주요 부분에 초점을 맞춥니다.
구체적으로, 이 데이터셋은 58개 주제를 중심으로 10,880개의 객관식 문제를 포함합니다. 각 주제는 약 200개의 문제로 구성되어 있으며, STEM, 사회과학, 인문학, 그리고 "확장"이라는 광범위한 범주를 포함한 4개 분야에 걸쳐 분포되어 있습니다. VMLU는 이 데이터셋을 통해 초등, 중등, 고등학교, 직업 교육(대학 및 대학원)의 4가지 레벨로 난이도를 분류했습니다. 이를 통해 이 툴킷은 AI 모델의 기본 지식과 복잡한 문제 해결 능력 모두에서 베트남어 능력을 효과적으로 평가하는 데 도움을 줍니다.
또한 Zalo AI 엔지니어링 팀은 연구 그룹이 베트남 AI 모델의 성능을 쉽게 평가할 수 있도록 그룹이 빠르고 간편하게 사용할 수 있는 지침을 설계했습니다.
베트남 AI 커뮤니티에 기여하세요
VMLU 표준 세트는 사용자, 연구 그룹 또는 기업에 비용을 청구하지 않고 특히 베트남 AI 연구 커뮤니티와 정보 기술 커뮤니티 전반에 기여하고 발전시키는 것을 목표로 하는 연구 제품으로 탄생했습니다.
이전에 Zalo AI는 Zalo AI 챌린지, Zalo AI 해커톤, Zalo AI 서밋 등 베트남 AI 커뮤니티를 위해 일련의 대회와 프로그램을 구현, 배포 및 조직했습니다. 이러한 활동은 베트남 AI 커뮤니티를 위한 놀이터를 조성할 뿐만 아니라, 생활 속에서 AI를 적용하도록 장려하고, 긴급한 사회 문제를 해결하며, 수백만 명의 베트남 사람들의 요구를 충족시킵니다.
호치민 시 국립대학교 자연과학대학 강사이자 Zalo AI 연구부장인 쩌우 탄 득 박사는 다음과 같이 단언했습니다. "Zalo AI는 항상 베트남 AI 커뮤니티에 기여하고 베트남 AI 발전에 동기를 부여하는 것을 목표로 합니다. 이를 통해 베트남 사람들이 베트남 사람들을 위해 더 많은 AI 제품을 개발하기를 기대합니다."
[광고_2]
원천
댓글 (0)