베트남 AI 모델이 개발한 애플리케이션은 수백만 건의 방문을 기록하고 있습니다.

잘로의 베트남 엔지니어링 팀이 개발한 130억 개의 매개변수를 가진 대규모 언어 모델은 매달 수많은 사용자를 끌어들이는 다양한 실용적인 애플리케이션을 구동하고 있습니다. 그중에서도 특히 눈에 띄는 것은 잘로 공식 계정(OA)으로 운영되는 종합 Q&A 도우미인 키키 인포(Kiki Info)입니다. 키키 인포는 과학, 역사, 교통 법규 등 다양한 주제에 대한 Q&A, 에세이 작성, 이메일 작성, 소셜 미디어 게시물 작성 등의 콘텐츠 제작, 그리고 여행지, 음악 , 책 등에 대한 추천을 제공하는 엔터테인먼트 등 세 가지 기능을 제공합니다.

개발팀의 통계에 따르면 이 도우미를 통해 약 2개월 만에 100만 명의 사용자가 Zalo 공식 계정(OA)에 접속한 것으로 나타났습니다.

Kiki Info는 Zalo 메시징 플랫폼에 통합되어 있습니다.

잘로의 대규모 언어 모델을 활용하여 개발된 또 다른 애플리케이션은 AI 기반 인사 카드입니다. 현재까지 사용자들이 제작하고 전송한 카드 수가 1,500만 장에 달합니다. 이 데이터는 두 달 동안 수집되었으며, 사용자들이 AI 인사 카드를 통해 가족과 친구들에게 중요한 날에 축하 메시지를 전하고 있음을 보여줍니다.

이 앱들은 사용자들이 검색 시간과 의사 결정 시간을 단축하는 데 도움이 되는 지능적인 경험 덕분에 높은 평가를 받고 있습니다. 또한 다른 사람들과의 소통을 더욱 즐겁고 흥미롭게 만들어 줍니다.

잘로의 LLM 모델은 교차 학습 기법을 사용하여 개발되었습니다. 매개변수 초기화 및 모델 아키텍처 결정부터 주어진 데이터 세트에 대한 알고리즘 학습에 이르기까지 모든 프로세스를 구현하여 베트남 사용자가 학습 프로세스와 모델을 완벽하게 제어하고 관리할 수 있도록 합니다.

2024년 말, Zalo의 LLM 모델은 VMLU(대규모 언어 모델용 베트남어 다중 작업 언어 이해 벤치마크 스위트) 순위에서 2위를 차지했습니다. VMLU는 대규모 언어 모델의 베트남어 능력을 평가하고 순위를 매기는 플랫폼입니다. 특히, Zalo의 대규모 언어 모델은 처음부터 학습된 모델 순위에서 Meta의 Llama-3-70B에 이어 2위에 오르며 GPT-4(OpenAI), gemma-2-9b-it(Google), microsoft/Phi-3-small-128k-instruct(Microsoft)와 같은 주요 모델들을 공식적으로 제쳤습니다.

2024년 신규 구축 LLM 모델 순위에서 Zalo의 LLM 모델이 2위를 차지했습니다.

베트남 사람들이 개발한 대규모 프로그래밍 언어로서는 엄청난 성공이었는데, 특히 초기 단계에 직면했던 수많은 제약들을 고려하면 더욱 그러했습니다. 전 세계 대기업들이 엔비디아의 최신 GPU를 수천 대씩 보유하고 있던 당시, 베트남의 엔지니어들은 필요한 서버 인프라를 아직 갖추지 못하고 있었습니다.

동시에 베트남어는 영어나 중국어에 비해 데이터 자원이 수십 배나 부족한 언어 중 하나로 꼽힙니다. 또한 베트남은 세계 선진국들과 비교했을 때 법학 석사(LLM) 양성에 필요한 인적 자원과 경험 면에서도 한계를 가지고 있습니다.

잘로는 다른 기업들과 비교했을 때 자국의 훈련 환경이 가진 한계를 극복하기 위한 개발 전략을 세웠습니다. 8대의 DGX H100 서버로 컴퓨팅 인프라를 구축함으로써, 당시 엔비디아의 최신이자 가장 희귀한 GPU를 직접 사용하여 LLM 모델을 개발했고, 최대 256페타플롭스(초당 부동 소수점 연산 횟수 - 1페타플롭스는 초당 10경 번의 연산에 해당)의 성능을 구현했습니다.

잘로의 서버 시스템은 뛰어난 처리 능력을 갖추고 있습니다.

동시에 베트남어 데이터 소스 부족을 보완하기 위해 고품질 학습 데이터 개발에 투자가 이루어졌습니다. 잘로 엔지니어들은 소형 소비자용 GPU를 활용한 일련의 연구를 통해 언어 학습(LLM)에 대한 지식과 교육 역량을 습득할 기회를 활용했으며, 이를 통해 향후 대규모 컴퓨팅 인프라 구축 시 활용할 수 있는 기반을 마련했습니다.

잘로(Zalo)는 올바른 개발 전략 덕분에 2023년 단 6개월 만에 베트남어에 초점을 맞춘 70억 개 매개변수 규모의 대규모 언어 모델을 성공적으로 개발했습니다. 이 모델은 VMLU 벤치마크에서 OpenAI의 GPT3.5 대비 150% 향상된 성능을 달성했습니다. 현재 잘로의 모델은 VMLU 2024 순위에서 수많은 글로벌 기업들을 제치고 있으며, 연구 모델을 실제 응용 분야에 적용하고 있습니다.

Zalo의 LLM 모델은 2023년 처음 출시되었을 때 ChatGPT 3.5, ChatGPT 4.0, Llama, PhoGPT 등 다양한 글로벌 모델 및 기존 업체와 경쟁했습니다.

잘로에 따르면, LLM 모델은 사용자에게 더욱 세계적인 수준의 AI 애플리케이션을 제공하기 위해 지속적인 교육 투자를 받을 예정입니다. 이를 통해 사용자는 첨단 AI 기술을 습득하고, 과학 , 기술, 혁신 및 국가 디지털 전환 분야에서 획기적인 발전을 이루어 국가의 새로운 기술 발전 시대로 나아갈 수 있을 것입니다.

출처: https://znews.vn/ung-dung-cua-mo-hinh-ai-viet-dang-thu-hut-hang-trieu-luot-truy-cap-post1563330.html