베트남에는 베트남 국민이 소유한 AI 모델이 있습니다.

AI에 대한 전 세계적인 관심이 높아지고 있으며, 미국과 중국처럼 선도적인 AI 모델을 보유한 국가에 관심이 집중되고 있습니다. 세계에서 가장 중요한 경제 지역 중 하나인 동남아시아는 점차 AI의 새로운 핫스팟으로 부상하고 있으며, 전 세계 정책 입안자, 투자자, 기술 전문가들의 관심을 끌 만한 주요 기술 발전이 이루어지고 있습니다.

베트남은 이미 자체 AI 모델을 보유하고 있는데, 이는 현재 동남아시아에서 자체 개발한 몇 안 되는 AI 모델 중 하나입니다. 사진: Zalo.

베트남의 당과 정부는 과학 기술혁신 및 국가 디지털 전환의 획기적인 진전에 관한 결의안 57-NQ/TW를 통해 국가의 기술 발전 시대를 형성하고 촉진하고자 합니다. 이러한 방향은 국내 기술 기업들이 선진 글로벌 기술에 투자하고 그 잠재력을 활용할 수 있는 강력한 원동력을 제공했습니다.

현재 베트남은 동남아시아에서 자체 대규모 언어 모델(LLM)을 보유한 몇 안 되는 국가 중 하나입니다. 특히, Zalo는 2023년부터 베트남 엔지니어 팀이 전적으로 연구 개발하여 베트남어에 초점을 맞춘 LLM 모델을 성공적으로 학습하고 출시해 왔습니다.

처음부터 교육을 선택하고 예상치 못한 결과를 얻으세요

현재의 AI 모델에는 두 가지 학습 기법이 있는데, 미세 조정 모델(이전에 학습된 LLM을 최적화하여 특정 목적에 맞는 새로운 LLM을 생성하는 것)과 처음부터 학습 모델(매개 변수 초기화, 모델 아키텍처 결정부터 주어진 데이터 세트에 대한 학습 알고리즘까지 모든 프로세스를 구현하는 것)이 있습니다.

그중에서도 미세 조정(fine-tuning)은 구현 용이성, 자원 절약, 효율성 향상 등의 장점으로 많은 기업에서 선호되고 있습니다. 특히 베트남에서 교육 장비와 데이터 확보가 거의 불가능한 상황에서 미세 조정 기술은 탁월한 솔루션으로 여겨집니다.

하지만 Zalo는 처음부터 이러한 교육 방식을 선택했습니다. 이 교육 방식을 통해 전체 교육 과정과 모델은 베트남인이 완전히 소유하고 관리하며, 베트남은 동남아시아에서 국내 LLM을 보유한 몇 안 되는 국가 중 하나가 되었습니다.

2023년 출시 당시, Zalo의 첫 번째 대규모 베트남어 중심 언어 모델은 70억 개의 매개변수를 포함하고 있으며, VMLU 베트남어 LLM 역량 벤치마크에서 OpenAI의 GPT3.5 대비 150%의 성능을 달성했습니다. 특히 학습 시간은 6개월로, 당초 예상했던 18개월보다 훨씬 단축되었습니다. 이처럼 빠른 학습 과정은 Zalo 개발팀 전체를 놀라게 했습니다.

Zalo의 LLM 모델은 2023년 데뷔 당시 실제 플레이어와 GPT 4에 이어 Kahoot 챌린지에서 3위를 차지했습니다. 사진: Zalo.

2024년에 Zalo의 130억 개의 매개변수 모델은 공식적으로 GPT-4(OpenAI), gemma-2-9b-it(Google), microsoft/Phi-3-small-128k-instruct(Microsoft) 등의 유명 모델을 앞지르며 VMLU의 베트남어 LLM 능력 순위에서 Llama-3-70B(Meta)에 이어 두 번째 순위를 기록했습니다.

VMLU가 선정한 2024년 처음부터 제작된 모델 상위 10개 순위. 사진: Zalo.

연구 결과에 따르면, 베트남의 AI 모델을 개발하기 위해 대규모 언어 모델을 훈련하는 수준은 세계 최고 수준이며, 특히 초기 개발 단계에서 많은 어려움에 직면하고 있다는 점을 고려하면 더욱 그렇습니다.

베트남의 AI 모델 개발 노력

LLM 교육에는 교육 장비, 데이터, 그리고 기술 수준이라는 세 가지 핵심 과제가 있는데, 베트남은 이 세 가지 모두에서 어려움을 겪고 있습니다. 이전에는 세계 대기업들이 엔비디아의 최신 고성능 GPU 수천 개를 보유하고 있었지만, 베트남 엔지니어들은 필요한 서버 인프라를 충분히 갖추지 못했습니다. 동시에 베트남어는 영어나 중국어보다 수십 배나 부족한 데이터 자원을 가진 그룹에 속합니다. 베트남의 인적 자원과 LLM 교육 경험 또한 선진국에 비해 제한적입니다.

당시 Zalo 팀은 대규모 컴퓨팅 인프라가 구축되는 즉시 활용할 수 있는 지식과 LLM 훈련 역량을 갖추기 위해 소형 민간용 GPU를 연구하고 실험해야 했습니다. AI 훈련 칩이 부족했기 때문에 Zalo는 Nvidia DGX H100 서버 8대를 주문했지만, 모든 장비를 한 번에 보유할 수 없었고 제조업체의 각 배치 납품을 기다려야 했습니다. 따라서 훈련 시간을 절약하기 위해 불완전한 컴퓨팅 인프라를 최적화하는 것 또한 Zalo 팀이 해결해야 할 과제였습니다.

동시에 베트남 데이터 소스 부족을 보완하기 위해 고품질의 교육 데이터에도 투자하고 있습니다.

Zalo AI 과학 이사 Nguyen Truong Son 박사. 사진: 잘로.

Zalo AI의 과학 담당 이사인 응우옌 트룽 손 박사는 "세계 다른 대기업들에 비해 어려운 출발점에도 불구하고, Zalo는 베트남 자체 AI 모델을 성공적으로 개발한다는 목표로 일찍부터 시장에 진출하기로 결정했습니다. 세계 유수의 연구 기관의 연구원 및 엔지니어들과 협의하여 적합한 개발 전략을 수립했습니다. 지금까지의 성공적인 성과는 Zalo 엔지니어들이 모델의 양적, 질적 향상을 위해 지속적으로 최적화하는 원동력이 되었습니다. 동시에, 이러한 적용 가능성을 활용하여 베트남 사용자를 위한 세계적 수준의 AI 제품을 다수 개발할 것입니다."라고 말했습니다.

Zalo가 Nvidia에 주문한 DGX H100 서버. 사진: Zalo.

개발 초기 단계에서의 어려운 적응력 덕분에 Zalo는 점차 성공적인 이정표를 달성하여 오늘날의 글로벌 AI 기술을 완성하는 단계로 나아갔습니다.

현재 Zalo의 AI 모델은 교육 연구 측면에서만 성공적인 것이 아니라, 베트남 국민을 위해 첨단 신기술에서 얻은 가치에 대한 접근과 활용을 촉진하는 데에도 적용되고 있습니다.

2025년 초, Zalo는 Kiki Info Q&A Assistant를 출시했습니다. 이 기능은 Zalo 메시징 플랫폼의 공식 계정(OA)으로 운영되고 있습니다. 이 기능은 생활, 콘텐츠 제작, 엔터테인먼트 등 다양한 주제에 대한 Q&A를 지원합니다. Zalo 통계에 따르면, Kiki Info Assistant는 출시 후 2개월 만에 Zalo OA 계정에 접속한 사용자 100만 명을 돌파했습니다.

Zalo의 LLM 모델을 적용하여 Kiki Info Assistant를 개발했습니다. 사진: Zalo.

Zalo LLM 모델을 활용한 또 다른 애플리케이션은 AI 카드입니다. 이 카드 역시 단 2개월 만에 1,500만 장의 카드가 제작 및 발송되는 기록을 달성했습니다. 이 애플리케이션은 많은 Zalo 사용자들이 중요한 명절에 친척과 친구에게 소원을 전하기 위해 관심을 보이는 애플리케이션입니다.

현재 Zalo는 대규모 언어 모델의 애플리케이션을 계속 확장하고 개발하고 있으며, 이를 통해 국내 사용자에게 많은 유용한 가치를 제공할 것을 약속합니다.

출처: https://znews.vn/viet-nam-da-co-mo-hinh-ai-do-nguoi-viet-lam-chu-post1560653.html