AI에 대한 전 세계의 관심이 높아지고 있으며, 미국과 중국처럼 세계 최고의 AI 모델을 보유한 국가에 대부분의 관심이 집중되고 있습니다. 세계에서 가장 중요한 경제 지역 중 하나인 동남아시아는 점차 AI의 새로운 핫스팟으로 부상하고 있으며, 전 세계 정책 입안자, 투자자, 기술 전문가들의 관심을 끌 만한 주요 기술 발전이 이루어지고 있습니다.
베트남의 당과 정부는 과학 기술 발전, 혁신, 그리고 국가 디지털 전환의 획기적인 진전을 위한 결의안 57-NQ/TW를 통해 국가 기술 발전 시대를 형성하고 촉진하고자 합니다. 이러한 방향은 국내 기술 기업들이 선진 글로벌 기술에 투자하고 그 잠재력을 활용할 수 있는 강력한 원동력을 제공했습니다.
현재 베트남은 동남아시아에서 자체 대규모 언어 모델(LLM)을 보유한 몇 안 되는 국가 중 하나입니다. 특히, Zalo는 2023년부터 베트남 엔지니어 팀이 전적으로 연구 개발하여 베트남어에 초점을 맞춘 LLM 모델을 성공적으로 학습하고 출시해 왔습니다.
처음부터 교육을 선택하고 예상치 못한 결과를 얻으세요
현재 AI 모델은 2가지 학습 기법을 사용합니다. 미세 조정 모델 기법은 이전에 학습된 LLM을 최적화하여 특수 목적에 맞는 새로운 LLM을 생성하는 방법입니다. 처음부터 모델 학습 기법은 매개변수 초기화, 모델 아키텍처 결정부터 특정 데이터 세트에 대한 학습 알고리즘까지 완전히 새로운 모델을 구축하는 프로세스입니다.
그중에서도 미세 조정 기법은 구현 용이성, 자원 절약, 효율성 향상 등의 장점으로 많은 기업에서 선호되고 있습니다. 특히 교육 장비와 데이터가 부족한 베트남의 경우 미세 조정 기법이 탁월한 솔루션입니다.
하지만 Zalo는 처음부터 이 학습 기법을 선택했습니다. 이 방식을 통해 전체 학습 과정과 모델은 베트남 사람들이 완전히 소유하고 관리합니다. 덕분에 베트남은 동남아시아에서 자체 개발한 대규모 언어 모델(LLM)을 보유한 몇 안 되는 국가 중 하나가 되었습니다.
Zalo의 첫 번째 대규모 70억 개의 매개변수를 가진 베트남어 중심 언어 모델은 2023년 출시 당시 VMLU 베트남어 LLM 역량 벤치마크에서 OpenAI의 GPT3.5 대비 150%의 성능을 달성했습니다. 학습 기간은 6개월로, 원래 계획이었던 18개월보다 훨씬 단축되었습니다. 이처럼 빠른 학습 과정은 Zalo 개발팀 전체를 놀라게 했습니다.
Zalo의 LLM 모델은 2023년 첫 출시 이후 Kahoot 챌린지에서 3위를 차지했습니다(사진: Zalo).
2024년에 Zalo의 130억 매개변수 모델은 세계 의 유명 모델을 능가하여 VMLU의 베트남 LLM 역량 순위에서 처음부터 학습된 베트남 LLM 모델 중 상위 2위라는 지위를 확고히 했습니다.
연구 결과에 따르면, 베트남의 AI 모델을 개발하기 위해 대규모 언어 모델을 훈련하는 수준은 세계 최고 수준이며, 특히 초기 개발 단계에서 많은 어려움에 직면하고 있다는 점을 고려하면 더욱 그렇습니다.
베트남의 AI 모델 개발 노력
Zalo 관계자는 LLM 교육에는 교육 장비, 데이터, 그리고 기술 수준이라는 세 가지 핵심 요소가 필요하다고 말했습니다. 이전까지 베트남은 이 세 가지 측면 모두에서 많은 제약을 받았습니다. 특히, 세계 대기업들이 엔비디아의 최신 고성능 GPU를 수천 개 보유하고 있는 반면, 베트남 엔지니어들은 필요한 서버 인프라를 충분히 갖추지 못했습니다. 동시에 베트남은 영어나 중국어보다 데이터 자원이 부족한 국가 중 하나입니다. 베트남의 인적 자원과 LLM 교육 경험 또한 선진국에 비해 제한적입니다.
당시 Zalo 팀은 대규모 컴퓨팅 인프라가 마련되자마자 LLM에 대한 지식과 교육 역량을 확보하기 위해 소규모 민간용 GPU에 대한 연구와 실험을 진행해야 했습니다.
AI 학습 칩은 희소하기 때문에 Zalo가 Nvidia DGX H100 서버 8대를 주문했음에도 불구하고 모든 장치를 한 번에 소유할 수 없어 제조업체의 각 배치 납품을 기다려야 합니다. 따라서 학습 시간을 절약하기 위해 불완전한 컴퓨팅 인프라를 최적화하는 것 또한 Zalo 팀이 해결해야 할 과제입니다.
동시에 베트남 데이터 소스 부족을 보완하기 위해 고품질의 교육 데이터에도 투자하고 있습니다.
"세계적인 대기업들에 비해 어려운 환경에서 시작했지만, Zalo는 베트남 자체 AI 모델 개발을 성공적으로 이끌겠다는 목표로 경쟁에 뛰어들기로 결정했습니다. 세계 유수의 연구 기관의 연구원 및 엔지니어들과 협의하여 적합한 개발 전략을 수립했습니다.
Zalo 엔지니어들은 현재의 성공 이정표에 따라 모델을 더욱 양적으로, 그리고 질적으로 더욱 최적화해 나가고 있습니다. 동시에, 이러한 적용 가능성을 활용하여 베트남 사용자를 위한 세계적인 수준의 AI 제품을 다수 개발하고 있습니다."라고 Zalo AI의 과학 담당 이사인 응우옌 트룽 손 박사는 말했습니다.
Zalo가 Nvidia에 주문한 DGX H100 서버(사진: Zalo).
개발 초기 단계에서의 어려운 적응력 덕분에 Zalo는 점차 성공적인 이정표를 달성하여 오늘날의 글로벌 AI 기술을 완성하는 단계로 나아갔습니다.
현재 Zalo의 AI 모델은 교육 연구 측면에서만 성공적인 것이 아니라 응용 분야에서도 성공을 거두어 베트남 국민이 첨단 신기술에서 얻은 가치에 접근하고 활용할 수 있도록 돕고 있습니다.
올해 초 Zalo는 Zalo 메시징 플랫폼에서 OA(공식 계정)로 운영되는 Kiki Info Q&A Assistant를 출시했습니다. 이 Assistant는 일상, 콘텐츠 제작, 엔터테인먼트 등 다양한 주제에 대한 Q&A를 지원합니다. Zalo 통계에 따르면, Kiki Info Assistant는 출시 후 2개월도 채 되지 않아 Zalo OA 계정에 접속한 사용자 수가 100만 명을 돌파했습니다.
Zalo의 LLM 모델은 Kiki Info Assistant를 개발하는 데 적용되었습니다(사진: Zalo).
Zalo LLM 모델을 활용한 또 다른 애플리케이션은 AI 카드입니다. 이 카드 역시 단 2개월 만에 1,500만 장의 카드가 제작 및 발송되는 기록을 달성했습니다. 이 애플리케이션은 많은 Zalo 사용자들이 중요한 명절에 친척과 친구에게 소원을 전하기 위해 관심을 보이는 애플리케이션입니다.
현재 Zalo는 대규모 언어 모델의 애플리케이션을 지속적으로 확장하고 개발하고 있으며, 이를 통해 국내 사용자에게 많은 유용한 가치를 제공할 것을 약속합니다.
출처: https://dantri.com.vn/cong-nghe/zalo-phat-trien-mo-hinh-ai-do-nguoi-viet-lam-chu-20250616161352610.htm
댓글 (0)