치열한 글로벌 AI 경쟁에서 베트남은 어떤 위치에 있을까?

Grand View Research의 보고서에 따르면, 글로벌 대규모 언어 모델 시장 규모는 2024년까지 56억 1,700만 달러 에 이를 것으로 추산되며, 2025년부터 2030년까지 연평균 성장률(CAGR) 36.9%로 성장할 것으로 예상됩니다. 한편, 전 세계적 으로 AI에 대한 관심이 높아지고 있으며, 미국과 중국 등 선도적인 AI 모델 개발국이 많은 국가에 많은 관심이 집중되고 있습니다.

동남아시아는 상대적으로 주목을 받지 못했지만, 눈부신 발전을 이루고 있습니다. 영어나 중국어와 같은 세계적 인기 언어에 비해 데이터 자원이 제한적임에도 불구하고, 동남아시아 기업들은 자체 LLM을 구축할 기회를 포착하기 시작했습니다. 특히 싱가포르는 첫 번째 모델인 SEA-LION LLM을 출시했으며, 전체 데이터 세트의 13%를 동남아시아 언어로 학습시켰습니다.

Zalo는 베트남에서 국내 AI 모델을 구축하여 2023년에 처음으로 출시했습니다. AI 기술 자립과 외국 기술 의존도 감소를 목표로, Zalo는 매개변수 초기화, 모델 아키텍처 결정, 특정 데이터 세트에 대한 알고리즘 학습 등 모든 프로세스를 처음부터 적용하는 학습 기법을 사용하여 130억 개의 매개변수를 가진 모델을 개발했습니다.

이 교육 기법은 베트남 사람들이 전체 교육 과정과 모델을 숙달하고 제어할 수 있도록 도와줍니다. 현재까지 이 모델의 탄생으로 베트남은 동남아시아에서 국내 LLM을 보유한 몇 안 되는 국가 중 하나가 되었습니다.

세계 최대 규모의 기술 기업들의 잠재력을 갖추지 못한 베트남에서 대규모 언어 모델을 개발하는 초기 단계에는 많은 어려움이 있었습니다. 베트남어는 영어나 중국어보다 수십 배나 부족한 데이터 자원을 보유하고 있어 데이터 부족 문제 외에도, 베트남 엔지니어들은 필요한 서버 인프라를 충분히 갖추고 있지 못했습니다.

한편, 세계 주요 기업들은 엔비디아의 최신 GPU를 수천 개 보유하고 있습니다. 특히 베트남은 세계 선진국에 비해 LLM 모델 학습에 필요한 인력과 경험 면에서 한계가 있습니다.

하지만 Zalo는 여전히 어려움을 단계적으로 극복할 수 있는 적절한 개발 전략을 보유하고 있습니다. 8대의 DGX H100 서버로 구성된 컴퓨팅 인프라 덕분에 Zalo의 LLM 모델은 당시 가장 희소성이 높았던 Nvidia의 최신 GPU 라인을 직접 사용하여 최대 256페타플롭스(초당 부동 소수점 연산 - 1페타플롭스는 초당 1000억 번의 계산에 해당)의 성능을 발휘하는 것으로 개발되었습니다.

Zalo는 또한 베트남 시장 부족을 해소하기 위해 베트남 데이터 개발을 확대하는 한편, 소형 민간 GPU에 대한 일련의 연구를 통해 베트남 엔지니어들에게 지식과 LLM 교육 역량을 제공했습니다 . 이는 향후 대규모 컴퓨팅 인프라를 구축할 때 활용할 수 있는 기반을 마련해 줍니다.

올바른 개발 방향 덕분에 Zalo는 2023년 단 6개월의 학습만으로 베트남어에 초점을 맞춘 70억 개의 매개변수를 갖춘 대규모 언어 모델을 성공적으로 개발할 수 있었으며, VMLU의 평가에 따르면 OpenAI의 GPT3.5와 비교했을 때 150%의 용량을 달성했습니다. 이는 대규모 언어 모델을 위한 베트남어 멀티태스크 언어 이해 벤치마크 모음(LLM) 베트남어 능력 평가 및 순위 플랫폼입니다.

2024년 말까지 Zalo의 대규모 언어 모델은 VMLU 상위 모델 순위에서 2위를 차지했습니다. 구체적으로, 이 모델은 Meta의 Llama-3-70B에 이어 2위를 차지하며, GPT-4(OpenAI), gemma-2-9b-it(Google), microsoft/Phi-3-small-128k-instruct(Microsoft) 등 유명 모델들을 공식적으로 앞지르게 되었습니다.

Zalo AI의 과학 담당 이사인 응우옌 트룽 손 박사는 "세계 다른 대기업들에 비해 어려운 출발점에도 불구하고, Zalo는 베트남 자체 AI 모델을 성공적으로 개발한다는 목표로 일찍부터 시장에 진출하기로 결정했습니다. 세계 유수의 여러 연구 기관의 연구원 및 엔지니어들과 협의하여 적합한 개발 전략을 수립했습니다. 지금까지의 성공적인 성과는 Zalo 엔지니어들이 모델의 양적, 질적 향상을 위해 지속적으로 최적화하는 원동력이 되었습니다."라고 말했습니다.

모델 연구 및 교육에서 거둔 성공적인 성과는 Zalo 엔지니어들이 베트남 사용자를 위한 유용한 애플리케이션을 개발하기 위해 LLM 모델을 적용하도록 동기를 부여했습니다. 대표적인 예로 Zalo의 공식 계정(OA)으로 운영되는 Kiki Info Q&A Assistant가 있습니다. 이 Assistant는 과학, 역사, 교통법규 등 다양한 주제에 대한 Q&A, 글쓰기, 이메일 작성, 소셜 네트워크 게시 등의 콘텐츠 제작, 그리고 관광지, 음악, 책 등에 대한 추천을 제공하는 엔터테인먼트 기능 등 세 가지 기능을 제공합니다.

Zalo 통계에 따르면, Kiki Info Assistant를 통해 Zalo에서 OA 계정에 접속한 사용자는 2개월도 채 되지 않아 100만 명에 달했습니다.

이 대규모 언어 모델을 적용한 또 다른 사례는 AI 카드입니다. AI 카드는 사용자들이 중요한 날에 친척이나 친구에게 인사를 전하는 데 널리 사용되는데, 불과 2개월 만에 1,500만 장의 카드를 만들어 전송하는 기록을 달성했습니다.

이러한 애플리케이션은 스마트하고 편리한 사용 환경으로 사용자들에게 높은 평가를 받고 있으며, 검색 및 의사결정 시간을 단축하고 삶 속의 관계에서 연결의 질을 향상시키는 데 도움이 됩니다.

새로운 시대, 즉 국가 성장의 시대를 향해 당과 정부는 과학, 기술, 혁신 및 국가 디지털 전환의 획기적인 발전에 관한 결의안 57-NQ/TW를 통해 입증된 국가의 기술 발전 시대를 형성하고 촉진하기로 결정했습니다.

Zalo는 국가의 기술 발전에 기여하고자 하는 노력의 일환으로, 일반적으로 첨단 기술, 특히 AI를 습득하는 것을 목표로 할 뿐만 아니라, 베트남 기술 커뮤니티와 협력하여 베트남 사람들이 베트남 사람들에게 서비스를 제공할 수 있는 AI 기술 제품을 만들도록 촉진합니다.

특히, Zalo는 "AI 우선" 전략을 통해 베트남에서 인공지능 기술 선도 기업으로 자리매김했습니다. 2022년부터 현재까지 Zalo는 텍스트 음성 변환(TTS), 텍스트 음성 변환(TTS), 음성 텍스트 변환(Voice-to-Text), Zalo AI 아바타, zSticker AI 등 사용자 경험 향상을 위한 AI 기반 실용적인 애플리케이션 시리즈를 개발해 왔습니다.

Zalo 설립자 브엉 꽝 카이(Vuong Quang Khai)는 베트남 기술의 미래에 대한 자신의 믿음을 공유하며 다음과 같이 단언했습니다. "인공지능의 아름다움은 사람들의 일상생활에 미치는 긍정적인 영향에서 비롯됩니다. 우리는 성공과 포부를 공유하고, 삶을 변화시키는 기술을 개발하는 새로운 방식에 영감을 불어넣기 위해 이 자리에 있습니다."

Zalo의 창립자는 또한 "AI 애플리케이션 개발 측면에서 저는 매우 낙관적이며 베트남 국민은 어느 누구보다 열등하지 않다고 믿습니다. 국내 애플리케이션을 만드는 것뿐만 아니라 이를 전 세계로 수출하고 있습니다."라고 단언했습니다.

출처: https://znews.vn/viet-nam-o-dau-giua-cuoc-dua-ai-khoc-liet-tren-toan-cau-post1563045.html