이 제품은 베트남 과학 및 기술 커뮤니티에서 금세 화제를 모았습니다.

베트남 문제를 해결하기 위해 어려운 길을 선택하세요

2022년 말, ChatGPT는 "빅뱅"을 일으키며 기술 분야의 국가 및 거대 기업들 사이에서 인공 AI 정복 경쟁을 시작했습니다. 당시 베트남 기술 업계는 해외 제품에 대한 의존도를 줄이고 기술 자립을 실현하기 위해 베트남 제품을 개발하고자 했습니다. 그러나 VinBigdata처럼 모든 기업이 그러한 열망을 실현할 능력과 의지를 가지고 있는 것은 아닙니다.

"생성 AI는 어려운 문제입니다. OpenAI나 구글 같은 대기업들도 우리가 보는 것과 같은 제품을 만들기 위해 연구에 많은 자원과 시간을 투자해야 합니다. 이러한 제품들은 매우 훌륭하지만, 사실 과학자들은 아직 그 작동 메커니즘을 완전히 이해하지 못하고 있습니다. 오류가 발생할 경우, 그리고 어떤 오류가 발생할지 예측할 수 있는 사람은 거의 없습니다. 1년도 채 되지 않는 짧은 기간 안에 베트남 사람들을 위한 ChatGPT와 유사한 제품을 개발하는 것은 많은 어려움이 따릅니다. 하지만 저희는 "위험"을 감수하기로 했습니다. 만약 베트남 사람들이 ChatGPT의 베트남 버전을 만들지 않는다면 누가 만들겠습니까?" - VinBigdata 과학 책임자인 부 하 반 교수

실제로 자체적으로 대규모 언어 모델을 처음부터 구축하는 기업은 극소수입니다. 예를 들어, OpenAI의 GPT 3는 1,750억 개의 매개변수를 가지고 있으며 45테라바이트 규모의 데이터세트를 기반으로 학습되었으며, 비용은 460만 달러였습니다. 계산에 따르면 GPT 4 개발 비용은 최대 1억 달러에 달할 수 있습니다. VinBigdata의 제품 책임자인 응웬 킴 안 박사는 "이렇게 엄청난 규모이기 때문에 이 기술에 투자할 여력이 있는 기업을 찾기가 매우 어렵습니다."라고 말했습니다.

그림 1.jpg

베트남 기업들이 최적의 비용과 인프라를 갖춘 차세대 AI 기술을 활용할 수 있도록, VinBigdata는 완전히 다른 방향을 선택했습니다. 바로 16억 개의 매개변수만 사용하면서도 수십억 개의 매개변수를 가진 대규모 언어 모델과 동등한 성능을 갖춘 언어 모델을 구축하는 것입니다. 응웬 킴 안 박사는 "VinBigdata가 직접 개발한 아키텍처를 통해 언어 모델 학습 프로세스를 최적화하고 가속화하고, 인프라 비용(학습 비용 및 사용 비용 포함)을 절감하면서도 모델의 품질을 유지할 수 있음을 보여줍니다."라고 덧붙였습니다.

대규모 언어 모델 크기 문제를 해결한 후, ViGPT를 "구상"하는 과정에서 외국 모델을 연구한 후 VinBigdata 팀은 또 다른 과제인 통계적 확률 모델의 본질적인 특성에서 비롯된 "환상"을 깨달았습니다.

따라서 세계 에서 가장 큰 언어 모델들은 종종 영어 데이터 소스로 학습됩니다. 따라서 이 모델은 베트남 사람들의 맥락과 문화를 제대로 이해하고 정확하게 대응하지 못합니다. 이는 대규모 언어 모델이 잘못된 답변을 "조작"하는 환각 현상을 유발합니다.

그림 3.jpg

최단 시간 내에 최적의 솔루션을 찾기 위해 VinBigdata의 자연어 처리(NLP) 팀은 소규모 그룹으로 나뉘어 다양한 아이디어를 분석하고 논의하여 가장 적합한 최종 방향을 찾았습니다.

"마지막으로, 우리는 대부분의 현재 대규모 언어 모델과는 다른 아키텍처를 개발하고, 600GB의 미세 조정된 베트남어 데이터 세트에 대한 교육을 실시하여 베트남 사람의 맥락을 이해하고 그에 따라 답변을 제공할 수 있는 '지능형 가상 비서'를 만들기로 결정했습니다."라고 응웬 킴 안 박사는 덧붙였습니다.

베트남 기술 생태계에 대한 열망

베트남어 능력 평가 기준(VMLU)의 평가 결과에 따르면 ViGPT는 평균 42.24%의 점수를 기록하여 ChatGPT(48.54%)에 이어 두 번째로 높은 점수를 받았습니다. 이러한 결과를 통해 ViGPT는 베트남의 특정 주제에 대한 정보를 빠르게 검색하고 질문에 답변할 수 있습니다.

가상 비서의 기능 외에도, 개발팀은 ViGPT를 친숙하고 일상적인 제품에 통합하여 베트남 사람들의 삶에 변화를 가져오고자 합니다. 이것이 바로 VinBigdata 팀이 ViGPT를 적용하는 언어 및 음성 제품 생태계를 구축하는 원동력입니다. "Vi" 생태계에는 ViChat, ViVoice, ViVi Virtual Assistant가 포함됩니다. 이러한 제품들은 자동차 산업, 금융, 보험, 운송 등 다양한 산업 분야에서 활용될 수 있습니다.

"기술, 특히 AI를 활용할 때, 우리는 단순히 보기 어려운 흥미롭고 복잡한 시스템을 정복하는 데 그치지 않습니다. AI가 삶의 변화를 만들어내는 직접적인 원동력이 되는, 실체적이고 적용 가능성이 높은 제품을 만들고 싶습니다."라고 VinBigdata 제품 담당 이사는 단언했습니다.

이미지 4.jpg

따라서 ViGPT의 성공적인 개발은 "순수 베트남" 기술과 데이터를 수백만 베트남 국민의 삶에 활용하기 위한 여정의 첫걸음일 뿐입니다. VinBigdata 관계자는 이 사업부의 목표는 다양한 규모와 산업의 조직과 기업에 탁월한 솔루션을 제공하기 위해 ViGPT를 VinBase 2.0 다중 인지 인공지능 플랫폼에 통합하는 것이라고 밝혔습니다.

ViGPT에 앞서 언어 및 음성 처리 기술 분야인 VinBigdata의 전문가와 엔지니어 팀은 최초의 포괄적인 베트남어 가상 비서인 ViVi를 출시하여 주목을 끌었습니다( VinFast 전기 자동차, Vinhomes Resident 애플리케이션 및 Vinhomes Online 전자 상거래 플랫폼에 적용 및 배포). 동시에 음성 생체 인식이나 음성 복제와 같은 세계에서 가장 진보된 기술을 완벽하게 습득했습니다.

이러한 모든 기술은 3,500테라바이트 규모의 데이터베이스를 기반으로 개발되었으며, 주로 베트남 특화 데이터에 중점을 두고 VinBigdata에서 수집, 분석 및 정제되었습니다. 궁극적인 목표는 베트남 데이터와 지식 시스템을 활용하여 세계 기술을 베트남 생활에 접목하는 것입니다.

ViGPT는 VinBigdata가 개발한 베트남어 대규모 언어 모델(LLM)을 기반으로 최종 사용자를 위한 최초의 "베트남어 버전 ChatGPT"입니다. ViGPT는 뛰어난 기능을 갖추고 있으며, 콘텐츠 제작, 정보 검색, 베트남에서 흔히 발생하는 일반적인 질문에 대한 답변 등 베트남 사용자의 요구에 가장 적합하도록 설계되었습니다. vigpt.vinbigdata.com에서 ViGPT를 등록하고 사용해 보세요.

탄하