약사 티엔의 AI가 'ChatGPT보다 낫다'는 놀라운 매개변수

약사 티엔(Pham Minh Huu Tien)은 ChatDST라는 AI를 출시했습니다. 사진: DST .

7월 14일, 티엔 약사는 소셜 미디어에 자사 제품들을 소개하는 영상을 올렸습니다. 그중에서도 AI 챗봇인 ChatDST는 "ChatGPT보다 낫다"는 발표자의 설명으로 주목을 받았습니다.

이 정보는 티엔 씨와 그의 배후에 있는 조직이 화장품 및 엔터테인먼트 업계에 종사했고 기술 분야에 대한 전문 지식이 없었기 때문에 논란을 불러일으켰습니다. 한편, 수천억 달러의 투자와 오랜 세월에 걸쳐 개발된 OpenAI의 ChatGPT는 여전히 여러 측면에서 시장을 선도하는 제품입니다.

티엔 약사의 진술

"Tien의 거의 모든 매개변수는 현재 사용 중인 인공지능을 능가합니다. Tien은 이 매개변수가 시장에서 상당히 높다는 것을 보여줄 것입니다."라고 Pham Minh Huu Tien(Tien 약사)이 출시 행사에서 밝혔습니다.

AI Duoc si Tien, ChatDST, AI chatbot, So sanh ChatGPT, Thong so AI, Cong nghe AI anh 1

약사 티엔이 제공한 ChatDST 챗봇의 매개변수. 사진: Pham Minh Huu Tien.

이 사람이 비교를 위해 사용한 예시는 VRAM 용량이었습니다. Pham Minh Huu Tien 씨는 자신이 구축한 시스템이 ChatGPT보다 두 배 더 많은 메모리(960GB, ChatGPT 대비 480GB)를 가지고 있다고 주장했습니다. Tien 씨는 "게다가 화학 및 화장품 산업의 데이터에 자신의 개성을 반영할 수 있어서 이 분야 종사자들에게 매우 유용할 것입니다."라고 말했습니다.

또한, 프레젠테이션 화면의 매개변수는 이 플랫폼이 초당 2,000개의 토큰을 생성할 수 있음을 보여줍니다. 아키텍처는 6개의 AI 모델을 결합하여 성능을 향상시킵니다. ChatDST는 최대 100만 개의 토큰 컨텍스트를 처리하며 99.95%의 안정적인 운영을 보장합니다.

특히, 소개자는 이 챗봇이 각 세션에 대해 무제한 메모리를 제공한다고 밝혔습니다. 약사 티엔은 이 솔루션이 10월에 출시될 예정이며, 사용자는 20~300달러 의 요금을 지불해야 한다고 발표했습니다. 그러나 출시 행사 영상은 현재 유튜브에서 사라졌습니다.

비정상적인 매개변수

현재 티엔 약사가 발표한 프로젝트는 아직 "문서상으로만" 진행 중이며, 체험판이나 소스 코드 또는 운영에 대한 자세한 보고서가 없습니다. 현재 정보는 기본적인 매개변수만 포함하고 있으며, ChatDST가 시중 최고 수준의 ChatGPT보다 높은 구성을 가지고 있다는 내용만 포함되어 있습니다.

그러나 이 정보는 모호하고, 그 중 많은 부분이 터무니없고 불가능합니다.

정보기술 석사이자 AI 제품 개발자인 NB 씨는 Tri Thuc - ZNews 와의 인터뷰에서 Tien 약사의 진술에 잘못된 정보가 있다고 말했습니다.

AI Duoc si Tien, ChatDST, AI chatbot, So sanh ChatGPT, Thong so AI, Cong nghe AI anh 2

OpenAI의 400억 달러 규모 AI 공장이 미국 텍사스에 건설 중이다. 사진: Data Center Dynamic.

예를 들어, Tien 씨는 ChatDST가 4,030억 개의 "뉴런"을 사용하는 Llama 플랫폼에서 개발되었다고 말했습니다. 실제로 대규모 언어 모델은 "뉴런" 대신 매개변수를 사용하여 데이터 도메인에 대해 설명합니다. 동시에 Llama는 오픈 소스 코드를 공개한 Meta에서 개발되었으며, 매개변수 버전은 4,030억 개가 아닌 4,050억 개만 있었습니다.

반면, Pham Minh Huu Tien이 발표한 것처럼 OpenAI가 480GB 메모리 서버를 사용한다는 증거는 없습니다. Pharmacist Tien이 제시한 매개변수에 따르면 ChatDST는 Nvidia A100 80GB GPU 12개, 총 960GB VRAM으로 구성된 플랫폼에서 실행됩니다. 이러한 그래픽 카드 각각의 시장 가격은 약 7억 VND(약 1,000만 원)이며, 이는 해당 부품에 84억 VND(약 1,000만 원) 을 투자한 것과 같습니다.

한편, The Informatio n의 한 소식통은 OpenAI가 추론을 위해 약 35만 개의 A100 카드를 보유한 데이터 센터를 소유하고 있다고 밝혔습니다. ChatGPT만 해도 29만 개의 GPU를 사용하고 있는데, 이는 Pharmacist Tien이 발표한 구성의 24,167배에 달합니다. 또한, 이 회사는 사용자 수 증가 시 부하를 줄이기 위해 Microsoft Azure 서버를 임대하고 있습니다.

OpenAI는 하루 운영 비용으로 약 10만 달러 ( 26억 베트남 동 )를 지출해야 하는 것으로 추산됩니다. 따라서 이 회사의 4일 운영 비용은 약사 티엔이 ChatDST에서 사용했던 A100 칩 12개 구성 비용보다 더 많습니다.

AI Duoc si Tien, ChatDST, AI chatbot, So sanh ChatGPT, Thong so AI, Cong nghe AI anh 3

Llama 405B는 작업 모델을 수용하기 위해 최소 810GB의 VRAM을 사용합니다. 이미지: HuggingFace.

허깅페이스 에 따르면, 라마 4,050억 개의 매개변수를 저장하려면 최소 810GB의 공간이 필요합니다. 따라서 티엔 씨의 서버는 사용자 채팅 시 계산을 처리할 수 있는 150GB의 여유 공간만 확보합니다. 이 정도의 VRAM 용량이면 1~3명의 사용자가 동시에 채팅하기에 충분합니다. 리소스 소모를 줄이기 위해 모델의 정확도를 낮추더라도, 동시에 3~9개의 계정을 처리하는 사용자 수는 감소합니다.

ChatDST의 초당 2,000개 토큰 처리 속도 또한 업계에서는 "상상할 수 없는" 수준입니다. 현재 ChatGPT는 모델에 따라 초당 50~100개 토큰만 생성하여 시스템에 과부하를 유발합니다. Claude 역시 초당 40~80개 토큰만 처리합니다.

출처: https://znews.vn/thong-so-khong-tuong-tu-ai-hon-chatgpt-cua-duoc-si-tien-post1569417.html