Är apotekaren Tiens AI verkligen "bättre än ChatGPT"?

Herr Pham Minh Huu Tien tillkännagav att AI-chatboten har bättre parametrar än ChatGPT. Men många av de uppgifter som tillhandahålls är fortfarande vaga och ologiska.

Farmaceuten Tien (Pham Minh Huu Tien) lanserade en AI som heter ChatDST. Foto: DST .

Den 14 juli publicerade apotekaren Tien en video på sociala medier där de presenterade många av företagets produkter. Bland dem uppmärksammades AI-chatboten ChatDST med presentatörens uttalande att den var "bättre än ChatGPT".

Denna information orsakade kontrovers eftersom Tien och organisationen bakom honom arbetade inom kosmetika- och underhållningsindustrin och inte hade någon expertis inom teknik. Samtidigt är OpenAI:s ChatGPT, som har investerats med hundratals miljarder dollar och utvecklats under många år, fortfarande en marknadsledande produkt i många avseenden.

Uttalande från farmaceut Tien

”Nästan alla Tiens parametrar överträffar den artificiella intelligens som ni använder för närvarande. Tien kommer att avslöja för er att den här parametern är ganska högt värd på marknaden”, förklarade Pham Minh Huu Tien (farmaceut Tien) vid lanseringen.

Parametrar för ChatDST-chatboten givna av farmaceuten Tien. Foto: Pham Minh Huu Tien.

Exemplet som personen använde för jämförelse var VRAM-kapaciteten. Pham Minh Huu Tien hävdade att systemet de byggde hade dubbelt så mycket minne som ChatGPT (960 GB jämfört med 480 GB). ”Dessutom har det också din personlighet, laddad i data inom kemi- och kosmetikindustrin, vilket kommer att vara till stor hjälp för personer som arbetar inom detta område”, sa Tien.

Dessutom visar parametrarna på presentationsskärmen att plattformen kan generera 2 000 tokens per sekund, och arkitekturen kombinerar 6 AI-modeller för att öka prestandan. ChatDST förbinder sig till stabil drift under 99,95 % av tiden och bearbetar kontexter på upp till 1 miljon tokens.

I synnerhet sa introduceraren också att denna chatbot har obegränsat minne för varje session. Farmaceuten Tien meddelade att lösningen kommer att lanseras i oktober, användare måste betala för att använda den, och kostar 20-300 USD . Videon från lanseringsevenemanget har dock nu försvunnit från YouTube.

Onormala parametrar

För närvarande är projektet som Pharmacist Tien tillkännagav fortfarande "på papper", utan en testversion eller detaljerade rapporter om källkod eller drift. Den aktuella informationen inkluderar endast grundläggande parametrar, tillsammans med påståendet att ChatDST har en högre konfiguration än ChatGPT, bland de bästa på marknaden.

Men denna information är också vag, mycket av den absurd och omöjlig.

I ett samtal med Tri Thuc - ZNews sa herr NB, magisterexamen i informationsteknologi och AI-produktutvecklare, att det fanns en del felaktig information i apotekaren Tiens uttalande.

OpenAIs AI-fabrik värd 40 miljarder dollar byggs i Texas, USA. Foto: Data Center Dynamic.

Till exempel sade Tien att ChatDST utvecklades på Llama-plattformen med 403 miljarder "neuroner". Faktum är att stora språkmodeller använder parametrar för att tala om datadomäner istället för "neuroner". Samtidigt utvecklades Llama av Meta, som släppte öppen källkod, och hade bara en version med 405 miljarder parametrar, inte en 403 miljarder version.

Å andra sidan finns det ingen källa som visar att OpenAI använder en server med 480 GB minne, vilket Pham Minh Huu Tien tillkännagav. Enligt parametrarna som angetts av Pharmacist Tien körs ChatDST på en plattform med 12 Nvidia A100 80 GB GPU:er, totalt 960 GB VRAM. Marknadspriset för vart och ett av dessa grafikkort är cirka 700 miljoner VND, vilket motsvarar en investering på 8,4 miljarder VND för denna komponent.

Samtidigt uppgav en källa från The Information att OpenAI äger ett datacenter med cirka 350 000 A100-kort för inferens. Enbart ChatGPT använder 290 000 GPU:er, 24 167 gånger den konfiguration som Pharmacist Tien tillkännagav. Dessutom hyr detta företag Microsofts Azure-server för att minska belastningen när antalet användare ökar.

Det uppskattas att OpenAI måste betala cirka 100 000 USD ( 2,6 miljarder VND ) för varje driftdag. Således är driftskostnaden för detta företag under fyra dagar mer än vad det kostade att konfigurera 12 A100-chip som farmaceuten Tien använde på ChatDST.

Llama 405B kräver minst 810 GB VRAM för att hysa den fungerande modellen. Bild: HuggingFace.

Enligt HuggingFace behöver Llama 405 miljarder parametrar minst 810 GB för att lagra. Således har Mr. Tiens server bara 150 GB ledigt utrymme för att servera beräkningar när användare chattar. Denna mängd VRAM räcker för att 1–3 kunder ska kunna chatta samtidigt. Även när man minskar modellens noggrannhet för att minska resursförbrukningen, minskar antalet användare som betjänar 3–9 konton samtidigt.

ChatDSTs bearbetningshastighet på 2 000 tokens/s är också en "ofattbar" parameter i branschen. För närvarande producerar ChatGPT bara 50–100 tokens/s beroende på modell och överbelastar systemet. Claude når också bara 40–80 tokens/s.

Källa: https://znews.vn/ai-cua-duoc-si-tien-co-thuc-su-hon-chatgpt-post1569417.html