Nvidia-dealer zegt dat hij geen AI-chips zal verkopen aan apotheker Tien

De distributeur van Nvidia's speciale GPU-lijnen voor werk in Vietnam bevestigde dat zij de A100-lijn niet op de binnenlandse markt verkopen.

Apotheker Tien bij de lancering van ChatDST. Foto: Apotheker Tien .

Op 14 juli plaatste apotheker Tien een video op sociale media waarin hij een aantal van de producten van het bedrijf introduceerde. Onder hen trok de AI-chatbot ChatDST de aandacht met de uitspraak "beter dan ChatGPT".

Het voorbeeld dat meneer Tien ter vergelijking gebruikte, was de VRAM-capaciteit. Pham Minh Huu Tien (apotheker Tien) pochte dat het systeem van het bouwbedrijf twee keer zoveel geheugen had als ChatGPT (960 GB vergeleken met 480 GB) dankzij het gebruik van 12 Nvidia A100 GPU's. Naast het verstrekken van ongeverifieerde informatie over het product van OpenAI, zorgde ook de herkomst van de batch processorchips voor controverse.

In een gesprek met Tri Thuc - ZNews zei een vertegenwoordiger van LeadTek Vietnam dat het bedrijf geen Nvidia A100-producten op de binnenlandse markt verkoopt. Daarom hebben ze het bovenstaande GPU-model nooit aan apotheker Tien verkocht.

LeadTek is de groothandel en exclusieve distributeur van Nvidia's dedicated grafische kaarten in de Aziatisch -Pacifische markt, inclusief Vietnam. Dit is dan ook de enige partij die het A100-product kan leveren dat apotheker Tien noemde tijdens de ChatDST-lancering.

Server met Nvidia's A100-chip. Foto: Nvidia.

Aan de andere kant zijn AI-chips gevoelige producten, die door de VS in de handelsoorlog zijn opgenomen. Daarom wordt de distributie van dit product nauwlettend gevolgd en is het niet gemakkelijk om te kopen.

Voorheen was de Universiteit voor Informatietechnologie (Ho Chi Minhstad Nationale Universiteit) een van de weinige afdelingen in Vietnam die de A100-kaart bezat. Concreet kocht de school in februari 2024 een DGX A100-computer met acht voorgeïnstalleerde Nvidia A100 GPU's voor 10 miljard VND. Om een ​​superserver te hebben voor wetenschappelijk onderzoek, onderhandelde de Universiteit voor Informatietechnologie negen maanden lang over de levering en export van Nvidia vanuit de VS.

Het is daarom onduidelijk hoe apotheker Tien aan een server met 12 Nvidia A100-kaarten kwam.

De A100 is een oude generatie chip, maar wordt nog steeds veel gebruikt in AI-servers over de hele wereld, voor het trainen van grote taalmodellen en het runnen van chatbots. De nieuwe H100-versie levert aanzienlijk hogere prestaties en is gewild bij wereldwijde big-techbedrijven, waardoor deze vaak uitverkocht is. In Vietnam bezitten alleen grote technologiebedrijven zoals FPT en VNG deze server.

Er is echter geen enkele bron die aantoont dat OpenAI een server met 480 GB geheugen gebruikt, zoals Pham Minh Huu Tien aankondigde. Volgens de parameters van apotheker Tien draait ChatDST op een platform van 12 Nvidia A100 80 GB GPU's, met in totaal 960 GB VRAM. De marktprijs van elk van deze grafische kaarten bedraagt ​​ongeveer 700 miljoen VND, wat overeenkomt met een investering van 8,4 miljard VND voor dit onderdeel, exclusief andere componenten.

Ondertussen meldde een bron van The Information dat OpenAI een datacenter bezit met ongeveer 350.000 A100-kaarten voor inferentie. ChatGPT alleen al gebruikt 290.000 GPU's, 24.167 keer de configuratie die Pharmacist Tien aankondigde. Daarnaast huurt dit bedrijf ook de Azure-server van Microsoft om de belasting te verminderen wanneer het aantal gebruikers toeneemt.

Bron: https://znews.vn/dai-ly-cua-nvidia-noi-khong-ban-chip-ai-cho-duoc-si-tien-post1569649.html