Verbinding maken met AI-netwerken: 5 dingen die je moet weten

GPU's zijn het brein van AI-computers.

Simpel gezegd fungeert de grafische processor (GPU) als het brein van een AI-computer.

Zoals u wellicht al weet, is de centrale verwerkingseenheid (CPU) het brein van een computer. Het voordeel van een GPU is dat het een gespecialiseerde CPU is voor het uitvoeren van complexe berekeningen. De snelste manier om deze berekeningen uit te voeren, is door groepen GPU's samen een probleem te laten oplossen. Desondanks kan het trainen van een AI-model nog steeds weken of zelfs maanden duren. Zodra het model is gebouwd, wordt het in het front-end computersysteem geplaatst en kunnen gebruikers vragen stellen aan het AI-model; dit proces wordt inferentie genoemd.

Een AI-computer bevat meerdere GPU's.

De beste architectuur voor het oplossen van AI-problemen is het gebruik van een groep GPU's in een rack, aangesloten op een switch bovenop het rack. Meerdere GPU-racks kunnen bovendien worden verbonden in een hiërarchisch netwerkconnectiviteitssysteem. Naarmate de op te lossen problemen complexer worden, nemen ook de GPU-vereisten toe, waarbij sommige projecten mogelijk clusters van duizenden GPU's nodig hebben.

Elk AI-cluster is een klein netwerk.

Bij het bouwen van een AI-cluster is het nodig om een ​​klein computernetwerk op te zetten om de GPU's met elkaar te verbinden, zodat ze efficiënt kunnen samenwerken en gegevens kunnen delen.

Een AI-cluster

Het bovenstaande diagram illustreert een AI-cluster, waarbij de cirkels onderaan workflows voorstellen die op GPU's draaien. GPU's zijn verbonden met switches in het bovenste rack (ToR). Deze ToR-switches zijn ook verbonden met de switches in het netwerkbackbone, zoals weergegeven in het diagram hierboven. Dit toont de duidelijke netwerkhiërarchie die nodig is wanneer meerdere GPU's betrokken zijn.

Dit vind je misschien ook leuk

Bespaar $2000 op een MacBook Pro M5 Max met ChatGPT Pro: Wanneer AI een prijsjager wordt.Dankzij het ChatGPT Pro-pakket van $200 ontdekte een gebruiker een prijsvoordeel voor de MacBook Pro M5 Max op e-commerceplatforms, waardoor hij meer dan 50 miljoen VND bespaarde.

Tyfoon nummer 1 nadert de Golf van Tonkin; bereid u voor op evacuatie en verbied maritieme activiteiten indien nodig.(CLO) Het Nationaal Stuurcomité voor Civiele Bescherming heeft een richtlijn uitgevaardigd waarin de provincies in de noordoostelijke regio en Thanh Hoa worden verzocht om dringend responsplannen voor tyfoon Mayak (tyfoon nr. 1) uit te voeren. De focus ligt op het waarborgen van de veiligheid van schepen en boten, het evacueren van mensen in gevaarlijke gebieden en het proactief voorkomen van hevige regenval, plotselinge overstromingen en aardverschuivingen na de tyfoon.

Cristiano Ronaldo scoorde het doelpunt waarmee Portugal een achterstand omboog en Kroatië versloeg, waardoor ze doorstroomden naar de achtste finales.Op de ochtend van 3 juli scoorde Ronaldo een doelpunt in de dramatische 2-1 overwinning van Portugal op Kroatië in de 1/32e finale van het WK 2026.

Netwerken vormen een knelpunt bij de implementatie van AI.
Afgelopen najaar, tijdens de wereldwijde top van het Open Computer Project (OCP), waar deelnemers de volgende generatie AI-infrastructuur ontwikkelden, wees afgevaardigde Loi Nguyen van Marvell Technology op een belangrijk probleem: "netwerken vormen het nieuwe knelpunt."

Technisch gezien kan een hoge pakketlatentie of pakketverlies als gevolg van netwerkcongestie ertoe leiden dat pakketten opnieuw verzonden moeten worden, waardoor de voltooiingstijd van taken (JCT) aanzienlijk toeneemt. Hierdoor gaan GPU's ter waarde van miljoenen of zelfs tientallen miljoenen dollars van bedrijven verloren door inefficiënte AI-systemen, wat bedrijven schaadt op het gebied van omzet en time-to-market.

Testen en meten zijn cruciale voorwaarden voor het succesvol functioneren van AI-netwerken.

Om een ​​AI-cluster efficiënt te laten werken, moeten GPU's hun volledige capaciteit kunnen benutten om de trainingstijd te verkorten en leermodellen te implementeren om het rendement op de investering te maximaliseren. Daarom is het testen en evalueren van de prestaties van het AI-cluster noodzakelijk (Figuur 2). Deze taak is echter niet eenvoudig, aangezien de systeemarchitectuur veel instellingen en relaties tussen de GPU en de netwerkstructuur omvat die elkaar moeten aanvullen om het probleem op te lossen.

Het benchmarkplatform voor AI-datacenters en hoe het AI-datacenterclusters benchmarkt.

Dit leidt tot veel moeilijkheden en uitdagingen bij het meten van AI-netwerken:

De uitdaging bij het repliceren van het volledige productienetwerk in het laboratorium ligt in beperkingen op het gebied van kosten, apparatuur, een tekort aan hooggekwalificeerde AI-netwerkengineers, ruimte, stroomvoorziening en temperatuur.

- Testen op locatie in een productiesysteem vermindert de beschikbare verwerkingscapaciteit van het productiesysteem zelf.

- Moeilijkheden bij het nauwkeurig reproduceren van problemen vanwege verschillen in de omvang en reikwijdte van de problemen.

Verenigde Staten - Vietnam: Mis het niet

Het ministerie van Buitenlandse Zaken heeft een kopie ontvangen van de geloofsbrieven van de Amerikaanse ambassadeur in Vietnam.Op de middag van 2 juli ontving de heer Le Cong Dung, directeur van de afdeling Staatsprotocol en Buitenlandse Tolken, op het hoofdkantoor van het Ministerie van Buitenlandse Zaken een exemplaar van de geloofsbrieven van mevrouw Jennifer Wicks, ambassadeur van de Verenigde Staten van Amerika in Vietnam.

Ambassadeur Nguyen Quoc Dung bezoekt en werkt in Minnesota, VS.Van 28 tot en met 30 juni bracht de Vietnamese ambassadeur in de Verenigde Staten, Nguyen Quoc Dung, een bezoek aan Minnesota en werkte daar ook.

Vietnam moedigt Amerikaanse bedrijven aan om hun investeringen in hoogwaardige technologie uit te breiden.Op de ochtend van 26 juni ontving vicepremier Ho Quoc Dung de heer Jeff Place, Supply Chain Director van Coherent Group (VS), in het regeringsgebouw. ​​Tijdens de bijeenkomst bevestigde de vicepremier dat Vietnam Amerikaanse bedrijven aanmoedigt om hun investeringen uit te breiden, met name in de hightech-, innovatie- en halfgeleiderindustrie.

- De complexiteit van de manier waarop GPU's gezamenlijk verbinding maken.

Om deze uitdagingen aan te pakken, kunnen bedrijven een subset van voorgestelde configuraties in een laboratoriumomgeving benchmarken om belangrijke parameters zoals JCT (job completion time), de bandbreedte die het AI-team kan bereiken, te meten en te vergelijken met het gebruik van het switchingplatform en de cache. Deze benchmark helpt bij het vinden van de juiste balans tussen GPU-/processingbelasting en netwerkontwerp/installatie. Zodra de resultaten bevredigend zijn, kunnen de computerarchitecten en netwerkengineers deze configuraties in productie nemen en de nieuwe resultaten meten.

Bedrijfsonderzoekslaboratoria, onderzoeksinstituten en universiteiten werken aan de analyse van elk aspect van het bouwen en beheren van effectieve AI-netwerken om de uitdagingen van het werken met grote netwerken aan te pakken, vooral omdat best practices voortdurend veranderen. Deze herhaalbare, collaboratieve aanpak is de enige manier voor bedrijven om herhaalbare metingen uit te voeren en snel 'als-dan'-scenario's te testen – essentieel voor het optimaliseren van AI-gestuurde netwerken.

(Bron: Keysight Technologies)

Bron: https://vietnamnet.vn/ket-noi-mang-ai-5-dieu-can-biet-2321288.html