image001.jpg

Die GPU ist das Gehirn des KI-Computers.

Vereinfacht ausgedrückt fungiert die Grafikprozessoreinheit (GPU) als das Gehirn des KI-Computers.

Wie Sie vielleicht wissen, ist die zentrale Verarbeitungseinheit (CPU) das Gehirn des Computers. Der Vorteil einer GPU liegt darin, dass sie eine spezialisierte CPU ist, die komplexe Berechnungen durchführen kann. Am schnellsten gelingt dies, indem mehrere GPUs dasselbe Problem lösen. Das Training eines KI-Modells kann jedoch immer noch Wochen oder sogar Monate dauern. Sobald es erstellt ist, wird es in ein Frontend-Computersystem integriert, und Benutzer können dem KI-Modell Fragen stellen – ein Prozess, der als Inferenz bezeichnet wird.

Ein KI-Computer mit mehreren GPUs

Die optimale Architektur für KI-Probleme besteht in der Verwendung eines GPU-Clusters in einem Rack, der über einen Switch mit diesem verbunden ist. Mehrere GPU-Racks lassen sich hierarchisch miteinander verbinden. Mit zunehmender Komplexität des Problems steigen die Anforderungen an die GPUs, und manche Projekte benötigen Cluster mit Tausenden von GPUs.

Jeder KI-Cluster ist ein kleines Netzwerk

Beim Aufbau eines KI-Clusters ist es notwendig, ein kleines Computernetzwerk einzurichten, um die GPUs zu verbinden und ihnen eine effiziente Zusammenarbeit und den effizienten Datenaustausch zu ermöglichen.

image002.jpg
Ein KI-Cluster

Die obige Abbildung zeigt einen KI-Cluster. Die Kreise unten stellen die auf GPUs ausgeführten Workflows dar. Die GPUs sind mit den Top-of-Rack-Switches (ToR-Switches) verbunden. Diese ToR-Switches wiederum sind mit den oberhalb des Diagramms dargestellten Backbone-Switches des Netzwerks verbunden. Dies verdeutlicht die klare Netzwerkstruktur, die bei der Verwendung mehrerer GPUs erforderlich ist.

Netzwerke stellen einen Engpass bei der KI-Implementierung dar.
Im vergangenen Herbst, auf dem Open Computer Project (OCP) Global Summit, wo die Delegierten an der Entwicklung der nächsten Generation von KI-Infrastruktur arbeiteten, brachte Loi Nguyen von Marvell Technology als Delegierter einen wichtigen Punkt zur Sprache: „Netzwerke sind der neue Flaschenhals.“

Technisch gesehen können hohe Paketlatenz oder Paketverluste aufgrund von Netzwerküberlastung dazu führen, dass Pakete erneut gesendet werden müssen, was die Jobabwicklungszeit (JCT) erheblich verlängert. Infolgedessen verschwenden Unternehmen aufgrund ineffizienter KI-Systeme GPUs im Wert von Millionen oder gar Dutzenden Millionen Dollar, was zu Umsatzeinbußen und einer verkürzten Markteinführungszeit führt.

Messung ist eine Schlüsselvoraussetzung für den erfolgreichen Betrieb von KI-Netzwerken.

Für den effektiven Betrieb eines KI-Clusters müssen GPUs optimal ausgelastet werden, um die Trainingszeit zu verkürzen und das Lernmodell schnellstmöglich anzuwenden, um den Return on Investment zu maximieren. Daher ist es notwendig, die Leistung des KI-Clusters zu testen und zu bewerten (Abbildung 2). Diese Aufgabe ist jedoch komplex, da die Systemarchitektur zahlreiche Einstellungen und Wechselwirkungen zwischen GPUs und Netzwerkstrukturen erfordert, die sich gegenseitig ergänzen müssen, um das Problem zu lösen.

image005.jpg
Testplattform für KI-Rechenzentren und wie sie KI-Rechenzentrumscluster testet

Dies stellt die Messung von KI-Netzwerken vor viele Herausforderungen:

- Schwierigkeiten bei der Reproduktion ganzer Produktionsnetzwerke im Labor aufgrund von Kostenbeschränkungen, Ausrüstungsmangel, Mangel an qualifizierten Netzwerk-KI-Ingenieuren, Platzmangel, Strommangel und Temperaturbeschränkungen.

- Messungen am Produktionssystem verringern die verfügbare Verarbeitungskapazität des Produktionssystems selbst.

- Schwierigkeiten bei der genauen Reproduktion der Probleme aufgrund von Unterschieden im Umfang und der Tragweite der Probleme.

- Die Komplexität der kollektiven Vernetzung der GPUs.

Um diese Herausforderungen zu bewältigen, können Unternehmen eine Auswahl der empfohlenen Konfigurationen in einer Laborumgebung testen und wichtige Kennzahlen wie die Job-Abschlusszeit (JCT) und die vom KI-Team erzielbare Bandbreite messen sowie diese mit der Auslastung der Switching-Plattform und des Caches vergleichen. Diese Benchmarks helfen, das optimale Verhältnis zwischen GPU-/Verarbeitungslast und Netzwerkdesign/-konfiguration zu finden. Sind die Ergebnisse zufriedenstellend, können die Systemarchitekten und Netzwerktechniker diese Konfigurationen in der Produktion einsetzen und neue Ergebnisse messen.

Unternehmensforschungslabore, akademische Einrichtungen und Universitäten analysieren gemeinsam alle Aspekte des Aufbaus und Betriebs effektiver KI-Netzwerke, um die Herausforderungen der Arbeit mit großen Netzwerken zu bewältigen, insbesondere angesichts der sich stetig weiterentwickelnden Best Practices. Dieser kollaborative, reproduzierbare Ansatz ist die einzige Möglichkeit für Unternehmen, wiederholbare Messungen durchzuführen und schnell „Was-wäre-wenn“-Szenarien zu testen, die die Grundlage für die Optimierung von Netzwerken für KI bilden.

(Quelle: Keysight Technologies)