Google, eine Tochtergesellschaft von Alphabet Inc., gab am 4. April neue Details zu den Supercomputern bekannt, die es zum Trainieren seiner eigenen Modelle für künstliche Intelligenz (KI) verwendet, und betonte, dass diese Systeme schneller und energieeffizienter seien als vergleichbare Systeme des konkurrierenden Technologieunternehmens Nvidia Corp.
Google hat einen anwendungsspezifischen integrierten Schaltkreis namens Tensor Processing Unit (TPU) entwickelt. Es handelt sich um die vierte TPU-Generation des Unternehmens. Google nutzt diese Chips für über 90 % seines KI-Trainings, also den Prozess, Daten durch Modelle zu leiten, um sie für Aufgaben wie die Beantwortung von Textanfragen (wie Menschen) oder die Generierung von Bildern nutzbar zu machen.
In einer am selben Tag veröffentlichten wissenschaftlichen Zeitschrift erläuterte Google detailliert, wie das Unternehmen über 4.000 Chips zu einem Supercomputer zusammenschaltete. Dabei verwendete es selbst entwickelte optische Schalter, um die Verbindung der Computer zu erleichtern.
Die Verbesserung dieser Verbindungen ist ein Schlüsselfaktor im Wettbewerb zwischen KI-Supercomputer-Unternehmen, da die mehrsprachigen Faltungsmodelle, die Spitzentechnologien wie Googles Bard oder den Chatbot ChatGPT von OpenAI antreiben, zu groß werden, um auf einen einzigen Chip zu passen. Stattdessen werden diese großen Sprachmodelle auf Tausenden von Chips gespeichert und dann über Wochen oder länger aggregiert, um intelligente Informationsverarbeitungsmodelle zu trainieren.
Googles PaLM, das bislang umfassendste mehrsprachige Modell, wurde 50 Tage lang auf zwei Supercomputern mit 4.000 Chips trainiert.
Google behauptet, dass seine Supercomputer die Neukonfiguration von Verbindungen zwischen Chips schneller und einfacher machen, wodurch Probleme vermieden und die Leistung durch Optimierungen verbessert werden kann. Sie sind 1,7-mal schneller und 1,9-mal energieeffizienter als ein vergleichbares System von Nvidia, das auf dem A100-Chip entwickelt wurde und zeitgleich mit der vierten TPU-Generation auf den Markt kam.
Obwohl Details des Supercomputers erst jetzt bekannt gegeben wurden, ist das hochmoderne System bereits seit 2020 in einem Google-Rechenzentrum in Mayes County im US-Bundesstaat Oklahoma im Einsatz.
Google fügte hinzu, dass das Startup Midjourney den Supercomputer von Google zum Trainieren seines Modells verwendet habe, das auf der Grundlage von Anfragen mit wenigen Wörtern in Textform neue Bilder generiert.
VNA
[Anzeige_2]
Quelle
Kommentar (0)