PaLM 2, Googles neuestes großes Sprachmodell (LLM), das letzte Woche angekündigt wurde, verwendet fast fünfmal so viele Trainingsdaten wie sein Vorgänger aus dem Jahr 2022 und ermöglicht damit fortgeschrittenere Programmierung, Mathematik und Inhaltserstellung.
Auf der Google I/O Developer Conference stellte der Suchmaschinenriese PaLM 2 vor – ein Sprachmodell, das mit 3,6 Billionen Token trainiert wurde. Diese Token sind Wortfolgen – die Bausteine, mit denen LLM trainiert wird, das nächste Wort vorherzusagen.
Die vorherige Version von PaLM wurde 2022 veröffentlicht und mit 780 Milliarden Token geprägt.
Google wirbt zwar mit seinen KI-Kompetenzen in den Bereichen Suche, E-Mail, Textverarbeitung und Tabellenkalkulation, hält sich aber mit der Angabe von Größe und Details seiner Trainingsdatensätze zurück. Auch OpenAI hält die Details seines neuesten LLM-Trainingsalgorithmus GPT-4 geheim.
Technologieunternehmen führen den Grund auf den Wettbewerbsdruck in ihren Geschäftsbereichen zurück. Sowohl Google als auch OpenAI liefern sich ein Wettrennen um die Nutzergewinnung mit Chatbots statt mit traditionellen Suchmaschinen.
Kompakt, leistungsstark, kostengünstig
Laut Google ist PaLM 2 kleiner als seine Vorgänger und trainiert mit 340 Milliarden Parametern im Vergleich zu 540 Milliarden bei der Vorgängerversion. Dies zeigt, dass die Technologie des Unternehmens bei der Ausführung komplexer Aufgaben immer effizienter wird.
Um dies zu erreichen, verwendet PaLM 2 eine neue Technik namens „Erweiterte Computeroptimierung“, die „eine bessere Gesamtleistung bietet, einschließlich schnellerer Inferenz mit weniger Parametern, die den Overhead reduzieren.“
Googles neuestes Sprach-KI-Modell, das in über 100 Sprachen trainiert wurde, führt verschiedene Aufgaben für 25 Funktionen und Produkte aus, darunter auch den experimentellen Chatbot Bard. PaLM 2 ist in vier Größenversionen erhältlich: Gecko, Otter, Bison und Einhorn.
Laut öffentlicher Dokumentation ist PaLM 2 leistungsfähiger als jedes bestehende Modell. Facebooks im Februar veröffentlichtes LlaMA wurde mit 1,4 Billionen Token trainiert. OpenAI hat zuletzt die Trainingsdatengröße für ChatGPT, eine Version von GPT-3, mit 300 Milliarden Token öffentlich bekannt gegeben.
Die explosionsartige Zunahme von KI-Anwendungen hat zu Kontroversen um die Technologie geführt. Anfang des Jahres trat El Mahdi El Mhamdi, leitender Wissenschaftler bei Google Research, aus Protest gegen die mangelnde Transparenz des Suchmaschinenriesen zurück.
Diese Woche sagte OpenAI-CEO Sam Altman auch vor dem Unterausschuss für Datenschutz und Technologie des US-Justizausschusses im Zusammenhang mit der zunehmenden Verbreitung von KI aus. Dabei stimmte der „Vater“ von ChatGPT den Gesetzgebern zu, dass neue Vorschriften zur Regulierung von KI erforderlich seien.
(Laut CNBC)
[Anzeige_2]
Quelle
Kommentar (0)