Wenige Parameter, viele Daten

PaLM 2, Googles neuestes großes Sprachmodell (LLM), das letzte Woche angekündigt wurde, verwendet fast fünfmal so viele Trainingsdaten wie sein Vorgänger aus dem Jahr 2022, wodurch es fortgeschrittenere Programmier-, Mathematik- und Inhaltserstellungsaufgaben bewältigen kann.

Auf der Google I/O Developers Conference stellte der Suchmaschinenriese PaLM 2 vor – ein Sprachmodell, das mit 3,6 Billionen Tokens trainiert wurde. Diese Tokens sind Wortfolgen – die Bausteine, mit denen das Sprachmodell trainiert wird, um das nächste Wort vorherzusagen.

Die vorherige Version von PaLM wurde im Jahr 2022 veröffentlicht und mit 780 Milliarden Token geprägt.

Google-CEO Sundar Pichai stellte auf der Google I/O-Veranstaltung der vergangenen Woche das neueste große Sprachmodell des Unternehmens vor: PaLM 2.

Während Google seine KI-Fähigkeiten in den Bereichen Suche, E-Mail, Textverarbeitung und Tabellenkalkulation immer wieder hervorhebt, hält sich das Unternehmen mit Angaben zum Umfang und den Details seiner Trainingsdatensätze bedeckt. Auch OpenAI hat die Details seiner neuesten LLM-Trainingsspezifikation, GPT-4, geheim gehalten.

Technologieunternehmen führen dies auf den Wettbewerbscharakter ihrer Geschäftsfelder zurück. Sowohl Google als auch OpenAI wetteifern darum, Nutzer mit Chatbot-Produkten anstelle traditioneller Suchmaschinen zu gewinnen.

Kompakt, leistungsstark, kostengünstig

Google gibt an, dass PaLM 2 kleiner als seine Vorgänger ist und mit 340 Milliarden Parametern trainiert wurde, im Vergleich zu 540 Milliarden Parametern in der vorherigen Version. Dies zeigt, dass die Technologie des Unternehmens bei der Bewältigung komplexer Aufgaben immer effizienter wird.

Um dies zu erreichen, verwendet PaLM 2 eine neue Technik namens „erweiterte Rechenoptimierung“, die eine „bessere Gesamtleistung, einschließlich schnellerer Inferenz mit weniger Parametern, wodurch der Overhead reduziert wird“, ermöglicht.

Googles neuestes Sprach-KI-Modell, trainiert in über 100 Sprachen, übernimmt vielfältige Aufgaben für 25 Funktionen und Produkte, darunter den experimentellen Chatbot Bard. PaLM 2 ist in vier Größenvarianten erhältlich: Gecko, Otter, Bison und Unicorn.

Laut öffentlicher Dokumentation ist PaLM 2 leistungsfähiger als alle bisherigen Modelle. Facebooks LlaMA, das im Februar veröffentlicht wurde, wurde mit 1,4 Billionen Token trainiert. OpenAI gab zuletzt die Größe der Trainingsdaten für ChatGPT, eine Version von GPT-3, mit 300 Milliarden Token bekannt.

Die explosionsartige Zunahme von KI-Anwendungen hat Kontroversen um die Technologie ausgelöst. Anfang des Jahres trat El Mahdi El Mhamdi, ein leitender Wissenschaftler bei Google Research, aus Protest gegen die mangelnde Transparenz des Suchmaschinenriesen zurück.

Diese Woche sagte OpenAI-CEO Sam Altman auch vor dem Unterausschuss für Datenschutz und Technologie des US-Senats im Zusammenhang mit der zunehmenden Popularität von KI aus. Der „Vater“ von ChatGPT stimmte den Gesetzgebern zu, dass neue Vorschriften zur Regulierung von KI erforderlich seien.

(Laut CNBC)

Quelle