Weniger Parameter, mehr Daten

PaLM 2, Googles neuestes großes Sprachmodell (LLM), das letzte Woche angekündigt wurde, verwendet fast fünfmal so viele Trainingsdaten wie sein Vorgänger aus dem Jahr 2022, wodurch es in die Lage versetzt wird, zu programmieren, Probleme zu lösen und anspruchsvollere Inhalte zu erstellen.

Auf der Entwicklerkonferenz Google I/O stellte der Suchmaschinenriese PaLM 2 vor – ein Sprachlernmodell, das auf 3,6 Billionen Tokens basiert. Diese Tokens sind Wortfolgen – die Bausteine, die im LLM-Training verwendet werden, um das nächste Wort vorherzusagen.

Die vorherige Version von PaLM wurde im Jahr 2022 veröffentlicht und mit 780 Milliarden Token trainiert.

Auf der Google I/O-Veranstaltung der vergangenen Woche stellte Google-CEO Sundar Pichai das neueste große Sprachmodell des Unternehmens vor: PaLM 2.

Obwohl Google die Leistungsfähigkeit von KI bei Such-, E-Mail-, Textverarbeitungs- und Tabellenkalkulationsaufgaben immer wieder demonstriert, gibt das Unternehmen nur ungern die Größe oder Details seiner Trainingsdatensätze preis. Auch OpenAI hält die Details seines neuesten LLM-Trainingsparameters, GPT-4, geheim.

Technologieunternehmen erklären dies mit dem Wettbewerbscharakter ihres Geschäfts. Sowohl Google als auch OpenAI wetteifern darum, Nutzer mit Chatbot-Produkten anstelle traditioneller Suchmaschinen zu gewinnen.

Kompakt, leistungsstark und kostengünstig.

Google gab an, dass PaLM 2 kompakter als seine Vorgänger sei, da es mit 340 Milliarden Parametern trainiert wurde, im Vergleich zu 540 Milliarden Parametern in der vorherigen Version. Dies zeige, dass die Technologie des Unternehmens bei der Bewältigung komplexer Aufgaben immer effizienter werde.

Um dies zu erreichen, verwendet PaLM 2 eine neue Technik namens „erweiterte Rechenoptimierung“, die eine „bessere Gesamtleistung, einschließlich schnellerer Inferenz mit weniger Parametern, und damit eine Reduzierung der Betriebskosten“ ermöglicht.

Googles neuestes KI-Sprachmodell, trainiert in über 100 Sprachen, übernimmt verschiedene Aufgaben für 25 Funktionen und Produkte, darunter den experimentellen Chatbot Bard. PaLM 2 ist in vier Größenvarianten erhältlich: Gecko, Otter, Bison und Unicorn.

Laut öffentlich zugänglichen Dokumenten ist PaLM 2 leistungsfähiger als alle bisherigen Modelle. Facebooks LlaMA, das im Februar eingeführt wurde, wurde mit 1,4 Billionen Token trainiert. OpenAI gab zuletzt die Größe der Trainingsdaten für ChatGPT öffentlich bekannt: Es handelte sich um die GPT-3-Version mit 300 Milliarden Token.

Die rasante Zunahme von KI-Anwendungen hat Kontroversen um die Technologie ausgelöst. Anfang des Jahres trat El Mahdi, ein leitender Wissenschaftler bei Google Research, aus Protest gegen die mangelnde Transparenz des Suchmaschinenriesen zurück.

Diese Woche sagte Sam Altman, CEO von OpenAI, vor dem Unterausschuss für Datenschutz und Technologie des US-Senats im Zusammenhang mit der zunehmenden Verbreitung von KI aus. Der Entwickler von ChatGPT stimmte den Abgeordneten zu, dass neue Regulierungen zur Steuerung von KI erforderlich sind.

(Laut CNBC)

Quelle