Der KI-Experte verließ OpenAI, das von ihm mitgegründete Unternehmen, Anfang des Jahres, um sein eigenes KI-Labor namens Safe Superintelligence Inc. zu gründen.

„Vortraining, wie wir es kennen, wird es nicht mehr geben“, sagte Sutskever auf einer Konferenz zur neuronalen Informationsverarbeitung.

Der Begriff „Vortraining“ bezieht sich auf die frühe Phase der KI-Modellentwicklung, in der ein großes Sprachmodell Muster aus großen Mengen nicht gekennzeichneter Daten lernt, häufig Text aus dem Internet, Büchern und anderen Quellen.

Erschöpfung der Datenressourcen

Sutskever sagte, er glaube zwar, dass die aktuellen Daten die KI-Entwicklung noch beschleunigen könnten, der Branche aber die neuen Ressourcen zum Trainieren der Modelle ausgingen.

Dies werde seiner Meinung nach letztendlich zu einer Veränderung der Art und Weise führen, wie KI-Modelle heute trainiert werden.

8da2491217a6b424c37773100bec59ff.jpeg
KI-Modelle werden herausfinden, wie sie sich selbst anhand begrenzter Datenmengen trainieren können. Foto: Yahoo Tech

Dies ist auch bei fossilen Ressourcen der Fall, wenn Ölfelder eine begrenzte Ressource darstellen oder das Internet beispielsweise nur eine begrenzte Menge von Menschen erstellter Inhalte enthält.

„Wir haben den Höhepunkt der Datenmenge erreicht, und das wird es in Zukunft nicht mehr geben“, sagte Sutskever. „Wir müssen mit den verfügbaren Daten arbeiten, mit einer aktuellen Internetquelle.“

Sutskever prognostiziert, dass die Modelle der nächsten Generation „wirklich agentenähnlich“ sein werden. „Agent“ ist ein gängiger Begriff im Bereich der KI und wird im Allgemeinen als autonomes KI-System verstanden, das Aufgaben ausführt, Entscheidungen trifft und selbstständig mit Software interagiert.

Er sagte, zukünftige KI-Systeme würden nicht nur „agentenähnlich“ sein, sondern auch schlussfolgern können. Im Gegensatz zur heutigen KI, die vor allem Muster auf Grundlage des zuvor Erlernten erkennt, könnten künftige KI-Systeme Probleme schrittweise lösen, und zwar auf eine Weise, die dem Denken näher kommt. „Je mehr schlussfolgern, desto weniger vorhersehbar wird das System“, sagte Sutskever.

KI kann ihre eigene Trainingsmethode entwickeln

Der Experte verglich die Entwicklung von KI-Systemen auch mit der Evolutionsbiologie und verwies auf Forschungsergebnisse, die den Zusammenhang zwischen Gehirn- und Körpergröße bei Tieren aufzeigen.

Während beispielsweise die meisten Säugetiere einem bestimmten Proportionsmuster folgen, unterscheiden sich die Gehirn- und Körperproportionen des Menschen deutlich.

Und irgendwann, wenn die Evolution neue Geschwindigkeiten für das Gehirnwachstum unserer Vorfahren findet, könnte auch die KI neue Skalierungsmethoden finden, die über die derzeitige Art des Modelltrainings hinausgehen.

(Laut TheVerge, Yahoo Tech)

Elon Musk enthüllte die „himmelhohen“ Gehälter von xAI und OpenAI und warf OpenAI vor, seinen Mitarbeitern zu viel zu zahlen und bezeichnete dies als wettbewerbsschädigend. Doch auch das Startup des Milliardärs, xAI, zahlt deutlich überdurchschnittlich.