Der KI-Experte verließ OpenAI – das Unternehmen, dessen Mitbegründer er war – Anfang des Jahres, um sein eigenes KI-Labor namens Safe Superintelligence Inc. zu gründen.

„Vortraining, wie wir es kennen, wird nicht mehr existieren“, sagte Sutskever auf einer Konferenz zur neuronalen Informationsverarbeitung.

Der Begriff „Vortraining“ bezieht sich auf die frühe Phase der KI-Modellentwicklung, in der ein großes Sprachmodell Muster aus großen Mengen nicht gekennzeichneter Daten lernt, häufig Text aus dem Internet, Büchern und anderen Quellen.

Erschöpfung der Datenressourcen

Sutskever sagte, er glaube zwar, dass die aktuellen Daten die Entwicklung der KI noch beschleunigen könnten, der Branche aber die neuen Ressourcen für die Schulung der Modelle ausgingen.

Dies werde seiner Meinung nach letztendlich zu einer Änderung der Art und Weise führen, wie KI-Modelle heute trainiert werden.

8da2491217a6b424c37773100bec59ff.jpeg
KI-Modelle werden lernen, sich selbst anhand begrenzter Datenmengen zu trainieren. Foto: Yahoo Tech

Dies ist auch bei fossilen Ressourcen der Fall, wenn Ölfelder eine begrenzte Ressource darstellen oder das Internet beispielsweise nur eine begrenzte Menge von Menschen erstellter Inhalte enthält.

„Wir haben den Höhepunkt der Datenmenge erreicht, und das wird es in Zukunft nicht mehr geben“, sagte Sutskever. „Wir müssen mit den verfügbaren Daten arbeiten, mit einer Quelle, die heute das Internet ist.“

Sutskever prognostiziert, dass die Modelle der nächsten Generation „wirklich agentenähnlich“ sein werden. „Agent“ ist ein Schlagwort im KI-Bereich und wird im Allgemeinen als autonomes KI-System verstanden, das Aufgaben ausführt, Entscheidungen trifft und selbstständig mit Software interagiert.

Er sagte, zukünftige KI-Systeme würden nicht nur agentenähnlich sein, sondern auch schlussfolgern können. Im Gegensatz zur heutigen KI, die Muster hauptsächlich auf Grundlage des zuvor Erlernten erkennt, werden zukünftige KI-Systeme Probleme schrittweise lösen können, und zwar auf eine Weise, die dem Denken näher kommt. „Je mehr schlussfolgern, desto unvorhersehbarer wird das System“, sagte Sutskever.

KI kann ihre eigene Trainingsmethode entwickeln

Der Experte verglich die Entwicklung von KI-Systemen auch mit der Evolutionsbiologie und verwies auf Forschungsergebnisse, die den Zusammenhang zwischen Gehirn- und Körpergröße bei Tieren aufzeigen.

Während beispielsweise die meisten Säugetiere einem bestimmten Proportionsmuster folgen, unterscheiden sich die Gehirn- und Körperproportionen des Menschen deutlich.

Und wenn die Evolution irgendwann neue Geschwindigkeiten für das Gehirnwachstum unserer Vorfahren findet, könnte auch die KI neue Skalierungsmethoden finden und die Art und Weise übertreffen, wie Modelle heute trainiert werden.

(Laut TheVerge, Yahoo Tech)

Elon Musk enthüllt die „himmelhohen“ Gehälter von xAI und OpenAI. Er warf OpenAI vor, seinen Mitarbeitern zu viel zu zahlen und bezeichnete dies als wettbewerbswidrig. Das xAI-Startup des Milliardärs zahlt jedoch auch deutlich überdurchschnittliche Gehälter.