Der KI-Experte verließ OpenAI – das Unternehmen, dessen Mitbegründer er war – Anfang des Jahres, um sein eigenes KI-Labor namens Safe Superintelligence Inc. zu gründen.

„Vortraining, wie wir es kennen, wird nicht mehr existieren“, sagte Sutskever auf einer Konferenz zur neuronalen Informationsverarbeitung.

Der Begriff „Vortraining“ bezieht sich auf die frühe Phase der KI-Modellentwicklung, in der ein großes Sprachmodell Muster aus großen Mengen nicht gekennzeichneter Daten lernt, häufig Text aus dem Internet, Büchern und anderen Quellen.

Erschöpfung der Datenressourcen

Sutskever sagte, er glaube zwar, dass die aktuellen Daten die Entwicklung der KI noch beschleunigen könnten, der Branche aber die neuen Ressourcen für die Schulung der Modelle ausgingen.

Dies werde seiner Meinung nach letztendlich zu einer Änderung der Art und Weise führen, wie KI-Modelle heute trainiert werden.

8da2491217a6b424c37773100bec59ff.jpeg
KI-Modelle werden herausfinden, wie sie sich selbst auf der Grundlage begrenzter Datenmengen trainieren können. Foto: Yahoo Tech

Dies ist auch bei fossilen Ressourcen der Fall, wenn Ölfelder eine begrenzte Ressource darstellen oder wenn das Internet beispielsweise nur eine begrenzte Menge von Menschen erstellter Inhalte enthält.

„Wir haben den Datenhöchststand erreicht und davon wird es in Zukunft keinen weiteren geben“, sagte Sutskever. „Wir müssen mit vorhandenen Daten arbeiten, mit einer aktuellen Internetquelle.“

Sutskever prognostiziert, dass die Modelle der nächsten Generation „wirklich agentenbasiert“ sein werden. „Agent“ ist ein beliebtes Schlagwort im Bereich der KI. Darunter wird oft ein KI-System verstanden, das automatisch Aufgaben ausführt, Entscheidungen trifft und selbstständig mit Software interagiert.

Er sagte, dass zukünftige KI-Systeme nicht nur „agentenähnlich“ sein, sondern auch fähig sein werden, logisches Denken zu entwickeln. Im Gegensatz zur aktuellen KI, die in erster Linie Muster auf Grundlage dessen erkennt, was das Modell zuvor gelernt hat, werden zukünftige KI-Systeme in der Lage sein, Probleme Schritt für Schritt auf eine Weise zu lösen, die dem Denken sehr ähnlich ist. „Je mehr Schlussfolgerungen es gibt, desto weniger vorhersehbar wird das System“, erklärte Sutskever.

KI kann ihre eigene Trainingsmethode entwickeln

Der Experte verglich die Entwicklung von KI-Systemen auch mit der Evolutionsbiologie und verwies auf Forschungsergebnisse, die den Zusammenhang zwischen Gehirn- und Körpergröße bei Tieren aufzeigen.

Während beispielsweise die meisten Säugetiere einem bestimmten Proportionsmuster folgen, unterscheiden sich die Gehirn- und Körperproportionen des Menschen deutlich.

Und wenn die Evolution irgendwann neue Geschwindigkeiten für das Gehirnwachstum unserer Vorfahren findet, könnte auch die KI neue Skalierungsmethoden finden und die Art und Weise übertreffen, wie Modelle heute trainiert werden.

(Laut TheVerge, Yahoo Tech)

Elon Musk enthüllte die „himmelhohen“ Gehälter von xAI und OpenAI und warf OpenAI vor, seinen Mitarbeitern zu viel zu zahlen, und bezeichnete dies als wettbewerbswidrige Maßnahme. Dennoch zahlt das xAI-Startup des Milliardärs weit überdurchschnittlich.