De AI-expert verliet eerder dit jaar OpenAI, het bedrijf dat hij mede had opgericht, om zijn eigen AI-lab op te richten: Safe Superintelligence Inc.

“Pre-training zoals wij dat kennen, zal niet meer bestaan”, zei Sutskever op een conferentie over neurale informatieverwerking.

De term 'pre-training' verwijst naar de vroege fase in de ontwikkeling van een AI-model, wanneer een groot taalmodel patronen leert uit grote hoeveelheden niet-gelabelde data, vaak tekst van internet, boeken en andere bronnen.

Uitputting van gegevensbronnen

Sutskever zegt dat hij ervan overtuigd is dat de huidige gegevens de ontwikkeling van AI nog steeds kunnen versnellen, maar dat de sector te weinig nieuwe middelen heeft om modellen te trainen.

Volgens hem zal dit uiteindelijk leiden tot een verandering in de manier waarop AI-modellen momenteel worden getraind.

8da2491217a6b424c37773100bec59ff.jpeg
AI-modellen zullen leren hoe ze zichzelf kunnen trainen op basis van beperkte hoeveelheden data. Foto: Yahoo Tech

Dit is ook de situatie die zich heeft voorgedaan en zich nog steeds voordoet met fossiele brandstoffen, wanneer olievelden een beperkte hulpbron zijn, of wanneer het internet slechts een beperkte hoeveelheid door mensen gecreëerde content bevat.

"We hebben de datapiek bereikt en die zal er in de toekomst niet meer zijn", aldus Sutskever. "We moeten werken met de data die beschikbaar is, met een actuele internetbron."

Sutskever voorspelt dat de modellen van de volgende generatie "echt agent-achtig" zullen zijn. "Agent" is een populaire term in de AI-wereld, die over het algemeen wordt begrepen als een autonoom AI-systeem dat taken uitvoert, beslissingen neemt en onafhankelijk met software communiceert.

Naast dat ze "agent-achtig" zijn, zei hij dat toekomstige AI-systemen ook kunnen redeneren. In tegenstelling tot de huidige AI, die voornamelijk patronen herkent op basis van wat het model eerder heeft geleerd, zullen toekomstige AI-systemen problemen stap voor stap kunnen oplossen op een manier die dichter bij denken ligt. "Hoe meer redeneringen, hoe minder voorspelbaar het systeem wordt", aldus Sutskever.

AI kan zijn eigen manier van trainen creëren

De deskundige vergeleek de ontwikkeling van AI-systemen ook met evolutionaire biologie en noemde daarbij onderzoek waaruit het verband tussen de hersenen en de lichaamsgrootte bij dieren blijkt.

Terwijl de meeste zoogdieren een bepaald verhoudingspatroon volgen, hebben mensen duidelijk andere hersen- en lichaamsproporties.

En op een gegeven moment, als de evolutie nieuwe snelheden ontdekt voor de hersengroei van onze voorouders, zal AI mogelijk ook nieuwe manieren vinden om verder te schalen dan de huidige manier van het trainen van modellen.

(Volgens TheVerge, Yahoo Tech)

Elon Musk onthulde de 'torenhoge' salarissen van xAI en OpenAI en beschuldigde OpenAI ervan werknemers te veel te betalen en noemde dit concurrentievervalsend. De miljardairsstartup xAI betaalt echter ook veel meer dan gemiddeld.