Nieuw onderzoek: AI 'redeneert' niet zoals mensen

Programma's op het gebied van kunstmatige intelligentie (AI) hebben indrukwekkende resultaten geboekt, maar nieuw onderzoek suggereert dat we de bewering dat AI kan redeneren zoals mensen, niet moeten overdrijven.

Kunstmatige intelligentieprogramma's hebben de afgelopen jaren veel successen geboekt - Foto: REUTERS

We kunnen niet het gehele proces van invoergegevens tot uitvoerresultaten van grote taalmodellen (LLM's) observeren.

Om het begrijpelijker te maken, gebruiken wetenschappers algemene termen zoals 'redeneren' om te beschrijven hoe deze programma's werken. Ze zeggen ook dat de programma's kunnen 'denken', 'redeneren' en 'begrijpen' zoals mensen dat doen.

Overdrijving van de mogelijkheden van AI

Volgens ZDNET op 6 september hebben veel AI-managers de afgelopen twee jaar hyperbolen gebruikt om eenvoudige technische prestaties te overdrijven.

In september 2024 maakte OpenAI bekend dat het o1-redeneringsmodel "een keten van gevolgtrekkingen gebruikt bij het oplossen van problemen, vergelijkbaar met de manier waarop mensen lang nadenken als ze met moeilijke vragen worden geconfronteerd."

AI-wetenschappers maken echter bezwaar. Zij zijn van mening dat AI geen menselijke intelligentie heeft.

Een onderzoek naar de arXiv-database door een groep auteurs van de Arizona State University (VS) heeft het redeneervermogen van AI met een eenvoudig experiment bevestigd.

Uit de resultaten bleek dat 'inferentie op basis van een gedachteketen een fragiele illusie is', geen echt logisch mechanisme, maar slechts een geavanceerde vorm van patroonherkenning.

Met de term ‘gedachteketen’ (CoT) kan AI niet alleen met een definitief antwoord komen, maar ook elke stap van de logische redenering weergeven, zoals in de GPT-o1- of DeepSeek V1-modellen.

Illustratie van het GPT-2-taalmodel van OpenAI - Foto: ECHOCRAFTAI

Ontdek wat AI werkelijk doet

Uit grootschalige analyses blijkt dat LLM-opleidingen meer vertrouwen op semantiek en oppervlakkige aanwijzingen dan op logische redeneerprocessen, zeggen de onderzoekers.

"De LLM bouwt oppervlakkige logische ketens op, gebaseerd op geleerde inputassociaties, en faalt vaak bij taken die afwijken van conventionele redeneermethoden of bekende patronen", legt het team uit.

Om de hypothese te testen dat LLM alleen patronen vergelijkt en geen daadwerkelijke gevolgtrekkingen maakt, trainde het team GPT-2, een open-sourcemodel dat in 2019 door OpenAI werd uitgebracht.

Het model werd aanvankelijk getraind met zeer eenvoudige taken op de 26 Engelse letters, zoals het omdraaien van sommige letters, bijvoorbeeld "APPLE" omzetten in "EAPPL". Vervolgens veranderde het team de taak en liet GPT-2 de taak uitvoeren.

Uit de resultaten blijkt dat GPT-2 taken die niet in de trainingsgegevens zijn opgenomen, niet nauwkeurig kan oplossen met behulp van CoT.

In plaats daarvan probeert het model de meest vergelijkbare geleerde taken toe te passen. De "inferenties" klinken misschien redelijk, maar de resultaten zijn vaak onjuist.

De groep concludeerde dat men niet te veel op de antwoorden van de LLM moet vertrouwen, omdat deze "onzin kunnen produceren die heel overtuigend klinkt".

Ze benadrukten ook dat het belangrijk is om de ware aard van AI te begrijpen, hype te vermijden en te stoppen met het promoten van het idee dat AI net als mensen kan redeneren.

Terug naar het onderwerp

ANH DO

Bron: https://tuoitre.vn/nghien-cuu-moi-ai-khong-suy-luan-nhu-con-nguoi-20250907152120294.htm