Hoe slimmer de kunstmatige intelligentie, hoe groter de kans dat deze zijn onwetendheid verbergt?

Een onderzoeksteam op het gebied van kunstmatige intelligentie (AI) aan de Polytechnische Universiteit van Valencia in Spanje heeft ontdekt dat naarmate grote taalmodellen groter en geavanceerder worden, de kans kleiner wordt dat ze aan gebruikers toegeven dat ze het antwoord niet weten.

Hoe slimmer de AI, hoe kleiner de kans dat deze aan gebruikers toegeeft dat hij het antwoord niet weet. (AI-illustratie)

In onderzoek gepubliceerd in het tijdschrift Nature testte het team de nieuwste versies van drie van de populairste AI-chatbots op responsiviteit, nauwkeurigheid en het vermogen van gebruikers om foute antwoorden te herkennen.

Om de nauwkeurigheid van de drie populairste LLM's, BLOOM, LLaMA en GPT, te testen, stelde het team duizenden vragen en vergeleek de ontvangen antwoorden met eerdere versies van dezelfde vragen. Ze varieerden ook in onderwerpen, waaronder wiskunde, natuurwetenschappen , rekenopgaven en aardrijkskunde, en in de mogelijkheid om tekst te genereren of acties uit te voeren zoals het sorteren van lijsten.

Het onderzoek bracht enkele opvallende trends aan het licht. De algehele nauwkeurigheid van chatbots verbeterde met elke nieuwe versie, maar nam nog steeds af bij moeilijkere vragen. Verrassend genoeg waren LLM's, naarmate ze groter en geavanceerder werden, minder open over hun vermogen om correcte antwoorden te geven.

In eerdere versies informeerden de meeste LLM's gebruikers openlijk wanneer ze een antwoord niet konden vinden of meer informatie nodig hadden. Nieuwere versies daarentegen gokken vaker, wat resulteert in meer antwoorden, zowel correct als incorrect. Zorgelijker is dat uit het onderzoek bleek dat alle LLM's nog steeds af en toe onjuiste antwoorden gaven, zelfs op eenvoudige vragen. Dit suggereert dat hun betrouwbaarheid nog steeds een punt van verbetering is.

Deze bevindingen benadrukken een paradox in de ontwikkeling van AI: modellen worden weliswaar krachtiger, maar ze zijn mogelijk ook minder transparant over hun beperkingen.

Dit brengt nieuwe uitdagingen met zich mee voor het gebruik en vertrouwen van AI-systemen. Gebruikers moeten voorzichtiger zijn en ontwikkelaars moeten zich richten op het verbeteren van niet alleen de nauwkeurigheid, maar ook het ‘zelfbewustzijn’ van de modellen.

Bron: https://baoquocte.vn/cang-thong-minh-tri-tue-nhan-tao-cang-co-xu-huong-giau-dot-287987.html