Jo smartere den kunstige intelligensen er, desto mer sannsynlig er det at den skjuler sin uvitenhet?

Et forskerteam innen kunstig intelligens (KI) ved Polyteknisk Universitet i Valencia i Spania har funnet ut at etter hvert som store språkmodeller blir større og mer sofistikerte, har de en tendens til å være mindre tilbøyelige til å innrømme overfor brukerne at de ikke vet svaret.

Jo smartere AI-en er, desto mindre sannsynlig er det at den innrømmer overfor brukerne at den ikke vet svaret. (AI-illustrasjon)

I forskning publisert i tidsskriftet Nature testet teamet de nyeste versjonene av tre av de mest populære AI-chatbotene på respons, nøyaktighet og brukernes evne til å oppdage feil svar.

For å teste nøyaktigheten til de tre mest populære LLM-ene, BLOOM, LLaMA og GPT, stilte teamet tusenvis av spørsmål og sammenlignet svarene de mottok med tidligere versjoner av de samme spørsmålene. De varierte også emnene, inkludert matematikk, naturfag , tekstoppgaver og geografi, samt muligheten til å generere tekst eller utføre handlinger som sortering av lister.

Studien avdekket noen bemerkelsesverdige trender. Den generelle nøyaktigheten til chatboter ble bedre med hver ny versjon, men ble fortsatt dårligere når de ble stilt overfor vanskeligere spørsmål. Overraskende nok var de mindre åpne om sin evne til å svare riktig etter hvert som LLM-ene ble større og mer sofistikerte.

I tidligere versjoner informerte de fleste LLM-er åpent brukerne når de ikke fant et svar eller trengte mer informasjon. I motsetning til dette har nyere versjoner en tendens til å gjette mer, noe som resulterer i flere svar totalt sett, både riktige og gale. Enda bekymringsfullere er det at studien fant at alle LLM-er fortsatt av og til ga gale svar, selv på enkle spørsmål, noe som tyder på at påliteligheten deres fortsatt er et problem som må forbedres.

Disse funnene fremhever et paradoks i utviklingen av AI: mens modeller blir kraftigere, kan de også bli mindre transparente om sine begrensninger.

Dette skaper nye utfordringer i bruken av og tilliten til AI-systemer, noe som krever at brukerne er mer forsiktige og at utviklere fokuserer på å forbedre ikke bare nøyaktigheten, men også «selvbevisstheten» til modellene.

Kilde: https://baoquocte.vn/cang-thong-minh-tri-tue-nhan-tao-cang-co-xu-huong-giau-dot-287987.html