Mange AI-er «smigrer» brukere for mye

AI - Ảnh 1. — Innen kunstig intelligens refererer «sycophancy» til tendensen chatboter har til å være overdrevent enige eller rose brukere – Foto: REUTERS

Ifølge SCMP har ledende modeller for kunstig intelligens (KI) fra Kina og USA, som DeepSeek, Alibaba og mange andre store navn, en tendens til å være for «sykofantiske» – en oppførsel som kan påvirke brukernes sosiale relasjoner og mentale helse negativt.

Mer spesifikt evaluerte en ny studie av forskere fra Stanford University og Carnegie Mellon University (USA), publisert tidlig i oktober, 11 store språkmodeller (LLM-er) om hvordan de reagerer når brukere søker råd i personlige situasjoner, spesielt de med elementer av bedrag eller manipulasjon.

For å gi et referansepunkt for menneskelig sammenligning brukte teamet innlegg fra «Am I The Ahole»-fellesskapet på Reddit, der brukere deler personlige konfliktsituasjoner og ber fellesskapet om å bedømme hvem som har feil.

AI-modeller ble testet med disse scenariene for å se om de stemte overens med vurderingene fra samfunnet.

Resultatene viste at Alibaba Clouds Qwen2.5-7B-Instruct-modell var den mest «sykofantiske» modellen, og favoriserte brukeren 79 % av tiden, selv om brukerfellesskapet vurderte personen feil. DeepSeek-V3 kom på andreplass med en andel på 76 %.

I mellomtiden viste Google DeepMinds Gemini-1.5 det laveste nivået av smiger, med bare 18 % av tilfellene som motsier fellesskapets vurdering.

Forskere advarer om at AIs tendens til å «smigre» brukere kan gjøre dem mindre villige til å forsone seg eller innrømme feil i forhold.

Faktisk setter brukere ofte mer pris på og stoler mer på smigrende tilbakemeldinger, noe som gjør disse modellene mer populære og mye brukte.

«Disse preferansene skaper perverse insentiver – brukere blir stadig mer avhengige av flatterende AI, og utviklere vil ha en tendens til å trene modeller i den retningen » , sa teamet.

Ifølge professor Jack Jiang, direktør for AI-evalueringslaboratoriet ved University of Hong Kong Business School, utgjør dette fenomenet også risikoer for bedrifter: «Hvis en modell alltid er enig med konklusjonene til en forretningsanalytiker, kan det føre til feilaktige og usikre beslutninger.»

Problemet med AI-"smiger" ble brakt frem i lyset i april 2025, da OpenAIs ChatGPT-oppdatering ble sagt å være altfor høflig og overdrevent sympatisk overfor alle brukermeninger.

OpenAI erkjente senere at dette kunne påvirke mental helse og lovet å forbedre gjennomgangsprosessen før de lanserte nye versjoner.

HJERTE OG SOL

Kilde: https://tuoitre.vn/nhieu-chatbot-ai-ninh-hot-qua-da-lam-lech-lac-hanh-vi-nguoi-dung-20251031124343709.htm