Chatboti s umělou inteligencí se „šílí“

V dubnu informoval bot s umělou inteligencí, který se stará o technickou podporu pro Cursor, nově vznikající nástroj pro programátory, některé zákazníky o změně firemní politiky a konkrétně jim sdělil, že Cursor již nesmí používat na více než jednom počítači.

Zákazníci sdělovali svůj hněv na fórech a sociálních sítích. Někteří dokonce zrušili své účty Cursor. Někteří se ale ještě více rozzlobili, když si uvědomili, co se stalo: robot s umělou inteligencí nahlásil změnu zásad, která neexistovala.

„Takové zásady nemáme. Cursor můžete samozřejmě používat na více počítačích. Bohužel se jednalo o nesprávnou odpověď od bota s umělou inteligencí,“ napsal v příspěvku na Redditu Michael Truell, generální ředitel a spoluzakladatel společnosti.

Falešné informace se vymkly kontrole.

Více než dva roky po spuštění ChatGPT používají technologické společnosti, kancelářští pracovníci i běžní spotřebitelé stále častěji boty s umělou inteligencí pro různé úkoly.

Přesto neexistuje způsob, jak zajistit, aby tyto systémy produkovaly přesné informace. Paradoxně nejvýkonnější nové technologie, známé jako „inferenční“ systémy od společností jako OpenAI, Google a DeepSeek, dělají více chyb.

Nesmyslná konverzace přes ChatGPT, kde se uživatel ptá, zda by psi měli jíst cereálie. Foto: Reddit.

Zatímco matematické dovednosti se dramaticky zlepšily, schopnost velkých jazykových modelů (LLM) zachytit pravdu se stala nejistější. Překvapivě ani samotní inženýři nemají naprosto jasno proč.

Podle New York Times se dnešní chatboti s umělou inteligencí spoléhají na složité matematické systémy, aby se naučili dovednosti analýzou obrovského množství digitálních dat. Nedokážou však rozhodnout, co je správné a co špatné.

Odtud se objevuje stav „halucinace“ neboli samovytváření informací. Podle výzkumu dokonce nejnovější generace LLM „halucinuje“ více než některé starší modely.

Konkrétně v nejnovější zprávě OpenAI zjistila, že model o3 „halucinoval“ při zodpovězení 33 % otázek na PersonQA, což je interní standard společnosti pro měření přesnosti znalostí modelu o lidech.

Pro srovnání, je to dvojnásobek míry „halucinací“ oproti předchozím modelům uvažování OpenAI, o1 a o3-mini, které trpěly 16 %, respektive 14,8 %. Model o4-mini si na PersonQA vedl ještě hůře a trpěl „halucinacemi“ 48 % času.

Ještě znepokojivější je, že „otec ChatGPT“ ve skutečnosti neví, proč se to děje. Konkrétně v technické zprávě o o3 a o4-mini OpenAI píše, že „je zapotřebí dalšího výzkumu, abychom pochopili, proč se „iluze“ zhoršuje“ s tím, jak se modely uvažování škálují.

Modely o3 a o4-mini si v některých oblastech, včetně programování a matematických úkolů, vedly lépe. Protože však musely „vytvářet více tvrzení než zobecňovat“, oba modely trpěly produkcí „více správných, ale také více nesprávných tvrzení“.

"To nikdy nezmizí"

Místo striktního souboru pravidel určených lidskými inženýry používají systémy LLM k odhadnutí nejlepší odpovědi matematickou pravděpodobnost. Takže vždy dopouštějí určité míry chyby.

„Navzdory veškerému úsilí budou modely umělé inteligence vždycky klamné. To nikdy nezmizí,“ řekl Amr Awadallah, bývalý manažer Googlu.

Podle IBM jsou halucinace jev, kdy velké jazykové modely (LLM) – obvykle chatboti nebo nástroje počítačového vidění – přijímají datové vzory, které neexistují nebo jsou pro člověka nerozpoznatelné, a tím produkují bezvýznamné nebo zavádějící výsledky. Foto: iStock.

V podrobném dokumentu o experimentech OpenAI uvedla, že k pochopení důvodů těchto výsledků je zapotřebí dalšího výzkumu.

Protože se systémy umělé inteligence učí z mnohem většího množství dat, než jaké lidé dokážou pochopit, může být podle expertů obtížné určit, proč se chovají tímto způsobem.

„Iluze jsou ze své podstaty častější v inferenčních modelech, ačkoli aktivně pracujeme na snížení jejich výskytu pozorovaného v o3 a o4-mini. Budeme i nadále pracovat na iluzech ve všech modelech, abychom zlepšili přesnost a spolehlivost,“ uvedl Gaby Raila, mluvčí OpenAI.

Testy od několika nezávislých společností a výzkumníků ukazují, že míra halucinací se zvyšuje i u inferenčních modelů od společností jako Google nebo DeepSeek.

Od konce roku 2023 sleduje Awadallahova společnost Vectara, jak často chatboti zkreslují informace. Společnost požádala systémy, aby provedly jednoduchý a snadno ověřitelný úkol shrnutí konkrétních zpravodajských článků. I poté chatboti vytrvale vymýšleli informace.

Konkrétně, počáteční výzkum společnosti Vectara odhadoval, že v tomto scénáři chatboti vymýšleli informace nejméně ve 3 % případů a někdy až v 27 %.

Během posledního roku a půl se společnostem jako OpenAI a Google podařilo tato čísla snížit na zhruba 1 nebo 2 %. Jiné, jako například startup Anthropic ze San Francisca, se pohybují kolem 4 %.

Míra halucinací v tomto testu však u inferenčních systémů nadále rostla. Frekvence halucinací se u inferenčního systému R1 od DeepSeek zvýšila o 14,3 %, zatímco o3 u OpenAI se zvýšilo o 6,8 %.

Dalším problémem je, že inferenční modely jsou navrženy tak, aby trávily čas „přemýšlením“ o složitých problémech, než dojdou ke konečné odpovědi.

Výzvu, která má zabránit umělé inteligenci ve vymýšlení informací, vložila společnost Apple do první testovací verze macOS 15.1. Foto: Reddit/devanxd2000.

Nevýhodou však je, že jak se model umělé inteligence snaží problém řešit krok za krokem, stává se v každém kroku náchylnější k halucinacím. A co je důležitější, chyby se mohou hromadit, protože model tráví více času přemýšlením.

Nejnovější boti zobrazují uživatelům každý krok, což znamená, že uživatelé mohou vidět i každou chybu. Výzkumníci také zjistili, že v mnoha případech myšlenkový proces zobrazený chatbotem ve skutečnosti nesouvisí s konečnou odpovědí, kterou poskytne.

„To, co systém říká, že vyvozuje, nemusí nutně odpovídat tomu, co si ve skutečnosti myslí,“ říká Aryo Pradipta Gema, výzkumník umělé inteligence na Univerzitě v Edinburghu a spolupracovník společnosti Anthropic.

Zdroj: https://znews.vn/chatbot-ai-dang-tro-nen-dien-hon-post1551304.html