[GALERIE] Nepoužívejte vietnamštinu s AI agenty, pokud nechcete, aby vaše žetony zmizely.

Mnoho uživatelů AI Agent je překvapeno, když zjistí, že stejný úkol stojí výrazně více tokenů, když je napsán ve vietnamštině, ve srovnání s angličtinou.

V komunitě uživatelů umělé inteligence vypukla velká debata poté, co mnoho účtů zjistilo, že používání vietnamštiny nebo jiných jazyků než angličtiny může způsobit, že agenti umělé inteligence spotřebují výrazně více tokenů, a dokonce po jediné komplexní relaci vyčerpají celý svůj limit využití.

Problém začal na Redditu získávat pozornost, když uživatel Claude Pro sdílel, že stejný výzva, když byla napsána v němčině na Claude Opus 4.7, spotřebovala celý limit tokenů během krátké doby, zatímco psaní v angličtině nebo Claude Sonnet spotřebovalo výrazně méně zdrojů.

Podle vysvětlení komunity umělé inteligence není příčinou systémová chyba, ale mechanismus tokenizace, což je proces, kterým umělá inteligence rozděluje text na tokeny pro zpracování před inferencí. Angličtina zůstává nejvíce optimalizovaným jazykem, protože v současných modelech umělé inteligence představuje většinu trénovacích dat.

U jiných jazyků, jako je němčina, francouzština nebo vietnamština, musí tokenizátoři často rozdělovat slova na menší části pro zpracování, což má za následek výrazně vyšší počet tokenů generovaných pro stejný obsah. To zvyšuje provozní náklady a snižuje skutečný počet uživatelů.

Technologická komunita nyní tento jev nazývá „daní z jazykových tokenů“, kde jsou asijské jazyky nebo jazyky s menším počtem trénovacích dat často ve větší nevýhodě a vietnamština podle odhadů komunity potenciálně spotřebovává 1,5 až 2,5krát více tokenů než angličtina kvůli svému složitému systému tónů a speciálních znaků.

Problém se stal vážnějším poté, co společnost Anthropic vydala Claude Opus 4.7, kdy společnost potvrdila, že nový tokenizátor modelu by mohl zvýšit spotřebu tokenů přibližně 1,0 až 1,35krát, a to i v angličtině, zatímco vícekrokové úlohy AI Agent způsobily, že model „přemýšlel“ déle a generoval velmi velké množství dalších tokenů.

To znamená, že uživatelé, kteří používají AI Agent ve vietnamštině k řešení složitých úkolů, jako je čtení dokumentů, plánování, analýza dat nebo automatizace více kroků, mohou zaznamenat výrazně rychlejší vyčerpání tokenů, a to i přesto, že platí stejný poplatek za předplatné jako anglicky mluvící uživatelé.

Mnoho odborníků se však domnívá, že uživatelé se při používání umělé inteligence nemusí zcela vzdát vietnamštiny, protože pro krátké konverzace nebo základní úkoly není rozdíl v tokenech příliš velký. Pro dlouhé a složité pracovní postupy však zůstává psaní pokynů v angličtině nejpraktičtějším řešením pro úsporu nákladů a maximalizaci efektivity agentů umělé inteligence.

Zdroj: https://khoahocdoisong.vn/gallery-dung-dung-tieng-viet-voi-ai-agent-neu-khong-muon-bay-token-post2149102082.html