[GALERI] Jangan gunakan bahasa Vietnam dengan Ejen AI jika anda tidak mahu token anda hilang.

Ramai pengguna Ejen AI terkejut apabila mendapati tugasan yang sama memerlukan kos token yang jauh lebih tinggi apabila ditulis dalam bahasa Vietnam berbanding bahasa Inggeris.

Satu perdebatan besar telah meletus dalam komuniti pengguna AI selepas banyak akaun mendapati bahawa penggunaan bahasa Vietnam atau bahasa selain Bahasa Inggeris boleh menyebabkan Ejen AI menggunakan lebih banyak token dengan ketara, malah menghapuskan keseluruhan had penggunaan mereka selepas hanya satu sesi yang kompleks.

Isu ini mula mendapat perhatian di Reddit apabila seorang pengguna Claude Pro berkongsi bahawa gesaan yang sama, apabila ditulis dalam bahasa Jerman pada Claude Opus 4.7, telah menggunakan keseluruhan had token dalam masa yang singkat, manakala penulisan dalam bahasa Inggeris atau Claude Sonnet menggunakan sumber yang jauh lebih sedikit.

Menurut penjelasan daripada komuniti AI, puncanya bukanlah ralat sistem tetapi berpunca daripada mekanisme tokenisasi, iaitu proses AI memecahkan teks kepada unit token untuk diproses sebelum inferens. Bahasa Inggeris kekal sebagai bahasa yang paling dioptimumkan kerana ia menyumbang sebahagian besar data latihan dalam model AI semasa.

Dengan bahasa lain seperti Jerman, Perancis atau Vietnam, tokenizer sering perlu memecahkan perkataan kepada bahagian yang lebih kecil untuk diproses, menghasilkan bilangan token yang jauh lebih tinggi yang dijana untuk kandungan yang sama. Ini meningkatkan kos operasi dan mengurangkan bilangan pengguna sebenar.

Komuniti teknologi kini menggelarkan fenomena ini sebagai "cukai token bahasa", di mana bahasa Asia atau bahasa yang mempunyai data latihan yang kurang sering berada dalam keadaan yang lebih merugikan, dan bahasa Vietnam dianggarkan oleh komuniti berpotensi menggunakan 1.5 hingga 2.5 kali lebih banyak token berbanding bahasa Inggeris disebabkan oleh sistem nada dan aksara khasnya yang kompleks.

Masalahnya menjadi lebih serius selepas Anthropic mengeluarkan Claude Opus 4.7, apabila syarikat itu mengesahkan bahawa tokenizer baharu model itu boleh meningkatkan penggunaan token sebanyak kira-kira 1.0 hingga 1.35 kali ganda, walaupun dalam bahasa Inggeris, manakala tugasan Ejen AI berbilang langkah menyebabkan model "berfikir" lebih lama dan menjana sejumlah besar token tambahan.

Ini bermakna pengguna yang menggunakan Ejen AI dalam bahasa Vietnam untuk mengendalikan tugas kompleks seperti membaca dokumen, merancang, menganalisis data atau mengautomasikan berbilang langkah mungkin mengalami pengurangan token yang jauh lebih cepat, walaupun mereka membayar yuran langganan yang sama seperti pengguna yang berbahasa Inggeris.

Walau bagaimanapun, ramai pakar percaya bahawa pengguna tidak perlu meninggalkan sepenuhnya bahasa Vietnam apabila menggunakan AI, kerana untuk perbualan pendek atau tugas asas, perbezaannya tidak terlalu besar. Tetapi untuk aliran kerja yang panjang dan kompleks, gesaan penulisan dalam bahasa Inggeris kekal sebagai penyelesaian paling praktikal untuk menjimatkan kos dan memaksimumkan keberkesanan ejen AI.

Sumber: https://khoahocdoisong.vn/gallery-dung-dung-tieng-viet-voi-ai-agent-neu-khong-muon-bay-token-post2149102082.html