[گالری] اگر نمی‌خواهید توکن‌هایتان ناپدید شوند، از زبان ویتنامی با عامل‌های هوش مصنوعی استفاده نکنید.

بسیاری از کاربران عامل هوش مصنوعی از اینکه متوجه می‌شوند همان کار وقتی به زبان ویتنامی نوشته می‌شود در مقایسه با انگلیسی، توکن‌های بسیار بیشتری هزینه دارد، شگفت‌زده می‌شوند.

پس از آنکه بسیاری از حساب‌های کاربری متوجه شدند که استفاده از زبان ویتنامی یا زبان‌های غیر از انگلیسی می‌تواند باعث شود که عامل‌های هوش مصنوعی توکن‌های بسیار بیشتری مصرف کنند، و حتی پس از تنها یک جلسه پیچیده، کل محدودیت استفاده آنها را از بین ببرد، بحث بزرگی در جامعه کاربران هوش مصنوعی در گرفته است.

این مشکل زمانی در ردیت مورد توجه قرار گرفت که یکی از کاربران Claude Pro به اشتراک گذاشت که همین دستور، وقتی به زبان آلمانی در Claude Opus 4.7 نوشته می‌شود، در مدت کوتاهی کل محدودیت توکن را مصرف می‌کند، در حالی که نوشتن به زبان انگلیسی یا Claude Sonnet منابع بسیار کمتری را مصرف می‌کند.

طبق توضیحات جامعه هوش مصنوعی، علت این مشکل خطای سیستمی نیست، بلکه ناشی از مکانیسم توکن‌سازی است، فرآیندی که طی آن هوش مصنوعی متن را برای پردازش قبل از استنتاج به واحدهای توکن تجزیه می‌کند. زبان انگلیسی همچنان بهینه‌ترین زبان است زیرا اکثر داده‌های آموزشی را در مدل‌های فعلی هوش مصنوعی به خود اختصاص می‌دهد.

در زبان‌های دیگر مانند آلمانی، فرانسوی یا ویتنامی، توکن‌سازها اغلب مجبورند کلمات را برای پردازش به بخش‌های کوچک‌تر تقسیم کنند، که در نتیجه تعداد توکن‌های تولید شده برای یک محتوای یکسان به طور قابل توجهی افزایش می‌یابد. این امر هزینه‌های عملیاتی را افزایش داده و تعداد واقعی کاربران را کاهش می‌دهد.

جامعه فناوری اکنون این پدیده را «مالیات توکن زبان» می‌نامد، که در آن زبان‌های آسیایی یا زبان‌هایی که داده‌های آموزشی کمتری دارند، اغلب در وضعیت نامساعدتری قرار دارند و تخمین زده می‌شود که زبان ویتنامی به دلیل سیستم پیچیده لحن‌ها و کاراکترهای خاص، به طور بالقوه ۱.۵ تا ۲.۵ برابر بیشتر از انگلیسی توکن مصرف می‌کند.

این مشکل پس از انتشار Claude Opus 4.7 توسط Anthropic جدی‌تر شد، زیرا این شرکت تأیید کرد که توکن‌ساز جدید این مدل می‌تواند مصرف توکن را حتی در زبان انگلیسی تقریباً ۱.۰ تا ۱.۳۵ برابر افزایش دهد، در حالی که وظایف چند مرحله‌ای عامل هوش مصنوعی باعث شد که مدل مدت زمان بیشتری "فکر" کند و مقدار بسیار زیادی توکن اضافی تولید کند.

این بدان معناست که کاربرانی که از عامل هوش مصنوعی به زبان ویتنامی برای انجام وظایف پیچیده‌ای مانند خواندن اسناد، برنامه‌ریزی، تجزیه و تحلیل داده‌ها یا خودکارسازی چندین مرحله استفاده می‌کنند، ممکن است با کاهش قابل توجه توکن مواجه شوند، حتی اگر هزینه اشتراک یکسانی با کاربران انگلیسی زبان پرداخت کنند.

با این حال، بسیاری از کارشناسان معتقدند که کاربران هنگام استفاده از هوش مصنوعی نیازی به کنار گذاشتن کامل زبان ویتنامی ندارند، زیرا برای مکالمات کوتاه یا کارهای اساسی، تفاوت توکن خیلی زیاد نیست. اما برای گردش‌های کاری طولانی و پیچیده، نوشتن دستورالعمل‌ها به زبان انگلیسی همچنان عملی‌ترین راه حل برای صرفه‌جویی در هزینه‌ها و به حداکثر رساندن اثربخشی عوامل هوش مصنوعی است.

منبع: https://khoahocdoisong.vn/gallery-dung-dung-tieng-viet-voi-ai-agent-neu-khong-muon-bay-token-post2149102082.html