Выручка Nvidia выросла до 44,1 млрд долларов в прошлом квартале, но одним из важнейших показателей для гиганта по производству чипов являются не деньги.
Вместо этого в течение мая руководители ведущих технологических компаний отрасли, которые также являются крупнейшими клиентами Nvidia, выражали энтузиазм по поводу роста токена.
«OpenAI, Microsoft и Google наблюдают качественный скачок в возможностях создания токенов. Microsoft обработала более 100 триллионов токенов в первом квартале, что в пять раз больше, чем в прошлом году», — сказала Колетт Кресс, финансовый директор Nvidia.
Самая базовая единица в ИИ
В мире искусственного интеллекта (ИИ) токены являются одним из самых фундаментальных строительных блоков, лежащих в основе способности компьютеров обрабатывать язык. Токены можно рассматривать как детали Lego, которые помогают моделям ИИ создавать ценные предложения, идеи и взаимодействия.
Будь то слово, знак препинания или даже фрагмент аудио в распознавании речи, токены — это крошечные строительные блоки, которые позволяют ИИ понимать и создавать контент. Другими словами, это закулисная команда, которая делает все, от генерации текста до анализа настроений, работой.
Магия токенизации заключается в ее гибкости. Для простых задач большие языковые модели (LLM) могут обрабатывать каждое слово как свой собственный токен. Но когда ситуация усложняется, например, с необычными или новыми словами, LLM могут разбивать их на более мелкие части (подслова). Таким образом, ИИ по-прежнему работает гладко, даже с незнакомыми терминами.
 |
Токены являются одним из самых фундаментальных строительных блоков, лежащих в основе способности компьютеров обрабатывать язык. Фото: CCN. |
Современные модели, такие как GPT-4, работают с огромными словарями, около 50 000 токенов. Каждый фрагмент входного текста должен пройти процесс лексической сегментации перед обработкой.
Этот шаг важен, поскольку он помогает модели ИИ стандартизировать способ интерпретации и генерации текста, делая все максимально гладко. Разбивая язык на более мелкие части, токенизация дает ИИ все необходимое для обработки лингвистических задач с высокой точностью и скоростью.
Без этого процесса современный ИИ не смог бы раскрыть весь свой потенциал. Поскольку инструменты ИИ продолжают развиваться, количество токенов, генерируемых для вывода или вывода, растет быстрее, чем многие ожидали.
«Взрывной рост токенов — вот что действительно важно в долгосрочной перспективе», — считают аналитики Morgan Stanley.
Почему токены важны?
В беседе с высокопоставленными представителями отрасли генеральный директор NVIDIA Дженсен Хуанг видит в росте популярности токена признак того, что инструменты ИИ приносят пользу.
«Компании начинают говорить о том, сколько токенов они создали в прошлом квартале и сколько токенов они создали в прошлом месяце. Совсем скоро мы будем говорить о том, сколько токенов создается в час, как это делает каждая фабрика», — сказал Хуан на Computex 2025, одном из крупнейших в мире технологических мероприятий, особенно в сфере компьютеров и периферийных устройств.
Токены помогают системам ИИ анализировать и понимать язык, обеспечивая все: от генерации текста до анализа настроений. Google Translate — яркий пример важности этого блока.
В частности, когда ИИ переводит текст с одного языка на другой, система сначала разбивает текст на токены. Эти токены помогают ИИ понять значение каждого слова или фразы, гарантируя, что перевод будет не только буквальным, но и контекстно точным.
 |
Будь то слово, знак препинания или даже фрагмент аудио в распознавании речи, токены — это крошечные строительные блоки, которые позволяют ИИ понимать и создавать контент. Фото: Тони Грейсон. |
Кроме того, токены также весьма эффективны в помощи ИИ в считывании настроений текста. С помощью анализа настроений ИИ смотрит, как текст влияет на эмоции пользователя, будь то положительный отзыв о продукте, отрицательный отзыв или нейтральный комментарий.
Разбивая текст на токены, ИИ может определить, имеет ли фрагмент текста положительный, отрицательный или нейтральный тон. Это особенно полезно в маркетинге или обслуживании клиентов, где понимание того, как пользователи относятся к продукту или услуге, может формировать будущие стратегии.
Кроме того, токены позволяют ИИ улавливать тонкие эмоциональные сигналы в языке, помогая компаниям быстро действовать на основе отзывов или новых тенденций.
По мере того, как системы искусственного интеллекта становятся все более мощными, методы токенизации также должны будут развиваться, чтобы соответствовать растущим требованиям к эффективности, точности и гибкости.
Ключевой фокус — скорость. Соответственно, будущие методы токенизации должны быть направлены на более быструю обработку токенов, позволяя моделям ИИ реагировать в режиме реального времени, управляя большими наборами данных.
Что еще важнее, будущее системы не ограничивается текстом. Применение мультимодальной токенизации привнесет масштабируемость в ИИ за счет интеграции различных типов данных, таких как изображения, видео и аудио.
Представьте себе ИИ, который может легко анализировать фотографию, извлекать ключевые детали и создавать повествование. Для этого системе нужен улучшенный процесс токенизации. Это нововведение может преобразовать такие области, как образование , здравоохранение и развлечения, с помощью более всеобъемлющих идей.
Источник: https://znews.vn/khong-phai-tien-day-moi-la-chi-so-quan-trong-nhat-voi-nvidia-post1557810.html
Комментарий (0)