MediaTek использует платформу Llama 2 от Meta для улучшения генеративного ИИ

СГГПО 25.08.2023 10:37

MediaTek, глобальная компания по производству полупроводников, объявила о тесном сотрудничестве с Meta Llama 2 — открытой языковой моделью следующего поколения (LLM).

MediaTek стремится создать полноценную экосистему периферийных вычислений

Используя LLM от Meta, а также новейшие APU и платформу искусственного интеллекта NeuroPilot от MediaTek, компания MediaTek стремится создать полноценную экосистему периферийных вычислений, предназначенную для ускорения разработки приложений искусственного интеллекта для смартфонов, Интернета вещей, транспортных средств, умных домов и других периферийных вычислительных устройств.

В настоящее время большая часть обработки данных генеративного ИИ выполняется посредством облачных вычислений. Однако использование моделей Llama 2 от MediaTek позволит запускать приложения генеративного ИИ непосредственно на устройстве.

Это обеспечивает ряд преимуществ для разработчиков и пользователей, включая плавную работу, улучшенную конфиденциальность, большую безопасность и надежность, меньшую задержку, расширенные возможности работы в зонах с ограниченным или отсутствующим подключением, а также меньшие эксплуатационные расходы.

Чтобы по-настоящему использовать технологию генеративного ИИ на периферийных вычислительных устройствах, производителям периферийных вычислительных устройств необходимо будет внедрить высокопроизводительные маломощные процессоры ИИ, а также более быстрые и надежные средства связи для расширения вычислительных возможностей. Сегодня каждый мобильный чип 5G на базе MediaTek оснащен APU, предназначенным для реализации различных функций генеративного ИИ, таких как шумоподавление ИИ, повышение разрешения ИИ и т. д.

Кроме того, флагманский процессор MediaTek следующего поколения, который, как ожидается, будет представлен в конце этого года, будет оснащен оптимизированным программным стеком для работы Llama 2, а также модернизированным APU с ускорением ядра Transformer, что позволит сократить область доступа к DRAM и использование полосы пропускания, что еще больше повысит производительность LLM и AIGC. Эти достижения способствуют быстрому созданию вариантов использования генеративного ИИ на устройствах.

MediaTek ожидает, что приложения искусственного интеллекта на базе Llama 2 будут доступны на смартфонах, оснащенных ее флагманской SoC следующего поколения, выход которой на рынок ожидается в конце этого года.

Источник