Согласно Android Authority , исследовательская работа Apple описывает решение для запуска больших языковых моделей (LLM) на устройствах с ограниченным объемом оперативной памяти. В работе показано, как компания может хранить «параметры модели» и загружать часть из них в оперативную память устройства при необходимости, вместо того, чтобы загружать всю модель в оперативную память.
Apple стремится помочь старым iPhone с меньшим объемом оперативной памяти запустить общий ИИ
В статье утверждается, что этот метод позволяет запускать модели, требующие вдвое больше оперативной памяти, чем может иметь iPhone, при этом обеспечивая скорость вывода в 4-5 и 20-25 раз выше по сравнению с простыми методами загрузки на центральном процессоре и графическом процессоре соответственно.
Развертывание синтетического ИИ на устройстве с большим объемом оперативной памяти было бы огромным преимуществом, поскольку это позволило бы увеличить скорость чтения/записи. Скорость важна для ИИ на устройстве, позволяя значительно сократить время вывода, поскольку пользователям не обязательно ждать десятки секунд (или больше) ответа или окончательного результата. Все это означает, что помощник ИИ на устройстве потенциально может работать со скоростью разговора, гораздо быстрее генерировать изображения/текст, быстрее резюмировать статьи и т. д. Но решение Apple означает, что пользователям не обязательно нужно много оперативной памяти для ускорения реагирования задач ИИ на устройстве.
Подход Apple может позволить старым и новым iPhone предлагать синтетические функции ИИ прямо на устройстве. Это важно, поскольку iPhone от Apple обычно предлагают меньше оперативной памяти, чем высококлассные телефоны Android. Например, серия iPhone 11 предлагает всего 4 ГБ оперативной памяти, в то время как даже начальный уровень iPhone 15 имеет всего 6 ГБ.
Apple — не единственная мобильная компания, работающая над сокращением LLM. Последние флагманские чипы Qualcomm и MediaTek поддерживают точность INT4 для сокращения этих моделей. В любом случае, компании пытаются найти новые способы снижения системных требований для ИИ на устройстве, позволяя даже недорогим телефонам предлагать эту функцию.
Ссылка на источник
Комментарий (0)