Як Apple встановлює синтетичний штучний інтелект у старі iPhone

Згідно з даними Android Authority , у дослідницькій роботі Apple детально описано рішення для запуску моделей великих мов програмування (LLM) на пристроях з обмеженою оперативною пам'яттю. У статті розповідається, як компанія може зберігати «параметри моделі» та завантажувати їх частину в оперативну пам'ять пристрою за потреби, замість того, щоб завантажувати всю модель у оперативну пам'ять.

Apple прагне допомогти старішим iPhone з меншим обсягом оперативної пам'яті запускати загальний штучний інтелект

У статті стверджується, що цей метод дозволяє запускати моделі, які потребують вдвічі більше оперативної пам'яті, ніж може мати iPhone, забезпечуючи при цьому швидкість виведення даних у 4-5 та 20-25 разів порівняно з простими методами завантаження на центральний та графічний процесори відповідно.

Розгортання синтетичного ШІ на пристрої з більшою оперативною пам'яттю мало б величезну перевагу, оскільки це дозволило б збільшити швидкість читання/запису. Швидкість важлива для ШІ на пристрої, що дозволяє набагато швидше виводити дані, оскільки користувачам не обов'язково чекати десятки секунд (або більше) на відповідь чи кінцевий результат. Все це означає, що помічник ШІ на пристрої потенційно може працювати зі швидкістю розмови, набагато швидше генерувати зображення/текст, швидше узагальнювати статті тощо. Але рішення Apple означає, що користувачам не обов'язково потрібно багато оперативної пам'яті для пришвидшення реагування ШІ на завдання на пристрої.

Підхід Apple може дозволити як старим, так і новим iPhone пропонувати функції штучного інтелекту безпосередньо на своїх пристроях. Це важливо, оскільки iPhone від Apple зазвичай пропонують менше оперативної пам’яті, ніж висококласні телефони Android. Наприклад, серія iPhone 11 пропонує лише 4 ГБ оперативної пам’яті, тоді як навіть звичайний iPhone 15 має лише 6 ГБ.

Apple — не єдина мобільна компанія, яка працює над скороченням LLM. Нещодавні флагманські чіпи Qualcomm та MediaTek підтримують точність INT4, щоб зменшити розмір цих моделей. У будь-якому разі, компанії намагаються знайти нові способи зниження системних вимог для штучного інтелекту на пристроях, дозволяючи навіть телефонам низького класу пропонувати цю функцію.

Посилання на джерело: https://thanhnien.vn/cach-apple-dua-ai-tong-hop-vao-iphone-doi-cu-185231222160500661.htm