Menurut Android Authority , kertas penyelidikan Apple memperincikan penyelesaian untuk menjalankan model bahasa besar (LLM) pada peranti dengan RAM terhad. Kertas penyelidikan itu mendedahkan bagaimana syarikat itu boleh menyimpan "parameter model" dan memuatkan sebahagian daripadanya ke dalam RAM peranti apabila diperlukan, dan bukannya memuatkan keseluruhan model ke dalam RAM.
Apple sedang mencari cara untuk membantu iPhone lama dengan RAM yang lebih sedikit menjalankan AI umum.
Kertas kerja ini mencadangkan bahawa kaedah ini membolehkan model yang memerlukan dua kali ganda RAM yang boleh dimiliki oleh iPhone, sambil memastikan kelajuan penaakulan masing-masing 4-5 kali lebih pantas dan 20-25 kali lebih pantas, berbanding kaedah pemuatan yang lebih mudah ke CPU dan GPU.
Melaksanakan AI sintetik pada peranti dengan RAM yang mencukupi menawarkan manfaat yang ketara kerana ia memberikan kelajuan baca/tulis yang lebih pantas. Kelajuan adalah penting untuk AI pada peranti, membolehkan masa inferens yang lebih pantas kerana pengguna tidak semestinya perlu menunggu puluhan saat (atau lebih) untuk respons atau hasil akhir. Semua ini bermakna pembantu AI pada peranti mampu berjalan pada kelajuan perbualan, menjana imej/teks dengan lebih pantas, meringkaskan artikel dengan lebih pantas, dan sebagainya. Tetapi penyelesaian Apple bermakna pengguna tidak semestinya memerlukan banyak RAM untuk mempercepatkan daya tindak balas tugas AI pada peranti.
Pendekatan Apple ini membolehkan iPhone lama dan baharu menawarkan ciri AI bersepadu secara langsung pada peranti mereka. Ini penting kerana iPhone Apple biasanya menawarkan RAM yang lebih rendah berbanding telefon Android kelas atasan. Contohnya, siri iPhone 11 hanya menawarkan RAM 4 GB, manakala iPhone 15 standard hanya mempunyai RAM 6 GB.
Apple bukanlah satu-satunya syarikat mudah alih yang cuba mengecilkan LLM. Cip utama terbaru daripada Qualcomm dan MediaTek kedua-duanya menyokong ketepatan INT4 untuk mengecilkan model ini. Walau apa pun, syarikat-syarikat sedang cuba mencari penyelesaian baharu untuk meminimumkan keperluan sistem untuk AI pada peranti, membolehkan telefon kelas bawahan menawarkan fungsi ini.
[iklan_2]
Pautan sumber










