Bagaimana Apple Meletakkan AI Sintetik dalam iPhone Lama

Menurut Penguasa Android , kertas penyelidikan Apple memperincikan penyelesaian untuk menjalankan model bahasa besar (LLM) pada peranti dengan RAM terhad. Kertas itu mendedahkan bagaimana syarikat boleh menyimpan "parameter model" dan memuatkan sebahagian daripadanya ke dalam RAM peranti apabila diperlukan, dan bukannya memuatkan keseluruhan model ke dalam RAM.

Cách Apple đưa AI tổng hợp vào iPhone đời cũ- Ảnh 1. — Apple sedang mencari untuk membantu iPhone lama dengan kurang RAM menjalankan AI umum

Kertas itu mendakwa kaedah ini membolehkan model menjalankan yang memerlukan dua kali ganda RAM yang boleh dimiliki oleh iPhone sambil memastikan kelajuan inferens 4-5x dan 20-25x berbanding kaedah pemuatan mudah pada CPU dan GPU masing-masing.

Menggunakan AI sintetik pada peranti dengan lebih banyak RAM akan menjadi faedah yang besar kerana ia akan membolehkan kelajuan baca/tulis yang lebih pantas. Kelajuan adalah penting untuk AI pada peranti, membolehkan masa inferens yang lebih cepat kerana pengguna tidak semestinya perlu menunggu berpuluh-puluh saat (atau lebih) untuk mendapatkan respons atau hasil akhir. Semua ini bermakna pembantu AI pada peranti berpotensi boleh berjalan pada kelajuan perbualan, menjana imej/teks dengan lebih pantas, meringkaskan artikel dengan lebih pantas, dsb. Tetapi penyelesaian Apple bermakna pengguna tidak semestinya memerlukan banyak RAM untuk mempercepatkan tindak balas tugas AI pada peranti.

Pendekatan Apple boleh membenarkan iPhone lama dan baharu menawarkan ciri AI sintetik terus pada peranti mereka. Itu penting kerana iPhone Apple biasanya menawarkan kurang RAM berbanding telefon Android mewah. Siri iPhone 11, sebagai contoh, hanya menawarkan 4GB RAM, manakala iPhone 15 biasa hanya mempunyai 6GB.

Apple bukan satu-satunya syarikat mudah alih yang berusaha untuk mengecutkan LLM. Cip unggul terbaru Qualcomm dan MediaTek menyokong ketepatan INT4 untuk mengecilkan model ini. Sama ada cara, syarikat cuba mencari cara baharu untuk mengurangkan keperluan sistem untuk AI pada peranti, membenarkan walaupun telefon rendah menawarkan ciri tersebut.

Pautan sumber