Bagaimana Apple Memasukkan AI Sintetis ke iPhone Lama

[iklan_1]

Menurut Android Authority , makalah penelitian Apple merinci solusi untuk menjalankan model bahasa besar (LLM) pada perangkat dengan RAM terbatas. Makalah ini mengungkapkan bagaimana perusahaan dapat menyimpan "parameter model" dan memuat sebagiannya ke dalam RAM perangkat saat dibutuhkan, alih-alih memuat seluruh model ke dalam RAM.

Cách Apple đưa AI tổng hợp vào iPhone đời cũ- Ảnh 1. — Apple ingin membantu iPhone lama dengan RAM lebih sedikit menjalankan AI umum

Makalah ini mengklaim bahwa metode ini memungkinkan menjalankan model yang membutuhkan RAM dua kali lipat dari yang dimiliki iPhone sambil tetap memastikan kecepatan inferensi 4-5x dan 20-25x dibandingkan dengan metode pemuatan sederhana pada CPU dan GPU.

Menerapkan AI sintetis pada perangkat dengan RAM lebih besar akan sangat bermanfaat karena memungkinkan kecepatan baca/tulis yang lebih cepat. Kecepatan penting untuk AI di perangkat, memungkinkan waktu inferensi yang jauh lebih cepat karena pengguna tidak perlu menunggu puluhan detik (atau lebih) untuk mendapatkan respons atau hasil akhir. Semua ini berarti asisten AI di perangkat berpotensi berjalan dengan kecepatan percakapan, menghasilkan gambar/teks jauh lebih cepat, meringkas artikel lebih cepat, dll. Namun, solusi Apple ini berarti pengguna tidak perlu RAM yang besar untuk mempercepat respons tugas AI di perangkat.

Pendekatan Apple memungkinkan iPhone lama dan baru untuk menawarkan fitur AI sintetis langsung di perangkat. Hal ini penting karena iPhone Apple biasanya menawarkan RAM yang lebih sedikit daripada ponsel Android kelas atas. Seri iPhone 11, misalnya, hanya menawarkan RAM 4GB, sementara iPhone 15 entry-level pun hanya memiliki 6GB.

Apple bukan satu-satunya perusahaan seluler yang berupaya mengecilkan LLM. Chip unggulan terbaru Qualcomm dan MediaTek mendukung presisi INT4 untuk mengecilkan model-model ini. Bagaimanapun, perusahaan-perusahaan sedang mencoba menemukan cara baru untuk mengurangi persyaratan sistem untuk AI pada perangkat, sehingga bahkan ponsel kelas bawah pun dapat menawarkan fitur tersebut.

[iklan_2]
Tautan sumber