Hur Apple sätter syntetisk AI i äldre iPhones

Enligt Android Authority beskriver Apples forskningsrapport en lösning för att köra stora språkmodeller (LLM) på enheter med begränsat RAM-minne. Rapporten visar hur företaget kan lagra "modellparametrar" och ladda en del av dem i enhetens RAM-minne vid behov, istället för att ladda hela modellen i RAM-minnet.

Apple vill hjälpa äldre iPhones med mindre RAM att köra generell AI

Artikeln hävdar att den här metoden möjliggör körning av modeller som kräver dubbelt så mycket RAM som en iPhone, samtidigt som den säkerställer 4–5x respektive 20–25x inferenshastigheter jämfört med enkla laddningsmetoder på CPU:n respektive GPU:n.

Att distribuera syntetisk AI på en enhet med mer RAM skulle vara en enorm fördel eftersom det skulle möjliggöra snabbare läs-/skrivhastigheter. Hastighet är viktigt för AI på enheten, vilket möjliggör mycket snabbare inferenstider eftersom användare inte nödvändigtvis behöver vänta tiotals sekunder (eller mer) på ett svar eller ett slutresultat. Allt detta innebär att en AI-assistent på enheten potentiellt skulle kunna köras i konversationshastigheter, generera bilder/text mycket snabbare, sammanfatta artiklar snabbare, etc. Men Apples lösning innebär att användare inte nödvändigtvis behöver mycket RAM för att snabba upp AI-uppgiftsresponsen på enheten.

Apples tillvägagångssätt skulle kunna göra det möjligt för både gamla och nya iPhones att erbjuda syntetiska AI-funktioner direkt på sina enheter. Det är viktigt eftersom Apples iPhones vanligtvis erbjuder mindre RAM än avancerade Android-telefoner. iPhone 11-serien erbjuder till exempel bara 4 GB RAM, medan även den vanliga iPhone 15 bara har 6 GB.

Apple är inte det enda mobilföretaget som arbetar med att minska LLM. Qualcomms och MediaTeks senaste flaggskeppschip stöder båda INT4-precision för att krympa dessa modeller. Hur som helst försöker företagen hitta nya sätt att minska systemkraven för AI på enheter, vilket gör att även enklare telefoner kan erbjuda funktionen.

Källänk: https://thanhnien.vn/cach-apple-dua-ai-tong-hop-vao-iphone-doi-cu-185231222160500661.htm