Wie Apple synthetische KI in ältere iPhones integriert

Laut Android Authority beschreibt Apples Forschungsarbeit eine Lösung für die Ausführung großer Sprachmodelle (LLMs) auf Geräten mit begrenztem Arbeitsspeicher. Die Arbeit zeigt, wie das Unternehmen „Modellparameter“ speichern und bei Bedarf einen Teil davon in den Arbeitsspeicher des Geräts laden kann, anstatt das gesamte Modell in den Arbeitsspeicher zu laden.

Apple möchte älteren iPhones mit weniger Arbeitsspeicher die Ausführung allgemeiner KI-Funktionen ermöglichen.

In der Studie wird behauptet, dass diese Methode die Ausführung von Modellen ermöglicht, die die doppelte Menge an RAM benötigen, die ein iPhone haben kann, und gleichzeitig eine 4- bis 5-fache bzw. 20- bis 25-fache Inferenzgeschwindigkeit im Vergleich zu einfachen Lademethoden auf der CPU bzw. GPU gewährleistet.

Der Einsatz synthetischer KI auf Geräten mit mehr Arbeitsspeicher wäre von großem Vorteil, da er schnellere Lese- und Schreibgeschwindigkeiten ermöglicht. Geschwindigkeit ist für geräteinterne KI entscheidend, da sie deutlich schnellere Schlussfolgerungen ermöglicht und Nutzer nicht mehr Dutzende Sekunden (oder länger) auf eine Antwort oder ein Endergebnis warten müssen. All dies bedeutet, dass ein geräteinterner KI-Assistent potenziell in Konversationsgeschwindigkeit arbeiten, Bilder und Texte viel schneller generieren, Artikel schneller zusammenfassen usw. könnte. Apples Lösung zeigt jedoch, dass Nutzer nicht unbedingt viel Arbeitsspeicher benötigen, um die Reaktionsgeschwindigkeit geräteinterner KI-Aufgaben zu beschleunigen.

Apples Ansatz könnte es ermöglichen, sowohl ältere als auch neuere iPhones mit KI-Funktionen auszustatten. Das ist wichtig, da iPhones in der Regel weniger Arbeitsspeicher (RAM) bieten als High-End-Android-Smartphones. Die iPhone-11-Serie beispielsweise verfügt nur über 4 GB RAM, selbst das reguläre iPhone 15 hat lediglich 6 GB.

Apple ist nicht der einzige Mobilfunkhersteller, der an der Verkleinerung von LLM arbeitet. Auch Qualcomm und MediaTek unterstützen mit ihren aktuellen Flaggschiff-Chips die INT4-Präzision, um diese Modelle zu verkleinern. Unabhängig davon suchen die Unternehmen nach neuen Wegen, die Systemanforderungen für On-Device-KI zu reduzieren, damit selbst Einsteiger-Smartphones diese Funktion bieten können.

Quellenlink: https://thanhnien.vn/cach-apple-dua-ai-tong-hop-vao-iphone-doi-cu-185231222160500661.htm