Laut Android Authority beschreibt Apple in einer Forschungsarbeit eine Lösung für die Ausführung großer Sprachmodelle (LLMs) auf Geräten mit begrenztem Arbeitsspeicher. Die Arbeit zeigt, wie das Unternehmen „Modellparameter“ speichern und bei Bedarf einen Teil davon in den Arbeitsspeicher des Geräts laden kann, anstatt das gesamte Modell in den Arbeitsspeicher zu laden.
Apple sucht nach Möglichkeiten, älteren iPhones mit weniger Arbeitsspeicher die Ausführung allgemeiner KI-Anwendungen zu ermöglichen.
Die Studie legt nahe, dass diese Methode die Ausführung von Modellen ermöglicht, die die doppelte Menge an RAM benötigen, die ein iPhone haben kann, und gleichzeitig eine Schlussfolgerungsgeschwindigkeit gewährleistet, die 4- bis 5-mal bzw. 20- bis 25-mal schneller ist als bei einfacheren Methoden, die auf die CPU und GPU geladen werden.
Die Implementierung synthetischer KI auf Geräten mit ausreichend Arbeitsspeicher bietet erhebliche Vorteile, da sie schnellere Lese- und Schreibgeschwindigkeiten ermöglicht. Geschwindigkeit ist für geräteinterne KI entscheidend, da sie deutlich schnellere Schlussfolgerungszeiten ermöglicht. Nutzer müssen nicht unbedingt Dutzende von Sekunden (oder länger) auf eine Antwort oder ein Endergebnis warten. Dadurch kann ein geräteinterner KI-Assistent in Konversationsgeschwindigkeit arbeiten, Bilder und Texte viel schneller generieren, Artikel zügiger zusammenfassen usw. Apples Lösung bedeutet jedoch, dass Nutzer nicht unbedingt viel Arbeitsspeicher benötigen, um die Reaktionsfähigkeit geräteinterner KI-Aufgaben zu beschleunigen.
Apples Ansatz könnte es sowohl älteren als auch neueren iPhones ermöglichen, KI-Funktionen direkt auf den Geräten zu integrieren. Dies ist wichtig, da iPhones in der Regel weniger Arbeitsspeicher (RAM) bieten als High-End-Android-Smartphones. Beispielsweise verfügt die iPhone-11-Serie nur über 4 GB RAM, während selbst das Standard-iPhone 15 nur 6 GB RAM besitzt.
Apple ist nicht der einzige Mobilfunkhersteller, der an der Miniaturisierung von LLMs arbeitet. Aktuelle Flaggschiff-Chips von Qualcomm und MediaTek unterstützen beide INT4-Präzision, um diese Modelle zu verkleinern. Unabhängig davon suchen die Unternehmen nach neuen Lösungen, um die Systemanforderungen für KI auf Geräten zu minimieren und so auch Einsteiger-Smartphones diese Funktionalität zu ermöglichen.
Quellenlink
