Jak Apple přináší syntetickou umělou inteligenci do starších iPhonů.

Podle Android Authority výzkumná práce společnosti Apple podrobně popisuje řešení pro spouštění velkých jazykových modelů (LLM) na zařízeních s omezenou pamětí RAM. Článek odhaluje, jak může společnost ukládat „parametry modelu“ a v případě potřeby načítat jejich část do paměti RAM zařízení, místo aby do paměti RAM načítala celý model.

Apple hledá způsoby, jak starším iPhonem s menší pamětí RAM pomoci s běžnou umělou inteligencí.

Článek naznačuje, že tato metoda umožňuje spouštět modely, které vyžadují dvojnásobek RAM, než může mít iPhone, a zároveň zajišťuje 4–5krát vyšší rychlost uvažování, respektive 20–25krát vyšší, ve srovnání s jednoduššími metodami načítání dat na CPU a GPU.

Implementace syntetické umělé inteligence na zařízeních s dostatkem paměti RAM nabízí značné výhody, protože poskytuje rychlejší čtení/zápis. Rychlost je pro umělou inteligenci na zařízení klíčová, protože umožňuje mnohem rychlejší inferenci, protože uživatelé nemusí nutně čekat desítky sekund (nebo i déle) na odpověď nebo konečný výsledek. To vše znamená, že asistent umělé inteligence na zařízení je schopen běžet konverzační rychlostí, generovat obrázky/text mnohem rychleji, rychleji shrnovat články atd. Řešení od Applu však znamená, že uživatelé nemusí nutně potřebovat mnoho paměti RAM, aby urychlili odezvu úloh umělé inteligence na zařízení.

Přístup společnosti Apple by mohl umožnit starším i novějším iPhonům nabízet integrované funkce umělé inteligence přímo ve svých zařízeních. To je důležité, protože iPhony od Applu obvykle nabízejí méně RAM než špičkové telefony s Androidem. Například řada iPhone 11 nabízí pouze 4 GB RAM, zatímco i standardní iPhone 15 má pouze 6 GB RAM.

Apple není jedinou mobilní společností, která se snaží miniaturizovat LLM. Nedávné vlajkové lodě od Qualcommu a MediaTeku podporují přesnost INT4, aby se tyto modely zmenšily. Ať tak či onak, společnosti se snaží najít nová řešení, jak minimalizovat systémové požadavky na umělou inteligenci v zařízeních, což by umožnilo i levnějším telefonům nabízet tuto funkci.

Zdrojový odkaz: https://thanhnien.vn/cach-apple-dua-ai-tong-hop-vao-iphone-doi-cu-185231222160500661.htm