Jak Apple wprowadza syntetyczną sztuczną inteligencję do starszych modeli iPhone’ów

Według Android Authority , dokument badawczy Apple szczegółowo opisuje rozwiązanie umożliwiające uruchamianie dużych modeli językowych (LLM) na urządzeniach z ograniczoną pamięcią RAM. Dokument ujawnia, jak firma może przechowywać „parametry modelu” i wczytywać ich część do pamięci RAM urządzenia w razie potrzeby, zamiast ładować cały model do pamięci RAM.

Apple chce pomóc starszym iPhone’om z mniejszą ilością pamięci RAM w obsłudze ogólnej sztucznej inteligencji

Autorzy artykułu twierdzą, że metoda ta pozwala na uruchamianie modeli wymagających dwukrotnie większej ilości pamięci RAM niż ma to miejsce w przypadku iPhone'a, zapewniając jednocześnie prędkość wnioskowania odpowiednio 4-5x i 20-25x w porównaniu do prostych metod ładowania danych na procesorze CPU i procesorze GPU.

Wdrożenie sztucznej inteligencji (AI) na urządzeniu z większą ilością pamięci RAM przyniosłoby ogromną korzyść, ponieważ umożliwiłoby szybsze odczytywanie i zapisywanie danych. Szybkość jest istotna dla sztucznej inteligencji (AI) na urządzeniu, ponieważ pozwala na znacznie szybsze wnioskowanie, ponieważ użytkownicy nie muszą czekać dziesiątki sekund (lub dłużej) na odpowiedź lub wynik końcowy. Wszystko to oznacza, że ​​asystent AI na urządzeniu mógłby potencjalnie działać z prędkością konwersacji, generować obrazy/tekst znacznie szybciej, szybciej streszczać artykuły itd. Jednak rozwiązanie Apple oznacza, że ​​użytkownicy niekoniecznie potrzebują dużej ilości pamięci RAM, aby przyspieszyć reakcję sztucznej inteligencji na zadania.

Podejście Apple może umożliwić starszym i nowym iPhone'om oferowanie funkcji sztucznej inteligencji bezpośrednio na swoich urządzeniach. To ważne, ponieważ iPhone'y Apple'a zazwyczaj oferują mniej pamięci RAM niż zaawansowane telefony z Androidem. Na przykład seria iPhone 11 oferuje tylko 4 GB pamięci RAM, a nawet standardowy iPhone 15 ma zaledwie 6 GB.

Apple nie jest jedyną firmą mobilną pracującą nad zmniejszeniem LLM. Najnowsze flagowe układy Qualcomma i MediaTeka obsługują precyzję INT4, co pozwala na zmniejszenie tych modeli. Tak czy inaczej, firmy starają się znaleźć nowe sposoby na zmniejszenie wymagań systemowych dla sztucznej inteligencji w urządzeniu, umożliwiając nawet smartfonom z niższej półki oferowanie tej funkcji.

Link źródłowy: https://thanhnien.vn/cach-apple-dua-ai-tong-hop-vao-iphone-doi-cu-185231222160500661.htm