Według Android Authority , dokument badawczy Apple szczegółowo opisuje rozwiązanie umożliwiające uruchamianie dużych modeli językowych (LLM) na urządzeniach z ograniczoną pamięcią RAM. Dokument ujawnia, jak firma może przechowywać „parametry modelu” i wczytywać ich część do pamięci RAM urządzenia w razie potrzeby, zamiast ładować cały model do pamięci RAM.
Apple szuka sposobów, aby pomóc starszym iPhone’om z mniejszą ilością pamięci RAM obsługiwać sztuczną inteligencję.
Autorzy artykułu sugerują, że metoda ta pozwala na uruchamianie modeli wymagających dwukrotnie większej ilości pamięci RAM niż ta, którą dysponuje iPhone, zapewniając jednocześnie szybkość wnioskowania odpowiednio 4-5 razy większą i 20-25 razy większą w porównaniu do prostszych metod obciążania procesora CPU i GPU.
Wdrożenie sztucznej inteligencji (AI) na urządzeniach z dużą ilością pamięci RAM oferuje znaczące korzyści, ponieważ zapewnia szybsze prędkości odczytu i zapisu. Szybkość ma kluczowe znaczenie dla sztucznej inteligencji (AI) na urządzeniach, umożliwiając znacznie szybsze wnioskowanie, ponieważ użytkownicy nie muszą czekać dziesiątki sekund (lub dłużej) na odpowiedź lub wynik końcowy. Wszystko to oznacza, że asystent AI na urządzeniu może działać z prędkością konwersacji, generować obrazy/tekst znacznie szybciej, szybciej streszczać artykuły itd. Jednak rozwiązanie Apple oznacza, że użytkownicy niekoniecznie potrzebują dużej ilości pamięci RAM, aby przyspieszyć responsywność zadań AI na urządzeniu.
Podejście Apple może umożliwić zarówno starszym, jak i nowszym iPhone'om oferowanie zintegrowanych funkcji AI bezpośrednio w swoich urządzeniach. Jest to istotne, ponieważ iPhone'y Apple zazwyczaj oferują mniej pamięci RAM niż zaawansowane telefony z Androidem. Na przykład seria iPhone 11 oferuje tylko 4 GB pamięci RAM, a nawet standardowy iPhone 15 ma tylko 6 GB pamięci RAM.
Apple nie jest jedyną firmą mobilną, która próbuje miniaturyzować układy LLM. Najnowsze flagowe układy Qualcomma i MediaTeka obsługują precyzję INT4, co pozwala na zmniejszenie tych modeli. Tak czy inaczej, firmy starają się znaleźć nowe rozwiązania, które zminimalizują wymagania systemowe dla sztucznej inteligencji w urządzeniach, umożliwiając nawet telefonom z niższej półki oferowanie tej funkcjonalności.
Link źródłowy
