Android Authority 에 따르면, Apple 의 연구 논문은 RAM 용량이 제한된 기기에서 대규모 언어 모델(LLM)을 실행하는 솔루션을 자세히 설명합니다. 이 논문은 Apple이 "모델 매개변수"를 저장하고 필요할 때 전체 모델을 RAM에 로드하는 대신 일부만 기기의 RAM에 로드하는 방식을 공개했습니다.
애플은 램 용량이 적은 구형 아이폰에서도 일반 인공지능을 실행할 수 있는 방법을 모색하고 있습니다.
이 논문은 이 방법을 사용하면 아이폰이 탑재할 수 있는 RAM의 두 배를 필요로 하는 모델을 실행할 수 있으며, 동시에 CPU와 GPU에 데이터를 로드하는 더 간단한 방법과 비교했을 때 추론 속도는 각각 4~5배, 20~25배 더 빠르다고 주장합니다.
충분한 RAM을 탑재한 기기에 인공지능을 구현하면 읽기/쓰기 속도가 향상되어 상당한 이점을 얻을 수 있습니다. 속도는 온디바이스 AI에 매우 중요하며, 사용자가 응답이나 최종 결과를 얻기 위해 수십 초(또는 그 이상)를 기다릴 필요가 없으므로 추론 시간을 크게 단축할 수 있습니다. 즉, 온디바이스 AI 비서는 대화 속도로 작동하고, 이미지/텍스트를 훨씬 빠르게 생성하고, 기사를 더 신속하게 요약하는 등의 작업을 수행할 수 있습니다. 하지만 애플의 솔루션은 온디바이스 AI 작업의 응답 속도를 높이기 위해 반드시 많은 RAM이 필요한 것은 아니라는 것을 의미합니다.
애플의 접근 방식은 구형 아이폰과 신형 아이폰 모두에 AI 기능을 통합하여 제공할 수 있게 해줍니다. 이는 애플 아이폰이 일반적으로 고급 안드로이드 폰보다 RAM 용량이 적기 때문에 중요한 의미를 갖습니다. 예를 들어, 아이폰 11 시리즈는 4GB의 RAM만 제공하며, 일반 아이폰 15조차도 6GB의 RAM만 탑재하고 있습니다.
애플만이 LLM(레이어 레이저 모듈) 소형화를 시도하는 유일한 모바일 회사는 아닙니다. 퀄컴과 미디어텍의 최근 플래그십 칩 모두 INT4 정밀도를 지원하여 이러한 모델의 크기를 줄이고 있습니다. 어쨌든 기업들은 기기에서 AI를 구현하는 데 필요한 시스템 요구 사항을 최소화하는 새로운 솔루션을 모색하고 있으며, 이를 통해 저가형 스마트폰에서도 AI 기능을 제공할 수 있도록 노력하고 있습니다.
[광고_2]
출처 링크
