매개변수는 적고 데이터는 많음

[광고_1]

지난주에 발표된 Google의 최신 대규모 언어 모델(LLM)인 PaLM 2는 2022년 이전 모델보다 약 5배 많은 양의 학습 데이터를 사용하여 더욱 고급 프로그래밍, 수학 및 콘텐츠 생성이 가능합니다.

Google I/O 개발자 컨퍼런스에서 검색 대기업은 3조 6천억 개의 토큰으로 학습된 언어 모델인 PaLM 2를 소개했습니다. 이러한 토큰은 단어의 시퀀스로, LLM이 다음에 나타날 단어를 예측하도록 훈련하는 데 사용되는 기본 요소입니다.

PaLM의 이전 버전은 2022년에 출시되었으며 7,800억 개의 토큰으로 발행되었습니다.

지난 주 Google I/O 행사에서 Google CEO Sundar Pichai는 회사의 최신 대규모 언어 모델 PaLM 2를 소개했습니다.

Google은 검색, 이메일, 워드 프로세싱, 스프레드시트 분야에서 자사의 AI 역량을 꾸준히 홍보해 왔지만, 회사는 자사의 훈련 데이터 세트의 규모나 세부 정보를 공개하는 것을 꺼려왔습니다. OpenAI는 또한 최신 LLM 교육 매개변수인 GPT-4의 세부 정보를 비밀로 유지합니다.

기술 회사들은 이러한 하락세를 사업의 경쟁적 성격에 기인한다고 주장한다. Google과 OpenAI는 모두 기존 검색 엔진 대신 챗봇 제품으로 사용자를 유치하기 위해 경쟁하고 있습니다.

컴팩트하고 강력하며 비용 효율적

Google은 PaLM 2가 이전 버전보다 더욱 컴팩트하며, 이전 버전의 5,400억 개의 매개변수에 비해 3,400억 개의 매개변수로 학습되었다고 밝혔습니다. 이는 해당 회사의 기술이 복잡한 작업을 수행하는 데 점점 더 효율적이 되고 있음을 보여줍니다.

이를 달성하기 위해 PaLM 2는 "확장 컴퓨팅 최적화"라는 새로운 기술을 사용하는데, 이는 "더 적은 매개변수로 오버헤드를 줄여 더 빠른 추론을 포함하여 더 나은 전반적인 성능"을 제공합니다.

100개 이상의 언어로 훈련된 Google의 최신 언어 AI 모델은 실험적 챗봇 Bard를 포함하여 25개의 기능과 제품에 대한 다양한 작업을 수행하고 있습니다. PaLM 2는 크기에 따라 Gecko, Otter, Bison, Unicorn의 네 가지 버전으로 출시됩니다.

공개된 문서에 따르면 PaLM 2는 기존 모델보다 더 강력합니다. 2월에 출시된 Facebook의 LlaMA는 1조 4,000억 개의 토큰을 기반으로 훈련되었습니다. 한편, OpenAI가 ChatGPT의 학습 데이터 크기를 마지막으로 공개한 것은 3,000억 개의 토큰이 포함된 GPT-3 버전이었습니다.

AI 애플리케이션의 폭발적인 증가로 인해 이 기술을 둘러싼 논란이 생겨났습니다. 올해 초, 구글 연구소의 수석 과학자인 엘 마흐디 엘 므함디는 검색 대기업의 투명성 부족에 항의하며 사임했습니다.

이번 주에 OpenAI의 CEO인 샘 알트먼도 보편적 AI의 맥락에서 개인정보 보호와 기술에 관한 미국 상원 사법 소위원회에서 증언했습니다. 여기서 ChatGPT의 "아버지"는 AI를 관리하기 위해 새로운 규정이 필요하다는 의원들의 의견에 동의했습니다.

(CNBC에 따르면)

[광고_2]
원천