매개변수는 줄이고 데이터는 늘린다

[광고_1]

지난주에 발표된 구글의 최신 대규모 언어 모델(LLM)인 PaLM 2는 2022년 버전보다 거의 5배나 많은 학습 데이터를 사용하여 프로그래밍, 문제 해결 및 더욱 고급 콘텐츠 제작이 가능합니다.

구글은 개발자 컨퍼런스인 구글 I/O에서 3조 6천억 개의 토큰을 기반으로 하는 언어 학습 모델인 PaLM 2를 발표했습니다. 이 토큰들은 단어들의 문자열로, LLM 학습에서 다음에 나올 단어를 예측하는 데 사용되는 기본 구성 요소입니다.

PaLM의 이전 버전은 2022년에 출시되었으며 7800억 개의 토큰을 사용하여 학습되었습니다.

지난주 구글 I/O 행사에서 구글 CEO 순다르 피차이는 구글의 최신 빅 언어 모델인 PaLM 2를 소개했습니다.

구글은 검색, 이메일, 워드 프로세싱, 스프레드시트 작업 등에서 인공지능의 강력한 성능을 끊임없이 선보이고 있지만, 학습 데이터셋의 규모나 세부 정보는 공개하지 않고 있습니다. 오픈아이언 역시 최신 LLM 학습 모델인 GPT-4의 세부 정보를 비공개로 유지하고 있습니다.

기술 기업들은 이러한 현상을 사업의 경쟁적인 특성 때문이라고 설명합니다. 구글과 오픈AI는 모두 기존 검색 엔진 대신 챗봇 제품으로 사용자를 유치하기 위해 경쟁하고 있습니다.

콤팩트하고 강력하며 비용 효율적입니다.

구글은 PaLM 2가 이전 버전보다 더 간결해졌으며, 이전 버전의 5400억 개 파라미터에 비해 3400억 개 파라미터로 학습되었다고 밝혔습니다. 이는 구글의 기술이 복잡한 작업을 수행하는 데 있어 더욱 효율적으로 발전하고 있음을 보여줍니다.

이를 위해 PaLM 2는 "확장 컴퓨팅 최적화"라는 새로운 기술을 사용합니다. 이 기술은 "더 적은 매개변수로 더 빠른 추론을 포함하여 전반적으로 더 나은 성능을 제공하므로 운영 비용을 절감합니다."

100개 이상의 언어로 학습된 구글의 최신 AI 언어 모델인 PaLM 2는 실험적인 챗봇 Bard를 포함한 25개 기능 및 제품에 대해 다양한 작업을 수행하고 있습니다. PaLM 2는 크기에 따라 Gecko, Otter, Bison, Unicorn의 네 가지 버전으로 제공됩니다.

공개된 문서에 따르면 PaLM 2는 기존의 어떤 모델보다 강력합니다. 페이스북이 2월에 출시한 LlaMA는 1조 4천억 개의 토큰으로 학습되었습니다. 한편, 오픈아이얼이 마지막으로 공개한 ChatGPT의 학습 데이터 크기는 3천억 개의 토큰을 사용한 GPT-3 버전이었습니다.

인공지능 애플리케이션의 폭발적인 증가는 해당 기술을 둘러싼 논란을 불러일으켰습니다. 올해 초, 구글 리서치의 선임 과학자 인 엘 마흐디는 구글의 투명성 부족에 항의하며 사임했습니다.

이번 주, 오픈AI의 CEO 샘 알트만은 AI의 확산과 관련하여 미국 상원 사법위원회 산하 개인정보보호 및 기술 소위원회에 출석하여 증언했습니다. 챗GPT 개발자인 그는 AI를 규제하기 위한 새로운 법규가 필요하다는 의원들의 의견에 동의했습니다.

(CNBC에 따르면)

[광고_2]
원천