프로그래밍 및 수학 테스트 결과, S1(모델 이름)은 OpenAI의 o1, DeepSeek의 R1 등 최첨단 추론 AI 모델과 동등한 성능을 보이는 것으로 나타났습니다.

특히, S1은 누구나 접근할 수 있는 GitHub 저장소에 공개된 오픈 소스 모델입니다.

개발팀은 기본적으로 사용 가능한 모델에서 시작하여 "증류" 과정을 통해 이를 개선했다고 밝혔습니다. "증류" 과정은 다른 AI 모델의 답변을 학습시켜 "추론" 능력을 추출하는 과정입니다.

구체적으로 S1은 구글의 제미니 2.0 플래시 씽킹 실험 모델에서 추출되었습니다. 이 추출 과정은 버클리 대학교 과학자들이 약 450달러(약 1,130만 동)의 비용으로 이 모델을 제작한 방식과 유사합니다.

게티이미지 1168836247 1.jpg.jpeg
DeepSeek, 저가 AI 개발 경쟁 시작. 사진: TechCrunch

s1을 개발한 연구진은 강력한 추론 성능을 달성하고 "테스트 중에 확장"하는 가장 간단한 방법을 찾아냈습니다. 즉, AI 모델이 질문에 답하기 전에 더 많이 생각할 수 있도록 하는 것입니다.

이는 DeepSeek과 다른 AI 연구실이 다양한 기술을 통해 복제하려고 시도했던 OpenAI의 o1에서 이룬 획기적인 성과 중 하나입니다.

S1 논문에서는 추론 모델이 지도 미세 조정(SFT)이라는 프로세스를 통해 비교적 작은 데이터 세트로 추출될 수 있음을 보여줍니다. 이 프로세스에서 AI 모델은 데이터 세트의 특정 동작을 모방하도록 명시적으로 지시받습니다.

SFT는 DeepSeek이 R1 모델을 학습하는 데 사용한 대규모 강화 학습 방식보다 일반적으로 저렴합니다.

Google은 Google AI Studio 플랫폼을 통해 일일 빈도 제한이 있긴 하지만 Gemini 2.0 Flash Thinking Experimental에 대한 무료 액세스를 제공하고 있습니다.

하지만 Google의 약관에 따르면 Google의 AI 제품과 경쟁하는 서비스를 개발하기 위해 자사 모델의 역엔지니어링을 하는 것은 금지되어 있습니다.

S1은 알리바바 소유의 AI 연구소 Qwen에서 무료로 다운로드할 수 있는 소규모 AI 모델을 기반으로 합니다. 연구진은 S1을 훈련시키기 위해 구글 제미니 2.0 플래시 씽킹 익스페리멘탈(Gemini 2.0 Flash Thinking Experimental)에서 엄선된 1,000개의 질문과 답변, 그리고 각 답변에 담긴 "사고" 과정으로 구성된 데이터 세트를 생성했습니다.

16개의 Nvidia H100 GPU를 사용하여 학습 과정은 30분도 채 걸리지 않았지만, 여러 AI 지표에서 뛰어난 결과를 보였습니다. 스탠퍼드 대학교 연구원인 니클라스 뮤니히호프는 필요한 컴퓨팅 파워를 임대하는 데 드는 비용은 약 20달러에 불과했다고 밝혔습니다.

연구자들은 S1이 작업을 확인하고 "생각 시간"을 늘리도록 하기 위해 추론 과정에 "기다려"라는 단어를 추가하여 모델이 기다리도록 요청하는 등의 방법을 사용했는데, 이를 통해 모델이 더 정확한 답을 도출하는 데 도움이 되었습니다.

2025년까지 메타, 구글, 마이크로소프트는 AI 인프라에 수천억 달러를 투자할 계획이며, 그중 일부는 차세대 AI 모델 학습에 사용될 예정입니다. AI 혁신을 추진하기 위해서는 이러한 수준의 투자가 여전히 필요할 수 있습니다.

증류는 저렴한 비용으로 AI 모델 성능을 복제하는 좋은 방법임이 입증되었지만, 현재 존재하는 것보다 우수한 새로운 AI 모델을 만들어내지는 못합니다.

(테크크런치에 따르면)

구글이 중국 AI와 경쟁하기 위해 제미니 2.0을 공식 출시했습니다 . 구글이 방금 여러 버전과 업데이트를 포함한 차세대 챗봇 제미니 2.0을 공식 출시했습니다.