인공지능을 이기기 위해 노력하는 수학자들의 특별한 모임

5월 중순 어느 주말, 수학계의 비밀 회의가 열렸습니다. 세계 최고의 수학자 30명이 미국 캘리포니아주 버클리로 비밀리에 모여 "추론"이 가능한 챗봇과의 대면을 진행했습니다. 챗봇은 수학자들이 직접 작성한 문제를 풀어 문제 해결 능력을 시험하는 임무를 맡았습니다.

이틀 동안 교수 수준의 질문을 끊임없이 던진 후, 수학자들은 이 챗봇이 역사상 가장 어려운 문제 중 일부를 해결할 수 있다는 사실을 깨닫고 놀랐습니다.

버지니아 대학교의 교수이자 이 회의의 의장 겸 심사위원인 켄 오노는 Scientific American에 "동료들이 이 대규모 언어 모델이 수학적 천재 수준에 접근하고 있다고 단호하게 말하는 것을 봤습니다."라고 말했습니다.

우리의 관심을 사로잡은 챗봇은 복잡한 추론을 위해 설계된 대규모 언어 모델(LLM)인 o4-mini 로 구동됩니다. OpenAI에서 개발한 o4-mini는 정교한 추론을 수행하도록 훈련되었습니다. Google의 동등 모델인 Gemini 2.5 Flash도 유사한 기능을 제공합니다.

이전 ChatGPT LLM과 마찬가지로 o4-mini는 텍스트 문자열의 다음 단어를 예측하는 방법을 학습합니다. 그러나 o4-mini는 심층 데이터를 기반으로 학습되고 인간이 세밀하게 조정한 더 가볍고 유연한 버전으로, 이전 모델로는 해결할 수 없었던 수학적 문제도 해결할 수 있습니다.

o4-mini의 성능을 테스트하기 위해 OpenAI는 LLM 모델 테스트를 전문으로 하는 비영리 단체인 Epoch AI에 이전에 발표되지 않은 300개의 수학 문제를 만들어 달라고 요청했습니다. 기존 LLM은 많은 복잡한 문제를 해결할 수 있지만, 완전히 새로운 문제를 제시했을 때 대부분 정답률이 2% 미만으로, 진정한 추론 능력이 부족함을 시사했습니다.

새로운 평가 프로젝트에서 Epoch AI는 젊은 수학자 엘리엇 글레이저 박사를 리더로 영입했습니다. FrontierMath 라는 이름의 이 새로운 프로젝트는 2024년 9월부터 시행될 예정입니다.

이 프로젝트는 학부, 대학원, 고급 연구까지 네 가지 난이도의 새로운 문제를 수집합니다. 2025년 4월까지 글레이저는 o4-mini가 문제의 약 20%를 해결할 수 있다는 것을 발견했습니다. 그래서 그는 레벨 4까지 올려서 고급 수학자들조차 풀기 어려워하는 문제를 풀도록 했습니다.

참가자들은 기밀 유지 계약에 서명해야 했고 암호화된 앱 Signal을 통해서만 의사소통할 수 있었습니다. 이메일을 사용하면 LLM이 콘텐츠를 스캔하고 "탐지"하여 평가 데이터를 위조할 수 있었기 때문입니다.

o4-mini가 풀 수 없는 문제 하나당 질문자는 7,500달러의 상금을 받습니다.

초기 팀은 천천히, 그러나 꾸준히 문제를 제기하며 진전을 이루었습니다. 그러나 글레이저는 5월 17일과 18일에 직접 회의를 열어 속도를 높이기로 결정했습니다. 30명의 참여 수학자들은 6명씩 그룹으로 나뉘어 서로 경쟁했습니다. 문제를 해결하기 위해서가 아니라, AI가 해결할 수 없는 문제를 생각해내기 위해서였습니다.

5월 17일 저녁 무렵, 켄 오노는 챗봇에 좌절감을 느끼기 시작했습니다. 챗봇은 예상을 훨씬 뛰어넘는 수학적 능력을 보여 팀이 챗봇을 "잡아내기"가 어려워졌기 때문입니다. 그는 "저는 이 분야 전문가들이 정수론의 미해결 문제로 인식할 만한, 박사 학위가 필요한 문제를 생각해냈습니다."라고 말했습니다.

그 결과, 그가 o4-mini에 질문했을 때, 챗봇이 단 10분 만에 분석하고, 추론하고, 정답을 제시하는 것을 보고 깜짝 놀랐습니다. 구체적으로, 처음 2분 동안 챗봇은 모든 관련 문서를 학습하고 이해했습니다. 그런 다음, 문제에 접근하는 방법을 배우기 위해 더 간단한 버전의 문제를 시도해 보겠다고 제안했습니다.

5분 후, 챗봇은 자신감 넘치고 심지어 거만하기까지 한 어조로 정답을 제시했습니다. "점점 건방지게 변하기 시작했어요." 오노가 말했습니다. "그리고는 이렇게 덧붙였습니다. '비밀번호를 알아냈으니 굳이 인용할 필요 없어요!'"

AI에게 패배한 오노는 5월 18일 이른 아침, 시그널을 통해 팀에 즉시 경고 메시지를 보냈습니다. "이런 모델을 다룰 준비가 전혀 되어 있지 않았습니다."라고 그는 말했습니다. "컴퓨터 모델에서 이런 종류의 추론을 본 적이 없었습니다. 마치 진짜 과학자가 생각하는 것처럼 생각하는 것 같았습니다. 정말 무서웠습니다."

수학자들은 마침내 o4-미니를 당황하게 만드는 10가지 질문을 찾아내는 데 성공했지만, 단 1년 만에 AI가 발전하는 속도에 여전히 충격을 감추지 못했습니다.

오노는 o4-mini를 사용하는 경험을 매우 재능 있는 동료와 협업하는 것에 비유합니다. 런던 수리과학 연구소의 수학자이자 수학에 AI를 적용하는 선구자인 양 후이 허는 이렇게 말합니다. "이것이 바로 매우 재능 있는 박사 과정 학생이 할 수 있는 일이며, 그 이상도 할 수 있습니다."

AI는 인간보다 훨씬 빠르게 문제를 해결한다는 점에 유의해야 합니다. 인간은 몇 주 또는 몇 달이 걸리는 반면, o4-mini는 몇 분밖에 걸리지 않습니다.

o4-mini를 둘러싼 기대감은 우려 사항 없이는 있을 수 없습니다. 오노와 그는 o4-mini의 기능이 사람들을 과신하게 만들 수 있다고 경고합니다. "우리는 귀납법, 모순법, 그리고 이제는… 압도적인 증거를 통해 증명합니다."라고 그는 말합니다. "충분한 자신감을 가지고 말하면 사람들은 위축될 것입니다. 저는 o4-mini가 이러한 종류의 증명에 능숙하다고 생각합니다. 모든 것을 매우 자신 있게 말합니다."

회의가 끝나자 수학자들은 수학의 미래에 대해 생각하기 시작했습니다. 그들은 세계 최고의 수학자들조차 풀 수 없는 질문, 즉 "다섯 번째 수준"의 가능성에 대해 논의했습니다. AI가 그 수준에 도달한다면 수학자들의 역할은 극적으로 바뀔 것입니다. 아마도 수학자들은 질문자가 되어 AI와 상호작용하고 추론을 유도하여 새로운 수학적 진실을 발견하게 될 것입니다. 마치 교수가 대학원생과 함께 일하는 방식과 유사할 것입니다.

오노는 "저는 오랫동안 동료들에게 일반 AI는 결코 실현될 수 없고 그저 컴퓨터일 뿐이라고 생각하는 것은 큰 실수라고 말해 왔습니다."라고 말했습니다. "당황하고 싶지는 않지만, 어떤 면에서는 이러한 대규모 언어 모델들이 이미 세계 최고의 박사 과정 학생들 대부분을 능가하기 시작했습니다."

(베트남+)

출처: https://www.vietnamplus.vn/cuoc-gap-go-dac-biet-noi-cac-nha-toan-hoc-tim-cach-danh-bai-tri-tue-nhan-tao-post1043183.vnp