애플, AI 추론에 찬물 끼얹어

애플의 새로운 연구는 추론 모델의 비효율성을 보여줍니다. 하지만 전문가들은 이 발견이 새로운 것은 아니라고 말합니다.

애플의 대규모 추론 모델에 대한 새로운 연구가 주목을 받고 있다. 사진: Macrumors .

인공지능은 출시된 지 불과 3년 만에 공부나 업무 등 일상생활 곳곳에 스며들기 시작했습니다. 많은 사람들은 인공지능이 머지않아 인간을 대체할 수 있을 것이라고 우려합니다.

하지만 새로운 AI 모델은 우리가 생각하는 것만큼 똑똑하지 않습니다. 한 주요 기술 기업의 연구 결과는 이러한 믿음을 더욱 강화하는 데 도움이 되었습니다.

"무시하기 너무 어렵다"는 건 누구나 아는 사실

"Illusionary Thinking"이라는 제목의 최근 연구에서 Apple 연구팀은 Claude, DeepSeek-R1, o3-mini와 같은 추론 모델이 이름에서 암시하는 것처럼 실제로 "두뇌 중심"이 아니라고 주장합니다.

추론이라는 단어는 "모방"으로 대체되어야 합니다. 연구팀은 이러한 모델들이 패턴을 기억하고 반복하는 데 효율적일 뿐이라고 주장합니다. 하지만 질문이 바뀌거나 복잡성이 증가하면 모델들은 거의 무너질 뻔합니다.

간단히 말해, 챗봇은 패턴을 인식하고 매칭할 수 있을 때는 잘 작동하지만, 문제가 너무 복잡해지면 제대로 처리할 수 없습니다. "최첨단 대규모 추론 모델(LRM)은 복잡성이 특정 임계값을 초과하면 정확도가 완전히 저하됩니다."라고 연구는 지적합니다.

이는 리소스가 증가하면 복잡성이 개선될 것이라는 개발자의 기대에 어긋납니다. "AI 추론 노력은 복잡성에 따라 증가하지만, 일정 수준까지만 증가하고, 그 이후에는 이를 처리할 충분한 토큰 예산(연산 능력)이 있더라도 감소합니다."라고 보고서는 덧붙였습니다.

이 연구에서 연구진은 일반적으로 질문에 답하는 데 사용되는 문제 모델을 완전히 뒤집었습니다. 일반적인 수학 시험 대신, 하노이탑, 체커 점프, 강 건너기, 블록 세계와 같이 기발하게 설계된 퍼즐을 도입했습니다.

각 퍼즐 게임은 간단하고 명확한 규칙을 가지고 있으며, 디스크, 블록, 에이전트를 추가하는 등 다양한 난이도를 제공합니다. 추론 모델은 중간 난이도에서 더 나은 성능을 보이지만, 쉬움 난이도에서는 일반 버전에 뒤처집니다. 특히 어려움 난이도에서는 마치 AI가 포기한 것처럼 모든 것이 완전히 무너집니다.

하노이 탑 문제에서 팀은 문제 해결 알고리즘에 "피딩"을 제공했음에도 불구하고 추론 모델의 성능을 크게 향상시키지 못했습니다. 일부 모델은 게임에서 최대 100레벨까지는 좋은 성능을 보였지만, 강 건너기 문제에서는 5단계만 불완전하게 통과했습니다.

하노이 타워에서는 플레이어가 원을 크기 순서대로 이동하고 위치를 조정해야 합니다. 사진: 위키피디아.

이는 LRM 모델의 추론 성능과 안정성이 낮음을 시사합니다. AI의 인간 대응 능력에 대한 많은 논쟁 속에서, 이 새로운 Apple 연구는 그 반대의 결과를 보여줍니다.

애플의 발견은 새로운 것이 아니다

미국의 심리학자이자 작가인 게리 마커스는 애플의 연구 결과가 인상적이기는 하지만, 완전히 새로운 것은 아니며 기존 연구를 강화하는 데 그쳤다고 말했습니다. 뉴욕 대학교 심리학 및 신경과학 명예교수는 1998년 자신의 연구를 예로 들었습니다.

이 논문에서 그는 대규모 언어 모델의 선구자인 신경망이 훈련된 데이터 분포 내에서는 일반화를 잘 할 수 있지만, 분포 범위를 벗어난 데이터에 직면하면 종종 붕괴된다고 주장합니다.

그는 또한 애리조나 주립대학교 컴퓨터 과학자 수바라오 캄밤파티가 최근 몇 년간 제시한 주장을 인용합니다. 라오 교수는 "사고 사슬"과 "추론 모델"이 많은 사람들이 생각하는 것보다 본질적으로 신뢰성이 낮다고 생각합니다.

"사람들은 대규모 언어 모델의 추론 흔적을 지나치게 의인화하여 '생각'이라고 부르는 경향이 있는데, 그럴 만한 이름이 아닐 수도 있습니다." LLM에서 생성된 사고 시퀀스가 ​​실제 행동을 항상 정확하게 반영하지는 않는다는 내용의 논문을 여러 편 쓴 한 교수의 말입니다.

애플의 새로운 연구에 따르면 최신 세대의 추론 모델조차도 훈련 데이터 밖에서는 신뢰할 수 없다는 사실이 밝혀졌습니다. 마커스는 LLM과 LRM 모델 모두 나름의 용도가 있으며, 경우에 따라 유용하다고 말합니다. 하지만 사용자는 그 결과를 절대 신뢰해서는 안 됩니다.

출처: https://znews.vn/apple-doi-gao-nuoc-lanh-vao-ai-suy-luan-post1559526.html