AI의 치명적인 약점

AI는 아직 프로그래밍 분야에서 인간을 대체하지 못했습니다. 사진: 존 맥과이어

최근 OpenAI와 Anthropic의 주요 AI 모델이 프로그래밍 애플리케이션에 점점 더 많이 사용되고 있습니다. ChatGPT와 Claude는 수백 줄의 코드를 분석할 수 있도록 메모리와 처리 능력을 향상시켰고, Gemini는 프로그래머를 위해 Canvas 결과 표시 기능을 통합했습니다.

2024년 10월, 구글 CEO 순다르 피차이는 회사 신규 코드의 25%가 AI로 생성될 것이라고 밝혔습니다. 메타(Meta)의 CEO 마크 저커버그 또한 회사 내에 코드 작성 AI 모델을 광범위하게 도입하겠다는 포부를 밝혔습니다.

그러나 Microsoft의 R&D 부서인 Microsoft Research의 새로운 연구에 따르면 Anthropic의 Claude 3.7 Sonnet과 OpenAI의 o3-mini를 포함한 AI 모델은 SWE-bench Lite라는 프로그래밍 테스트 벤치마크에서 많은 오류를 처리하지 못하는 것으로 나타났습니다.

이 연구의 저자들은 Python 디버거와 같은 다양한 디버깅 도구와 통합된 9개의 서로 다른 AI 모델을 테스트하여 단일 명령문으로 문제를 해결할 수 있었습니다. 이 모델들은 SWE-bench Lite 데이터세트에서 선택된 300개의 소프트웨어 버그를 해결하는 임무를 부여받았습니다.

SWE-bench Lite 데이터 세트를 사용하여 프로그래밍 문제를 풀 때의 성공률. 사진: Microsoft.

더 새롭고 강력한 모델을 탑재한 경우에도 AI 에이전트가 할당된 디버깅 작업의 절반 이상을 성공적으로 완료하는 경우는 드물었습니다. 테스트 모델 중 Claude 3.7 Sonnet이 48.4%로 가장 높은 평균 성공률을 달성했고, OpenAI의 o1이 30.2%, o3-mini가 22.1%로 그 뒤를 이었습니다.

이러한 낮은 성능의 원인 중 하나는 일부 모델이 제공된 디버깅 도구를 적용하는 방법을 이해하지 못하는 것입니다. 또한, 저자들에 따르면 더 큰 문제는 데이터 부족입니다.

그들은 모델을 훈련하는 시스템에는 인간이 처음부터 끝까지 수행하는 디버깅 단계를 시뮬레이션하는 데이터가 아직 부족하다고 주장합니다. 다시 말해, AI는 실제 소프트웨어 버그를 처리할 때 인간이 단계별로 어떻게 생각하고 행동하는지에 대해 충분히 학습하지 못했다는 것입니다.

모델을 훈련하고 미세 조정하면 소프트웨어 디버깅 성능이 향상될 것입니다. 하지만 저자들은 "이를 위해서는 특화된 훈련 데이터 세트가 필요합니다."라고 말했습니다.

수많은 연구에서 프로그래밍 로직 이해 능력 부족 등의 약점으로 인해 AI 코드 생성 과정에서 보안 취약성과 오류가 발견되었습니다. 최근 AI 프로그래밍 도구인 Devin에 대한 검토 결과, Devin은 20개의 프로그래밍 테스트 중 3개만 완료한 것으로 나타났습니다.

AI의 프로그래밍 능력은 여전히 논란의 여지가 있습니다. 앞서 OpenAI의 최고제품책임자(CPO)인 케빈 와일 씨는 올해 말까지 AI가 인간 프로그래머를 능가할 것이라고 말했습니다.

반면, 마이크로소프트 공동 창업자 빌 게이츠는 프로그래밍이 미래에도 지속 가능한 직업이 될 것이라고 믿습니다. 암자드 마사드(Replit CEO), 토드 매키넌(Okta CEO), 아빈드 크리슈나(IBM CEO) 등 다른 리더들도 이러한 견해를 지지했습니다.

Microsoft의 연구는 새로운 것은 아니지만, 관리자를 포함한 프로그래머에게 코딩에 대한 완전한 제어권을 AI에 넘기기 전에 좀 더 신중하게 생각해야 한다는 것을 일깨워줍니다.

출처: https://znews.vn/diem-yeu-chi-mang-cua-ai-post1545220.html