AI의 치명적인 약점

인공지능은 아직 프로그래밍 분야에서 인간을 대체할 수 없다. 사진: 존 맥과이어

최근 OpenAI와 Anthropic의 선도적인 AI 모델들이 프로그래밍 애플리케이션에 점점 더 많이 활용되고 있습니다. ChatGPT와 Claude는 메모리와 처리 능력이 향상되어 수백 줄의 코드를 분석할 수 있으며, Gemini는 프로그래머를 위한 전용 Canvas 결과 표시 기능을 통합했습니다.

2024년 10월, 구글의 CEO 순다르 피차이는 회사에서 새로 생성되는 코드의 25%가 AI에 의해 생성되었다고 밝혔습니다. 메타의 CEO 마크 저커버그 또한 회사 내에서 AI 코딩 모델을 광범위하게 도입하겠다는 포부를 표명했습니다.

하지만 마이크로소프트의 연구 개발 부서인 마이크로소프트 리서치의 새로운 연구에 따르면, 앤트로픽의 클로드 3.7 소네트와 오픈아이얼의 o3-mini를 포함한 AI 모델들이 SWE-bench Lite라는 프로그래밍 벤치마크에서 발생하는 많은 오류를 제대로 처리하지 못하는 것으로 나타났습니다.

연구진은 파이썬 디버거와 같은 다양한 디버깅 도구를 통합하고 단일 명령문으로 문제를 처리할 수 있는 9개의 서로 다른 AI 모델을 조사했습니다. 이 모델들은 SWE-bench Lite 데이터 세트에서 선별된 300개의 소프트웨어 버그를 해결하는 임무를 맡았습니다.

SWE-bench Lite 데이터셋의 프로그래밍 문제 해결 성공률. 이미지: 마이크로소프트.

더욱 강력하고 최신 모델을 탑재했음에도 불구하고, AI 에이전트가 할당된 디버깅 작업의 절반 이상을 성공적으로 완료한 경우는 드물었습니다. 테스트된 모델 중 Claude 3.7 Sonnet이 평균 성공률 48.4%로 가장 높았고, OpenAI의 o1이 30.2%, o3-mini가 22.1%로 그 뒤를 이었습니다.

위에서 언급한 성능 저하의 원인 중 일부는 일부 모델이 제공된 디버깅 도구를 적용하는 방법을 이해하지 못하는 데 있습니다. 또한 저자들에 따르면, 더 큰 문제는 충분한 데이터가 부족하다는 점입니다.

그들은 모델 학습 시스템에 인간이 처음부터 끝까지 거치는 디버깅 단계를 시뮬레이션하는 데이터가 여전히 부족하다고 주장합니다. 다시 말해, AI가 실제 소프트웨어 버그를 처리할 때 인간이 단계별로 어떻게 생각하고 행동하는지에 대해 충분히 학습하지 못했다는 것입니다.

모델을 훈련하고 개선하면 소프트웨어 디버깅 능력을 향상시키는 데 도움이 될 것입니다. "하지만 이를 위해서는 훈련 과정에 특화된 데이터 세트가 필요합니다."라고 저자들은 밝혔습니다.

수많은 연구에서 AI가 프로그래밍 논리에 대한 이해 부족과 같은 약점으로 인해 코드 생성 과정에서 보안 취약점과 오류가 발생한다고 지적해 왔습니다. 최근 AI 기반 프로그래밍 도구인 Devin에 대한 검토 결과, 20개의 프로그래밍 테스트 중 단 3개만 완료한 것으로 나타났습니다.

인공지능의 프로그래밍 능력은 여전히 많은 논쟁의 대상입니다. 앞서 오픈AI의 제품 책임자인 케빈 웨일은 올해 말까지 인공지능이 인간 프로그래머를 능가할 것이라고 예측한 바 있습니다.

반면 마이크로소프트 공동 창업자인 빌 게이츠는 프로그래밍이 미래에도 지속 가능한 직업으로 남을 것이라고 믿습니다. 암자드 마사드(레플릿 CEO), 토드 맥키넌(옥타 CEO), 아르빈드 크리슈나(IBM CEO)와 같은 다른 리더들도 이러한 견해를 지지하는 목소리를 냈습니다.

마이크로소프트의 연구 결과는 새로운 것은 아니지만, 프로그래머와 관리자 모두에게 인공지능에게 코딩 권한을 완전히 넘겨주기 전에 더욱 신중하게 생각해야 한다는 점을 다시 한번 상기시켜 줍니다.

출처: https://znews.vn/diem-yeu-chi-mang-cua-ai-post1545220.html