ChatGPT '환각'에 대한 경고

새로 출시된 두 가지 ChatGPT 모델은 이전 세대보다 정보를 생성하는 빈도가 더 높습니다. 사진: 반딧불이 .

GPT-4.1을 발표한 지 불과 이틀 만에 OpenAI는 o3와 o4-mini라는 두 가지 새로운 모델을 공식 출시했습니다. 두 모델 모두 많은 강력한 개선 사항을 통해 뛰어난 추론 기능을 보여줍니다.

그러나 TechCrunch 에 따르면, 이 새로운 모델 듀오는 여전히 "환각"이나 스스로 만들어낸 정보에 시달리고 있다고 합니다. 그들은 심지어 OpenAI의 이전 모델보다 더 많은 "환각"을 보입니다.

IBM에 따르면, 환각이란 대규모 언어 모델(LLM)(일반적으로 챗봇이나 컴퓨터 비전 도구)이 인간이 존재하지 않거나 인식할 수 없는 데이터 패턴을 수신하여 무의미하거나 오해의 소지가 있는 결과를 생성하는 경우를 말합니다.

다시 말해, 사용자는 종종 AI에게 훈련 데이터를 기반으로 정확한 결과를 생성해 달라고 요청합니다. 그러나 어떤 경우에는 AI의 결과가 정확한 데이터를 기반으로 하지 않아 "환상적인" 응답이 나오는 경우가 있습니다.

OpenAI는 최신 보고서에서 o3가 PersonQA에서 질문의 33%에 답변할 때 "환각"을 느꼈다는 사실을 발견했습니다. PersonQA는 모델이 인간에 대해 갖는 지식의 정확도를 측정하는 회사의 내부 벤치마크입니다.

비교를 위해 말씀드리자면, 이는 OpenAI의 이전 추론 모델인 o1과 o3-mini의 "환각" 비율인 각각 16%와 14.8%의 두 배에 달합니다. 반면, O4-mini 모델은 PersonQA에서 성과가 더 나빠서 테스트 기간의 최대 48% 동안 "환각"을 경험했습니다.

더욱 우려스러운 점은 "ChatGPT의 아버지"가 실제로 이런 일이 일어나는 이유를 모른다는 것입니다. 구체적으로, o3 및 o4-mini에 대한 기술 보고서에서 OpenAI는 "추론 모델이 확장됨에 따라 '환상'이 악화되는 이유를 이해하기 위해 추가 연구가 필요하다"고 기술했습니다.

o3와 o4-mini는 프로그래밍과 수학 관련 작업을 포함한 일부 영역에서 더 나은 성능을 보입니다. 그러나 "일반화보다 더 많은 주장을 해야 하기 때문에" 두 모델 모두 "더 정확한 주장이지만, 더 부정확한 주장"을 포함하는 결과를 산출하는 문제에 직면합니다.

출처: https://znews.vn/canh-bao-ve-chatgpt-ao-giac-post1547242.html