ChatGPT, DeepSeek가 과학 데이터를 왜곡합니다

ChatGPT와 DeepSeek와 같은 AI 모델은 특히 의학 분야에서 요약할 때 과학적 내용을 왜곡하는 경향이 있는 것으로 나타났습니다.

최근 독일의 한 연구진은 AI 챗봇을 사용하여 연구 내용을 단축할 때 발생할 수 있는 편향 위험에 대해 경고했습니다. 연구팀은 인간이 작성한 4,900개의 과학 초록을 분석한 후, 여러 AI 모델을 사용하여 이러한 시스템이 정보를 처리하는 방식을 비교했습니다. 그 결과, 대부분의 챗봇은 정확한 요약을 요청받았음에도 불구하고 과도한 일반화라는 오류를 범하는 것으로 나타났습니다.

AI는 과학 연구를 요약할 때 편향될 가능성이 있습니다.

테스트 결과, AI 모델은 아무런 지시 없이 인간 전문가보다 5배 더 많은 실수를 저질렀습니다. 정확도를 명시적으로 요구했을 때조차 오류율은 표준 요약보다 두 배나 높았습니다. 팀원 중 한 명은 "일반화는 때로는 무해해 보이지만, 실제로는 원래 연구의 본질을 바꿔놓습니다."라고 말했습니다. "이것은 체계적인 편향입니다."

특히, 최신 버전의 챗봇은 문제를 해결하지 못했을 뿐만 아니라 오히려 문제를 악화시켰습니다. AI가 생성한 요약은 매끄럽고 매력적인 언어로 인해 쉽게 신뢰할 수 있는 것처럼 보이지만, 실제 내용은 왜곡되었습니다. 한 예로, DeepSeek은 "안전하고 성공적으로 시행될 수 있다"라는 문구를 "안전하고 효과적인 치료"로 변경했는데, 이는 원래 연구의 결론을 잘못 해석한 것입니다.

또 다른 예로, 라마 모델은 복용량, 빈도 또는 부작용을 명시하지 않고 청소년에게 당뇨병 치료제를 권장했습니다. 만약 독자가 원래 연구 결과를 검증하지 않는 의사나 의료 전문가라면, 이러한 요약은 환자에게 직접적인 위험을 초래할 수 있습니다.

전문가들은 이러한 현상이 AI 모델 훈련 방식에 기인한다고 말합니다. 오늘날 많은 챗봇은 이미 단순화된 인기 과학 뉴스와 같은 2차 데이터를 기반으로 훈련됩니다. AI가 축약된 콘텐츠를 계속 요약할수록 왜곡 위험이 커집니다.

정신 건강 분야의 AI 전문가들은 AI 개발 및 사용 초기에 기술적 장벽을 구축해야 한다고 말합니다.

사용자는 채팅봇이 콘텐츠를 쉽게 왜곡할 수 있으므로 주의해야 합니다.

사용자들이 과학 학습을 위해 AI 챗봇에 점점 더 의존하게 되면서, 작은 해석 오류도 빠르게 누적되고 확산되어 광범위한 오해를 불러일으킬 수 있습니다. 과학에 대한 신뢰가 감소하는 이 시기에 이러한 위험은 더욱 우려스럽고 마땅한 주의를 기울여야 합니다.

AI를 지식 연구 및 보급에 접목하는 것은 거스를 수 없는 추세입니다. 그러나 전문가들은 기술이 과학적 내용을 이해하고 검증하는 데 있어 인간의 역할을 대체할 수 없다고 단언합니다. 의학과 같이 고위험 분야에서 챗봇을 활용할 때는 매끄러운 언어 경험이나 응답 속도에만 집중하기보다는 정확성을 최우선으로 고려해야 합니다.

출처: https://khoahocdoisong.vn/chatgpt-deepseek-bop-meo-du-lieu-khoa-hoc-post1552971.html