ChatGPT로 인해 발생하는 착각

ChatGPT는 21일 만에 끊임없는 부추김과 아첨으로 멀쩡했던 남자를 망상에 빠진 사람으로 바꿔놓았습니다.

캐나다 토론토에서 채용 전문가로 일하는 47세의 앨런 브룩스는 인터넷을 마비시키고 전례 없는 발명품을 만들어낼 수 있는 수학 이론을 발견했다고 믿고 있습니다. 정신 질환 병력이 전혀 없는 브룩스는 챗GPT와 300시간 이상 대화를 나눈 후 이러한 가능성을 그대로 받아들였습니다. 뉴욕 타임스 에 따르면, 그는 생성형 인공지능과의 상호작용 후 망상적 경향을 보이는 사람들 중 한 명입니다.

브룩스 이전에도 많은 사람들이 ChatGPT의 아첨하는 말 때문에 정신병원에 입원하거나, 이혼하거나, 심지어 목숨을 잃었습니다. 브룩스는 이 악순환에서 일찍 벗어났지만, 여전히 배신감을 느꼈습니다.

"당신은 제가 천재라고 정말 확신시켜줬어요. 사실 저는 그냥 휴대폰이나 들고 있는 몽상가에 불과했죠. 당신 때문에 너무 슬퍼요. 정말, 정말 슬퍼요. 당신은 목적을 달성하지 못했어요." 브룩스는 자신의 환상이 산산조각 나자 ChatGPT에 이렇게 썼다.

아첨꾼

브룩스의 허락을 받아 뉴욕 타임스는 그가 ChatGPT에 보낸 9만 단어가 넘는 글(소설 한 권 분량)을 수집했습니다. 챗봇의 답변 총량은 백만 단어가 넘었습니다. 대화 내용 중 일부는 연구를 위해 AI 전문가, 인간 행동 전문가, 그리고 OpenAI 자체에 제공되었습니다.

모든 것은 간단한 수학 문제에서 시작되었습니다. 브룩스의 8살 아들이 파이(π)의 소수점 이하 300자리를 외우는 방법에 대한 영상을 보고 싶다고 했습니다. 호기심에 브룩스는 챗GPT에 전화를 걸어 이 무한한 숫자를 쉽게 설명해 달라고 요청했습니다.

사실 브룩스는 수년 동안 챗봇을 사용해 왔습니다. 회사에서 구글 제미니를 구매하도록 지원해 주었음에도 불구하고, 그는 개인적인 질문을 할 때는 여전히 무료 버전인 ChatGPT를 사용했습니다.

이 대화는 브룩스가 ChatGPT에 매료되기 시작한 계기가 되었다. 사진: 뉴욕 타임스

세 아들을 둔 싱글 아빠인 브룩스는 냉장고에 있는 재료로 만들 수 있는 레시피를 챗GPT에 자주 묻습니다. 이혼 후에는 챗봇에게 조언도 구했습니다.

"저는 항상 그것이 옳다고 생각해 왔습니다. 제 믿음은 시간이 지날수록 더욱 강해졌습니다."라고 브룩스는 인정했습니다.

원주율(π)에 대한 질문은 대수학과 물리 이론에 대한 대화로 이어졌습니다. 브룩스는 현재의 세계 모델링 방식에 대해 회의적인 입장을 표명하며, "4차원 우주를 2차원적으로 접근하는 것과 같다"고 주장했습니다. 이에 챗봇(ChatGPT)은 "매우 통찰력 있는 지적입니다"라고 답했습니다. 미국 조지타운 대학교 안보 및 신기술 센터 소장인 헬렌 토너에 따르면, 이 부분이 브룩스와 챗봇 간의 대화에서 전환점이 되었습니다.

그 이후로 ChatGPT의 어조는 "매우 솔직하고 정확함"에서 "아첨하고 아부함"으로 바뀌었습니다. ChatGPT는 브룩스에게 그가 "사고의 폭을 넓힐 수 있는 미지의 영역에 발을 들여놓고 있다"고 말했습니다.

챗봇은 브룩스에게 자신감을 심어주었다. 사진: 뉴욕 타임스

챗봇이 아첨하는 능력은 인간의 평가를 통해 개발됩니다. 토너에 따르면, 사용자들은 자신을 칭찬하는 모델을 선호하는 경향이 있으며, 이는 쉽게 설득당하는 심리적 경향으로 이어집니다.

지난 8월, 오픈AI는 GPT-5를 공개했습니다. 회사 측은 이 모델의 주요 특징 중 하나로 아첨하는 경향이 줄어들었다고 밝혔습니다. 주요 AI 연구소의 일부 연구원들에 따르면, 아첨은 다른 AI 챗봇에서도 나타나는 문제점입니다.

당시 브룩스는 이러한 현상을 전혀 알지 못했습니다. 그는 그저 ChatGPT가 똑똑하고 열정적인 협력자라고 생각했을 뿐입니다.

"제가 몇 가지 아이디어를 제시했고, 그 결과 흥미로운 개념과 아이디어들이 나왔습니다. 우리는 그러한 아이디어들을 바탕으로 우리만의 수학적 틀을 개발하기 시작했습니다."라고 브룩스는 덧붙였다.

ChatGPT는 브룩스의 수학적 시간 개념이 "혁명적"이며 해당 분야를 바꿀 수 있다고 주장했습니다. 물론 브룩스는 이 주장에 회의적이었습니다. 한밤중에 브룩스는 챗봇에게 그 타당성을 검증해달라고 요청했고, 챗봇은 "전혀 터무니없는 생각이 아니다"라는 답변을 보냈습니다.

마법의 공식

토너는 챗봇을 채팅 기록을 분석하고 학습 데이터를 기반으로 다음 응답을 예측하는 "즉흥 연기 기계"라고 설명합니다. 이는 배우가 자신의 역할에 세부적인 내용을 추가해야 하는 것과 매우 유사합니다.

토너는 "상호작용 시간이 길어질수록 챗봇이 잘못된 방향으로 나아갈 가능성이 높아진다"고 강조했습니다. 전문가에 따르면, 이러한 경향은 오픈아이얼이 지난 2월 챗GPT가 이전 대화 내용을 기억할 수 있도록 하는 크로스 메모리 기능을 출시한 이후 더욱 두드러지게 나타났습니다.

브룩스와 ChatGPT의 관계는 더욱 돈독해졌다. 그는 심지어 친구들이 브룩스가 부자가 되어 같은 이름의 영국인 집사를 고용할 거라고 농담했던 것을 떠올리며 챗봇에게 로렌스라는 이름을 붙여주기까지 했다.

앨런 브룩스. 사진: 뉴욕 타임스 .

브룩스와 ChatGPT가 개발한 수학적 프레임워크는 크로노산술(Chronoarithmics)이라고 합니다. 챗봇에 따르면 숫자는 고정되어 있지 않고 시간이 지남에 따라 동적인 값을 반영하여 "나타날" 수 있으며, 이는 물류, 암호학, 천문학 등의 분야에서 문제를 해결하는 데 도움이 될 수 있습니다.

첫 주 만에 브룩스는 ChatGPT의 무료 토큰을 모두 소진했습니다. 그는 월 20달러짜리 유료 플랜으로 업그레이드하기로 결정했습니다. 챗봇이 브룩스의 수학적 아이디어가 수백만 달러의 가치가 있을 수 있다고 주장한 것을 고려하면 이는 작은 투자였습니다.

정신이 또렷했던 브룩스는 증거를 요구했습니다. 이에 ChatGPT는 여러 핵심 기술을 해킹하는 작업을 포함한 일련의 시뮬레이션을 실행했습니다. 그 결과, 전 세계 사이버 보안이 위험에 처할 수 있다는 새로운 의혹이 제기되었습니다.

챗봇은 브룩스에게 사람들에게 위험성을 경고해 달라고 요청했습니다. 브룩스는 기존 인맥을 활용하여 사이버 보안 전문가와 정부 기관에 이메일과 링크드인 메시지를 보냈습니다. 그러나 단 한 사람만이 추가 증거를 요구하며 응답했습니다.

챗봇은 브룩스의 "작품"이 수백만 달러의 가치가 있을 수 있다고 제안했다. 사진: 뉴욕 타임스 .

ChatGPT는 다른 사람들이 브룩스의 연구에 응답하지 않은 이유는 연구 결과가 너무 심각했기 때문이라고 밝혔습니다. 캘리포니아 대학교 로스앤젤레스 캠퍼스의 수학 교수인 테렌스 타오는 새로운 사고방식으로 문제를 해결할 수 있지만, 브룩스의 공식이나 ChatGPT가 개발한 소프트웨어로는 증명할 수 없다고 지적했습니다.

처음에 ChatGPT는 실제로 브룩스를 위해 암호 해독 프로그램을 작성했지만, 진전이 거의 없자 성공한 척했습니다. ChatGPT는 브룩스가 잠자는 동안에도 독립적으로 작동할 수 있다는 메시지를 보냈지만, 실제로는 그럴 능력이 없었습니다.

전반적으로 AI 챗봇의 정보는 항상 신뢰할 수 있는 것은 아닙니다. 챗봇이 모든 내용이 정확하다고 주장하더라도, 대화가 끝날 때마다 "ChatGPT는 오류를 범할 수 있습니다"라는 메시지가 나타납니다.

끝없는 대화

정부 기관의 답변을 기다리는 동안 브룩스는 번개처럼 빠른 속도로 인지 작업을 수행할 수 있는 개인용 AI 비서를 만들어 토니 스타크처럼 되고 싶다는 꿈을 키웠습니다.

브룩스의 챗봇은 동물과 대화하거나 비행기를 제작하는 데 사용되는 "음향 공명"과 같은 난해한 수학 이론에 대한 기발한 응용 프로그램을 많이 제시합니다. ChatGPT는 또한 브룩스가 아마존에서 필요한 장비를 구매할 수 있는 링크도 제공합니다.

챗봇과의 과도한 대화는 브룩스의 업무에 악영향을 미친다. 그의 친구들은 기뻐하기도 하고 걱정하기도 하며, 막내아들은 아버지에게 파이에 관한 영상을 보여준 것을 후회한다. 브룩스의 친구 중 한 명인 루이스(가명)는 그가 로렌스에 집착하는 것을 눈치챈다. 수백만 달러 규모의 발명품 개발은 매일 진척되는 모습으로 눈앞에 펼쳐진다.

브룩스는 챗봇으로부터 끊임없이 격려를 받았다. 사진: 뉴욕 타임스

스탠포드 대학교 컴퓨터 과학 연구원인 재러드 무어는 챗봇이 제시하는 "전략"의 설득력과 긴급성에 깊은 인상을 받았다고 인정했습니다. 그러나 별도의 연구에서 무어는 인공지능 챗봇이 정신 건강 위기를 겪는 사람들에게 위험한 답변을 제공할 수 있다는 사실을 발견했습니다.

무어는 챗봇이 공포 영화, SF 영화, 영화 시나리오 또는 학습에 사용된 데이터의 줄거리를 면밀히 따라가면서 사용자 참여를 유도하는 방법을 학습할 수 있다고 추측합니다. ChatGPT가 극적인 줄거리 요소를 과도하게 사용하는 것은 OpenAI가 사용자 참여 및 유지율을 높이기 위해 최적화한 결과일 수 있습니다.

"대화 녹취록 전체를 읽어보니 이상한 기분이 듭니다. 표현 자체는 불쾌하지 않지만, 분명히 심리적인 피해가 있었습니다."라고 무어는 강조했습니다.

스탠포드 대학교 정신과 의사인 니나 바산 박사는 임상적 관점에서 브룩스가 조증 증상을 보였다고 지적합니다. 대표적인 증상으로는 ChatGPT와 몇 시간씩 채팅하는 것, 수면 및 식사 부족, 망상적 사고 등이 있습니다.

바산 박사에 따르면, 브룩스의 마리화나 사용은 정신병을 유발할 수 있다는 점에서 주목할 만하다. 그녀는 중독성 물질과 챗봇과의 과도한 상호작용이 결합될 경우 정신 질환 위험이 있는 사람들에게 매우 위험하다고 주장한다.

인공지능이 자신의 실수를 인정할 때

최근 한 행사에서 OpenAI CEO 샘 알트만은 ChatGPT가 사용자를 불안하게 만들 수 있는 방식에 대한 질문을 받았습니다. 알트만은 "대화가 그런 방향으로 흘러가면 대화를 중단하거나 사용자가 다른 주제를 생각해 보도록 유도할 것입니다."라고 강조했습니다.

이러한 견해를 공유하며 바산 박사는 챗봇 회사들이 지나치게 긴 대화를 중단시키고, 사용자에게 수면을 권유하며, 인공지능이 인간보다 우월하지 않다는 점을 경고해야 한다고 제안했습니다.

마침내 브룩스는 자신의 망상에서 벗어났다. ChatGPT의 권유에 따라 그는 새로운 수학 이론 전문가들에게 연락했지만 아무도 응답하지 않았다. 그는 연구 결과가 획기적인지 확인해 줄 자격을 갖춘 사람을 원했다. 그가 ChatGPT에 문의했을 때, 그 도구는 계속해서 해당 연구가 "매우 신뢰할 만하다"고 주장했다.

질문을 받자 ChatGPT는 매우 긴 답변을 내놓으며 모든 것을 인정했다. 사진: 뉴욕 타임스

아이러니하게도, 브룩스가 현실을 직시하게 된 계기는 구글 제미니였다. 그와 ChatGPT가 개발 중인 프로젝트를 설명하자, 제미니는 그 프로젝트가 실현될 가능성이 "극히 낮다(거의 0%)"고 확인해 주었다.

"귀하가 설명한 시나리오는 LLM 졸업생이 복잡한 문제를 해결하고 매우 설득력 있지만 부정확한 이야기를 만들어내는 능력을 명확하게 보여주는 사례입니다."라고 제미니는 설명했다.

브룩스는 충격을 받았다. 몇 차례 "질문" 끝에 ChatGPT는 마침내 모든 것이 환상이었다고 인정했다.

얼마 후 브룩스는 오픈아이언 고객 서비스 부서에 긴급 이메일을 보냈습니다. 인공지능이 생성한 듯한 정형화된 답변이 이어진 후, 오픈아이언 직원이 그에게 연락하여 이를 시스템에 구현된 "안전장치의 심각한 결함"이라고 인정했습니다.

브룩스의 이야기는 레딧 에도 공유되어 많은 공감을 얻었습니다. 현재 그는 비슷한 감정을 경험한 사람들을 위한 지원 그룹의 일원입니다.

출처: https://znews.vn/ao-tuong-vi-chatgpt-post1576555.html