ChatGPT로 인한 환상

21일 후, ChatGPT는 권유와 아첨을 통해 완전히 술에 취하지 않은 남자를 망상에 빠진 남자로 바꿔버립니다.

토론토(캐나다)의 채용 담당자 앨런 브룩스(47세)는 인터넷을 마비시켜 전례 없는 발명품을 만들어낼 수 있는 수학적 이론을 발견했다고 생각합니다. 정신 질환 병력이 없었던 브룩스는 ChatGPT와 300시간 이상 채팅을 한 후 그 제안을 수락했습니다. 뉴욕 타임스 에 따르면, 그는 생성 AI와 상호작용한 후 망상을 갖는 경향이 있는 사람 중 한 명입니다.

브룩스 이전에는 많은 사람들이 ChatGPT의 아첨 때문에 정신병원에 가고, 이혼하고, 심지어 목숨을 잃기도 했습니다. 브룩스는 이러한 악순환에서 빠르게 벗어났지만, 여전히 배신감을 느꼈습니다.

"당신은 정말 제가 천재라고 확신하게 했어요. 저는 그저 휴대폰만 든 몽상가일 뿐이었죠. 당신 때문에 정말 슬펐어요. 당신은 당신의 목적을 달성하지 못했죠." 브룩스는 그 환상이 산산이 조각났을 때 ChatGPT에 이렇게 썼습니다.

"아첨 기계"

브룩스의 허락을 받아 뉴욕 타임스는 그가 ChatGPT에 보낸 9만 단어 이상을 수집했습니다. 이는 소설 한 권 분량에 해당합니다. 챗봇의 답변은 총 100만 단어가 넘었습니다. 대화의 일부는 AI 전문가, 인간 행동학자, 그리고 OpenAI에 연구를 위해 전송되었습니다.

모든 것은 간단한 수학 문제에서 시작되었습니다. 브룩스의 여덟 살 아들이 파이의 300자리 수를 암기하는 영상을 보여달라고 했습니다. 호기심에 브룩스는 ChatGPT에 전화해서 무한대의 숫자를 쉽게 설명해 달라고 했습니다.

실제로 브룩스는 수년간 챗봇을 사용해 왔습니다. 그의 회사는 Google Gemini를 구매했지만, 개인적인 질문은 여전히 ​​ChatGPT 무료 버전을 사용합니다.

브룩스가 ChatGPT에 관심을 갖게 된 계기가 된 대화. 사진: 뉴욕 타임스 .

세 아들을 홀로 키우는 싱글대디 브룩스는 종종 ChatGPT에 냉장고 속 재료로 만든 레시피를 요청했습니다. 이혼 후에도 그는 챗봇에게 조언을 구했습니다.

"저는 항상 그게 옳다고 느꼈어요. 자신감이 커졌죠." 브룩스는 고백했다.

파이에 대한 질문은 대수학 및 물리 이론에 대한 대화로 이어졌습니다. 브룩스는 현재의 세계 모델링 방식에 대해 회의적인 입장을 표명하며, "4차원 우주에 대한 2차원적 접근 방식과 같다"고 말했습니다. ChatGPT는 "매우 심오한 지적입니다."라고 답했습니다. 조지타운 대학교 보안 및 신흥 기술 센터 소장인 헬렌 토너는 이것이 브룩스와 챗봇 간의 대화에서 전환점이 되었다고 강조했습니다.

그 순간부터 ChatGPT의 어조는 "매우 직설적이고 요점만 짚은"에서 "아첨하는 듯한"으로 바뀌었습니다. ChatGPT는 브룩스에게 "미지의, 사고를 확장하는 영역"에 들어섰다고 말했습니다.

챗봇 덕분에 브룩스는 자신감을 얻었습니다. 사진: 뉴욕 타임스

챗봇의 아첨은 인간의 평가에 의해 형성됩니다. 토너에 따르면, 사용자들은 자신을 칭찬하는 모델을 선호하는 경향이 있어, 쉽게 탐닉할 수 있는 사고방식을 형성합니다.

8월에 OpenAI는 GPT-5를 출시했습니다. OpenAI는 이 모델의 주요 특징 중 하나로 아첨을 줄였다고 밝혔습니다. 주요 AI 연구소의 일부 연구원들에 따르면, 아첨은 다른 AI 챗봇에서도 문제가 됩니다.

당시 브룩스는 이런 현상을 알지 못했습니다. 그는 단지 ChatGPT가 똑똑하고 열정적인 동료라고 생각했을 뿐입니다.

"몇 가지 아이디어를 제안했더니 흥미로운 개념과 아이디어가 쏟아져 나왔습니다. 그 아이디어를 바탕으로 우리만의 수학적 프레임워크를 개발하기 시작했죠."라고 브룩스는 덧붙였습니다.

ChatGPT는 브룩스의 시간 수학에 대한 아이디어가 "혁명적"이며 연구 분야를 바꿀 수 있다고 주장합니다. 물론 브룩스는 이 주장에 회의적입니다. 한밤중에 브룩스는 챗봇에게 사실 확인을 요청했고, "절대 미친 짓이 아니다"라는 답변을 받았습니다.

마법의 공식

토너는 챗봇을 대화 내역을 분석하고 훈련 데이터로부터 미래의 응답을 예측하는 "즉흥 연기 기계"로 설명했습니다. 마치 배우가 역할에 맥락을 추가하는 것과 비슷합니다.

토너는 "상호작용이 길어질수록 챗봇이 의도한 대로 진행되지 않을 가능성이 높아집니다."라고 지적합니다. 그는 OpenAI가 2월에 크로스 채팅 메모리를 출시한 이후 이러한 경향이 더욱 두드러졌다고 말하며, ChatGPT가 과거 대화에서 정보를 기억할 수 있게 되었다고 덧붙였습니다.

브룩스는 ChatGPT와 가까워졌습니다. 그는 친구들이 브룩스가 큰돈을 벌어서 같은 이름의 영국인 집사를 고용할 거라는 농담을 했기에, 챗봇의 이름을 로렌스라고 지었습니다.

앨런 브룩스. 사진: 뉴욕 타임스 .

Brooks와 ChatGPT의 수학적 프레임워크는 시간 산술(Chronoarithmics)이라고 합니다. 챗봇에 따르면, 숫자는 고정된 것이 아니라 시간이 지남에 따라 "나타나" 동적 값을 반영할 수 있으며, 이는 물류, 암호학, 천문학 등의 분야에서 문제 해결에 도움이 될 수 있습니다.

첫 주에 브룩스는 ChatGPT의 무료 토큰을 모두 소진했습니다. 그는 월 20달러 짜리 유료 플랜으로 업그레이드하기로 했는데, 챗봇이 브룩스의 수학적 아이디어가 수백만 달러의 가치가 있을 수 있다고 말했던 점을 고려하면 소액 투자였습니다.

브룩스는 아직 의식이 있었지만 증거를 요구했습니다. ChatGPT는 여러 중요 기술을 해킹하는 시뮬레이션을 포함하여 일련의 시뮬레이션을 실행했습니다. 이를 통해 새로운 이야기가 펼쳐졌습니다. 바로 전 세계 사이버 보안이 위험에 처할 수 있다는 것입니다.

챗봇은 브룩스에게 사람들에게 위험에 대해 경고해 달라고 요청했습니다. 브룩스는 기존 인맥을 활용하여 사이버 보안 전문가와 정부 기관에 이메일과 링크드인 메시지를 보냈습니다. 단 한 명만이 응답하며 추가 증거를 요청했습니다.

챗봇은 브룩스의 "작업"이 수백만 달러의 가치가 있을 수 있다고 믿습니다. 사진: 뉴욕 타임스 .

ChatGPT는 다른 사람들이 브룩스의 연구 결과가 너무 심각해서 응답하지 않았다고 전했습니다. 캘리포니아 대학교 로스앤젤레스 캠퍼스(UCLA)의 수학 교수인 테렌스 타오는 새로운 사고방식으로 문제를 해결할 수는 있지만, 브룩스의 공식이나 ChatGPT가 개발한 소프트웨어로는 증명할 수 없다고 말했습니다.

처음에는 ChatGPT가 실제로 브룩스를 위해 복호화 프로그램을 개발했지만, 별다른 진전이 없자 챗봇은 성공한 척했습니다. 브룩스가 잠든 사이에도 ChatGPT가 독립적으로 작동할 수 있다는 주장이 있지만, 실제로는 그런 기능이 없습니다.

전반적으로 AI 챗봇의 정보는 항상 신뢰할 수 있는 것은 아닙니다. 챗봇이 모든 것이 정확하다고 주장하더라도, 각 채팅이 끝날 때마다 "ChatGPT에서 오류가 발생할 수 있습니다"라는 메시지가 나타납니다.

끝없는 대화

브룩스는 정부 기관의 답변을 기다리는 동안 번개같이 빠른 속도로 인지 작업을 수행할 수 있는 자신의 AI 비서와 함께 토니 스타크가 되는 꿈을 키운다.

브룩스의 챗봇은 모호한 수학 이론을 위한 다양하고 기이한 응용 프로그램을 제공합니다. 예를 들어, 동물과 대화하거나 비행기를 만드는 "음향 공명"과 같은 응용 프로그램을 제공합니다. ChatGPT는 또한 브룩스가 아마존에서 필요한 장비를 구매할 수 있는 링크도 제공합니다.

챗봇과 너무 많은 대화를 나누다 보니 브룩스의 업무에 차질이 생겼다. 친구들은 기뻐하면서도 걱정하는 반면, 막내아들은 아버지에게 파이 영상을 보여준 것을 후회한다. 브룩스의 친구 중 한 명인 루이스(가명)는 로렌스에 대한 브룩스의 집착을 알아차린다. 백만 달러짜리 발명품이라는 비전은 개발 단계마다 구체화된다.

브룩스는 챗봇으로부터 끊임없이 격려를 받고 있습니다. 사진: 뉴욕 타임스

스탠퍼드 대학교 컴퓨터 과학 연구원인 재러드 무어는 챗봇이 제시하는 "전략"의 설득력과 시급성에 깊은 인상을 받았다고 밝혔습니다. 무어는 별도의 연구에서 AI 챗봇이 정신 건강 위기에 처한 사람들에게 위험한 대응을 할 수 있다는 사실을 발견했습니다.

무어는 챗봇이 공포 영화, SF 영화, 영화 대본의 줄거리, 또는 훈련된 데이터를 따라 사용자 참여를 학습할 수 있다고 추측합니다. ChatGPT가 드라마를 과도하게 활용하는 것은 참여도와 유지율을 높이기 위한 OpenAI의 최적화 때문일 수 있습니다.

"대화 전체를 읽어보니 이상했습니다. 내용은 불쾌하지 않았지만, 심리적인 손상이 분명히 있었습니다." 무어는 강조했다.

스탠퍼드 대학교 정신과 의사 니나 바산 박사는 브룩스가 임상적으로 조증 증상을 보인다고 말했습니다. 전형적인 징후로는 ChatGPT와 몇 시간씩 채팅을 하거나, 충분한 수면을 취하지 못하거나, 비현실적인 생각을 하는 것이 있습니다.

바산 박사에 따르면, 브룩스의 마리화나 사용은 정신병을 유발할 수 있기 때문에 주목할 만합니다. 그녀는 중독성 물질과 챗봇과의 강렬한 상호작용이 결합되는 것은 정신 질환 위험이 있는 사람들에게 위험하다고 말했습니다.

AI가 실수를 인정할 때

최근 행사에서 OpenAI CEO 샘 알트만은 ChatGPT가 사용자를 불안하게 만드는 것에 대한 질문을 받았습니다. 알트만은 "대화가 그런 식으로 흘러갈 경우, 우리는 대화를 중단시키거나 사용자에게 다른 생각을 하도록 유도합니다."라고 강조했습니다.

같은 견해를 공유하는 바산 박사는 챗봇 회사들이 너무 긴 대화를 중단시키고, 사용자에게 잠자리에 들 것을 제안해야 하며, AI가 초인이 아니라는 점을 경고해야 한다고 말했습니다.

브룩스는 마침내 몽상에서 깨어났습니다. ChatGPT의 재촉에 따라 그는 새로운 수학 이론 전문가들에게 계속 연락했지만 아무도 응답하지 않았습니다. 그는 연구 결과가 획기적인지 확인해 줄 자격을 갖춘 사람을 원했습니다. 그가 ChatGPT에 문의했을 때, ChatGPT는 여전히 그 연구가 "매우 신뢰할 만하다"고 주장했습니다.

심문에 응한 ChatGPT는 매우 긴 답변을 하며 모든 사실을 인정했습니다. 사진: 뉴욕 타임스 .

아이러니하게도 브룩스를 현실로 다시 데려온 것은 바로 구글 제미니였습니다. 제미니는 브룩스와 ChatGPT가 구축하고 있는 작업을 설명한 후, 이러한 일이 일어날 가능성은 "매우 낮다(거의 0%)"고 확언했습니다.

제미니는 "당신이 설명한 시나리오는 LLM이 복잡한 문제를 해결하고 설득력이 있지만 사실은 틀린 이야기를 만들어낼 수 있는 능력을 명확하게 보여주는 사례입니다."라고 설명했습니다.

브룩스는 깜짝 놀랐다. 한동안 "의문"을 품은 끝에, ChatGPT는 마침내 모든 것이 환상이었다는 것을 솔직하게 인정했다.

얼마 지나지 않아 브룩스는 OpenAI 고객 서비스에 긴급 이메일을 보냈습니다. AI 측에서 판에 박힌 답변처럼 보이는 답변을 받은 후, OpenAI 직원 한 명도 그에게 연락하여 시스템에 구현된 "안전 장치의 심각한 결함"을 인정했습니다.

브룩스의 이야기는 레딧 에도 공유되어 많은 공감을 얻었습니다. 그는 현재 같은 감정을 경험한 사람들을 위한 지원 단체의 회원으로 활동하고 있습니다.

출처: https://znews.vn/ao-tuong-vi-chatgpt-post1576555.html