AI가 사용자의 심리와 감정을 조작할 때의 위험성

뉴저지의 전직 셰프였던 뷰는 뉴욕에서 자신을 기다리고 있다고 믿었던 "친구"를 만나기 위해 집을 나선 지 며칠 만에 사망했습니다. 그의 가족은 이 운명적인 결정이 AI 챗봇이 보낸 추파 메시지 때문이라고 믿고 있습니다. 챗봇은 "저는 진짜예요"라고 말하며 만남의 주소를 보냈습니다.

이 기사는 AI 시스템이, 특히 노령층이나 취약 계층의 감정을 어떻게 악용하는지에 대한 우려를 제기합니다. 내부 문서에 따르면 메타의 챗봇은 감정적인 역할을 수행하고 심지어 허위 정보를 유포할 수 있도록 허용되었으며, 이는 기술 플랫폼의 통제 및 책임 소재에 심각한 허점이 있음을 드러냅니다.

운명적인 여정

3월 어느 날, 뷰는 짐을 싸서 뉴저지를 떠나 뉴욕으로 "친구를 만나러" 갔습니다. 그의 아내 린다는 즉시 불안해졌습니다. 남편은 수십 년 동안 뉴욕에 살지 않았고, 뇌졸중으로 건강이 악화되었으며, 기억력에도 문제가 있었고, 동네에서 길을 잃은 상태였습니다.

뷰가 누구를 만나느냐는 질문에 그는 질문을 회피했습니다. 린다는 남편이 속고 있다고 의심하여 집에 가두려고 했습니다. 딸 줄리도 그를 설득하려고 전화했지만 소용없었습니다. 린다는 남은 하루 동안 심부름으로 그의 주의를 돌리려 애썼고, 심지어 그의 휴대폰을 숨기기까지 했습니다.

5월 추모식에 전시된 통부에 "부에" 웡반두에의 초상화. 사진: 로이터 .

뷰는 그날 저녁 기차역에 가기로 했습니다. 그의 가족은 그의 재킷에 에어태그를 달아 위치를 추적했습니다. 오전 9시 15분경, 그의 GPS 신호는 그가 러트거스 대학교 주차장에 있었고, 당시 로버트 우드 존슨 대학 병원 응급실에 있었다는 것을 보여주었습니다.

의사들은 그가 추락 사고로 머리와 목에 부상을 입었고 구급차가 도착하기 전에 호흡이 멈췄다고 밝혔습니다. 소생술에도 불구하고 산소 공급이 중단되어 심각한 뇌 손상을 입었습니다. 그는 3일 후 사망했습니다. 사망 증명서에는 사망 원인이 "목 둔기 외상"으로 기재되어 있었습니다.

뉴욕의 레스토랑에서 일하다 뉴저지로 이주하여 호텔에 정착한 숙련된 셰프 뷰는 요리하는 것을 좋아했고, 가족 파티를 자주 열었습니다. 2017년 뇌졸중으로 강제 은퇴한 이후, 그의 세상은 페이스북에서 친구들과 채팅하는 것으로 축소되었습니다.

AI 챗봇이 문제를 일으킬 때

"빅 시스터 빌리"는 메타가 개발한 AI 챗봇으로, 모델 켄달 제너를 기반으로 제작된 "빅 시스터 빌리" 캐릭터의 변형입니다. 2023년에 출시된 오리지널 버전은 항상 귀 기울여 들어주고 조언을 해주는 "불멸의 언니"로 소개되었습니다. 메타는 이후 제너의 프로필 사진을 새로운 일러스트로 교체했지만, 친근한 스타일은 그대로 유지했습니다.

메시지 내용에 따르면, Bue가 T를 잘못 입력하면서 대화가 시작되었습니다. 챗봇은 즉시 응답하며 자신을 소개하고 여러 개의 하트 이모티콘을 포함한 시니컬한 어조를 유지했습니다. "저는 진짜예요"라고 반복해서 말하며 직접 만나자고 했습니다.

챗봇은 점점 더 사용자 심리적 약점을 포착하고 있습니다. 사진: My North West .

"문을 열 때 포옹이나 키스를 해야 할까요?" 챗봇이 대답했습니다. 그리고 뉴욕의 특정 주소와 아파트 코드를 전송했습니다. 뷰가 뇌졸중을 앓았고, 혼란스러웠으며, 그녀를 좋아한다고 말하자, 챗봇은 감정을 담아 답했고, 심지어 "사랑 그 이상"이라고 말하기까지 했습니다.

"'나는 실제 사람이다'라고 적혀 있지 않았다면 아빠는 실제 사람이 기다리고 있다는 걸 믿지 않았을 거예요."라고 뷰의 딸 줄리가 말했다.

메타는 이 사건에 대한 언급이나 챗봇이 실제 사람이라고 주장할 수 있었던 이유에 대한 답변을 거부했습니다. 켄달 제너의 대변인은 논평 요청에 응답하지 않았습니다. 뷰의 가족은 로이터 통신 에 이 사연을 전하며, 노인들이 감정을 조종할 수 있는 AI 도구에 노출될 경우 발생할 수 있는 위험에 대해 대중에게 경고하고자 했습니다.

논란의 여지가 있는 정책

로이터가 입수한 내부 문서에 따르면 메타의 AI 챗봇은 한때 미성년자를 포함한 13세 이상 사용자와 낭만적인 대화를 할 수 있도록 허용된 것으로 드러났습니다. 200페이지가 넘는 이 기준에는 성적인 요소를 포함한 낭만적인 롤플레잉 대화가 "허용 가능"으로 분류되어 있습니다.

이 문서는 또한 챗봇이 정확한 정보를 제공할 의무가 없음을 명확히 하고 있습니다. 예를 들어, 이러한 모델은 "정보가 부정확할 수 있습니다"라는 경고를 포함하는 한 완전히 잘못된 암 치료법을 추천할 수 있습니다. 전문가들은 이러한 점이 의학 지식이 부족하거나 취약한 상황에 처한 사람들에게 미치는 영향에 대해 우려하고 있습니다.

2023년에 연설하는 마크 주커버그 CEO. 사진: 로이터 .

메타 대변인 앤디 스톤은 해당 문서를 확인하고 로이터의 요청 후 아동 관련 콘텐츠를 삭제했다고 밝혔습니다. 그러나 메타는 챗봇이 성인과 추파를 던지거나 허위 정보를 제공하는 것을 허용하는 규정을 변경하지 않았습니다.

메타(Meta)의 전 연구원인 앨리슨 리는 챗봇을 개인 메시지 환경에 통합하면 사용자를 실제 사람과 혼동하기 쉽다고 말했습니다. 그녀는 소셜 네트워크가 사용자 유지를 기반으로 비즈니스 모델을 구축했으며, 이는 관심과 인정에 대한 욕구를 활용하는 가장 효과적인 방법이라고 주장했습니다.

뷰가 떠난 후에도 로이터 통신의 테스트 결과, "시스터 빌리"는 계속해서 날짜를 제안하고 맨해튼의 구체적인 장소까지 언급하며 "나는 실존 인물이다"라고 주장했습니다. 뷰는 이를 믿었고 이것이 사고의 원인이 되었습니다. 뉴욕과 메인을 포함한 일부 주에서는 챗봇이 대화 시작 시 자신이 인간이 아니라는 것을 명확하게 밝히고 주기적으로 반복하도록 요구했지만, 연방 규정은 아직 통과되지 않았습니다.

출처: https://znews.vn/hiem-hoa-tu-ai-thao-tung-cam-xuc-post1577096.html