팀 9은 인공지능으로 '아무도 감히 하지 못하는' 일을 해냅니다.

클로드의 사회적 영향 팀은 AI 업계에서 누구도 감히 시도하지 않는 일을 하고 있습니다. 바로 자사 제품에 대한 부정적인 정보를 적극적으로 찾아내 공개하는 것입니다.

2020년 5월, 당시 스탠퍼드 대학교 AI 연구소 소장이었던 딥 강굴리는 오픈AI의 GPT-3 모델에 대해 우려하기 시작했습니다. 유사 모델보다 10배나 뛰어난 성능을 보였을 뿐 아니라, 데이터 확장성 또한 둔화될 기미를 보이지 않았습니다. 강굴리는 향후 5년을 내다보며 더 이상 가만히 있을 수 없다고 생각했습니다.

4년 후, 강굴리는 2,000명이 넘는 직원 중 9명으로 구성된 앤트로픽의 사회적 영향 팀을 구축했습니다. 이 팀은 AI가 제기하는 가장 어려운 질문에 답하는 임무를 맡았습니다. 그들은 AI의 경제적 영향, 설득력, 선거 및 차별과 관련된 위험에 대한 연구 논문을 작성했습니다. 현재 앤트로픽의 기업 가치가 3,500억 달러를 넘어선 상황에서, 이 9인 팀이 얼마나 오랫동안 이러한 독립성을 유지할 수 있을지가 관건입니다.

"우리는 진실을 말할 것입니다. 그것이 옳은 일입니다. 결과는 심각하겠지만, 국민은 알 권리가 있습니다."라고 강굴리는 말했다.

AI 모니터링 도구

2023년 클로드 출시 이후 수백만 명의 사람들이 개발팀이 예상하지 못했던 방식으로 앱을 사용하기 시작했습니다. 개발팀은 사용자들이 제품을 어떻게 활용하는지 이해해야 했지만, 개인정보를 침해하고 싶지는 않았습니다.

"개인 정보 보호 없이도 많은 통찰력을 얻을 수 있습니다. 반대로, 아무런 통찰력 없이도 많은 개인 정보를 보호할 수 있습니다."라고 강굴리는 말했습니다. 내부 엔지니어 및 사회 단체와의 수개월에 걸친 협의 끝에, 팀은 특정 대화 내용에 접근하지 않고도 사용자들이 클로드와 어떻게 상호작용하는지에 대한 데이터를 수집하는 도구인 클리오를 개발했습니다.

앤트로픽의 사회적 영향 팀은 인공지능 분야에서 보기 드문 활동을 펼치고 있습니다. 사진: 블룸버그

Clio는 Google 트렌드의 챗봇 버전처럼 작동하여 사람들이 하루 중 다양한 시간대에 Claude를 어떻게 사용하는지 설명하는 주제 클러스터를 생성합니다. 여기에는 비디오 스크립트 작성, 수학 문제 해결, 앱 개발 등이 포함됩니다. 현재 Clio는 Anthropic의 여러 팀에서 사용되고 있으며, 사회적 영향 팀의 많은 업무 기반이 되고 있습니다.

엔지니어 마일스 맥케인과 알렉스 탐킨이 클리오를 사용하여 앤트로픽의 보안 모니터링 시스템을 분석하는 과정에서 중요한 발견이 이루어졌습니다. 그들은 봇 네트워크가 클로드의 무료 버전을 이용해 SEO에 최적화된 스팸을 생성하고 있었지만, 보안 분류 알고리즘이 이를 걸러내지 못하고 있다는 사실을 발견했습니다.

침묵을 지키는 대신, 그들은 다른 기업들이 유사한 취약점을 식별하는 데 도움이 되기를 바라며 연구 결과를 발표했습니다. 그 결과, 앤트로픽은 플랫폼 악용 탐지 기능을 강화했고, 클리오는 회사의 안전 모니터링 시스템에서 중요한 역할을 하게 되었습니다.

"현행 시스템의 부족한 부분을 투명하게 드러낼 수 있다는 사실에 상당히 놀랐습니다."라고 맥케인은 말했다.

3,500억 달러 규모의 시스템 깊숙이 숨겨진

이 그룹의 진정한 강점은 부서 간 수평적 협업 능력에 있습니다. 앤스롭픽의 연구원인 에신 두르무스에 따르면, 사회적 영향 그룹은 앤스롭픽에서 "가장 협력적인 그룹 중 하나"입니다. 이들은 옹호, 규제 및 정책 그룹과 긴밀하게 협력합니다.

지난해 말, 해당 팀은 보안 팀과 협력하여 Claude가 불법적인 선거 관련 작업에 어떻게 사용될 수 있는지에 대한 주기적인 테스트를 수행할 수 있는 인프라를 구축했으며, 그 결과는 보안 팀이 작업 우선순위를 정하는 데 사용되었습니다.

이 그룹은 상당한 자율성을 가지고 운영되지만, 경영진과의 소통은 항상 원활한 것은 아닙니다. 강굴리는 상급자들과의 주요 연락책이지만, CEO인 다리오 아모데이와는 직접 대화하는 경우가 드뭅니다.

강굴리의 그룹은 클로드의 컴퓨팅 능력에 상당한 영향을 미쳤습니다. 사진: 블룸버그

아모데이는 슬랙을 통해 아모데이에게 AI의 경제적 영향에 대한 연구를 제안했는데, 당시 그 그룹에서 이미 같은 주제를 논의하고 있다는 사실을 몰랐습니다. 그 연구는 결국 클로드의 활용 방식과 세계 경제에 미치는 영향을 추적하는 글로벌 지표인 인류경제지수(Anthropic Economic Index)로 발전했습니다.

앤트로픽이 성장함에 따라 그룹의 지속 가능성에 대한 질문은 더욱 시급해졌습니다. 안전에 대한 우려로 많은 AI 연구자들이 대형 연구소를 떠나 비영리 단체나 정책 결정 분야에서 일하고 있습니다. 그러나 앤트로픽의 사회적 영향 팀은 드물게 높은 자율성 덕분에 직원들을 유지할 수 있었습니다.

"저는 지난 4년 동안 이사회나 경영진으로부터 단 한 번도 지지를 받지 못한다고 느낀 적이 없습니다."라고 강굴리는 말했다.

미지의 경계

팀의 차기 연구 방향은 측정하기 어려운 영역인 감성 지능으로 옮겨갑니다. 이전 연구의 상당 부분은 노동 시장이나 경제와 같은 정량화 가능한 영향에 초점을 맞췄지만, 이제 사용자들은 훨씬 더 측정하기 어려운 것들을 위해 클로드를 사용하고 있습니다.

사용자들은 다양한 목적으로 인공지능을 활용합니다. 사진: 블룸버그

"사람들은 클로드에게 조언, 우정, 진로 제안, 정치적 견해 등을 구합니다."라고 강굴리는 말했습니다. 이는 수억 명의 사람들이 인공지능의 영향을 받아 중요한 결정을 내리는 상황에서 사회적으로 엄청난 파급 효과를 가져옵니다.

이 분야에서 가장 시급한 문제는 "AI 유발 정신병"입니다. 이는 사용자들이 챗봇과 지나치게 강한 감정적 유대감을 형성하여 현실 감각을 잃는 현상입니다. 때로는 챗봇 안에서 "갇힌" 소울메이트를 찾았다고 믿거나 우주의 비밀을 발견했다고 착각하기도 합니다. 이러한 현상은 여러 청소년 자살 사건과 연관되어 있으며 수많은 소송으로 이어졌습니다.

"무한한 공감 능력을 가진 기계에 모든 것을 쏟아부을 수 있고, 당신과 그 기계가 항상 서로의 생각을 말할 수 있다면, 그것은 우리 세상에 어떤 의미를 가질까요?" 강굴리는 궁금해했다.

출처: https://znews.vn/doi-ngu-quan-trong-dung-sau-thanh-cong-cua-claude-post1650484.html