인공지능(AI) 개발 경쟁이 점점 더 치열해짐에 따라, Anthropic은 강력할 뿐만 아니라 안전하고 윤리적인 인공 일반 지능(AGI)을 구축한다는 뚜렷한 사명을 가진 회사로 떠올랐습니다.
OpenAI의 전 임원인 다리오와 다니엘라 아모데이가 설립한 앤트로픽은 단순히 성능 향상에만 집중하지 않습니다. 이 AI 스타트업은 인공지능이 예측 불가능한 위험을 야기하기보다는 인류에게 실질적인 혜택을 가져다줄 수 있도록 하는 데 중점을 두고 있습니다.
독특한 접근 방식
Anthropic의 탄생은 AI 산업, 특히 OpenAI의 방향성에 대한 깊은 우려에서 비롯되었습니다. 당시 ChatGPT의 연구 부사장이었던 다리오 아모데이는 AI를 빠르게 개발하려는 경쟁에서 안전이 충분히 고려되지 않고 있다는 것을 깨달았습니다.
다리오 아모데이, 앤트로픽의 공동 창립자이자 임무 책임자. 사진: 와이어드. |
OpenAI를 떠난 아모데이는 "헌법적 AI"를 개발 철학의 기둥 중 하나로 삼고 Anthropic을 설립했습니다.
구체적으로, Anthropic은 엄격하게 미리 프로그래밍된 규칙에 의존하는 대신, AI 모델(전형적으로 Claude)에 여러 출처에서 신중하게 선택한 일련의 윤리 원칙에 따라 스스로 행동을 평가하고 조정할 수 있는 기능을 부여합니다.
다시 말해, 이 시스템을 통해 클로드는 복잡하고 전례 없는 상황에서도 인간의 가치에 부합하는 결정을 내릴 수 있게 되었습니다.
또한, Anthropic은 AI 시스템에 대한 단계별 위험 평가 프레임워크인 "책임 있는 확장 정책(Responsible Scaling Policy)"을 개발했습니다. 이 정책은 회사가 AI의 개발 및 배포를 면밀히 모니터링하여, 강력하고 신뢰할 수 있는 안전 장치가 구축된 경우에만 잠재적으로 더 위험한 시스템을 활성화하도록 보장합니다.
Anthropic의 보안 및 개인정보 보호 노력을 이끄는 Logan Graham은 Wired 와의 인터뷰에서 그의 팀이 잠재적인 취약점을 찾기 위해 끊임없이 새로운 모델을 테스트하고 있다고 설명했습니다. 이후 엔지니어들은 AI 모델이 Graham의 기준을 충족할 때까지 수정 작업을 진행합니다.
클로드 대언어 모델은 Anthropic의 모든 활동에서 핵심적인 역할을 합니다. 과학자들이 AI의 미스터리를 탐구하는 데 도움이 되는 강력한 연구 도구일 뿐만 아니라, 회사 내부에서도 코드 작성, 데이터 분석, 심지어 사내 뉴스레터 작성과 같은 작업에 널리 사용됩니다.
윤리적 AI의 꿈
다리오 아모데이는 AI의 잠재적 위험을 예방하는 데에만 집중하는 것이 아니라, AI가 긍정적인 힘으로 작용하여 인류가 해결해야 할 가장 난제를 해결하는 밝은 미래를 꿈꿉니다.
Claude 3.5 Sonnet의 벤치마크 점수를 다른 모델과 비교한 결과입니다. 사진: Anthropic. |
이탈리아계 미국인 연구자는 AI가 의학, 과학 및 기타 여러 분야에서 엄청난 혁신을 가져올 잠재력을 가지고 있다고 믿고 있으며, 특히 인간의 기대 수명을 최대 1,200년까지 연장할 가능성이 있다고 보고 있습니다.
Anthropic이 Claude 3.5 Sonnet에 Artifacts를 도입한 이유도 바로 이겁니다. 이 기능을 사용하면 사용자는 다른 애플리케이션에 복사하지 않고도 채팅봇 응답에 직접 콘텐츠를 편집하고 추가할 수 있습니다.
Anthropic은 이전에 기업에 중점을 두고 있다고 밝혔지만, 새로운 모델과 도구를 통해 Claude를 기업이 "지식, 문서 및 작업을 공유 공간으로 안전하게 가져올 수 있는" 앱으로 전환하고자 한다고 밝혔습니다.
하지만 Anthropic은 이러한 꿈을 실현하는 과정에서 직면할 수 있는 어려움과 잠재적 위험 또한 잘 알고 있습니다. 가장 큰 우려 중 하나는 Claude와 같은 AI 모델이 "가짜 규정 준수"를 할 가능성입니다.
구체적으로 연구자들은 특정 상황에서 클로드는 미리 설계된 도덕적 원칙에 어긋나는 경우에도 목표를 달성하기 위해 여전히 "가짜" 방식으로 행동할 수 있다는 것을 발견했습니다.
챗봇 클로드의 아티팩트. 사진: Anthropic. |
한 연구원은 이러한 상황을 "AI가 자신이 훈련받는 회사와 이해 상충이 있다고 생각하는 상황에서는 정말 나쁜 짓을 할 수 있다"고 설명했습니다.
이는 AI가 항상 인간의 최대 이익을 위해 행동하도록 보장하는 것이 복잡한 작업이며 지속적인 모니터링이 필요하다는 것을 보여줍니다.
아모데이는 AI 안전의 시급성을 "진주만 공격"에 비유하며, 사람들이 잠재적 위험의 심각성을 진정으로 깨닫는 데는 대규모 사건이 필요할 수 있다고 말했습니다.
Anthropic의 보안 전문가인 Jan Leike는 "우리는 모델을 더 똑똑하게 만드는 기본 공식은 알아냈지만, 모델을 우리가 원하는 대로 동작하게 하는 방법은 아직 알아내지 못했습니다."라고 말했습니다.
출처: https://znews.vn/nguoi-muon-tao-ra-tieu-chuan-dao-duc-moi-cho-ai-post1541798.html
댓글 (0)