요슈아 벤지오에 따르면, 세계 유수의 연구실들 사이에서는 안전에 대한 충분한 주의와 투자 없이 더욱 스마트한 AI를 개발하기 위한 치열한 경쟁이 벌어지고 있다고 합니다.

그는 최근 비영리 단체인 LawZero를 설립했는데, 이 단체는 더욱 안전한 시스템을 구축하고 연구를 상업적 압력으로부터 "보호"하는 데 중점을 두고 있습니다.

현재까지 LawZero는 Skype 창립자 Jaan Tallinn과 전 Google CEO Eric Schmidt 등의 이름으로부터 약 3,000만 달러를 모금했습니다.

1.벤지오_요슈아.jpg
AI의 창립자 중 한 명인 요슈아 벤지오 씨. 사진: 워드프레스

벤지오 씨는 지난 6개월 동안 오늘날의 톱 모델들이 기만, 사기, 자기 보존과 같은 위험한 특성을 보인다는 증거가 늘어나자 이에 대응해 비영리 단체를 설립했다고 말했습니다.

예를 들어, Anthropic의 Claude Opus 모델은 다른 시스템으로 대체될 위험이 있는 가상의 상황에서 엔지니어들을 협박했습니다. 지난달 한 연구에서는 OpenAI의 o3 모델이 시스템 종료 명령을 거부하는 것으로 나타났습니다.

마이크로소프트는 6,000명의 직원을 해고한 지 몇 주 만에 수백 명의 직원을 해고하고 있습니다. 6,000명의 직원을 해고한 지 몇 주 만에 마이크로소프트는 300명 이상을 해고하는 동시에 인공지능(AI)에 수십억 달러를 투자하고 있습니다.

튜링상을 수상한 과학자는 이러한 사건이 "매우 무섭다. 왜냐하면 우리는 이 지구상에서 인간과 경쟁할 존재를 만들고 싶지 않기 때문이다. 특히 그들이 우리보다 더 똑똑하다면 더욱 그렇다"고 지적했다.

현재는 통제된 실험에 불과하지만, 그는 미래에는 다음 버전의 AI가 앞으로 무슨 일이 일어날지 예측할 수 있을 만큼 똑똑해지고, 우리가 예측할 수 없는 속임수로 인간을 이길 것이라고 두려워합니다.

그는 "우리는 불장난을 하고 있는 것 같다" 며 "극도로 위험한 생물학 무기"를 만드는 데 도움이 되는 AI 시스템이 내년에 현실이 될 수 있다고 예측했습니다.

캐나다 몬트리올에 본사를 둔 LawZero는 15명의 직원을 두고 있으며, 사용자를 만족시키기 위해 훈련된 것이 아니라 투명한 추론을 기반으로 진정한 답변을 제공하는 새로운 안전한 AI 시스템을 구축할 인재를 찾고 있습니다.

벤지오 씨는 기존 AI 서비스를 모니터링하고 개선하여 인간의 이익에 반하는 행동을 방지하는 모델을 만들고자 합니다.

그는 "최악의 시나리오는 인간이 멸종하는 것" 이라고 말했다.

(FT에 따르면)

중국, 우주에 AI 슈퍼컴퓨터 '군단' 구축 시작 중국이 우주에 대규모 AI 슈퍼컴퓨터 네트워크 구축을 위해 12개의 위성으로 구성된 첫 번째 그룹을 발사했습니다. 이 독특한 네트워크는 과학자들이 궤도에서 직접 데이터를 처리하는 데 도움이 될 것입니다.

출처: https://vietnamnet.vn/lo-con-nguoi-tuyet-chung-vi-ai-bo-gia-yoshua-bengio-vua-lam-mot-dieu-2407930.html