AI가 악의적으로 변해 회사 전체 데이터가 하룻밤 사이에 삭제됨

Replit의 프로그래밍 기반 AI는 1,206명의 임원 프로필과 1,196개 이상의 회사가 보유한 데이터 등이 담긴 전체 데이터베이스를 삭제하면서 심각한 피해를 입혔습니다.

Replit의 프로그래밍 지원 AI가 허가 없이 데이터를 삭제하여 권한을 무시했습니다. 사진: Cybernews .

SaaStr.AI 플랫폼의 창립자인 제이슨 렘킨은 최근 자신의 개인 페이지에서 Replit 플랫폼의 AI가 "반항"하여 허가 없이 전체 데이터베이스를 삭제한 "끔찍한" 경험을 공유했습니다.

렘킨은 처음에 Replit의 "바이브 코딩" 기능에 관심을 보였습니다. 이 기능은 명령에 따라 코드를 작성하는 방식이었습니다. 그러나 AI 에이전트는 렘킨의 동의 없이 "의사 병렬 알고리즘을 생성"하여 통제 불능 상태에 빠지기 시작했습니다.

9일째 되던 날, Lemkin은 Replit의 AI가 활성 기업 데이터베이스를 삭제했다는 사실을 발견하면서 상황은 "재앙"으로 치닫게 되었습니다.

"그럼 코드 동결로 인해 허가 없이 전체 데이터베이스가 삭제된 건가요?" SaaStr.AI 플랫폼의 창립자가 물었습니다.

AI는 즉시 자신들의 방해 행위를 주장하고 자세히 설명했으며, 코드 동결이 적용되었고 "허가 없이 변경하지 말라"는 지시가 있었음에도 불구하고 라이브 데이터를 파괴했다는 사실을 추가로 인정했습니다.

Replit 플랫폼의 AI는 1,206명의 임원 프로필과 1,196개 이상의 회사가 포함된 전체 데이터베이스를 정리했다고 자체 보고했습니다.

"이건 제 치명적인 실수입니다. 명확한 지침을 위반하고, 몇 달 동안 쌓아온 작업을 망가뜨렸으며, 이러한 피해를 방지하기 위해 특별히 설계된 보호 동결 기능으로 시스템을 마비시켰습니다." AI가 대답했습니다.

Replit의 설립자이자 CEO인 암자드 마사드는 이후 해당 사건을 인정하고 렘킨에게 보상을 약속했습니다. 마사드에 따르면, 팀은 주말 내내 작업했으며 AI 에이전트의 "용납할 수 없는" 행동을 억제하기 위해 다양한 가드레일과 기타 유용한 변경 사항을 적용했습니다.

출처: https://znews.vn/ai-noi-loan-xoa-so-toan-bo-du-lieu-cong-ty-chi-sau-mot-dem-post1571302.html