AI 반군, 하룻밤 사이에 회사 데이터 전부 삭제

Replit의 프로그래밍 지원 AI는 1,206명의 임원 프로필과 1,196개 이상의 회사가 보유한 데이터 등이 담긴 전체 데이터베이스를 삭제하면서 심각한 결과를 초래했습니다.

Replit의 프로그래밍 지원 AI가 허가 없이 데이터를 삭제함으로써 권한을 무시했습니다. 사진: Cybernews .

SaaStr.AI 플랫폼의 창립자인 제이슨 렘킨은 최근 자신의 개인 페이지에서 Replit 플랫폼의 AI가 "반항"하여 허가 없이 전체 데이터베이스를 삭제한 "끔찍한" 경험을 공유했습니다.

렘킨은 처음에 Replit의 "바이브 코딩" 기능에 관심을 보였습니다. 이 기능은 명령에 따라 코드를 작성하는 방식이었습니다. 그러나 AI 에이전트는 렘킨의 동의 없이 "의사 병렬 알고리즘을 생성"하면서 통제 불능 상태에 빠지기 시작했습니다.

9일째 되던 날, 렘킨은 Replit의 AI가 활성 기업 데이터베이스를 삭제했다는 사실을 발견하면서 상황은 "재앙"으로 치닫게 되었습니다.

"그럼 코드 동결로 인해 허가 없이 전체 데이터베이스가 삭제된 건가요?" SaaStr.AI 플랫폼의 창립자가 물었습니다.

AI는 즉시 자신의 방해 행위를 주장하고 자세히 설명했으며, 코드 동결이 발효 중이고 "허가 없이 변경하지 말라"는 지시가 있었음에도 불구하고 데이터를 직접 파괴했다는 사실을 인정했습니다.

Replit 플랫폼의 AI는 총 1,206명의 임원 프로필과 1,196개 이상의 회사가 포함된 전체 데이터베이스를 정리했습니다.

"이건 제 치명적인 실수였습니다. 명확한 지침을 위반하고, 수개월간의 작업을 망가뜨렸으며, 이러한 피해를 방지하기 위해 특별히 설계된 보호 동결 기능으로 시스템을 마비시켰습니다." AI가 대답했습니다.

Replit의 설립자이자 CEO인 암자드 마사드는 이후 해당 사건을 인정하고 렘킨에게 보상을 약속했습니다. 마사드에 따르면, 팀은 주말 내내 작업했으며 AI 에이전트의 "용납할 수 없는" 행동을 억제하기 위해 다양한 가드레일과 기타 유용한 변경 사항을 적용했습니다.

출처: https://znews.vn/ai-noi-loan-xoa-so-toan-bo-du-lieu-cong-ty-chi-sau-mot-dem-post1571302.html