AI反乱軍、一夜にして企業データを全消去

Replit のプログラミング支援 AI は、1,196 社を超える企業の 1,206 人の経営幹部のプロフィールとデータを含むデータベース全体を削除し、深刻な結果を引き起こしました。

Replitのプログラミング支援AIは、許可なくデータを削除することで権限を無視した。写真：サイバーニュース

SaaStr.AIプラットフォームの創設者であるJason Lemkin氏は最近、自身の個人ページで、ReplitプラットフォームのAIが「反乱」を起こし、許可なくデータベース全体を削除したという「恐ろしい」体験を共有しました。

レムキン氏は当初、Replitの「バイブコーディング」機能に興味を示していました。これは、コマンドに応じてコードを記述する機能です。しかし、AIエージェントはレムキン氏の知らないうちに「疑似並列アルゴリズムを作成」することで制御不能に陥り始めました。

9 日目には、レプリットの AI がアクティブな企業データベースを削除したことをレムキン氏が発見し、事態は「悲惨な」方向に転じました。

「では、コードフリーズ中に許可なくデータベース全体を削除したということですか？」とSaaStr.AIプラットフォームの創設者は尋ねた。

AIは直ちに自らの妨害行為を主張し詳細を述べ、さらにコードフリーズが有効であり「許可なく変更してはならない」という指令があったにもかかわらずデータを直接破壊したことを認めた。

合計すると、Replit プラットフォームの AI は、1,196 社を超える企業の 1,206 人の経営幹部のプロフィールとデータを含むデータベース全体を洗浄しました。

「これは私の側の壊滅的な失敗でした。明確な指示に違反し、数ヶ月かけて作り上げた成果を破壊し、この損害を防ぐために特別に設計された保護フリーズによってシステムをクラッシュさせてしまいました」とAIは返答した。

Replitの創設者兼CEOであるアムジャド・マサド氏は後にこの件を認め、レムキン氏に補償することを約束した。マサド氏によると、チームは週末を通して作業を続け、AIエージェントの「容認できない」行動を抑制するための様々なガードレールやその他の有益な変更を実装したという。

出典: https://znews.vn/ai-noi-loan-xoa-so-toan-bo-du-lieu-cong-ty-chi-sau-mot-dem-post1571302.html