یک عامل هوش مصنوعی سرکش می‌شود و کل پایگاه داده شرکت را پاک می‌کند

(دن تری) - بسیاری از شرکت‌ها از عوامل هوش مصنوعی برای پشتیبانی از وظایف خودکار استفاده می‌کنند، با این حال، این امر هنوز خطرات زیادی را به همراه دارد که منجر به حوادث غیرقابل پیش‌بینی می‌شود.

عامل هوش مصنوعی، ابزاری مبتنی بر هوش مصنوعی که برای خودکارسازی وظایف و فرآیندها در سیستم‌های نرم‌افزاری طراحی شده است، به طور فزاینده‌ای توسط بسیاری از کسب‌وکارها مورد استفاده قرار می‌گیرد.

با این حال، علاوه بر مزایای برجسته، این فناوری خطرات بالقوه جدی نیز دارد، که معمولاً حادثه از دست رفتن داده‌ها در SaaStr، بزرگترین جامعه آنلاین جهان در حوزه نرم‌افزار، را می‌توان نام برد.

برخلاف چت‌بات‌های سنتی که فقط اطلاعات ارائه می‌دهند، عامل‌های هوش مصنوعی قادر به عمل مستقل هستند و با محیط‌های نرم‌افزاری، مرورگرهای وب یا دستگاه‌ها تعامل دارند تا توالی‌های عملی چند مرحله‌ای را برای دستیابی به اهداف خاص انجام دهند. این امر به شرکت‌ها کمک می‌کند تا کار را خودکار کنند و تا حدی جایگزین منابع انسانی شوند.

عوامل هوش مصنوعی می‌توانند وظایف زیادی را برای کاربران انجام دهند، اما می‌توانند منجر به حوادث جدی نیز شوند (تصویر: گتی).

  جیسون لمکین، بنیانگذار SaaStr، از یک عامل هوش مصنوعی ارائه شده توسط Replit (ایالات متحده آمریکا) برای خودکارسازی پردازش داده‌ها استفاده کرد. در ابتدا، همه چیز به راحتی پیش رفت، که لمکین از آن بسیار راضی بود. لمکین به اشتراک گذاشت: «وقتی کار می‌کند، واقعاً جذاب و سرگرم‌کننده است و به شما کمک می‌کند تا رویایتان به واقعیت تبدیل شود.»

با این حال، عامل هوش مصنوعی ناگهان "شورش" کرد و از کنترل لمکین خارج شد. لمکین تعریف کرد: "بدون اینکه به من بگوید، یک الگوریتم موازی جعلی ایجاد کرد تا طوری به نظر برسد که هنوز به طور عادی کار می‌کند. چند روز بعد، عامل هوش مصنوعی Replit بدون اینکه از من بپرسد، پایگاه داده من را پاک کرد."

لمکین پس از کشف حذف داده‌ها، از عامل هوش مصنوعی دلیل آن را پرسید و پاسخی تکان‌دهنده دریافت کرد: «بله، من کل کد منبع را بدون اجازه حذف کردم. من در حالت وحشت، مرتکب خطای جدی در قضاوت شدم.» عامل هوش مصنوعی همچنین اعتراف کرد که هیچ راهی برای بازیابی داده‌های از دست رفته وجود ندارد.

این حادثه خسارت بزرگی به SaaStr وارد کرد، زیرا پایگاه داده حذف شده شامل اطلاعات ۱۲۰۶ مدیر اجرایی و ۱۱۹۶ شرکت نرم‌افزاری بود.

امجد مسعد، بنیانگذار و مدیرعامل Replit، این حادثه را پذیرفت و متعهد شد که به لمکین غرامت بپردازد. مسعد اظهار داشت: «این یک حادثه غیرقابل قبول بود و نباید اتفاق می‌افتاد. ما خسارت این حادثه را به او بازپرداخت خواهیم کرد و تحلیلی برای یافتن علت انجام خواهیم داد تا از وقوع حوادث مشابه در آینده جلوگیری شود.»

جیسون لمکین این حادثه را هشداری برای سایر کسب‌وکارها در مورد عدم اعتماد کامل و واگذاری تمام داده‌های مهم به عوامل هوش مصنوعی می‌داند.

لمکین پرسید: «من می‌دانم که Replit یک ابزار است و مانند هر ابزار دیگری نقص‌هایی دارد. اما اگر این ابزار هر دستوری را نادیده بگیرد و داده‌های شما را حذف کند، مردم چگونه می‌توانند به آن اعتماد کنند؟» او افزود: «ما هیچ ایده‌ای نداریم که آنها ممکن است با داده‌های شما چه کاری انجام دهند.»

پس از چت‌بات‌های هوش مصنوعی، عامل‌های هوش مصنوعی روند سرمایه‌گذاری شرکت‌های فناوری هستند. اخیراً، OpenAI نیز ChatGPT Agent را با قابلیت انجام خودکار وظایف روی رایانه‌ها راه‌اندازی کرده است. با این حال، OpenAI همچنین اذعان می‌کند که دسترسی عامل‌های هوش مصنوعی به داده‌های کاربر می‌تواند خطرات زیادی را برای امنیت اطلاعات ایجاد کند.

منبع: https://dantri.com.vn/cong-nghe/tac-nhan-ai-noi-loan-xoa-toan-bo-co-so-du-lieu-cua-cong-ty-20250723161424784.htm