کسب‌وکارها چه کاری می‌توانند انجام دهند تا از «مقابله» با عوامل هوش مصنوعی جلوگیری کنند؟

DNVN - هوش مصنوعی از مدل‌های زبان ساده (LLM) که فقط می‌دانند چگونه "صحبت" کنند، به عامل‌های هوش مصنوعی - "دستیاران دیجیتال" - که قادر به انجام خودکار وظایف پیچیده هستند، در حال تکامل است و نوید تبدیل شدن به یک نیروی کار دیجیتال قدرتمند در آینده را می‌دهد. با این حال، اعطای اختیار عمل به هوش مصنوعی، خطرات حمله جدید بسیاری را ایجاد می‌کند و امنیت اطلاعات مشاغل را تهدید می‌کند.

در مجمع اجلاس امنیت ۲۰۲۶ که در ۲۲ مه برگزار شد، آقای مای شوان کونگ - مدیر مرکز خدمات امنیت اطلاعات، امنیت سایبری ویتل - اظهار داشت که خطرناک‌ترین تفاوت بین نمایندگان هوش مصنوعی و LLM های سنتی در توانایی آنها در تعامل مستقیم با سیستم نهفته است.

در حالی که LLM های معمولی فقط دستورات را دریافت کرده و متن را برمی‌گردانند، عامل‌های هوش مصنوعی توانایی اجرای دستورات shell (تعامل با سیستم عامل از طریق خط فرمان)، دستکاری سیستم‌های فایل برای خواندن و نوشتن، ارسال خودکار ایمیل، فراخوانی APIها و کنترل مرورگرها را دارند. این ارتقا ناخواسته طیف وسیع‌تری از امکانات حمله را ایجاد می‌کند که بسیار فراتر از محدوده کمپین‌های اطلاعات نادرست معمولی است.

آقای مای شوان کونگ - مدیر مرکز خدمات امنیت اطلاعات، شرکت امنیت سایبری ویتل.

ماموران هوش مصنوعی به هدف جدیدی برای مجرمان سایبری تبدیل می‌شوند.

به گفته کارشناسان امنیت سایبری، همین توانایی «عمل کردن» است که عامل‌های هوش مصنوعی را به هدف جدیدی برای مجرمان سایبری تبدیل می‌کند.

یکی از بزرگترین خطرات، نشت داده‌های سازمانی است. برای عملکرد مؤثر، عوامل هوش مصنوعی اغلب باید حجم زیادی از اطلاعات داخلی مانند کد منبع، اسناد و ایمیل‌ها را پردازش کنند. اگر این داده‌ها به پلتفرم‌های هوش مصنوعی ابری شخص ثالث ارسال شوند، خطر افشای اطلاعات محرمانه افزایش می‌یابد.

مواردی ثبت شده است که کارمندان سامسونگ از طریق ChatGPT کد منبع جدید را فاش کرده‌اند، یا کارمندان متا با پیروی از دستورالعمل‌های هوش مصنوعی داخلی، سهواً داده‌ها را فاش کرده‌اند.

علاوه بر خطر نشت داده‌ها، کارشناسان در مورد «تزریق غیرمستقیم سریع» نیز هشدار می‌دهند. هکرها می‌توانند دستورالعمل‌های مخرب را در ایمیل‌ها، وب‌سایت‌ها یا اسناد جاسازی کنند تا عوامل هوش مصنوعی را برای انجام اقدامات ناخواسته، مانند دسترسی به داده‌های داخلی یا ارسال اطلاعات به هکر، فریب دهند.

موردی وجود داشت که در آن یک مهاجم کد مورس را در پیامی پنهان کرد تا سیستم را دور بزند و به عامل ارز دیجیتال Grok-Bankrbot اجازه دهد تا یک انتقال پول غیرمجاز را انجام دهد و در نتیجه ۱۵۰،۰۰۰ دلار از دست بدهد.

خطر دیگر ناشی از اکوسیستم افزونه‌ها برای عوامل هوش مصنوعی است. بسیاری از کارمندان در مشاغل، افزونه‌هایی را از جامعه نصب می‌کنند تا عملکرد هوش مصنوعی را گسترش دهند، اما هکرها می‌توانند از این کانال برای انتشار بدافزار سوءاستفاده کنند. پس از اعطای دسترسی به سیستم، این افزونه‌های جعلی می‌توانند داده‌ها، توکن‌ها را سرقت کنند یا درهای پشتی روی دستگاه ایجاد کنند.

به گفته آقای کوانگ، روند «هوش مصنوعی در سایه» نیز در حال ظهور است، زیرا کارمندان به طور مستقل و بدون مراجعه به بخش فناوری اطلاعات، عوامل هوش مصنوعی را روی رایانه‌های محل کار خود نصب می‌کنند. این امر کنترل دسترسی را برای کسب‌وکارها دشوار می‌کند و خطر نقض امنیت سیستم را افزایش می‌دهد.

علاوه بر این، هوش مصنوعی می‌تواند نیت کاربر را اشتباه تفسیر کند و منجر به اجرای دستوراتی شود که می‌تواند خسارات قابل توجهی به مشاغل وارد کند. به عنوان مثال، یک عامل هوش مصنوعی ممکن است در صورت اعطای مجوزهای بیش از حد، عملیات اشتباهی را انجام دهد یا داده‌های مهم را به طور تصادفی حذف کند.

برای کاهش خطرات، به سازمان‌ها توصیه می‌شود به جای تکیه صرف بر نرم‌افزارهای آنتی‌ویروس سنتی، یک مدل امنیتی چندلایه ایجاد کنند و یک نقشه راه پیاده‌سازی مناسب تهیه کنند.

کسب‌وکارها باید یک مدل امنیتی چندلایه ایجاد کنند.

اولین قدمی که یک کسب و کار باید بردارد، تشخیص تهدید است. کسب و کارها می‌توانند از نقاط پایانی و ترافیک پروکسی وب (سرورهای واسطه‌ای که دستگاه‌ها را به اینترنت متصل می‌کنند) برای جمع‌آوری و شناسایی تهدیدها استفاده کنند.

در مرحله بعد، باید یک دروازه هوش مصنوعی راه‌اندازی کنیم و آن را به نقطه کنترل واحد برای همه دسترسی‌های هوش مصنوعی تبدیل کنیم. این دروازه، انتقال داده‌ها به ابر عمومی را کنترل خواهد کرد.

متعاقباً، کسب‌وکارها باید یک لایه اضافی از کنترل تخصصی (Guardrail) را روی دروازه هوش مصنوعی و سایر برنامه‌های هوش مصنوعی خود پیاده‌سازی کنند تا دستورات مخرب را شناسایی کنند، از نشت داده‌ها جلوگیری کنند و دسترسی یا سوءاستفاده غیرمجاز از سیستم را تشخیص دهند.

مرحله بعدی، ایجاد تقویت‌کننده‌هایی برای عامل هوش مصنوعی است. سیستم نظارت در نقطه پایانی باید طوری پیکربندی شود که «رفتارهای خودکار» غیرمعمول را ردیابی کند. عامل هوش مصنوعی باید در یک محیط ایزوله با حداقل دسترسی اداره شود تا در صورت وقوع حادثه، خطر شیوع آن محدود شود. در نهایت، نظارت منظم بر سیستم ضروری است.

آقای کوانگ اظهار داشت: «مدیریت امنیت هوش مصنوعی یک استقرار یکباره نیست، بلکه یک فرآیند نظارت مداوم است.»

مدیریت امنیت هوش مصنوعی در طول دوره توسعه سریع عامل‌های هوش مصنوعی به یک الزام اجباری تبدیل خواهد شد. اگر کسب‌وکارها برای ایجاد مدل‌های امنیتی Zero Trust و نظارت دقیق آماده نباشند، توانمندسازی عامل‌های هوش مصنوعی برای اقدام مانند واگذاری کلیدهای سیستم به کارمندی است که اگرچه بسیار ماهر است، اما بسیار مستعد دستکاری است.

صلح آمیز

منبع: https://doanhnghiepvn.vn/cong-nghe/doanh-nghiep-can-lam-gi-de-tranh-bi-ai-agent-phan-chu/20260523080712445