ضعف مهلک هوش مصنوعی

تحقیقات نشان می‌دهد که علیرغم ادعاهای جسورانه در مورد قابلیت‌های برنامه‌نویسی هوش مصنوعی، مدیریت خطا همچنان حوزه‌ای است که انسان‌ها در آن برتری دارند.

هوش مصنوعی هنوز نتوانسته در زمینه برنامه‌نویسی جایگزین انسان شود. عکس: جان مک‌گوایر .

اخیراً، مدل‌های پیشرو هوش مصنوعی از OpenAI و Anthropic به طور فزاینده‌ای برای برنامه‌های برنامه‌نویسی مورد استفاده قرار می‌گیرند. ChatGPT و Claude حافظه و قدرت پردازش را برای تجزیه و تحلیل صدها خط کد افزایش داده‌اند، در حالی که Gemini یک ویژگی نمایش نتایج Canvas اختصاصی را برای برنامه‌نویسان ادغام می‌کند.

در اکتبر ۲۰۲۴، ساندار پیچای، مدیرعامل گوگل، اظهار داشت که ۲۵٪ از کدهای جدید در این شرکت توسط هوش مصنوعی تولید می‌شوند. مارک زاکربرگ، مدیرعامل متا، نیز از جاه‌طلبی‌های خود برای استقرار گسترده مدل‌های کدنویسی هوش مصنوعی در داخل شرکت ابراز کرد.

با این حال، یک مطالعه جدید از بخش تحقیقات مایکروسافت، بخش تحقیق و توسعه مایکروسافت، نشان می‌دهد که مدل‌های هوش مصنوعی، از جمله Claude 3.7 Sonnet از شرکت Anthropic و o3-mini از شرکت OpenAI، قادر به مدیریت بسیاری از خطاها در یک معیار برنامه‌نویسی به نام SWE-bench Lite نیستند.

نویسندگان این مطالعه، نه مدل هوش مصنوعی مختلف را بررسی کردند که شامل طیف وسیعی از ابزارهای اشکال‌زدایی مانند اشکال‌زدای پایتون بودند و قادر به مدیریت مشکلات در یک جمله واحد بودند. این مدل‌ها موظف بودند 300 اشکال نرم‌افزاری انتخاب شده از مجموعه داده‌های SWE-bench Lite را حل کنند.

نرخ موفقیت هنگام حل مسائل برنامه‌نویسی از مجموعه داده‌های SWE-bench Lite. تصویر: مایکروسافت.

حتی زمانی که به مدل‌های قدرتمندتر و جدیدتری مجهز شده بود، نتایج نشان داد که عامل هوش مصنوعی به ندرت بیش از نیمی از وظایف اشکال‌زدایی تعیین‌شده را با موفقیت انجام می‌دهد. در میان مدل‌های آزمایش‌شده، Claude 3.7 Sonnet با ۴۸.۴ درصد بالاترین میانگین نرخ موفقیت را به دست آورد و پس از آن o1 از OpenAI با ۳۰.۲ درصد و o3-mini با ۲۲.۱ درصد قرار گرفتند.

برخی از دلایل عملکرد پایین ذکر شده در بالا شامل عدم درک برخی مدل‌ها از نحوه‌ی به‌کارگیری ابزارهای اشکال‌زدایی ارائه شده است. علاوه بر این، به گفته‌ی نویسندگان، مشکل بزرگتر، فقدان داده‌های کافی است.

آنها استدلال می‌کنند که سیستم آموزشی برای مدل‌ها هنوز فاقد داده‌هایی است که مراحل اشکال‌زدایی را که انسان‌ها از ابتدا تا انتها انجام می‌دهند، شبیه‌سازی کند. به عبارت دیگر، هوش مصنوعی به اندازه کافی در مورد نحوه تفکر و عملکرد گام به گام انسان‌ها هنگام برخورد با یک اشکال نرم‌افزاری در دنیای واقعی، یاد نگرفته است.

آموزش و اصلاح مدل‌ها به آنها کمک می‌کند تا در اشکال‌زدایی نرم‌افزار مهارت بیشتری پیدا کنند. نویسندگان اظهار داشتند: «با این حال، این امر به مجموعه داده‌های تخصصی برای فرآیند آموزش نیاز دارد.»

مطالعات متعددی به آسیب‌پذیری‌های امنیتی و خطاهای هوش مصنوعی در طول تولید کد، به دلیل نقاط ضعفی مانند درک محدود از منطق برنامه‌نویسی، اشاره کرده‌اند. بررسی اخیر Devin، یک ابزار برنامه‌نویسی مبتنی بر هوش مصنوعی، نشان داد که این ابزار تنها ۳ مورد از ۲۰ تست برنامه‌نویسی را با موفقیت پشت سر گذاشته است.

قابلیت‌های برنامه‌نویسی هوش مصنوعی همچنان موضوع بحث‌های زیادی است. پیش از این، کوین ویل، مدیر محصول OpenAI، اظهار داشت که تا پایان امسال، هوش مصنوعی از برنامه‌نویسان انسانی پیشی خواهد گرفت.

از سوی دیگر، بیل گیتس، یکی از بنیانگذاران مایکروسافت، معتقد است که برنامه‌نویسی در آینده یک شغل پایدار باقی خواهد ماند. رهبران دیگری مانند امجد مساد (مدیرعامل Replit)، تاد مک‌کینون (مدیرعامل Okta) و آرویند کریشنا (مدیرعامل IBM) نیز حمایت خود را از این دیدگاه ابراز کرده‌اند.

تحقیقات مایکروسافت، اگرچه جدید نیست، اما به عنوان یادآوری برای برنامه‌نویسان، از جمله مدیران، عمل می‌کند تا قبل از واگذاری کامل اختیار کدنویسی به هوش مصنوعی، با دقت بیشتری فکر کنند.

منبع: https://znews.vn/diem-yeu-chi-mang-cua-ai-post1545220.html