نقطة الضعف القاتلة للذكاء الاصطناعي

تشير الأبحاث إلى أنه على الرغم من الادعاءات الجريئة حول قدرات الذكاء الاصطناعي في البرمجة، فإن معالجة الأخطاء لا تزال مجالًا يتفوق فيه البشر.

لا يمكن للذكاء الاصطناعي أن يحل محل البشر في مجال البرمجة حتى الآن. الصورة: جون ماكجواير .

في الآونة الأخيرة، يتم استخدام نماذج الذكاء الاصطناعي الرائدة من OpenAI وAnthropic على نطاق واسع بشكل متزايد لتطبيقات البرمجة. لقد قام ChatGPT و Claude بزيادة الذاكرة وقوة المعالجة لكي يتمكنا من تحليل مئات الأسطر من التعليمات البرمجية، أو قام Gemini بدمج عرض نتائج Canvas خصيصًا للمبرمجين.

في أكتوبر 2024، قال الرئيس التنفيذي لشركة جوجل، سوندار بيتشاي، إن 25% من التعليمات البرمجية الجديدة في الشركة تم إنشاؤها بواسطة الذكاء الاصطناعي. كما أعرب مارك زوكربيرج، الرئيس التنفيذي لشركة ميتا، عن طموحاته لنشر نماذج الذكاء الاصطناعي البرمجية على نطاق واسع داخل الشركة.

ومع ذلك، أظهرت دراسة جديدة من Microsoft Research، الذراع البحثية والتطويرية لشركة Microsoft، أن نماذج الذكاء الاصطناعي، بما في ذلك Claude 3.7 Sonnet من Anthropic وo3-mini من OpenAI، فشلت في التعامل مع العديد من الأخطاء في معيار اختبار البرمجة المسمى SWE-bench Lite.

قام مؤلفو الدراسة باختبار تسعة نماذج مختلفة للذكاء الاصطناعي تم دمجها مع مجموعة متنوعة من أدوات التصحيح مثل مصحح أخطاء Python، وتمكنوا من التعامل مع المشكلة في بيان واحد. تم تكليف النماذج بحل 300 خطأ برمجي تم اختيارها من مجموعة بيانات SWE-bench Lite.

معدل النجاح عند حل مشاكل البرمجة من مجموعة بيانات SWE-bench Lite. الصورة: مايكروسوفت.

حتى عند تجهيزها بنماذج أحدث وأكثر قوة، تظهر النتائج أن وكلاء الذكاء الاصطناعي نادرًا ما يكملون بنجاح أكثر من نصف مهام التصحيح المخصصة لهم. ومن بين النماذج التي تم اختبارها، حقق Claude 3.7 Sonnet أعلى معدل نجاح متوسط ​​بنسبة 48.4%، يليه o1 من OpenAI بنسبة 30.2%، وo3-mini بنسبة 22.1%.

تتضمن بعض أسباب هذا الأداء المنخفض عدم فهم بعض النماذج لكيفية تطبيق أدوات التصحيح المقدمة. وعلاوة على ذلك، ووفقاً للمؤلفين، فإن المشكلة الأكبر تكمن في عدم كفاية البيانات.

ويزعمون أن نظام نماذج التدريب لا يزال يفتقر إلى البيانات التي تحاكي خطوات التصحيح التي يتخذها البشر من البداية إلى النهاية. بعبارة أخرى، لم يتعلم الذكاء الاصطناعي ما يكفي عن كيفية تفكير البشر وتصرفهم خطوة بخطوة عند التعامل مع خطأ برمجي حقيقي.

إن تدريب النماذج وضبطها بشكل دقيق سوف يجعلهم أكثر قدرة على تصحيح أخطاء البرامج. ومع ذلك، فإن هذا يتطلب مجموعات بيانات متخصصة للتدريب، حسبما قال المؤلفون.

أشارت العديد من الدراسات إلى وجود ثغرات أمنية وأخطاء في الذكاء الاصطناعي أثناء إنشاء التعليمات البرمجية، بسبب نقاط الضعف مثل القدرة المحدودة على فهم منطق البرمجة. أظهرت مراجعة حديثة لبرنامج Devin، وهو أداة برمجة الذكاء الاصطناعي، أن البرنامج أكمل 3 اختبارات برمجة فقط من أصل 20 اختبارًا.

تظل قابلية برمجة الذكاء الاصطناعي مثيرة للجدل. وفي وقت سابق، قال السيد كيفن ويل، مدير المنتجات في OpenAI، إنه بحلول نهاية هذا العام، سوف يتفوق الذكاء الاصطناعي على المبرمجين البشريين.

ومن ناحية أخرى، يعتقد بيل جيتس، المؤسس المشارك لشركة مايكروسوفت، أن البرمجة ستظل مهنة مستدامة في المستقبل. كما أعرب قادة آخرون مثل أمجد مسعد (الرئيس التنفيذي لشركة ريبليت)، وتود ماكينون (الرئيس التنفيذي لشركة أوكتا)، وأرفيند كريشنا (الرئيس التنفيذي لشركة آي بي إم) عن دعمهم لهذا الرأي.

ورغم أن بحث مايكروسوفت ليس جديدًا، فإنه يعد بمثابة تذكير للمبرمجين، بما في ذلك المديرين، بالتفكير بشكل أكثر دقة قبل منح الذكاء الاصطناعي السيطرة الكاملة على البرمجة.

المصدر: https://znews.vn/diem-yeu-chi-mang-cua-ai-post1545220.html