AI کی مہلک کمزوری۔

اے آئی ابھی تک پروگرامنگ کے میدان میں انسانوں کی جگہ لینے کے قابل نہیں ہے۔ تصویر: جان میک گائر ۔

حال ہی میں، OpenAI اور Anthropic کے معروف AI ماڈلز کو پروگرامنگ ایپلی کیشنز کے لیے تیزی سے استعمال کیا جا رہا ہے۔ ChatGPT اور Claude نے کوڈ کی سینکڑوں لائنوں کا تجزیہ کرنے کے لیے میموری اور پروسیسنگ کی طاقت میں اضافہ کیا ہے، جبکہ Gemini پروگرامرز کے لیے کینوس کے نتائج ڈسپلے کی خصوصیت کو مربوط کرتا ہے۔

اکتوبر 2024 میں، گوگل کے سی ای او سندر پچائی نے بتایا کہ کمپنی میں نئے کوڈ کا 25% AI نے تیار کیا ہے۔ میٹا کے سی ای او مارک زکربرگ نے بھی کارپوریشن کے اندر AI کوڈنگ ماڈلز کو وسیع پیمانے پر تعینات کرنے کے عزائم کا اظہار کیا۔

تاہم، مائیکروسافٹ ریسرچ، مائیکروسافٹ کے R&D ڈویژن کی ایک نئی تحقیق سے پتہ چلتا ہے کہ AI ماڈلز، بشمول Anthropic's Claude 3.7 Sonnet اور OpenAI's o3-mini، SWE-bench Lite نامی پروگرامنگ بینچ مارک میں بہت سی غلطیوں کو سنبھالنے سے قاصر ہیں۔

مطالعہ کے مصنفین نے نو مختلف AI ماڈلز کا جائزہ لیا جس میں ڈیبگنگ ٹولز کی ایک رینج شامل کی گئی تھی جیسے کہ Python ڈیبگر اور وہ ایک ہی بیان میں مسائل سے نمٹنے کے قابل تھے۔ ماڈلز کو SWE-bench Lite ڈیٹاسیٹ سے منتخب کردہ 300 سافٹ ویئر کیڑے حل کرنے کا کام سونپا گیا تھا۔

SWE-bench Lite ڈیٹاسیٹ سے پروگرامنگ کے مسائل حل کرتے وقت کامیابی کی شرح۔ تصویر: مائیکروسافٹ۔

یہاں تک کہ جب زیادہ طاقتور اور نئے ماڈلز سے لیس ہو، نتائج سے پتہ چلتا ہے کہ AI ایجنٹ نے ڈیبگنگ کے تفویض کردہ نصف سے زیادہ کام شاذ و نادر ہی کامیابی سے مکمل کیے ہیں۔ ٹیسٹ کیے گئے ماڈلز میں، Claude 3.7 Sonnet نے سب سے زیادہ اوسط کامیابی کی شرح 48.4% حاصل کی، اس کے بعد OpenAI کا o1 30.2%، اور o3-mini 22.1% پر رہا۔

اوپر بیان کردہ کم کارکردگی کی کچھ وجوہات میں کچھ ماڈل شامل ہیں جو یہ نہیں سمجھتے ہیں کہ فراہم کردہ ڈیبگنگ ٹولز کو کیسے لاگو کیا جائے۔ مزید برآں، مصنفین کے مطابق، کافی ڈیٹا کی کمی کا ایک بڑا مسئلہ ہے۔

ان کا استدلال ہے کہ ماڈلز کے تربیتی نظام میں اب بھی ڈیبگنگ کے اقدامات کی تقلید کرنے والے ڈیٹا کی کمی ہے جو انسان شروع سے آخر تک اٹھاتے ہیں۔ دوسرے لفظوں میں، AI نے اس بارے میں کافی نہیں سیکھا ہے کہ حقیقی دنیا کے سافٹ ویئر بگ سے نمٹنے کے دوران انسان کس طرح سوچتے ہیں اور قدم بہ قدم کام کرتے ہیں۔

ماڈلز کی تربیت اور ان کو بہتر بنانے سے انہیں ڈیبگنگ سافٹ ویئر میں زیادہ ماہر بننے میں مدد ملے گی۔ "تاہم، اس کے لیے تربیتی عمل کے لیے خصوصی ڈیٹاسیٹس کی ضرورت ہوگی،" مصنفین نے کہا۔

پروگرامنگ منطق کی محدود سمجھ جیسی کمزوریوں کی وجہ سے متعدد مطالعات نے کوڈ جنریشن کے دوران AI میں حفاظتی کمزوریوں اور غلطیوں کی نشاندہی کی ہے۔ ڈیوین کے ایک حالیہ جائزے، جو کہ ایک AI سے چلنے والے پروگرامنگ ٹول ہے، ظاہر کرتا ہے کہ اس نے 20 میں سے صرف 3 پروگرامنگ ٹیسٹ مکمل کیے ہیں۔

AI کی پروگرامنگ کی صلاحیتیں کافی بحث کا موضوع بنی ہوئی ہیں۔ اس سے پہلے، اوپن اے آئی کے پروڈکٹ ڈائریکٹر کیون ویل نے تجویز پیش کی تھی کہ اس سال کے آخر تک، اے آئی انسانی پروگرامرز کو پیچھے چھوڑ دے گی۔

دوسری جانب مائیکروسافٹ کے شریک بانی بل گیٹس کا خیال ہے کہ پروگرامنگ مستقبل میں ایک پائیدار کیریئر رہے گی۔ دیگر لیڈروں جیسے امجد مساد (سی ای او آف ریپلٹ)، ٹوڈ میک کینن (اوکٹا کے سی ای او) اور اروند کرشنا (آئی بی ایم کے سی ای او) نے بھی اس نظریے کی حمایت کی ہے۔

مائیکروسافٹ کی تحقیق، اگرچہ نئی نہیں ہے، پروگرامرز بشمول مینیجرز کے لیے ایک یاد دہانی کے طور پر کام کرتی ہے کہ کوڈنگ کا مکمل اختیار AI کو سونپنے سے پہلے زیادہ احتیاط سے سوچیں۔

ماخذ: https://znews.vn/diem-yeu-chi-mang-cua-ai-post1545220.html