Yapay zekanın ölümcül zayıflığı

Yapay zekâ, programlama alanında henüz insanları tamamen yerini alabilecek durumda değil. Fotoğraf: John McGuire .

Son zamanlarda, OpenAI ve Anthropic'in önde gelen yapay zeka modelleri programlama uygulamalarında giderek daha fazla kullanılıyor. ChatGPT ve Claude, yüzlerce satır kodu analiz etmek için bellek ve işlem gücünü artırırken, Gemini programcılar için özel bir Canvas sonuç görüntüleme özelliği entegre ediyor.

Ekim 2024'te Google CEO'su Sundar Pichai, şirketteki yeni kodların %25'inin yapay zeka tarafından üretildiğini belirtti. Meta CEO'su Mark Zuckerberg de şirket içinde yapay zeka kodlama modellerini yaygınlaştırma hedefini dile getirdi.

Ancak Microsoft'un Ar-Ge bölümü olan Microsoft Research'ün yeni bir çalışması, Anthropic'in Claude 3.7 Sonnet'i ve OpenAI'nin o3-mini'si de dahil olmak üzere yapay zeka modellerinin, SWE-bench Lite adlı bir programlama kıyaslama testinde birçok hatayı ele alamadığını gösteriyor.

Çalışmanın yazarları, Python hata ayıklayıcısı gibi çeşitli hata ayıklama araçlarını içeren ve sorunları tek bir ifadeyle çözebilen dokuz farklı yapay zeka modelini inceledi. Modellerden, SWE-bench Lite veri kümesinden seçilen 300 yazılım hatasını çözmeleri istendi.

SWE-bench Lite veri setindeki programlama problemlerini çözme başarı oranı. Resim: Microsoft.

Daha güçlü ve yeni modellerle donatıldığında bile, sonuçlar yapay zeka ajanının kendisine atanan hata ayıklama görevlerinin yarısından fazlasını nadiren başarıyla tamamladığını gösterdi. Test edilen modeller arasında Claude 3.7 Sonnet %48,4 ile en yüksek ortalama başarı oranına ulaşırken, onu %30,2 ile OpenAI'nin o1'i ve %22,1 ile o3-mini izledi.

Yukarıda belirtilen düşük performansın nedenlerinden bazıları, bazı modellerin sağlanan hata ayıklama araçlarını nasıl uygulayacağını anlamamasıdır. Ayrıca, yazarlara göre, daha büyük bir sorun yeterli verinin olmamasından kaynaklanmaktadır.

Modellerin eğitim sisteminin, insanların baştan sona izlediği hata ayıklama adımlarını simüle eden verilerden yoksun olduğunu savunuyorlar. Başka bir deyişle, yapay zeka, gerçek dünyadaki bir yazılım hatasıyla uğraşırken insanların adım adım nasıl düşündüğünü ve davrandığını yeterince öğrenmedi.

Modellerin eğitilmesi ve iyileştirilmesi, yazılım hata ayıklama konusunda daha yetkin hale gelmelerine yardımcı olacaktır. Yazarlar, "Ancak bu, eğitim süreci için özel veri kümeleri gerektirecektir" şeklinde belirtmişlerdir.

Çok sayıda çalışma, programlama mantığını sınırlı anlama gibi zayıflıklar nedeniyle yapay zekanın kod üretimi sırasında güvenlik açıkları ve hatalar ortaya koyduğunu göstermiştir. Yapay zeka destekli bir programlama aracı olan Devin'in yakın zamanda yapılan bir incelemesi, 20 programlama testinden yalnızca 3'ünü tamamlayabildiğini ortaya koymuştur.

Yapay zekânın programlama yetenekleri hala büyük bir tartışma konusu. Daha önce OpenAI Ürün Direktörü Kevin Weil, yapay zekânın bu yılın sonuna kadar insan programcıları geride bırakacağını öne sürmüştü.

Öte yandan, Microsoft'un kurucu ortağı Bill Gates, programlamanın gelecekte de sürdürülebilir bir kariyer olarak kalacağına inanıyor. Amjad Masad (Replit CEO'su), Todd McKinnon (Okta CEO'su) ve Arvind Krishna (IBM CEO'su) gibi diğer liderler de bu görüşü desteklediklerini dile getirdiler.

Microsoft'un araştırması yeni olmasa da, programcılar ve yöneticiler de dahil olmak üzere herkese, kodlama yetkisinin tamamını yapay zekaya devretmeden önce daha dikkatli düşünmeleri gerektiğini hatırlatıyor.

Kaynak: https://znews.vn/diem-yeu-chi-mang-cua-ai-post1545220.html