Kelemahan fatal AI

AI belum mampu menggantikan manusia di bidang pemrograman. Foto: John McGuire .

Baru-baru ini, model AI terkemuka dari OpenAI dan Anthropic semakin banyak digunakan untuk aplikasi pemrograman. ChatGPT dan Claude memiliki peningkatan memori dan daya pemrosesan untuk menganalisis ratusan baris kode, sementara Gemini mengintegrasikan fitur tampilan hasil Canvas khusus untuk programmer.

Pada Oktober 2024, Sundar Pichai, CEO Google, menyatakan bahwa 25% kode baru di perusahaan tersebut dihasilkan oleh AI. Mark Zuckerberg, CEO Meta, juga mengungkapkan ambisinya untuk menerapkan model pengkodean AI secara luas di dalam perusahaan.

Namun, sebuah studi baru dari Microsoft Research, divisi R&D Microsoft, menunjukkan bahwa model AI, termasuk Claude 3.7 Sonnet dari Anthropic dan o3-mini dari OpenAI, tidak mampu menangani banyak kesalahan dalam benchmark pemrograman yang disebut SWE-bench Lite.

Para penulis studi tersebut meneliti sembilan model AI berbeda yang menggabungkan berbagai alat debugging seperti debugger Python dan mampu menangani masalah dalam satu pernyataan. Model-model tersebut ditugaskan untuk menyelesaikan 300 bug perangkat lunak yang dipilih dari dataset SWE-bench Lite.

Tingkat keberhasilan dalam menyelesaikan masalah pemrograman dari dataset SWE-bench Lite. Gambar: Microsoft.

Bahkan ketika dilengkapi dengan model yang lebih canggih dan terbaru, hasilnya menunjukkan bahwa agen AI jarang berhasil menyelesaikan lebih dari setengah tugas debugging yang diberikan. Di antara model yang diuji, Claude 3.7 Sonnet mencapai tingkat keberhasilan rata-rata tertinggi sebesar 48,4%, diikuti oleh o1 dari OpenAI sebesar 30,2%, dan o3-mini sebesar 22,1%.

Beberapa alasan rendahnya performa yang disebutkan di atas termasuk beberapa model yang tidak memahami cara menerapkan alat debugging yang disediakan. Selain itu, menurut para penulis, masalah yang lebih besar terletak pada kurangnya data yang memadai.

Mereka berpendapat bahwa sistem pelatihan untuk model-model tersebut masih kekurangan data yang mensimulasikan langkah-langkah debugging yang dilakukan manusia dari awal hingga akhir. Dengan kata lain, AI belum cukup mempelajari bagaimana manusia berpikir dan bertindak langkah demi langkah ketika berurusan dengan bug perangkat lunak di dunia nyata.

Melatih dan menyempurnakan model akan membantu mereka menjadi lebih mahir dalam men-debug perangkat lunak. "Namun, ini akan membutuhkan kumpulan data khusus untuk proses pelatihan," kata para penulis.

Banyak penelitian telah menunjukkan kerentanan keamanan dan kesalahan dalam AI selama pembuatan kode, karena kelemahan seperti pemahaman yang terbatas tentang logika pemrograman. Sebuah tinjauan terbaru terhadap Devin, sebuah alat pemrograman bertenaga AI, menunjukkan bahwa alat tersebut hanya menyelesaikan 3 dari 20 tes pemrograman.

Kemampuan pemrograman AI masih menjadi subjek perdebatan yang hangat. Sebelumnya, Kevin Weil, Direktur Produk OpenAI, menyatakan bahwa pada akhir tahun ini, AI akan melampaui kemampuan programmer manusia.

Di sisi lain, Bill Gates, salah satu pendiri Microsoft, percaya bahwa pemrograman akan tetap menjadi karier yang berkelanjutan di masa depan. Para pemimpin lain seperti Amjad Masad (CEO Replit), Todd McKinnon (CEO Okta), dan Arvind Krishna (CEO IBM) juga telah menyuarakan dukungan mereka untuk pandangan ini.

Penelitian Microsoft, meskipun bukan hal baru, berfungsi sebagai pengingat bagi para programmer, termasuk manajer, untuk berpikir lebih hati-hati sebelum menyerahkan wewenang pengkodean sepenuhnya kepada AI.

Sumber: https://znews.vn/diem-yeu-chi-mang-cua-ai-post1545220.html