De fatale zwakte van AI

Kunstmatige intelligentie is nog niet in staat om mensen te vervangen op het gebied van programmeren. Foto: John McGuire .

De laatste tijd worden toonaangevende AI-modellen van OpenAI en Anthropic steeds vaker gebruikt voor programmeertoepassingen. ChatGPT en Claude beschikken over meer geheugen en rekenkracht om honderden regels code te analyseren, terwijl Gemini een speciale Canvas-weergavefunctie voor programmeurs integreert.

In oktober 2024 verklaarde Sundar Pichai, CEO van Google, dat 25% van de nieuwe code binnen het bedrijf door AI werd gegenereerd. Mark Zuckerberg, CEO van Meta, sprak eveneens de ambitie uit om AI-codeermodellen op grote schaal binnen het bedrijf in te zetten.

Een nieuwe studie van Microsoft Research, de R&D-afdeling van Microsoft, toont echter aan dat AI-modellen, waaronder Claude 3.7 Sonnet van Anthropic en o3-mini van OpenAI, veel fouten in een programmeerbenchmark genaamd SWE-bench Lite niet goed kunnen verwerken.

De auteurs van de studie onderzochten negen verschillende AI-modellen die een reeks debugtools bevatten, zoals een Python-debugger, en die in staat waren problemen in één enkele instructie op te lossen. De modellen kregen de taak om 300 softwarefouten op te lossen die waren geselecteerd uit de SWE-bench Lite-dataset.

Succespercentage bij het oplossen van programmeerproblemen uit de SWE-bench Lite-dataset. Afbeelding: Microsoft.

Zelfs met krachtigere en nieuwere modellen bleek uit de resultaten dat de AI-agent zelden meer dan de helft van de toegewezen debugtaken succesvol voltooide. Van de geteste modellen behaalde Claude 3.7 Sonnet het hoogste gemiddelde succespercentage met 48,4%, gevolgd door OpenAI's o1 met 30,2% en o3-mini met 22,1%.

Enkele redenen voor de hierboven genoemde lage prestaties zijn dat sommige modellen niet begrijpen hoe ze de meegeleverde debugtools moeten toepassen. Daarnaast ligt volgens de auteurs een groter probleem in het gebrek aan voldoende gegevens.

Ze stellen dat het trainingssysteem voor de modellen nog steeds geen gegevens bevat die de debugstappen simuleren die mensen van begin tot eind doorlopen. Met andere woorden, de AI heeft nog niet genoeg geleerd over hoe mensen denken en handelen, stap voor stap, bij het oplossen van een softwarefout in de praktijk.

Het trainen en verfijnen van de modellen zal hen helpen om beter te worden in het debuggen van software. "Dit vereist echter wel gespecialiseerde datasets voor het trainingsproces", aldus de auteurs.

Talrijke studies hebben gewezen op beveiligingslekken en fouten in AI tijdens het genereren van code, als gevolg van zwakke punten zoals een beperkt begrip van programmeerlogica. Een recente evaluatie van Devin, een AI-gestuurde programmeertool, toonde aan dat deze slechts 3 van de 20 programmeertests succesvol afrondde.

De programmeermogelijkheden van AI blijven een onderwerp van veel discussie. Eerder suggereerde Kevin Weil, productdirecteur van OpenAI, dat AI tegen het einde van dit jaar de menselijke programmeurs zou overtreffen.

Aan de andere kant gelooft Bill Gates, medeoprichter van Microsoft, dat programmeren ook in de toekomst een duurzame carrière zal blijven. Andere leiders zoals Amjad Masad (CEO van Replit), Todd McKinnon (CEO van Okta) en Arvind Krishna (CEO van IBM) hebben deze visie eveneens onderschreven.

Het onderzoek van Microsoft is weliswaar niet nieuw, maar het dient als een herinnering aan programmeurs, inclusief managers, om beter na te denken voordat ze de volledige programmeerbevoegdheid aan AI overdragen.

Bron: https://znews.vn/diem-yeu-chi-mang-cua-ai-post1545220.html