Laut TechCrunch glauben viele Leute, dass Pokémon der härteste Test für künstliche Intelligenz (KI) ist. Doch die KI-Herausforderung ist damit noch nicht beendet: Forscher der University of California in San Diego (USA) haben kürzlich mit dem Spiel Super Mario Bros. eine neue Herausforderung gestartet. Die Ergebnisse zeigen, dass nicht alle KIs erfolgreich „die Ziellinie erreichen“ können.
Mario-Spiele werden verwendet, um die Leistung großer KI-Modelle zu testen
FOTO: TECHCRUNCH SCREENSHOT
Super Mario stellt KI-Modelle vor große Herausforderungen
Hao AI Labs schickte eine KI in die Welt von Mario, um die Fähigkeiten der derzeit führenden Sprachmodelle zu testen. Die Ergebnisse zeigten, dass Anthropics Claude 3.7 die beste Leistung zeigte, gefolgt von Claude 3.5. Googles Gemini 1.5 Pro und OpenAIs GPT-4o hatten hingegen größere Schwierigkeiten, das Spiel alleine zu spielen.
Es ist erwähnenswert, dass dies nicht das Original Super Mario Bros. von 1985 ist. Das Spiel läuft auf einem Emulator, der in das GamingAgent-Framework integriert ist, damit die KI den kleinen Mario steuern kann. Der GamingAgent liefert der KI grundlegende Anweisungen und Screenshots des Spiels. Die KI generiert dann Python-Code zur Steuerung des Charakters.
Laut Hao AI zwingt das Spiel die Modelle dazu, komplexe Spielzüge zu planen und Spielstrategien zu entwickeln. Interessanterweise haben „logisch denkende“ Modelle wie o1 von OpenAI, die in den meisten Tests besser abschneiden, größere Schwierigkeiten als „nicht-logisch denkende“ Modelle.
Als Grund wird angegeben, dass Denkmodelle Zeit brauchen, um Entscheidungen zu treffen, während Super Mario Bros. schnelle Reflexe erfordert. Eine Sekunde Verzögerung kann zum Scheitern führen.
Die Verwendung von Spielen zur Bewertung von KI gibt es schon lange, doch viele Experten stehen der Genauigkeit dieser Methode skeptisch gegenüber. Sie argumentieren, Spiele seien zu simpel und lieferten zu viele Daten, um KI zu trainieren. Sie spiegelten nicht die tatsächlichen Fähigkeiten von KI in der realen Welt wider.
Andrej Karpathy, ein Forscher bei OpenAI, nennt dies die „Bewertungskrise“. Er räumt ein, dass es derzeit keine genaue Messgröße zur Bewertung der KI-Fähigkeiten gibt.
Zwar wird weiterhin über die Genauigkeit der Bewertung von KI in Spielen diskutiert, doch KI in Marios Welt „kämpfen“ zu sehen, ist immer noch eine interessante Erfahrung und hilft den Menschen, die Fähigkeiten von KI besser zu verstehen.
Kommentar (0)