Die Intelligenz der KI wird mit dem Spiel Super Mario herausgefordert

Super Mario-Spiele werden zum neuen „Spielplatz“ für das Machtrennen der KI-Modelle.

Laut TechCrunch glauben viele Leute, dass Pokémon der härteste Test für künstliche Intelligenz (KI) ist. Doch die KI-Herausforderung ist damit noch nicht beendet: Forscher der University of California in San Diego (USA) haben kürzlich mit dem Spiel Super Mario Bros. eine neue Herausforderung gestartet. Die Ergebnisse zeigen, dass nicht alle KIs erfolgreich „die Ziellinie erreichen“ können.

Mario-Spiele werden verwendet, um die Leistung großer KI-Modelle zu testen

FOTO: TECHCRUNCH-BILDSCHIRMFOTO

Super Mario stellt KI-Modelle vor große Herausforderungen

Hao AI Labs schickte eine KI in die Welt von Mario, um die Fähigkeiten der führenden Sprachmodelle zu testen. Die Ergebnisse zeigten, dass Anthropics Claude 3.7 die beste Leistung zeigte, gefolgt von Claude 3.5. Googles Gemini 1.5 Pro und OpenAIs GPT-4o hatten hingegen größere Schwierigkeiten, das Spiel alleine zu spielen.

Es ist erwähnenswert, dass es sich hier nicht um das Original Super Mario Bros. von 1985 handelt. Das Spiel läuft auf einem Emulator, der in das GamingAgent-Framework integriert ist, damit die KI den kleinen Mario steuern kann. Der GamingAgent liefert der KI grundlegende Anweisungen und Screenshots des Spiels. Die KI generiert dann Python-Code zur Steuerung des Charakters.

Laut Hao AI zwingt das Spiel die Modelle dazu, zu „lernen“, komplexe Spielzüge zu planen und Strategien für das Spiel zu entwickeln. Interessanterweise haben „logisch denkende“ Modelle wie o1 von OpenAI, die bei den meisten Tests besser abschneiden, größere Schwierigkeiten als „nicht-logisch denkende“ Modelle.

Als Grund wird angegeben, dass logische Modelle Zeit brauchen, um Entscheidungen zu treffen, während Super Mario Bros. schnelle Reflexe erfordert. Eine Sekunde Verzögerung kann zum Scheitern führen.

Die Verwendung von Spielen zur Bewertung von KI gibt es schon lange, doch viele Experten stehen der Genauigkeit dieser Methode skeptisch gegenüber. Sie argumentieren, Spiele seien zu einfach und lieferten zu viele Daten, um KI zu trainieren. Sie spiegelten nicht die tatsächlichen Fähigkeiten von KI in der realen Welt wider.

Andrej Karpathy, ein Forscher bei OpenAI, nennt dies die „Bewertungskrise“. Er räumt ein, dass es derzeit keine genaue Messgröße zur Bewertung der KI-Fähigkeiten gibt.

Zwar wird weiterhin über die Genauigkeit der Bewertung von KI durch Spiele diskutiert, doch KI in Marios Welt „kämpfen“ zu sehen, ist immer noch eine interessante Erfahrung und hilft den Menschen, die Fähigkeiten von KI besser zu verstehen.