По данным TechCrunch , многие считают , что Pokémon — это самое сложное испытание для искусственного интеллекта (ИИ)? Но вызов ИИ на этом не остановился, недавно исследователи из Калифорнийского университета в Сан-Диего (США) запустили новый вызов с игрой Super Mario Bros. Результаты показывают, что не все ИИ могут успешно «достичь финишной черты».
Игры Mario используются для тестирования производительности больших моделей ИИ
ФОТО: СКРИНШОТ TECHCRUNCH
Super Mario представляет собой серьезную проблему для моделей ИИ
Hao AI Labs перенесла ИИ в мир Марио, чтобы протестировать возможности ведущих современных языковых моделей. Результаты показали, что лучше всего показал себя Claude 3.7 от Anthropic, за ним следует Claude 3.5. Между тем, Gemini 1.5 Pro от Google и GPT-4o от OpenAI столкнулись с большими трудностями при игре в эту игру по отдельности.
Стоит отметить, что это не оригинальная Super Mario Bros 1985 года. Игра работает на эмуляторе, интегрированном с фреймворком GamingAgent, чтобы позволить ИИ управлять маленьким Марио. GamingAgent предоставляет базовые инструкции ИИ и скриншоты игры. Затем ИИ генерирует код Python для управления персонажем.
По словам Hao AI, игра заставляет модели «учиться» планировать сложные ходы и строить стратегии для игры. Интересно, что «рассуждающие» модели, такие как o1 от OpenAI, которые сильнее в большинстве тестов, испытывают больше трудностей, чем «нерассуждающие» модели.
Приведенная причина заключается в том, что модели рассуждений требуют времени для принятия решений, в то время как Super Mario Bros. требует быстрых рефлексов. Секунда промедления может привести к провалу.
Использование игр для оценки ИИ существует уже давно, но многие эксперты скептически относятся к точности этого метода. Они утверждают, что игры слишком просты и предоставляют слишком много данных для обучения ИИ, не отражая истинных возможностей ИИ в реальном мире.
Андрей Карпати, научный сотрудник OpenAI, называет это «кризисом оценки». Он признает, что в настоящее время не существует точной метрики для оценки возможностей ИИ.
Хотя споры о точности оценки ИИ с помощью игр продолжаются, наблюдение за тем, как ИИ «сражается» в мире Марио, по-прежнему остается интересным опытом и помогает людям лучше понять возможности ИИ.
Комментарий (0)