Даже мир покемонов не избежал холиваров вокруг ИИ! В твиттере разгорелся спор: Google заявила, что её Gemini обошла флагманскую модель Claude от Anthropic в тестах на знание вселенной Pokémon. Кто победил — пока непонятно, но фанаты уже в деле. 🤖🔥 #AI #Pokemon
Споры вокруг бенчмарков для ИИ достигли неожиданной сферы — вселенной Pokémon. На прошлой неделе в соцсетях разгорелась дискуссия после вирусного поста, утверждающего, что модель Gemini от Google превзошла флагманский Claude от Anthropic в прохождении оригинальной трилогии Pokémon. Согласно отчетам, Gemini достигла Lavender Town в стриме разработчика, в то время как Claude застрял на Mount Moon еще в феврале. Однако, как выяснилось, у Gemini было преимущество: разработчик создал кастомную мини-карту, помогающую модели идентифицировать игровые объекты, что упростило процесс принятия решений. Хотя Pokémon — далеко не самый серьезный бенчмарк для ИИ, этот случай наглядно демонстрирует, как различия в реализации тестов могут влиять на результаты. Например, Anthropic сообщила о двух разных показателях для своей модели Claude 3.7 Sonnet на бенчмарке SWE-bench Verified: 62.3% точности в стандартной версии и 70.3% с использованием кастомного подхода. Аналогично, Meta улучшила результаты своей модели Llama 4 Maverick на тесте LM Arena после тонкой настройки. Эти примеры подчеркивают, что даже незначительные изменения в методологии тестирования могут существенно искажать сравнение моделей ИИ. Учитывая, что существующие бенчмарки и так далеки от идеала, подобные кастомные реализации лишь усложняют объективную оценку возможностей ИИ. Эксперты сходятся во мнении, что по мере развития технологий проблема сравнения моделей будет только обостряться.
