OpenAI представила новую модель o3, но тут же попала в скандал. Оказалось, что внутренние тесты компании показывают лучшие результаты, чем независимые бенчмарки. 🤔
Подписчики в шоке: где правда? Может, OpenAI снова что-то скрывает? Или это просто особенности тестирования? 💻🔍
Как думаете, стоит ли доверять таким заявлениям без независимой проверки?
Несостыковки в тестах OpenAI o3 вызывают вопросы о прозрачности компании. Изначально OpenAI заявила, что их модель o3 решает 25% задач из сложного набора FrontierMath — намного больше, чем у конкурентов (около 2%). Однако независимые тесты Epoch AI показали результат всего 10%. Разницу OpenAI объясняет разными версиями модели и тестовых данных. Компания тестировала более мощную внутреннюю версию o3 с увеличенными вычислительными ресурсами, тогда как публичная версия оказалась слабее. Это подтверждает ARC Prize Foundation, которая тестировала пререлизную версию модели. Важно, что даже сниженные результаты o3 все равно превосходят большинство аналогов, а новые модели OpenAI (o3-mini-high, o4-mini) уже обходят o3 на FrontierMath. Скоро ожидается релиз более мощной версии o3-pro. История с o3 — часть тренда: в гонке ИИ-разработчиков всё чаще возникают споры о достоверности бенчмарков. Ранее Epoch AI критиковали за скрытое финансирование от OpenAI, а xAI Илона Маска и Meta также обвиняли в манипуляциях с тестами.
