Skywork-OR1 — новая 32B-модель с открытыми весами, которая бьёт рекорды! 🚀 Теперь у всех есть доступ к топовому AI без ограничений. Круто же? 😎

🤔 Skywork-OR1 (Open Reasoner 1) ✊ Раскрываем потенциал Reinforcement Learning для математических и программных рассуждений 🤖 🔥 Новости 13 апреля 2025 года: Мы выпускаем серию моделей Skywork-OR1 (Open Reasoner 1), включая Skywork-OR1-Math-7B, Skywork-OR1-32B-Preview и Skywork-OR1-7B-Preview. Мы открываем исходный код: 🤗 Веса моделей: Skywork-OR1-Math-7B, Skywork-OR1-32B-Preview, Skywork-OR1-7B-Preview 🤗 Данные для обучения: Skywork-OR1-RL-Data (скоро) 🧑‍💻 Код: Skywork-OR1 Мы также публикуем Notion Blog с детальными рецептами обучения, результатами экспериментов, анализом и инсайтами, чтобы помочь сообществу в исследовании и развитии открытых моделей для рассуждений. 📖 Обзор График AIME24 в зависимости от шагов обучения Skywork-OR1-Math-7B в нашем многоэтапном пайплайне. Серия моделей Skywork-OR1 (Open Reasoner 1) включает мощные модели для математических и программных рассуждений, обученные с помощью масштабного rule-based reinforcement learning на тщательно отобранных данных. Серия включает две модели общего назначения — Skywork-OR1-7B-Preview и Skywork-OR1-32B-Preview — а также специализированную математическую модель Skywork-OR1-Math-7B. Skywork-OR1-Math-7B оптимизирована для математических рассуждений, набирая 69.8 на AIME24 и 52.3 на AIME25 — значительно опережая модели аналогичного размера. Skywork-OR1-32B-Preview демонстрирует производительность 671B-параметричной модели Deepseek-R1 на математических (AIME24, AIME25) и программных (LiveCodeBench) задачах. Skywork-OR1-7B-Preview превосходит все модели аналогичного размера в математике и программировании. Финальная версия будет доступна через две недели. 📊 Оценка Мы тестируем модели на AIME24, AIME25 и LiveCodeBench. Вместо стандартного Pass@1 мы вводим метрику Avg@K, которая измеряет среднюю производительность модели за K попыток, снижая влияние случайности и повышая надежность результатов. Мы считаем, что Avg@K лучше отражает стабильность и последовательность рассуждений модели. Детальные результаты представлены в таблице. Модель | AIME24 (Avg@32) | AIME25 (Avg@32) | LiveCodeBench (8/1/24-2/1/25) (Avg@4) DeepSeek-R1-Distill-Qwen-7B | 55.5 | 39.2 | 37.6 Light-R1-7B-DS | 59.1 | 44.3 | 39.5 DeepSeek-R1-Distill-Qwen-32B | 72.9 | 59.0 | 57.2 TinyR1-32B-Preview | 78.1 | 65.3 | 61.6 QwQ-32B | 79.5 | 65.3 | 61.6 DeepSeek-R1 | 79.8 | 70.0 | 65.9 Skywork-OR1-Math-7B | 69.8 | 52.3 | 43.6 Skywork-OR1-7B-Preview | 63.6 | 45.8 | 43.9 Skywork-OR1-32B-Preview | 79.7 | 69.0 | 63.9 🎯 Начало работы Установка Docker-окружение: docker pull whatcanyousee/verl:vemlp-th2.4.0-cu124-vllm0.6.3-ray2.10-te2.0-megatron0.11.0-v0.0.6

Запуск образа:

docker run —runtime=nvidia -it —rm —shm-size=»10g» —cap-add=SYS_ADMIN -v

В контейнере:

git clone https://github.com/SkyworkAI/Skywork-OR1.git && cd Skywork-OR1 && pip3 install -e . Conda-окружение:

Создание окружения Python 3.10:

conda create -n verl python==3.10 conda activate verl

Установка зависимостей RLLM:

pip3 install torch==2.4.0 —index-url https://download.pytorch.org/whl/cu124 pip3 install flash-attn —no-build-isolation git clone https://github.com/SkyworkAI/Skywork-OR1.git cd Skywork-OR1 pip3 install -e . Обучение ⚙️ Скрипты для обучения будут доступны через 1-2 дня. Следите за обновлениями. Оценка ⚖️ Мы предоставляем скрипты для воспроизведения результатов Skywork-OR1-Series. AIME24 и AIME25 Данные для оценки AIME24 и AIME25 уже доступны в нашем GitHub-репозитории.

Оценка AIME24

MODEL_PATH=Skywork/Skywork-OR1-32B-Preview \ DATA_PATH=or1_data/eval/aime24.parquet \ SAMPLES=32 \ TASK_NAME=Aime24_Avg$SAMPLES-Skywork_OR1_Math_7B \ bash ./or1_script/eval/eval_32b.sh

Оценка AIME25

MODEL_PATH=Skywork/Skywork-OR1-Math-7B \ DATA_PATH=or1_data/eval/aime25.parquet \ SAMPLES=32 \ TASK_NAME=Aime25_Avg$SAMPLES-Skywork_OR1_Math_7B \ bash ./or1_script/eval/eval_7b.sh LiveCodeBench Для Livecodebench загрузите данные с Hugging Face.

Загрузка LCB

huggingface-cli download Skywork/LiveCodeBench —repo-type=dataset —local-dir or1_data/eval/livecodebench unzip or1_data/eval/livecodebench/livecodebench.zip -d or1_data/eval/livecodebench/ mv or1_data/eval/livecodebench/livecodebench/* or1_data/eval/livecodebench/

Оценка LCB

MODEL_PATH=Skywork/Skywork-OR1-Math-7B \ DATA_PATH=or1_data/eval/livecodebench/livecodebench_2408_2502.parquet \ SAMPLES=4 \ TASK_NAME=LiveCodeBench_Avg$SAMPLES-Skywork_OR1_Math_7B \ bash ./or1_script/eval/eval_7b.sh 📄 Технический отчет Наш технический отчет скоро будет опубликован. Следите за обновлениями! 🙏 Благодарности Наши модели обучены на основе DeepSeek-R1-Distill-Qwen-7B и DeepSeek-R1-Distill-Qwen-32B. Обучение проводилось с использованием кастомной версии проекта verl. 📚 Цитирование Мы обновим информацию о цитировании после публикации технического отчета. Пока можно использовать: @misc{skywork-or1-2025, title={Skywork Open Reaonser Series}, author={He, Jujie и др.}, howpublished={\url{https://capricious-hydrogen-41c.notion.site/Skywork-Open-Reaonser-Series-1d0bc9ae823a80459b46c149e4f51680}}, note={Notion Blog}, year={2025} }