Вышла Intellect-2 — первая 32-миллиардная модель, обученная с помощью распределённого обучения с подкреплением (RL) по всему миру. 🌍🧠 Технологический прорыв или шаг к AGI? Обсуждаем в комментах! 🔥
Команда Prime Intellect представила INTELLECT-2 — первую в мире 32-миллиардную языковую модель, обученную с помощью полностью децентрализованного асинхронного обучения с подкреплением (RL) на гетерогенных вычислительных ресурсах. Этот прорыв открывает новую эру в развитии ИИ, демонстрируя возможность масштабирования RL-тренировок без использования централизованных GPU-кластеров.
Техническая архитектура
Ключевые компоненты инфраструктуры
-
PRIME-RL — фреймворк для асинхронного RL, специально разработанный для децентрализованного обучения:
- Разделение генерации rollout, обучения модели и распространения весов
- Поддержка работы в гетерогенных и ненадёжных сетях
- Использование PyTorch FSDP2 для обучения и vLLM для вывода
-
SHARDCAST — библиотека для распределения больших файлов через HTTP-сеть с древовидной топологией, эффективно распространяющая обновлённые веса модели.
-
TOPLOC — схема locality-sensitive хеширования для верифицируемого вывода, обнаруживающая изменения в точности вычислений на ненадёжном оборудовании.
Протокол тестовой сети
- Rust-оркестратор для координации permissionless-нод
- Автоматическая регистрация узлов с проверкой оборудования
- Распределение задач через Docker-контейнеры
Методология обучения
Данные и награды
- 285k верифицируемых задач (математика и программирование) из NuminaMath-1.5, Deepscaler и SYNTHETIC-1
- Двухэтапный асинхронный RL с полным перекрытием коммуникаций
- Двустороннее GRPO-отсечение для стабилизации градиентов
- Агрессивное отсечение градиентов для борьбы с exploding gradients
Результаты
Модель продемонстрировала:
- Улучшение показателей на математических и coding-бенчмарках по сравнению с QwQ-32B
- Эффективное перекрытие вычислений и коммуникаций
- Стабильные траектории наград в ходе обучения
Будущее развитие
Команда планирует работу по:
- Увеличению соотношения inference/training compute
- Внедрению tool calls и multi-turn RL
- Краудсорсингу RL-задач и окружений
- Исследованию методов слияния моделей (DiLoCo)
INTELLECT-2 доступен как open-source на Hugging Face, включая код и данные обучения. Это важный шаг к созданию открытых frontier-моделей, разрабатываемых сообществом.
