Ускоряем LLM в 2 раза? 💨 Новый трюк с Mixture-of-Recursions!

🔥 Горит тема оптимизации ИИ! Исследователи придумали MoR — архитектуру, которая ускоряет инференс языковых моделей в 2 раза без потери качества. Фишка в чём? Умное распределение вычислений между разными типами рекурсий. Это экономит память и снижает стоимость запуска моделей 🧠💸

Теперь нейросети можно впихивать даже в скромные GPU или локальные машины — никаких суперкомпьютеров! Особенно кайфово для разработчиков, которые парились с гигантскими кластерами. Уже тестируете новинку? Делитесь в комах! 👇

P.S. Ждём бенчмарки и open-source реализации — обещают скоро выложить. А вы как думаете: прорыв или хайп? 🤔

---

Технический прорыв: Архитектура MoR как новый стандарт эффективности больших языковых моделей

Executive Summary: Суть инновации

Ученые KAIST и Mila представили Mixture-of-Recursions (MoR) — архитектурный фреймворк, комбинирующий параметрическую эффективность и адаптивные вычисления. Решение обеспечивает:

• 2.06x ускорение inference по сравнению с vanilla-трансформерами
• Снижение пикового потребления памяти на 25% при обучении
• Улучшение точности (43.1% vs 42.3% на few-shot тестах)
• 19% сокращение времени тренировки при равных данных

Архитектурный Deep-Dive: Как работает MoR

Базовые принципы

MoR развивает концепцию рекурсивных трансформеров, где группа слоев (recursion block) применяется многократно с общими весами. Ключевые инновации:

1. Динамический роутер глубины обработки

Lightweight-классификатор анализирует сложность токена и определяет оптимальное количество рекурсивных применений блока («глубину размышлений»). Пример псевдокода:

def token_routing(token_embedding, router_weights):
    # Вычисление логитов для каждого уровня глубины
    logits = torch.matmul(token_embedding, router_weights)
    # Выбор глубины с мягким или жестким маршрутингом
    depth_level = torch.argmax(logits, dim=-1)
    return depth_level

2. Recursion-Wise KV Caching

Оптимизированное кэширование ключей-значений, хранящее данные только для активных токенов на текущем уровне рекурсии. Сравнение стратегий:

Метод	Память	Пропускная способность
Standard KV Cache	O(n*d)	Базовая
MoR Cache (recursion-wise)	O(n*active_d)	+32%

Performance Benchmarks: Реальные метрики

Тестирование на моделях 135M–1.7B параметров показало:

• Эффективность параметров: MoR превзошел vanilla-трансформер на 0.8% при использовании на 50% меньше параметров
• Scaling Laws: Преимущество MoR растет с масштабом модели (разрыв исчезает при >360M параметров)
• Inference Throughput: 2.06x ускорение на Nvidia A100 при batch size=32

Практическое внедрение: Инструкция для инженеров

Стратегия миграции

Рекомендуется uptraining существующих моделей вместо обучения с нуля. Ключевые шаги:

1. Интеграция рекурсивных блоков в базовую архитектуру
2. Замена стандартного KV-caching на recursion-wise механизм
3. Калибровка роутера через few-shot обучение

Конфигурационные trade-offs

# Пример конфига MoR (Hugging Face Transformers-style)
architecture:
  recursion_blocks: 4
  max_recursion_depth: 8
  router_type: learned_sparse
kv_cache:
  strategy: recursion_aware
  eviction_policy: lru

Ограничения и решения

Проблемы:

• Нелинейное увеличение latency при высоком max_depth
• Overhead роутера на коротких последовательностях

Оптимизации:

• Динамическое масштабирование max_depth в зависимости от длины контекста
• Кэширование выходов роутера для повторяющихся токенов

Enterprise Use Cases

• Real-time чат-боты: Снижение TCO инференса на 40%
• Длинноконтекстная аналитика: Обработка документов 100K+ токенов
• Edge-устройства: Развертывание 3B+ моделей на NVIDIA Jetson

Future Outlook

Исследователи подтверждают мультимодальный потенциал MoR. Ожидаемые развития:

• Эксперименты с видео- и аудиотрансформерами
• Гибридные MoR/MoE архитектуры
• Квантование-aware тренировка рекурсивных блоков

Экспертное заключение

MoR устраняет фундаментальный компромисс между качеством модели и ресурсопотреблением. Для enterprise-внедрения критично:

1. Стартовать с uptraining Llama/Mistral
2. Тестировать роутинг на domain-specific данных
3. Профилировать память при длинных контекстах Технология открывает путь к LLM уровня GPT-4 на инфраструктуре на 60% дешевле.