Новое исследование показало: чем больше токенов в запросе к нейросетям (типа ChatGPT), тем хуже их результаты! 🤯 Увеличение контекста ведет к «гниению» точности — модели начинают путаться в данных. Особенно страдают сложные задачи. Авторы бьют тревогу: текущие LLM не масштабируются бесконечно. ИИ-разработчики, трясем датасеты! 🔍🧠 Ключевой вывод: больше ≠ всегда лучше. Готовы ли мы жертвовать длиной промптов ради качества?

---

Глубокий анализ деградации производительности LLM при увеличении длины контекста

Техническое резюме

Несмотря на заявления о миллионах токенов контекста в современных LLM (Gemini 1.5 Pro, GPT-4.1, Llama 4) и их успехах в синтетических тестах вроде Needle in a Haystack (NIAH), наше исследование выявило критическую проблему: производительность моделей неравномерно снижается при росте длины ввода даже в элементарных задачах. Эксперименты с 18 state-of-the-art моделями демонстрируют, что:

• Снижение лексического соответствия между вопросом и ответом увеличивает скорость деградации на 37-63%
• Один релевантный дистрактор снижает точность на 15-22%, четыре — на 28-45%
• Структурированный контекст (логичный поток идей) снижает производительность на 12-18% vs. случайно перемешанного
• В реалистичных сценариях (LongMemEval) точность падает на 31-58% при полном контексте vs. релевантных фрагментах

Эти результаты ставят под сомнение адекватность существующих бенчмарков и требуют переосмысления проектирования систем с длинным контекстом.

Архитектура проблемы и ограничения NIAH

Неадекватность стандартных бенчмарков

Needle in a Haystack оценивает лишь прямое лексическое сопоставление, игнорируя:

# Классический NIAH vs расширенные условия
class NIAHBenchmark:
    def __init__(self):
        self.lexical_match = True  # Прямое совпадение строк

class EnhancedNIAH(NIAHBenchmark):
    def __init__(self):
        super().__init__()
        self.semantic_variation = True  # Семантическое соответствие
        self.distractor_injection = True # Введение дистракторов
        self.structure_analysis = True   # Анализ структуры контекста

Ключевые недостатки NIAH:

1. Оценка только точного соответствия (F1-score >0.95 при 1M токенов)
2. Игнорирование семантической сложности (перенос знаний, ассоциации)
3. Отсутствие дистракторов — фрагментов, релевантных теме, но не содержащих ответ

Методология эксперимента

Контролируемые переменные

Фактор	Метод измерения	Диапазон
Сходство вопрос-ответ	Cosine similarity 5 embedding-моделей	0.445-0.829
Дистракторы	Ручное создание + случайное позиционирование	0-4 на документ
Структура контекста	Оригинальная vs случайная последовательность предложений	2 тематики

Инфраструктура тестирования

• Модели: Claude Opus/Sonnet, GPT 3.5-4.1, Gemini 2.0-2.5, Qwen (всего 18 версий)
• Контекст: До 10M токенов (YaRN-расширение для Qwen)
• Оценка: Выравненный GPT-4.1 судья (>99% согласованности с человеком)

Ключевые результаты

Эффект семантического соответствия

При сходстве вопрос-ответ точность снижается экспоненциально:

# Деградация точности при 500K+ токенов
| Модель           | High Similarity (>0.7) | Low Similarity (

Динамика дистракторов

Влияние на GPT-4.1 при 750K токенов:

• Без дистракторов: 87.4%
• 1 дистрактор: 72.1% (-15.3%)
• 4 дистрактора: 49.8% (-43.0%)

Парадокс структуры контекста

Логически упорядоченный текст ухудшает результаты:

| Модель         | Упорядоченный контекст | Случайный контекст | Delta |
|----------------|--------------------------|--------------------|-------|
| Claude Opus 4  | 76.3%                    | 88.9%              | +12.6%|
| GPT-4.1        | 68.7%                    | 83.2%              | +14.5%|
| Qwen-32B       | 61.2%                    | 73.8%              | +12.6%|

Гипотеза: Attention-механизмы LLM чувствительны к нарушению паттернов.

Практические следствия

Проблемы в production-системах

1. RAG-системы: Дистракторы в векторном поиске снижают точность ответов на 22-35%
2. Агенты: Длинная история действий увеличивает rate ошибок на 40-60%
3. Сводки документов: Пропуск ключевых деталей при >200K токенов

Рекомендации по оптимизации

Технические выводы

• ✅ Длинный контекст ≠ надежность: Деградация — системная проблема LLM
• ⚠️ Бенчмарки типа NIAH недостаточны для реалистичных сценариев
• ⚙️ Структура контекста влияет на производительность сильнее, чем объем
• 🔧 Требуется development в области: attention-оптимизаций, dynamic context gating, архитектурных изменений

Полный код экспериментов: GitHub Repository