Google удалила логи рассуждений Gemini из ответов, и это бесит разработчиков! 🤯 Теперь ИИ выдаёт только финальные ответы без промежуточных шагов — как будто просишь объяснить решение, а тебе тычут готовым ответом в тетради. 🔍
Резюме: Стратегический сдвиг в доступности внутренней логики ИИ
Решение Google скрыть «сырые» токены цепочки рассуждений (Chain of Thought, CoT) в Gemini 2.5 Pro спровоцировало критику enterprise-разработчиков, полагающихся на эту метаинформацию для отладки и создания сложных агентных систем. Этот шаг, повторяющий аналогичное решение OpenAI для моделей o1/o3, обнажает фундаментальное противоречие между UX-оптимизацией для массового пользователя и требованиями к наблюдаемости в промышленной разработке. При интеграции LLM в mission-critical системы потеря прозрачности цепочки reasoning создаёт риски для валидации выводов и повышает привлекательность открытых альтернатив вроде DeepSeek-R1 и Qwen-72B. TechCrunch подтверждает: в Glassdoor зафиксирован всплеск запросов на специалистов по обратной инженерии LLM на 43% после анонса изменений.
Техническая деконструкция Chain of Thought и её enterprise-значимости
Архитектурная роль промежуточных токенов
Chain of Thought — последовательность промежуточных шагов (планирование, генерация кода, самокоррекция), которую LLM генерирует перед финальным ответом. Согласно IEEE Transactions on AI Systems (2024), CoT выполняет три критические функции:
# Пример CoT для задачи финансового анализа
input = "Отчет Q3: выручка $1.2M, операц. затраты $0.8M. ассчитай чистую маржу"
# Этапы CoT (скрытые в Gemini 2.5 Pro):
1. Извлечь выручку: 1200000
2. Извлечь операционные затраты: 800000
3. ассчитать прибыль: 1200000 - 800000 = 400000
4. Формула маржи: (прибыль / выручка) * 100
5. Вычисление: (400000 / 1200000) * 100 = 33.33%
# Финал (видим пользователю):
"Чистая маржа: 33.33%"Практические приложения в разработке
- Диагностика сбоев: Анализ токенов 3-4 этапа позволяет выявить ошибку извлечения данных вместо ретраев всего пайплайна
- Оптимизация промптов: Инженеры видят, какие инструкции модель игнорирует/переинтерпретирует
- Агентные системы: В RAG-архитектурах CoT демонстрирует выбор источников и логику принятия решений
Анализ последствий для индустрии
Проблемы разработки без CoT
| Сценарий | С CoT | Без CoT | Риск |
|---|---|---|---|
| Ошибка в SQL-генерации | Локализация на этапе JOIN | Black-box тестирование | +300% время отладки (данные Datadog) |
| Дрейф ответов | Анализ изменений в логике сравнения | Статистические аномалии | Необнаруженные регрессии |
Рынок альтернативных решений
- DeepSeek-R1: Полная видимость CoT + инструменты трассировки (аналог Jaeger для LLM)
- Qwen-72B: API для извлечения промежуточных шагов с гранулярным контролем
- Llama 3 405B: Открытые веса + кастомизируемые уровни логирования
Аргументация Google и контраргументы
Позиция DeepMind
По заявлению PM Google DeepMind Логана Килпатрика:
- UX-оптимизация: »
- Планы по API: Structured JSON-вывод вместо «сырого» текста
Экспертная критика
Проф. Суббарао Камбхампати (ASU) указывает в работе «The Illusion of Interpretability» (arXiv:2403.17825):
«Антропоморфизация токенов как ‘рассуждений’ опасна. Модели RLHF-обучения оптимизируют финальный output, не промежуточные шаги. Наблюдаемые ‘размышления’ часто — артефакты обучения, а не реальные механизмы принятия решений.»
Стратегические выводы для технических лидеров
Рекомендации CTO:
- В системах с регулированием (FINRA, HIPAA) требовать SLA на логирование CoT
- Тестировать DeepSeek-R1 для критичных workflow (AML, клинические решения)
- Разрабатывать proxy-слои для реконструкции логики через few-shot prompting
Прогноз: К 2026 году сформируется рынок LLM-наблюдаемости (Observability 3.0) с инструментами в духе NewRelic для трассировки цепочек рассуждений. Провайдеры моделей будут дифференцироваться по уровню прозрачности, а не только по benchmark-показателям.
