Команда исследователей обучила языковую модель только на открытых и публичных данных, разбив миф о «невозможности» этичного ИИ. Техногиганты говорили, что без слитых датасетов не обойтись — но учёные их переиграли. 🤯🔥 Теперь вопрос: когда Big Tech подхватит тренд?
Технический прорыв в области ответственного ИИ
Группа исследователей из MIT, Корнеллского университета, Университета Торонто и других учреждений совершила значимый прорыв, создав крупную языковую модель (LLM), обученную исключительно на данных с открытой лицензией или находящихся в общественном достоянии. Этот проект, подробно описанный в еще не прошедшем рецензирование исследовании, бросает вызов утверждениям индустрии о «невозможности» разработки ИИ без массового использования защищенных авторским правом материалов.
Архитектура и методология проекта
Исследовательская команда создала датасет Common Pile v0.1 объемом более 8 ТБ, который включал:
- Тексты с четко подтвержденным правовым статусом
- Материалы из общественного достояния
- Контент с явно выраженными открытыми лицензиями
Ключевые технические особенности:
- Все данные прошли ручную проверку и аннотирование
- Юридический статус каждого элемента был подтвержден
- Произведена тщательная очистка и переформатирование данных
Сравнение с промышленными аналогами
На базе Common Pile исследователи обучили 7-миллиардную параметрическую модель, показавшую результаты, сопоставимые с:
- Meta Llama 1 (2022)
- Meta Llama 2 7B (2023)
Примечание: В условиях быстрого прогресса ИИ даже 1-2 года — значительный временной промежуток.
Ресурсные аспекты реализации
В отличие от корпоративных проектов с миллиардными бюджетами, команда использовала:
- Альтернативные источники данных (например, 130 000 англоязычных книг из Библиотеки Конгресса)
- Значительные человеческие ресурсы для ручной обработки
- Автоматизированные инструменты с последующей валидацией
Правовые и этические импликации
Исследование затрагивает ключевые проблемы индустрии:
- Спорная практика «добросовестного использования» (fair use)
- Отсутствие прозрачности в источниках обучающих данных
- Давление на правообладателей в условиях развития ИИ
Экспертная оценка и перспективы
По словам Стеллы Бидерман, компьютерного ученого и исполнительного директора Eleuther AI, проект демонстрирует:
- Возможность ответственного обучения ИИ
- Критическую важность прозрачности данных
- Необходимость баланса между технологическим прогрессом и этическими нормами
Технический вывод: Хотя работа не решает всех этических дилемм ИИ, она предоставляет конкретную методологию для ответственного машинного обучения и ставит под сомнение текущие корпоративные практики.
