Исследователи из EleutherAI выпустили один из крупнейших наборов данных для тренировки ИИ — всё с открытыми и лицензионными текстами. Теперь можно качать и учить модели без головной боли с авторскими правами. 🚀📚
Технический релиз: 8-терабайтный датасет для обучения языковых моделей
Некоммерческая исследовательская организация EleutherAI представила The Common Pile v0.1 — один из крупнейших открытых датасетов для обучения ИИ, созданный с соблюдением авторских прав. Разработка велась два года при участии Hugging Face, Poolside и академических институтов.
Архитектура и состав датасета
The Common Pile v0.1 объёмом 8 ТБ включает:
- 300 000 оцифрованных книг из публичного доступа (Library of Congress, Internet Archive)
- Текстовые транскрипты аудиоконтента, созданные с помощью Whisper от OpenAI
- Лицензионный контент с прозрачными условиями использования
Производительность моделей
На базе датасета обучены две 7-миллиардные параметрические модели:
- Comma v0.1-1T
- Comma v0.1-2T
По заявлениям EleutherAI, их производительность сопоставима с моделями, обученными на защищённом авторским правом контенте, что подтверждают бенчмарки в:
- Генерации кода
- Обработке изображений
- Математических вычислениях
Юридический контекст
Релиз происходит на фоне:
- Множественных судебных исков к OpenAI и другим компаниям за использование защищённого контента
- Дебатов о применении доктрины добросовестного использования (fair use) в обучении ИИ
- Снижения прозрачности данных обучения у коммерческих игроков
Технические перспективы
Stella Biderman, исполнительный директор EleutherAI, отмечает:
«Миф о необходимости нелицензионных данных для качественных моделей несостоятелен. С ростом объёма легального контента будет расти и качество открытых моделей»
Планы EleutherAI включают регулярный выпуск обновлённых датасетов в сотрудничестве с исследовательскими партнёрами.
Практическое значение для индустрии
- Альтернатива спорным практикам веб-скрапинга
- Возможность обучения моделей без юридических рисков
- Новый стандарт прозрачности в подготовке тренировочных данных
Датасет доступен для загрузки на платформах Hugging Face и GitHub.
