Показали Dia — open-weights TTS-модель, которая генерирует реалистичные диалоги. Теперь можно кастомизировать голоса и интегрировать в свои проекты. Код и веса уже доступны! 🔥 #AI #OpenSource
Nari Labs представила Dia — открытую TTS-модель с 1.6 млрд параметров, которая превращает текст в реалистичные диалоги. Модель поддерживает управление эмоциями и тоном через аудиоподсказки, а также генерирует невербальные звуки вроде смеха или кашля. Веса модели доступны на Hugging Face, но пока только для английского языка. Для сравнения качества разработчики создали демо-страницу, где Dia можно сопоставить с ElevenLabs Studio и Sesame CSM-1B. Модель работает на GPU (PyTorch 2.0+, CUDA 12.6) и требует около 10GB VRAM. На A4000 GPU скорость генерации достигает 40 токенов/сек (86 токенов = 1 секунда аудио). Для тестирования доступен ZeroGPU Space на Hugging Face. Dia лицензирована под Apache 2.0, но запрещена для создания контента, нарушающего этические нормы. В планах — оптимизация скорости, поддержка CPU и добавление квантования. Команда приветствует вклад в проект через Discord.
