На конференции ICLR Nvidia представила кучу крутых штук: от больших языковых моделей до роботов и синтеза звука. Всё это работает на их чипах, которые стали топливом для AI-революции. 🚀💡 Готовьтесь, будущее уже здесь!
Nvidia продемонстрировала более 70 исследовательских проектов на Международной конференции по представлениям обучения (ICLR) в Сингапуре, подтвердив свою ключевую роль в ускорении развития искусственного интеллекта. Среди представленных работ — инновации в области генерации музыки, создания 3D-видео, обучения роботов и оптимизации больших языковых моделей (LLM).
Один из наиболее значимых проектов — LLaMaFlex, который улучшает процесс создания множества дочерних LLM из одной родительской модели. Исследователи Nvidia во главе с Руиси Кай разработали метод «эластичного предобучения», позволяющий на основе одной крупной модели (например, Llama 3.18B от Meta) генерировать любое количество оптимизированных LLM буквально «нажатием кнопки». Это стало возможным благодаря дополнительному обучению с 60 миллиардами новых токенов и созданию специального алгоритма-маршрутизатора.
Другой примечательный проект — Fugatto 1, фундаментальная модель для синтеза аудио. Она способна обрабатывать комбинации текстовых инструкций и звуковых фрагментов, создавая на их основе новые звуки. Например, Fugatto может сгенерировать мяуканье кошки, разделить песню на отдельные вокальные партии или смешать звук воды с гитарной мелодией. Модель основана на нейросети от Google 2022 года, но дополнена новым набором данных и методом обучения, разработанными командой Nvidia под руководством Рафаэля Валле.
«Люди часто воспринимают Nvidia исключительно как производителя чипов, — отмечает Брайан Катанзаро, глава отдела прикладных исследований глубокого обучения компании. — Но именно такие исследования позволяют нам создавать эти чипы, так как они показывают, как должны работать системы на их основе».
Работы Nvidia выделяются не только научной ценностью, но и подробным описанием аппаратной реализации — в отличие от многих других лабораторий, компания всегда указывает, например, количество использованных GPU. Эти исследования выполняют несколько функций: демонстрируют возможности чипов Nvidia, помогают компании оставаться на переднем крае AI-разработок, привлекают талантливых специалистов и подчеркивают важность аппаратного ускорения для прогресса в области искусственного интеллекта.
«Ускорение — недооцененный фактор прогресса в AI за последние 15 лет», — утверждает Катанзаро. Действительно, проекты вроде LLaMaFlex и Fugatto не только расширяют границы возможного в искусственном интеллекте, но и непосредственно влияют на разработку новых поколений GPU, создавая замкнутый цикл инноваций.
