Новое исследование показало, что большие языковые модели (LLM) способны воспринимать визуальную и аудиоинформацию без дополнительного обучения. 🤯 Это открывает новые горизонты для ИИ — представьте голосовых ассистентов, которые понимают контекст по картинкам или видео! Пока детали туманны, но потенциал огромен. #ИИ #Нейросети
Исследователи представили метод, позволяющий LLM (Large Language Models) обрабатывать изображения и аудио без предварительного обучения. В работе использовались датасеты MS-COCO, Clotho и MSR-VTT для тестирования возможностей модели. Уникальность подхода заключается в том, что LLM могут генерировать описания для изображений, аудио и видео, а также создавать новые изображения на основе текстовых подсказок. Для работы с изображениями применялся скрипт main_image_captioning.py, для аудио — main_audio_captioning.py, а для видео — main_video_captioning.py. Все скрипты работают на базе GPU и позволяют обрабатывать данные параллельно. Особый интерес представляет возможность комбинирования модальностей: преобразования аудио в текст и последующей генерации изображений на основе полученных описаний. Метод открывает новые перспективы в области мультимедийного контента, хотя и имеет ограничения по лицензированию (CC-by-NC 4.0). Исследователи из Техасского университета подчеркивают, что их работа — это первый шаг к созданию универсальных мультимодальных моделей, не требующих специализированного обучения для каждой задачи.
