Ученые из Carnegie Mellon создали LegoGPT — ИИ, который проектирует Lego-модели с учетом физики, чтобы они не разваливались в реальной жизни. Теперь можно строить сложные конструкции без страха, что они рухнут! 🔥🎮 #ИИ #Lego #Технологии
Технический прорыв в генеративном моделировании
Исследователи из Университета Карнеги-Меллон представили LegoGPT — инновационную ИИ-систему, которая создает физически устойчивые конструкции из Lego на основе текстовых описаний. В отличие от традиционных 3D-генеративных моделей, этот подход гарантирует, что цифровые проекты можно будет собрать в реальном мире без риска обрушения.
Архитектура решения
Система LegoGPT построена на трех ключевых компонентах:
- Генеративная модель на базе LLaMA-3.2-1B-Instruct (инструктивная версия языковой модели от Meta), перепрофилированная для предсказания следующего блока в последовательности
- Физический валидатор — отдельный программный модуль, проверяющий устойчивость конструкций с помощью математического моделирования гравитации и структурных нагрузок
- Датасет StableText2Lego — 47,000+ стабильных Lego-структур с текстовыми описаниями, сгенерированными GPT-4o
Инновационный метод «physics-aware rollback»
Критически важным для успеха проекта оказался разработанный исследователями механизм отката:
- Система идентифицирует первый неустойчивый блок в конструкции
- Удаляет его и все последующие блоки
- Пытается альтернативный подход к построению
Без этого механизма только 24% конструкций оставались стабильными, тогда как с его применением показатель вырос до 98.8%.
Практическая проверка
Для валидации подхода исследователи использовали:
- Роботизированную сборку с помощью системы из двух манипуляторов с датчиками усилия
- Ручную сборку тестерами-людьми
Оба метода подтвердили, что конструкции LegoGPT действительно собираемы и устойчивы в реальных условиях.
Ограничения и перспективы
Текущая версия системы имеет несколько технических ограничений:
- Рабочая область ограничена 20×20×20 блоками
- Поддерживается только 8 стандартных типов кирпичей
- Охватывает 21 категорию объектов
В планах разработчиков:
- Расширение библиотеки блоков (добавление склонов, плиток и др.)
- Увеличение датасета
- Поддержка более сложных текстур и цветовых решений
Техническое значение
LegoGPT представляет собой важный шаг в развитии:
- Физически осознанного ИИ — систем, учитывающих законы реального мира
- Роботизированного прототипирования — автоматизированного создания физических объектов
- Образовательных технологий — инструментов для инженерного проектирования
Исходный код, модели и датасет доступны на GitHub проекта.
