Ученые из MIT, Yale и других вузов адаптировали алгоритм Sequential Monte Carlo для генерации кода. Теперь ИИ пишет код с меньшим количеством ошибок и лучше справляется с комплексными задачами. 🔥👨💻 Прогресс налицо — скоро ИИ сможет заменять джунов?
Исследователи из MIT, Университета Макгилла, ETH Zurich, Университета Джонса Хопкинса, Йеля и Института искусственного интеллекта Mila-Quebec разработали инновационный метод, который делает ИИ-генерацию кода более точной и полезной. Их подход, основанный на алгоритмах Sequential Monte Carlo (SMC), позволяет языковым моделям строго соблюдать правила программирования, что особенно важно при работе с разными языками. Метод не только улучшает качество кода, но и повышает эффективность небольших языковых моделей (SLMs), делая их конкурентоспособными с более крупными аналогами. В ходе экспериментов исследователи протестировали метод на задачах генерации Python-кода, преобразования текста в SQL, предсказания целей в планировании и синтеза молекул для разработки лекарств. Результаты показали, что SMC значительно улучшает точность и надежность кода, генерируемого малыми моделями, такими как Llama 3 8B. Это открытие особенно актуально на фоне растущего использования ИИ-ассистентов в программировании, где качество кода и вычислительная эффективность остаются ключевыми проблемами. Новый метод может найти применение в инструментах для анализа данных, научных исследованиях и коммерческих разработках, снижая затраты на вычисления по сравнению с традиционными методами переранжирования. Хотя исследователи признают, что их подход не лишен недостатков, таких как задержки в интеграции весовых корректировок, его потенциал для трансформации индустрии очевиден. Параллельно другие компании, включая Together AI и Google, также работают над улучшением ИИ-генерации кода, что свидетельствует о важности этого направления для будущего разработки ПО.
