Liquid AI представила модель Hyena Edge, которая оптимизирует большие языковые модели для работы на edge-устройствах, таких как смартфоны. Теперь AI сможет работать локально без интернета! 🚀📱 Уже называют одним из главных прорывов года в области ИИ.
Liquid AI, стартап из Бостона, основанный выходцами из MIT, анонсировал Hyena Edge — новую архитектуру для работы LLM на смартфонах. Этот convolution-based подход обещает революцию в edge-вычислениях, предлагая большую эффективность по сравнению с традиционными Transformer-моделями. В тестах на Samsung Galaxy S24 Ultra Hyena Edge показала на 30% меньше задержек при prefilling и decoding, а также сниженное потребление памяти. Модель, разработанная с помощью фреймворка STAR, использует evolutionary algorithms для автоматического проектирования архитектуры. В отличие от популярных мобильных LLM вроде Phi или Llama 3.2 1B, Hyena Edge заменяет две трети операторов grouped-query attention на gated convolutions из семейства Hyena-Y. При обучении на 100 миллиардах токенов модель превзошла Transformer++ по всем ключевым метрикам: от perplexity на Wikitext до accuracy в тестах PiQA и HellaSwag. Liquid AI планирует открыть исходный код Hyena Edge в ближайшие месяцы, что может ускорить развитие edge-ориентированных AI-решений. Успех этой архитектуры демонстрирует потенциал альтернативных подходов в эпоху, когда мобильные устройства должны обрабатывать сложные AI-задачи локально. Для разработчиков особенно важно, что эффективность Hyena Edge не достигается за счёт качества предсказаний — распространённый компромисс для edge-моделей. Видео с процессом разработки наглядно показывает, как менялось распределение операторов (Self-Attention, Hyena-варианты, SwiGLU) в ходе эволюции модели. С выходом Hyena Edge Liquid AI укрепляет свои позиции как инноватор в области автоматизированного дизайна AI-архитектур, предлагая решения как для облака, так и для edge-устройств.
