Microsoft представила BitNet b1.58 2B4T — AI-модель, которая работает на обычных процессорах без мощных GPU. При этом она не уступает более крупным системам! 🤯 Теперь сложные AI-задачи могут стать доступнее. Ждём, когда эту технологию внедрят в повседневные приложения. 💻✨
Microsoft представила революционную AI-модель BitNet b1.58, которая использует всего три значения весов (-1, 0, 1) вместо традиционных 16- или 32-битных чисел с плавающей запятой. Несмотря на упрощенную архитектуру, модель демонстрирует производительность, сопоставимую с полноразмерными аналогами, при этом потребляя в 85-96% меньше энергии. BitNet b1.58 работает даже на обычных CPU, занимая всего 0.4GB памяти против 2-5GB у конкурентов. Модель обрабатывает 5-7 токенов в секунду — скорость, сравнимую с человеческим чтением. BitNet b1.58 стала первой открытой 1-битной LLM, обученной на 4 триллионах токенов. Исследователи пока не могут объяснить, почему столь упрощенная архитектура сохраняет высокую эффективность, но отмечают ее потенциал для снижения затрат на AI-инфраструктуру. Технология особенно перспективна для edge-устройств и сценариев, где критичны энергоэффективность и минимальные требования к железу. Разработчики уже опубликовали оптимизированные ядра для ARM и x86 CPU, а также веб-демо для тестирования. Хотя BitNet пока уступает крупнейшим моделям по объему контекста, она открывает новые горизонты для энергоэффективного AI.
