Google выпустила Gemma 3 с квантованием (QAT) — теперь мощные ИИ-модели можно запускать даже на потребительских GPU. Никаких дорогих серверов, только ваш ПК и нейросети! 🤯🔥
Google представила Gemma 3 QAT — версии своих открытых ИИ-моделей, оптимизированные для работы на потребительских видеокартах. Ключевое нововведение — применение Quantization-Aware Training (QAT), метода квантования, который значительно снижает требования к видеопамяти без существенной потери качества. Благодаря этому даже самая большая модель линейки, Gemma 3 27B, теперь запускается на видеокартах уровня NVIDIA RTX 3090. Технология QAT интегрирует процесс квантования прямо в обучение модели, что позволяет сократить использование памяти в 4 раза (при переходе на int4) с падением perplexity всего на 54% по сравнению с обычным квантованием. Например, Gemma 3 27B теперь требует всего 14.1 ГБ видеопамяти вместо 54 ГБ в формате BF16. Младшие модели (12B, 4B, 1B) стали еще доступнее — Gemma 3 1B занимает всего 0.5 ГБ. Это открывает возможности для локального запуска мощных ИИ-моделей на ноутбуках и даже мобильных устройствах. Google уже интегрировала Gemma 3 QAT с популярными инструментами: Ollama, LM Studio, MLX и llama.cpp. Модели доступны на Hugging Face и Kaggle, а сообщество уже предлагает альтернативные варианты квантования (PTQ) от Bartowski, Unsloth и GGML.
