Локальные модели уже подходят для части рабочих сценариев. Документы, внутренний поиск, каталоги и предварительную обработку данных можно выполнять на сервере компании, рабочей станции или устройстве пользователя.
Это не означает, что облачные модели потеряли смысл. Выбор зависит от качества, приватности, задержки, стоимости и готовности команды поддерживать инфраструктуру.
Что изменилось с Gemma 3
Google описывает Gemma 3 как семейство открытых моделей с 1B, 4B, 12B и 27B параметров, созданное на технологиях Gemini 2.0. Заявленные характеристики включают контекстное окно 128K, мультимодальность старших версий, поддержку более 140 языков, вызов функций и структурированный вывод.
В анонсе Google отдельно указано:
“Gemma 3 offers a 128k-token context window…” — Google Blog
Источник: Google Blog, Introducing Gemma 3
Окно 128K позволяет передать длинные документы, инструкции, историю задачи и фрагменты базы знаний в одном запросе. Сам размер окна не гарантирует точный ответ, поэтому материал всё равно нужно отбирать и структурировать.
Зачем бизнесу локальный контур
Облачные модели быстро подключаются и часто дают более сильный результат. Одновременно с этим данные уходят провайдеру, стоимость зависит от объёма запросов, а доступность связана с регионом, тарифом и лимитами сервиса.
Локальная модель может работать внутри защищённой сети. Компания контролирует место хранения данных, доступ, журналы, версию модели и правила обновления.
Такой вариант не обязательно дешевле в начале. Он требует оборудования, настройки инференса, мониторинга и специалиста, который отвечает за эксплуатацию.
Один GPU как практический порог
Google DeepMind позиционирует Gemma 3 как семейство, которое можно запускать на одном GPU или TPU:
“Gemma 3 is the most capable model that can run on a single GPU or TPU.” — Google DeepMind
Источник: Google DeepMind, Gemma 3
Утверждение не означает, что версия 27B одинаково хорошо работает на любом ноутбуке. Потребление памяти, скорость и качество зависят от размера модели, квантизации и реализации инференса.
Зато для пилота уже не всегда нужна серверная стойка. Команда может собрать ограниченный контур, измерить качество на своих данных и затем решить, оправдана ли дальнейшая инфраструктура.
Как квантизация снижает требования к памяти
Веса крупных моделей занимают много памяти. Квантизация хранит числа с меньшей точностью и тем самым уменьшает объём, необходимый для запуска.
Для Gemma 3 Google выпустил варианты QAT, подготовленные с учётом будущей работы в низкой точности. В публикации приводится конкретный пример:
“This enables you to run powerful models like Gemma 3 27B locally on consumer-grade GPUs like the NVIDIA RTX 3090.” — Google Developers Blog
Источник: Google Developers Blog, Gemma 3 QAT models
Такой запуск всё равно нужно проверять на реальной конфигурации. Доступность модели на оборудовании ещё не говорит о достаточной скорости и точности для конкретного процесса.
Сценарии для мультимодальных моделей
Старшие версии Gemma 3 работают с изображениями. Вместе с OCR, внутренними базами и инструментами это расширяет набор локальных сценариев.
Интернет-магазин. Ассистент сопоставляет запрос покупателя с каталогом, характеристиками и остатками. Фото бирки можно использовать для распознавания артикула, а наличие проверить через отдельный инструмент.
Производство. Оператор фотографирует код ошибки на панели станка. Система находит соответствующую инструкцию и предлагает шаги диагностики, сохраняя подтверждение важных действий за инженером.
Документы. Внутренний ассистент разбирает PDF, договоры, счета и таблицы, после чего готовит выжимку и список рисков. Исходные файлы остаются в инфраструктуре компании.
Персональный агент. Почта, задачи, заметки и календарь частично обрабатываются локально. В облако уходят выбранные запросы, которым требуется более сильная модель.
Когда облако практичнее
Облачная модель обычно выгоднее, если требуется максимальное качество рассуждений, запросы возникают редко или команде важен быстрый запуск. Тот же выбор оправдан для свежего веб-поиска и сложных мультимодальных задач, если локальный стек не покрывает требования.
Гибридная схема позволяет оставить чувствительную и повторяемую работу внутри компании. Редкие тяжёлые запросы при этом направляются в облако по явным правилам.
Как провести сравнение
- Соберите 20–30 реальных документов или диалогов.
- Опишите ожидаемый результат и критерии качества.
- Запустите локальную, облачную и недорогую API-модель на одном наборе.
- Сравните точность, скорость, стоимость, приватность и сложность интеграции.
- Посчитайте ошибки, которые потребуется исправлять человеку.
Для агента также важны инструменты, память, права доступа, журналы и подтверждение действий. Одна модель не определяет качество всей системы.
Локальный AI уже способен закрыть часть повторяемой работы рядом с данными. Его ценность заключается в возможности выбирать контур для каждой задачи, а не в попытке заменить облако целиком.