Бизнесу почти никогда не нужно начинать AI-внедрение с дообучения модели. Правильный порядок обычно такой: сначала промпты, потом RAG/контекст, и только если упёрлись в устойчивый стиль или специализацию — LoRA.

Короткий ответ

На пальцах:

  • Промпт — инструкция модели.
  • RAG — модель открывает вашу базу знаний перед ответом.
  • LoRA — лёгкое дообучение модели под стиль или задачу.

Если задача разовая или универсальная — начните с промпта. Если нужны внутренние документы и актуальные факты — добавляйте RAG. Если нужен устойчивый формат, стиль или доменная адаптация на качественном датасете — смотрите в сторону LoRA.

Промпт-инжиниринг: инструкция

Промпт-инжиниринг — это умение давать модели задачу так, чтобы она поняла роль, формат, ограничения и критерии качества.

Плохо: «Напиши пост про AI-трейдинг».

Лучше: «Напиши пост для Telegram-канала про AI-трейдинг. Тон прямой, с самоиронией. Добавь один реальный факап, объясни риск и закончи выводом для предпринимателя».

Плюсы:

  • быстро;
  • дёшево;
  • легко менять;
  • отлично для прототипов и разовых задач.

Минусы:

  • модель не знает специфику компании;
  • важный контекст приходится приносить вручную;
  • качество сильно зависит от инструкции.

RAG и контекст-инжиниринг: книга рядом с моделью

RAG нужен, когда информации больше, чем удобно вставлять в промпт, и когда эта информация меняется: регламенты, база знаний, договоры, продуктовая документация, история проектов.

Схема простая: документы режутся на фрагменты, превращаются в эмбеддинги, сохраняются в хранилище, а при запросе система находит релевантные куски и добавляет их в контекст модели.

В оригинальной работе по RAG подход описан как сочетание параметрической памяти модели и непараметрической памяти через поиск.

“RAG models combine pre-trained parametric and non-parametric memory for language generation.” — Lewis et al., 2020

Простой перевод: модель отвечает не только из того, чему её обучили, а ещё из найденных документов.

Плюсы RAG:

  • работает с внутренними документами;
  • знания проще обновлять;
  • можно показывать источники;
  • хорошо подходит для поддержки, legal, finance и внутренних регламентов.

Минусы:

  • нужна инфраструктура;
  • качество зависит от нарезки и поиска;
  • грязная база знаний даст грязный ответ;
  • доступы и приватность нужно проектировать отдельно.

LoRA: адаптация, а не «залить все знания в модель»

LoRA часто воспринимают как способ «научить модель всему бизнесу». Это не лучший старт. LoRA полезнее, когда нужен устойчивый стиль, формат ответа или доменная манера работы, а факты всё равно лучше держать во внешней базе.

Авторы LoRA описывают метод так: базовые веса модели замораживаются, а в слои Transformer добавляются обучаемые низкоранговые матрицы, что резко уменьшает число обучаемых параметров.

“LoRA ... freezes the pre-trained model weights and injects trainable rank decomposition matrices into each layer of the Transformer architecture.” — Hu et al., 2021

Проще: мы не переучиваем всю модель с нуля. Мы добавляем маленький адаптер, который меняет поведение модели под задачу.

Плюсы LoRA:

  • устойчивый стиль и формат;
  • меньше обучаемых параметров, чем full fine-tuning;
  • можно запускать адаптеры локально;
  • полезно для повторяющихся специализированных задач.

Минусы:

  • нужен качественный датасет;
  • подготовка занимает время;
  • факты сложнее обновлять, чем в RAG;
  • плохие данные закрепят плохое поведение.

Практическое дерево выбора

Выберите промпт, если:

  • задача разовая;
  • данных мало;
  • нужно проверить гипотезу;
  • результат можно быстро проверить человеком.

Выберите RAG, если:

  • модель должна отвечать по вашим документам;
  • база знаний регулярно обновляется;
  • нужны ссылки на источники;
  • важны права доступа и контроль фактов.

Выберите LoRA, если:

  • нужен стабильный стиль или формат;
  • есть качественный датасет примеров;
  • задача повторяется много раз;
  • RAG уже не решает проблему поведения модели.

Нормальная комбинация

В продакшне часто побеждает не один подход, а связка: хороший системный промпт задаёт роль и правила, RAG приносит актуальные факты, LoRA при необходимости стабилизирует стиль или доменное поведение.

Главное — не начинать с самой сложной технологии. Начните с промпта, измерьте качество, добавьте контекст, и только после этого решайте, нужно ли дообучение.