Промпты, RAG и LoRA решают разные проблемы. Промпт задаёт модели правила, RAG приносит актуальные знания, а LoRA адаптирует поведение под повторяющуюся задачу.

Для первого прототипа обычно достаточно хорошей инструкции. Следующий слой добавляют после измерения качества: RAG нужен при работе с документами, LoRA помогает при устойчивых требованиях к стилю, формату или специализации.

Короткий выбор

  • Промпт описывает роль, задачу, ограничения и формат ответа.
  • RAG находит подходящие документы перед обращением к модели.
  • LoRA добавляет обучаемый адаптер для нужного поведения.

Разовая или универсальная задача обычно начинается с промпта. Для внутренних документов и меняющихся фактов нужен RAG. LoRA стоит рассматривать при повторяемом сценарии и качественном наборе примеров.

Промпт задаёт инструкцию

Промпт-инжиниринг помогает явно описать роль модели, формат результата, ограничения и критерии качества.

Слабая постановка: «Напиши пост про AI-трейдинг».

Рабочая постановка: «Напиши пост для Telegram-канала про AI-трейдинг. Используй прямой тон и лёгкую самоиронию. Добавь один реальный провал, объясни риск и закончи выводом для предпринимателя».

Преимущества промпта:

  • быстро проверяется;
  • почти не требует инфраструктуры;
  • легко меняется;
  • подходит для прототипа и разовой работы.

Ограничения:

  • специфику компании приходится передавать в контексте;
  • большой объём документов перегружает запрос;
  • качество сильно зависит от точности инструкции.

RAG подключает базу знаний

RAG полезен для регламентов, договоров, продуктовой документации, базы знаний и истории проектов. Эти материалы меняются и часто не помещаются в один разумный запрос.

Система делит документы на фрагменты, строит эмбеддинги и сохраняет их в хранилище. Во время вопроса поиск выбирает связанные фрагменты и добавляет их в контекст модели.

Авторы исходной работы описывают RAG как сочетание параметрической памяти модели и непараметрической памяти, доступной через поиск.

“RAG models combine pre-trained parametric and non-parametric memory for language generation.” — Lewis et al., 2020

Источник: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks

RAG даёт системе актуальные внутренние знания и позволяет показывать источники. Качество зависит от структуры документов, нарезки, поиска и правил доступа.

Преимущества RAG:

  • знания обновляются без обучения модели;
  • ответы опираются на документы компании;
  • система может показывать использованные источники;
  • права ограничивают доступ к отдельным данным.

Ограничения:

  • требуется инфраструктура поиска и хранения;
  • плохая нарезка ухудшает выдачу;
  • беспорядок в базе знаний переходит в ответы;
  • приватность проектируется отдельно.

LoRA адаптирует поведение модели

LoRA подходит для устойчивого стиля, формата ответа или специализированного поведения. Факты, которые часто меняются, удобнее хранить во внешней базе.

Метод замораживает базовые веса модели и добавляет в слои Transformer обучаемые низкоранговые матрицы. Так уменьшается число параметров, которые нужно обучать.

“LoRA ... freezes the pre-trained model weights and injects trainable rank decomposition matrices into each layer of the Transformer architecture.” — Hu et al., 2021

Источник: LoRA: Low-Rank Adaptation of Large Language Models

Вместо полного переобучения создаётся небольшой адаптер для конкретной задачи.

Преимущества LoRA:

  • устойчивый стиль и формат;
  • меньше обучаемых параметров по сравнению с full fine-tuning;
  • адаптер можно запускать локально;
  • метод подходит для повторяющихся специализированных задач.

Ограничения:

  • нужен качественный датасет;
  • подготовка и оценка требуют времени;
  • факты обновляются сложнее, чем в RAG;
  • ошибки датасета закрепляются в поведении.

Дерево выбора

Используйте промпт, если задача разовая, данных мало, гипотезу нужно проверить быстро, а результат легко проверяет человек.

Добавляйте RAG, если модель отвечает по документам, база знаний обновляется, нужны ссылки на источники или разграничение доступа.

Рассматривайте LoRA, если нужен устойчивый формат, есть проверенный датасет, задача повторяется много раз, а RAG уже обеспечивает нужные факты.

Как методы работают вместе

В production эти подходы часто складываются в один контур. Системный промпт задаёт роль и правила, RAG приносит актуальные факты, LoRA при необходимости стабилизирует специализированное поведение.

Начните с промпта и измерьте качество. Затем добавьте контекст. Дообучение оправдано, когда измерения показывают устойчивую проблему поведения модели.