RAG-системы: ответы по документам компании, которым можно доверять
Строим системы, которые находят нужное в ваших документах и отвечают со ссылкой на источник, с учётом прав доступа и с измеримым качеством ответов.
Кратко
RAG (retrieval-augmented generation) соединяет поиск по вашим документам с языковой моделью: модель отвечает не по памяти, а по найденным фрагментам. Демо делается быстро. Трудности начинаются на реальном корпусе: сканы, таблицы, устаревшие версии, документы, которые видны не всем. Качество RAG определяется поиском и подготовкой корпуса больше, чем выбором модели, и именно на этом мы сосредоточены.
Где RAG полезен
- Ассистент для сотрудников по регламентам, инструкциям и внутренней базе знаний.
- Поддержка клиентов: ответы по документации продукта и условиям обслуживания.
- Работа с договорами, нормативами и технической документацией, где важна ссылка на конкретный пункт.
- Поиск по накопленной переписке, отчётам и протоколам, которые никто не успевает читать.
Если ответ нельзя найти в документах, RAG его не создаст. Для задач, где нужны расчёты или действия в системах, нужна другая архитектура, и мы скажем об этом на первом разговоре.
Из чего состоит система
Корпус и его жизненный цикл
Какие источники входят в корпус, кто за них отвечает, как обновляются версии и как удаляются отменённые документы. Без этого система уверенно отвечает по устаревшему регламенту.
Обработка документов
Извлечение текста из PDF, сканов, таблиц и презентаций, разбиение на фрагменты с учётом структуры документа: разделов, пунктов, заголовков таблиц. Этот этап чаще всего определяет итоговое качество.
Поиск
Гибридный поиск: векторный по смыслу плюс полнотекстовый по словам, номерам и названиям. В иврите приставки и слитные предлоги, в русском падежи и окончания, поэтому полнотекстовая часть должна учитывать морфологию языка. Повторное ранжирование найденных фрагментов отдельной моделью заметно повышает точность.
Модели
Для векторного поиска подходят многоязычные модели эмбеддингов в облаке (OpenAI, Google, Cohere) или открытые модели, развёрнутые у вас. Для генерации ответа модели OpenAI, Anthropic, Google или открытая модель на ваших серверах. Выбор зависит от языка документов, требований к данным и цены запроса.
Хранилище
PostgreSQL с pgvector, Qdrant, Milvus или OpenSearch, в вашем контуре или в облаке. Выбор зависит от объёма корпуса и того, что уже есть в вашей инфраструктуре.
Права доступа
Сотрудник должен получать ответ только по тем документам, которые ему разрешено видеть. Фильтр по правам применяется при поиске, а не после генерации ответа.
Оценка качества
Набор реальных вопросов с проверенными ответами, по которому измеряются точность поиска и ответов. Каждое изменение корпуса, разбиения или модели проверяется на нём до выкладки. Подходы к выбору архитектуры разобраны в статье об архитектуре RAG.
Как идёт работа
- Разбор задачи и корпуса. Кто будет спрашивать, о чём, по каким документам. Собираем набор реальных вопросов с вашими специалистами.
- Пилот на части корпуса. Обработка документов, поиск, первая оценка качества. Уже на этом этапе видно, где главные трудности.
- Доработка поиска и подготовки корпуса до согласованного уровня качества на контрольных вопросах.
- Интеграция и запуск. Встраивание в ваши системы, права доступа, мониторинг, обратная связь от пользователей.
- Сопровождение. Обновление корпуса, контроль качества, поддержка по SLA или передача вашей команде.
Если RAG уже работает, но отвечает плохо, начинаем с разбора качества на ваших вопросах. За эксплуатацию системы в целом отвечает формат вывода AI в продакшн.
Персональные данные: Тиккун 13 и GDPR
Если в документах есть персональная информация, требования к её защите касаются не только исходных файлов, но и фрагментов в векторной базе, журналов запросов и ответов модели. В Израиле это требования закона о защите частной жизни с Тиккуном 13, для данных жителей ЕС требования GDPR. Отправка фрагментов во внешний API модели означает передачу данных поставщику, и для неё нужны договор с поставщиком и ясность, где и сколько данные хранятся.
Мы проектируем систему так, чтобы эти требования можно было выполнить: хранилище и модели там, где этого требуют ваши правила, маскирование персональных данных, которые не нужны для ответа, контроль журналов. Юридическую оценку и решения принимают юристы вашей компании. Что меняет Тиккун 13 в программных системах, разобрано на отдельной странице.
Для российских компаний
Если документы или их пользователи в России, модели и хранилище выбираются под российские требования. Для векторного поиска подходят модели эмбеддингов Yandex и GigaChat, для генерации ответа YandexGPT, GigaChat или открытая модель на ваших серверах. Хранилище размещается в вашем контуре или в российском облаке.
Если в документах есть персональные данные граждан России, требования 152-ФЗ касаются не только исходных файлов, но и фрагментов в векторной базе, логов запросов и ответов. При сборе таких данных закон требует, чтобы их запись, систематизация, накопление, хранение, уточнение и извлечение велись с использованием баз данных, находящихся в России. Отправка их за рубеж, в том числе в запросе к зарубежному API модели, может считаться трансграничной передачей, у которой свои условия. Юридическую оценку дают юристы вашей компании. Для самопроверки есть чек-лист 152-ФЗ.
Формат работы
- Удалённо. Встречи с вашей командой и экспертами по предмету, работа в вашем репозитории и ваших средах.
- Документы остаются у вас. Для пилота подходят документы без персональных данных или обезличенные. Доступ к остальным определяет ваша служба безопасности.
- Очные встречи. Возможны по договорённости, если задаче это нужно.
- Код и инфраструктура ваши. Репозиторий, серверы и ключи API с первого дня оформлены на вас.
Почему мы
Мы строим и сопровождаем программные системы с 2004 года: 150+ проектов для клиентов в 14 странах. Наша основная система работает в продакшне непрерывно с 2008 года. RAG-системы мы строим сами и знаем, где они ломаются: на документах, правах доступа и отсутствии измерений.
Частые вопросы
Чем RAG лучше дообучения модели на наших документах?
Для ответов по документам RAG обычно проще и надёжнее: документы можно обновить без переобучения, ответ ссылается на источник, а права доступа соблюдаются при поиске. Дообучение имеет смысл для стиля, формата или узкой терминологии и часто сочетается с RAG.
Может ли система выдумывать ответы?
Полностью исключить это нельзя. Риск снижают точный поиск, требование отвечать только по найденным фрагментам со ссылкой, отказ отвечать при недостатке данных и регулярная проверка на контрольных вопросах.
Можно ли обойтись без передачи документов во внешний сервис?
Да. Хранилище, модели эмбеддингов и генеративную модель можно развернуть в вашем контуре. Нужны вычислительные ресурсы, и мы заранее оцениваем, какое качество ответов дадут модели, которые на них помещаются.
Как быстро будет понятно, работает ли это на наших документах?
После пилота на части корпуса. Он показывает реальную точность на ваших вопросах, а не на демонстрационных, и главные трудности с документами.
Какие форматы документов подходят?
PDF, Word, Excel, презентации и сканы, а также выгрузки из внутренних баз данных и систем документооборота. Новые версии документов попадают в индекс по расписанию или по событию, а отменённые из него удаляются.
Насколько быстро и точно система отвечает?
Скорость зависит от модели, объёма найденных фрагментов и того, где работает модель. Её измеряют на пилоте вместе с точностью, на ваших вопросах. Каждый ответ сопровождается ссылкой на документ и место в нём, чтобы его можно было проверить.
SLAtech LTD