Внедрение RAG: ответы по документам компании, которым можно доверять
Строим системы, которые находят нужное в ваших документах и отвечают со ссылкой на источник, с учётом прав доступа и с измеримым качеством ответов.
Кратко
RAG (retrieval-augmented generation) соединяет поиск по вашим документам с языковой моделью: модель отвечает не по памяти, а по найденным фрагментам. Демо делается быстро. Трудности начинаются на реальном корпусе: сканы, таблицы, устаревшие версии, документы, которые видны не всем. Качество RAG определяется поиском и подготовкой корпуса больше, чем выбором модели, и именно на этом мы сосредоточены.
Где RAG полезен
- Ассистент для сотрудников по регламентам, инструкциям и внутренней базе знаний.
- Поддержка клиентов: ответы по документации продукта и условиям обслуживания.
- Работа с договорами, нормативами и технической документацией, где важна ссылка на конкретный пункт.
- Поиск по накопленной переписке, отчётам и протоколам, которые никто не успевает читать.
Если ответ нельзя найти в документах, RAG его не создаст. Для задач, где нужны расчёты или действия в системах, нужна другая архитектура, и мы скажем об этом на первом разговоре.
Из чего состоит система
Корпус и его жизненный цикл
Какие источники входят в корпус, кто за них отвечает, как обновляются версии и как удаляются отменённые документы. Без этого система уверенно отвечает по устаревшему регламенту.
Обработка документов
Извлечение текста из PDF, сканов, таблиц и презентаций, разбиение на фрагменты с учётом структуры документа: разделов, пунктов, заголовков таблиц. Этот этап чаще всего определяет итоговое качество.
Поиск
Гибридный поиск: векторный по смыслу плюс полнотекстовый по словам, номерам и названиям. Для русского языка с его падежами и окончаниями полнотекстовая часть должна учитывать морфологию. Повторное ранжирование найденных фрагментов отдельной моделью заметно повышает точность.
Модели
Для векторного поиска подходят модели эмбеддингов Yandex и GigaChat или открытые многоязычные модели, развёрнутые у вас. Для генерации ответа YandexGPT, GigaChat или открытая модель на ваших серверах. Сравнение российских моделей есть в отдельном обзоре.
Хранилище
PostgreSQL с pgvector, Qdrant, Milvus или OpenSearch, размещённые в вашем контуре или в российском облаке. Выбор зависит от объёма корпуса и того, что уже есть в вашей инфраструктуре.
Права доступа
Сотрудник должен получать ответ только по тем документам, которые ему разрешено видеть. Фильтр по правам применяется при поиске, а не после генерации ответа.
Оценка качества
Набор реальных вопросов с проверенными ответами, по которому измеряются точность поиска и ответов. Каждое изменение корпуса, разбиения или модели проверяется на нём до выкладки. Подходы к выбору архитектуры разобраны в статье об архитектуре RAG.
Как идёт работа
- Разбор задачи и корпуса. Кто будет спрашивать, о чём, по каким документам. Собираем набор реальных вопросов с вашими специалистами.
- Пилот на части корпуса. Обработка документов, поиск, первая оценка качества. Уже на этом этапе видно, где главные трудности.
- Доработка поиска и подготовки корпуса до согласованного уровня качества на контрольных вопросах.
- Интеграция и запуск. Встраивание в ваши системы, права доступа, мониторинг, обратная связь от пользователей.
- Сопровождение. Обновление корпуса, контроль качества, поддержка по SLA или передача вашей команде.
Если RAG уже работает, но отвечает плохо, начинаем с аудита. За эксплуатацию системы в целом отвечает формат вывода AI в продакшн.
Персональные данные и 152-ФЗ
Если в документах есть персональные данные граждан России, требования 152-ФЗ касаются не только исходных файлов, но и фрагментов в векторной базе, логов запросов и ответов. При сборе таких данных закон требует, чтобы их запись, систематизация, накопление, хранение, уточнение и извлечение велись с использованием баз данных, находящихся в России. Отправка их за рубеж, в том числе в запросе к зарубежному API модели, может считаться трансграничной передачей, у которой свои условия.
Мы проектируем систему так, чтобы эти требования можно было выполнить: хранилище и модели в российском контуре, маскирование персональных данных там, где они не нужны для ответа, контроль логов. Юридическую оценку и решения принимают юристы вашей компании. Для самопроверки есть чек-лист 152-ФЗ.
Где мы работаем
Мы работаем с компаниями по всей России удалённо. В таблице отраслевой контекст десяти крупных городов и типичные корпуса документов, с которыми там работает RAG.
| Город | Отраслевой контекст | Типичный корпус |
|---|
| Москва | Штаб-квартиры большинства крупных банков, телеком-операторов, розничных сетей и госкомпаний. | Внутренние регламенты, тарифы и условия обслуживания, нормативные документы, с жёстким разграничением доступа между подразделениями. |
| Санкт-Петербург | Сильные технические вузы (ИТМО, СПбГУ, Политехнический университет), много продуктовых команд, крупный порт. | Документация продуктов и база обращений поддержки; портовая и логистическая документация. |
| Екатеринбург | Металлургия, машиностроение и горнодобывающая промышленность Урала. | Технологические инструкции, стандарты предприятия и ГОСТы, где ответ должен ссылаться на конкретный пункт. |
| Казань | Нефтехимия республики, IT-город Иннополис рядом с Казанью, русский и татарский как государственные языки Татарстана. | Двуязычные корпуса: качество поиска на татарском нужно проверять отдельно, многоязычные модели справляются с ним хуже, чем с русским. |
| Новосибирск | Академгородок, институты Сибирского отделения РАН, НГУ, биотехнологии. | Научные статьи, отчёты и протоколы экспериментов с формулами и таблицами. |
| Краснодар | Центр одного из главных сельскохозяйственных регионов страны, крупная розница и логистика. | Карточки товаров, документы поставщиков, агрономические справочники. |
| Красноярск | Добыча и металлургия края, крупная гидроэнергетика. | Правила промышленной безопасности и эксплуатационная документация оборудования. |
| Уфа | Нефтепереработка и нефтехимия Башкортостана, русский и башкирский как государственные языки республики. | Регламенты технологических процессов и документация по охране труда; при необходимости тексты на башкирском. |
| Воронеж | Машиностроение, авиастроение, химическая промышленность, сельское хозяйство области. | Конструкторская и технологическая документация, где много таблиц и чертежей с подписями. |
| Сочи | Курорт и гостиничный бизнес; рядом федеральная территория «Сириус». | Описания услуг, правила проживания и ответы гостям на нескольких языках. |
Офисов в этих городах у нас нет. Отраслевой контекст описывает типичные задачи региона, а не наши проекты.
Формат работы
- Удалённо. Встречи с вашей командой и экспертами по предмету, работа в вашем репозитории и ваших средах.
- Документы остаются у вас. Для пилота подходят документы без персональных данных или обезличенные. Доступ к остальным определяет ваша служба безопасности.
- Очные встречи. Возможны по договорённости, если задаче это нужно.
- Часовые пояса. Работаем в часы, удобные для Москвы. С Сибирью общая часть рабочего дня короче, и встречи мы ставим на утро по местному времени.
- Код и инфраструктура ваши. Репозиторий, серверы и ключи API с первого дня оформлены на вас.
Почему мы
Мы строим и сопровождаем программные системы с 2004 года: больше 150 проектов для клиентов в 14 странах. Наша основная система работает в продакшне с 2008 года, обслуживает более 100 000 пользователей с доступностью 99.97%. RAG-системы мы строим сами и знаем, где они ломаются: на документах, правах доступа и отсутствии измерений.
Частые вопросы
Чем RAG лучше дообучения модели на наших документах?
Для ответов по документам RAG обычно проще и надёжнее: документы можно обновить без переобучения, ответ ссылается на источник, а права доступа соблюдаются при поиске. Дообучение имеет смысл для стиля, формата или узкой терминологии и часто сочетается с RAG.
Может ли система выдумывать ответы?
Полностью исключить это нельзя. Риск снижают точный поиск, требование отвечать только по найденным фрагментам со ссылкой, отказ отвечать при недостатке данных и регулярная проверка на контрольных вопросах.
Можно ли обойтись без передачи документов во внешний сервис?
Да. Хранилище, модели эмбеддингов и генеративную модель можно развернуть в вашем контуре. Нужны вычислительные ресурсы, и мы заранее оцениваем, какое качество ответов дадут модели, которые на них помещаются.
Как быстро будет понятно, работает ли это на наших документах?
После пилота на части корпуса. Он показывает реальную точность на ваших вопросах, а не на демонстрационных, и главные трудности с документами.
SLAtech LTD