Enterprise RAG: Высоконагруженная база знаний на 65 000+ чанков с AI Gateway

Корпоративная RAG-система на PostgreSQL (pgvector HNSW) с локальными эмбеддингами, точностью Recall@5 88% и отказоустойчивым AI Gateway.

Клиент

Международный консалтинговый холдинг

Услуги

Enterprise RAG & Hybrid Retrieval, pgvector HNSW + Reranking, Multi-Provider AI Gateway, Token Metering

Услуга

Внедрение ИИ и нейросетей

Recall@5 88% / Precision@5 85%

Точность выборки

3 мс средняя / 4 мс p95

Скорость векторного поиска

1.9 с со стримингом

Общий ответ LLM

Задача

В крупном холдинге накопилось более 2 300 внутренних регламентов, юридических документов и аналитических отчетов. Информация была разрознена между внутренними сервисами, а штатные специалисты тратили до 40% рабочего времени на поиск ответов в документах. Использование стандартных облачных LLM-чатов приводило к галлюцинациям, утечке конфиденциальных данных и рискам отказа из-за блокировок или лимитов отдельных AI-провайдеров. Цель проекта: построить корпоративный RAG-контур с локальным векторным поиском и отказоустойчивым AI-шлюзом, гарантирующим точные ответы со ссылками на первоисточники за секунды.

Решение

Система объединена в монорепозиторий на Turborepo и Bun. Документы проходят структурированный парсинг, очистку и чанкинг (2 393 документа / 65 798 чанков). Локальные эмбеддинги вычисляются на CPU через ONNX Runtime без передачи текстов во внешние облака. Двухэтапный пайплайн поиска (HNSW-индекс в pgvector + кросс-энкодер Reranker) обеспечивает скорость поиска 3 мс (p95 — 4 мс) и точность Recall@5 = 88%. Отказоустойчивый AI Gateway объединяет API Anthropic, OpenAI, Google и DeepSeek: при сбоях или превышении лимитов запрос прозрачно перенаправляется на резервного провайдера.

Схема отказоустойчивого RAG-контура

┌─────────────────────────┐          Запрос сотрудника           ┌──────────────────────────┐
│   Корпоративный портал  │ ───────────────────────────────────► │  ONNX Local Embeddings   │
└────────────▲────────────┘                                      └────────────┬─────────────┘
             │                                                                │ 384-dim Vector
             │ Стриминг ответа с цитатами                                     ▼
┌────────────┴────────────┐     Top-20 Chunks    ┌──────────────────────────────────────────┐
│   AI Gateway Router     │ ◄─────────────────── │   pgvector HNSW (3 мс) + Reranker (88%)  │
│  (Anthropic / OpenAI /  │                      │   (65 798 чанков / 2 393 регламента)     │
│   Google / DeepSeek)    │                      └──────────────────────────────────────────┘
└─────────────────────────┘
 (Failover при 429 / 5xx)

Метрики точности поиска (Recall@K / Precision@K)

Метод выборки	Recall@5	Precision@5	Задержка p95
Базовый плоский поиск (pgvector IVFFlat)	62.4%	58.1%	48.0 мс
Индексация HNSW без реранкера	76.8%	71.5%	3.8 мс
HNSW + Локальный Cross-Encoder Reranker	88.2%	85.0%	4.2 мс

Ключевые особенности

Высокоточный RAG (65 000+ чанков): Двухэтапная гибридная выборка (pgvector HNSW + Reranker) с показателем Recall@5 88% и Precision@5 85%.
Отказоустойчивый AI Gateway: Автоматический failover между Anthropic, OpenAI, Google и DeepSeek при ошибках 429/500/503.
Субмиллисекундный поиск: Средняя задержка выборки контекста составляет 3 мс (p95 — 4 мс), общий ответ LLM с потоковым выводом — 1.9 с.
Очередь задач на PostgreSQL (SKIP LOCKED): Фоновая асинхронная индексация документов прямо в PostgreSQL без необходимости в Redis или RabbitMQ.
Учет токенов и цитирование: Детальный биллинг затрат по отделам компании и строгая постраничная атрибуция ссылок на первоисточники.

Технологии

Архитектура и развертывание

Архитектура развернута в защищенном частном контуре компании. Система ежедневно обслуживает тысячи обращений сотрудников, сократив время поиска регламентной информации с десятков минут до 2 секунд с нулевым риском утечки коммерческой тайны.