Свой ИИ по документам компании

Какие задачи стоит отдавать помощнику

Лучший первый сценарий — конкретная база документов с понятным владельцем и проверяемыми ответами. Например, технические инструкции для поддержки или действующие регламенты одного отдела. Задача «пусть знает вообще всё о компании» слишком размыта: трудно определить и границы доступа, и критерии успеха.

• Поддержка: найти шаг диагностики и показать, из какой инструкции он взят.
• Закупки: сопоставить требования к оборудованию с доступными спецификациями.
• Внутренняя база знаний: объяснить порядок действия по актуальному регламенту.
• Работа с версиями: подготовить черновик сравнения двух документов для проверки человеком.

Не стоит поручать первому пилоту автономное утверждение договоров, платежей или иных значимых решений. На старте помощник предлагает ответ, а сотрудник открывает источник и принимает решение сам.

Как работает RAG: сначала найти, потом ответить

RAG расшифровывается как Retrieval-Augmented Generation — генерация с использованием найденной информации. Вместо попытки поместить весь архив в один запрос система извлекает релевантные фрагменты и передаёт их языковой модели вместе с вопросом. Такая архитектура описана в работе Patrick Lewis и соавторов. Реализации различаются, но разделение поиска и генерации остаётся полезной отправной точкой.

1. Подготовить документы

Нужно извлечь текст, сохранить названия, версии и связь с оригиналами. Фрагменты попадают в поисковый индекс — структуру, по которой система затем ищет подходящий материал. PDF с настоящим текстом и скан бумажного документа — разные входные данные. Для сканов может понадобиться OCR, то есть распознавание текста; таблицы и сложная вёрстка требуют отдельной проверки. В NVIDIA RAG Blueprint обработка PDF, OCR и оценка качества выделены в отдельные компоненты, а не сведены к одной операции «загрузить файл».

2. Найти разрешённые фрагменты

После вопроса система ищет сведения, доступные именно этому сотруднику. Поиск может сочетать совпадения слов и смысловую близость. Важно сохранить метаданные: документ, раздел, версию, владельца и ограничения доступа. Иначе помощник может найти правильный текст, но из устаревшей инструкции или закрытой папки.

3. Собрать и проверить ответ

Модель получает отобранный контекст и формулирует ответ. Нужны ссылки на исходные материалы и возможность сообщить: «В доступных документах нет достаточного основания». RAG обычно не требует дообучать модель только ради добавления нового регламента: обновляют документы и индекс. Но он не устраняет ошибки автоматически. Microsoft отдельно отмечает ограничения контекста, качества поиска и управления доступом в RAG-системах.

Если сервер свой, документы точно не утекут?

Нет, одно лишь владение сервером этого не гарантирует. Чтобы обработка оставалась внутри выбранной инфраструктуры, там должны работать все нужные компоненты, а не только языковая модель. Проверьте, куда отправляют данные распознавание текста, построение поисковых представлений, журналы, телеметрия и резервное копирование. Для изолированного режима также нужно заранее продумать получение моделей и обновлений.

Просьба в системной инструкции «не показывай секреты» не заменяет технические ограничения. Отозванный доступ должен учитываться при следующем запросе, а не только при первом добавлении документа. Также отдельно защищаются ссылки на оригиналы и журналы разговоров: они тоже могут содержать чувствительную информацию.

Ещё один риск — инструкции, спрятанные внутри загруженного документа. Это разновидность prompt injection: текст из источника пытается изменить поведение модели. OWASP предупреждает, что RAG сам по себе не устраняет такую уязвимость. Поэтому найденные материалы нужно считать данными, а не разрешением выполнить действие. Проверка безопасности, настройка ПО и сопровождение — отдельные части проекта.

Какой сервер нужен для ИИ по документам компании

Выбирать конфигурацию только по числу PDF или сотрудников нельзя. Сто страниц технических таблиц могут требовать другого способа обработки, чем тысяча коротких текстовых заметок. А тридцать сотрудников в штате — не то же самое, что тридцать одновременных запросов. Попросите команду описать реальную пиковую нагрузку.

Руководство NVIDIA по подбору RAG-инфраструктуры связывает размер системы с параллельными запросами и допустимой задержкой. Для предварительного задания на подбор зафиксируйте:

• модель и поддерживаемое ПО, язык документов и типы файлов;
• длину вопросов, объём найденного контекста и ожидаемых ответов;
• пиковое число одновременно выполняемых запросов;
• допустимое время ожидания и требования к доступности сервиса;
• обновление базы, резервирование и условия размещения.

Видеопамять нужна не только для весов модели, но и для контекста и рабочих буферов. Квантование может сократить требования к памяти, однако его поддержку и качество надо проверять для выбранной модели и приложения. Варианты 8- и 4-битного представления описаны, например, в документации Hugging Face. Универсального правила «эта GPU обслужит любой отдел» нет.

Какое оборудование обсудить с MinerWorld

Ниже — возможные направления подбора, а не готовые комплектации и не результаты наших испытаний. Числа памяти — характеристики производителей, не обещание скорости. Текущую цену и состав поставки смотрите в карточке и подтверждайте в КП.

Если проект выходит за рамки одной станции, отдельно оценивают площадку, питание и отвод тепла. Это предмет проектирования и оснащения ЦОД для ИИ. Покупка более дорогого ускорителя не исправит плохое распознавание документов или ошибочные права доступа.

Как проверить идею до большой закупки

Для первого пилота выберите один процесс и ограниченный набор разрешённых документов. Ниже — наш предлагаемый шаблон проверки. Числа в нём — ориентир для организации пилота, а не отраслевой норматив и не статистика MinerWorld.

1. Соберите 30–50 реальных вопросов. Добавьте обычные формулировки, уточнения и похожие термины. К каждому вопросу подготовьте правильный источник или отметку, что ответа в базе нет.
2. Выделите проверки отказа и доступа. Например, 10 вопросов без ответа и 10 попыток получить сведения из закрытых документов. Они могут входить в общий набор. Используйте обезличенные или демонстрационные данные, если нет разрешения на реальные.
3. Проверьте ссылки и актуальность. Недостаточно получить правильную фразу: нужная версия документа должна открываться, а удалённая — перестать участвовать в поиске после обновления.
4. Повторите тест под нагрузкой. Зафиксируйте время до начала ответа, время полного ответа, очередь запросов и ошибки. Затем повторите тот же набор для нескольких одновременных пользователей.
5. Запишите результат в протокол. Модель, её версия, квантование, оборудование, настройки поиска и дата должны быть известны. Только после этого имеет смысл сравнивать конфигурации и согласовывать закупку.

Что включить в бюджет, кроме видеокарты

Смета должна разделять железо и работы. Так легче понять, что именно входит в предложение и кто отвечает за результат. Как минимум обсудите подготовку документов, развёртывание ПО, поиск, доступы, тестирование, резервное копирование, мониторинг и сопровождение.

Программное обеспечение и модели могут иметь собственные лицензионные условия. Возможность скачать модель ещё не означает, что любое её применение подходит вашей компании. Для полного расчёта учтите помещение, электропитание, обслуживание и труд администратора. При редких запросах и допустимой для бизнеса обработке во внешнем сервисе облачный вариант тоже стоит сравнить — свой сервер не всегда экономически оправдан.

Сравнивать предложения полезно по одинаковому заданию и одинаковому тестовому набору. В одном КП может быть только аппаратная платформа, в другом — готовая программная система. Пока границы работ различаются, итоговые суммы напрямую несопоставимы.

Частые вопросы