Перейти к основному содержимому
Версия: 1.8

Конфигурация сервиса AI False-Positive

Сервис AI False-Positive (AI FP) анализирует результаты сканирований TRON.ASOC с помощью ИИ: находит ложноположительные срабатывания и повышает точность проверок безопасности.

Сервис доступен для установки на локальной инфраструктуре пользователя. Предусмотрено два способа установки:

  • в составе TRON.ASOC: как опционально включаемый компонент (рекомендуемый способ);
  • на отдельной инфраструктуре: как самостоятельный сервис, подключаемый к TRON.ASOC.

Компоненты сервиса​

Для установки сервиса AI FP подготовьте следующие компоненты:

  1. Сервер vLLM — высокопроизводительный inference-сервер для LLM с OpenAI-совместимым API.
  2. Сервис copilot-fp-service — REST API (Representational State Transfer API) сервис для анализа на ложноположительность. Он получает задачи на анализ от TRON.ASOC, отправляет их в LLM, управляет очередью и возвращает результаты и рекомендации.

Оба компоненты могут быть развернуты в одной инфраструктуре с помощью Docker Compose.

Технические требования​

Требования ниже приведены для способа развертывания на self-hosted vLLM. При использовании внешнего LLM-провайдера требования к GPU и Hugging Face не применяются.

Аппаратное обеспечение​

Аппаратное обеспечение должно соответствовать следующим требованиям:

  • сервер с NVIDIA GPU;
  • минимальный объем видеопамяти (VRAM) — 16 ГБ для модели по умолчанию (Qwen2.5-7B-Instruct).

Программное обеспечение​

Программное обеспечение должно соответствовать следующим требованиям:

  • установленные Docker и Docker Compose;
  • установленный Kubernetes (при установке в составе TRON.ASOC);
  • аличие драйверов NVIDIA (nvidia-driver) и NVIDIA Container Toolkit для работы Docker с GPU.
к сведению

Отдельная база данных не требуется, так как сервис хранит задачи и результаты в оперативной памяти.

Сетевые требования​

Сеть, в которой устанавливается сервис AI FP, должна соответствовать следующим требованиям:

  • доступ к реестру контейнеров Harbor (pcr.tronasoc.ru);
  • доступ к репозиторию моделей Hugging Face для скачивания модели при использовании self-hosted vLLM.
к сведению

Инфраструктура, в которой устанавливается сервис AI FP, должна быть доступна из сети, где работает TRON.ASOC.

При использовании внешнего LLM-провайдера вместо self-hosted vLLM требования к GPU и доступу к Hugging Face не применяются.