Conduit

Локальная панель управления для ИИ-агентов, пишущих код. Распределение затрат по инженерам · жёсткие бюджеты · контроль исходящего трафика · мониторинг контекстной деградации · экспорт, готовый для аудита — всё внутри вашего VPC.

Conduit размещается между вашими ИИ-агентами (Claude Code, Cursor, Codex, Aider) и любым провайдером, который вы уже используете (Anthropic, OpenAI, Bedrock, Azure — или ваша существующая инсталляция LiteLLM / Portkey). Одна переменная окружения для подключения, ноль изменений на клиенте, промпты и ответы никогда не сохраняются.

[Claude Code / Cursor / Codex]
         │  ANTHROPIC_BASE_URL=https://conduit.yourco.dev
         ▼
[Conduit]  vk_live_… (на инженера)
         │  учёт · бюджеты · управление · аудит · контекстная деградация
         ▼
[LiteLLM / Portkey / прямые провайдеры]
         │
         ▼
[Anthropic / OpenAI / Bedrock / Azure]

Скриншоты

Обзор — расходы, экономия на кеше, токены, заблокированные запросы и флаги управления с первого взгляда.

Жёсткое соблюдение бюджета — превышение лимита возвращает 402 на шлюзе, до того как запрос достигнет провайдера.

Контроль исходящего трафика — запрос с AWS-ключом блокируется с кодом 451; сохраняется только категория, но не значение.

Активность — каждый запрос с уникальным статусом: успех · попадание в кеш · ограничение скорости · модель заблокирована · бюджет превышен · заблокировано управлением.

Настройки — полный CRUD для организации, учётных данных провайдера, команд, бюджетов и виртуальных ключей.

Зачем

Bedrock / Vertex / Azure private endpoints + соглашения BAA без передачи данных решают канал связи с вендором. Они не сообщают финансам, кто потратил $40k, не перехватывают секреты на выходе, не дают аудиторам запись и не показывают, где контекстная деградация сжигает ваш токен-бюджет. Это пробел, который заполняет Conduit — не видя ваших промптов.

Что вы получаете

• Распределение затрат по инженерам / ключам / моделям — разбивка, которую структурно не может дать общий API-ключ.
• Жёсткие бюджеты + белые списки моделей — закрываемый отказ 402 при перерасходе, чёткий 403 при запрещённой модели (никакого молчаливого понижения).
• Контроль исходящего трафика — сканирование секретов уровня T1 (API-ключи / токены / приватные ключи) + упрощённый T2-белый список сущностей организации (имена клиентов, кодовые имена, коды сделок). Оповещение → повышение до блокировки по одной категории за раз. Записывается категория, никогда значение.
• Панель контекстной деградации — группировка запросов по размеру входных токенов и отображение кривой стоимости и частоты ошибок. Conduit измеряет; мы никогда не изменяем промпт (это нарушило бы префиксный кеш Anthropic).
• Экспорт, готовый для аудитора — каждый запрос в виде строки CSV/JSON, только метаданные.
• Виртуальные ключи — инженеры держат отзываемые ключи-заменители; реальные учётные данные провайдера зашифрованы AES-256-GCM на шлюзе и никогда не попадают на ноутбук.

Быстрый старт

Вариант A — запустить подписанный релиз (без сборки, ~30 секунд)

Скачивает последние подписанные образы из GHCR (проверяемы через cosign verify, см. Безопасность).

# 1. Получить compose-файл + шаблон .env (полный клон не нужен)
curl -fsSL https://raw.githubusercontent.com/anee769/conduit/master/docker-compose.yml -o docker-compose.yml
curl -fsSL https://raw.githubusercontent.com/anee769/conduit/master/.env.example -o .env

# 2. Сгенерировать реальный мастер-ключ шифрования
sed -i.bak "s|^MASTER_ENCRYPTION_KEY=.*|MASTER_ENCRYPTION_KEY=$(openssl rand -base64 32)|" .env && rm .env.bak

# 3. Скачать подписанные образы + запустить
docker compose --profile app pull
docker compose --profile app up -d

# 4. Запустить миграции + заполнить прайсбук (однократно)
docker exec conduit-gateway-1 pnpm --filter @finops/db db:migrate
docker exec conduit-gateway-1 pnpm --filter @finops/db seed-pricing

# → открыть http://localhost:3000/setup → создать организацию / учётные данные / команду / виртуальный ключ

Закрепиться за конкретным релизом, задав GATEWAY_IMAGE и CONTROL_PLANE_IMAGE перед up:

export GATEWAY_IMAGE=ghcr.io/anee769/conduit-gateway:v0.1.0
export CONTROL_PLANE_IMAGE=ghcr.io/anee769/conduit-control-plane:v0.1.0

Вариант B — собрать из исходников (~2 минуты, для экспериментов)

git clone https://github.com/anee769/conduit && cd conduit
cp .env.example .env
sed -i.bak "s|^MASTER_ENCRYPTION_KEY=.*|MASTER_ENCRYPTION_KEY=$(openssl rand -base64 32)|" .env && rm .env.bak

docker compose --profile app up -d --build
docker exec conduit-gateway-1 pnpm --filter @finops/db db:migrate
docker exec conduit-gateway-1 pnpm --filter @finops/db seed-pricing

Направить любой ИИ-инструмент на него

export ANTHROPIC_BASE_URL=http://localhost:4000
export ANTHROPIC_AUTH_TOKEN=vk_live_…       # виртуальный ключ из /setup
claude                                       # или cursor / codex / aider

Полное пошаговое руководство с нуля в INSTALL.md.

Работает с тем, что вы уже запускаете

Сравнение Conduit с аналогами

LiteLLM отлично справляется с псевдонимами моделей и маршрутизацией — Conduit добавляет слой, который запрашивали ваши отделы безопасности и финансов. Portkey ближе всего по функциональности, но является проприетарным корпоративным решением, как только вам понадобятся управление и локальное развертывание. Helicone — только наблюдаемость (он говорит, куда ушли токены; он не управляет тем, куда они идут).

Честно о том, чего ЗДЕСЬ НЕТ

• Нет сертификации SOC 2 / HIPAA / ISO пока. Не будем утверждать того, чего нет. Мы проектируем Conduit так, чтобы поддерживать ваш аудит и предоставлять артефакты (SBOM, подписанные образы, документ по безопасности, CAIQ-lite). См. SECURITY.md для полного описания.
• Нет SSO / SAML / RBAC пока — на данный момент только admin-токен + пароль для входа в панель. В планах, когда появится запрос от покупателя.
• Стриминг Bedrock не реализован (двоичное фреймирование AWS event-stream). Non-streaming /invoke для Bedrock работает.
• Адаптер Google Vertex не построен.
• Полноценное ML-управление T2 (вывод типа сущности) не построено — только упрощённая версия (список сущностей, вставленный оператором). Разрабатывается на основе реального трафика партнёра, а не заранее.

Безопасность

Conduit работает полностью в вашем облаке — никакой вендор не участвует в пути запроса, никаких «звонков домой», возможна работа в изолированной сети. См. SECURITY.md для документа (диаграмма потоков данных, что хранится, криптография, аутентификация с закрытым отказом, модель соответствия, модель угроз).

• Образы контейнеров подписаны с помощью Sigstore cosign (безключевая OIDC) и поставляются с аттестацией CycloneDX SBOM. Выгружаются в ghcr.io/anee769/conduit-gateway и ghcr.io/anee769/conduit-control-plane при каждом git-теге v* (см. .github/workflows/release.yml). Проверьте любой выпущенный тег:
  root@kitploit:~

  cosign verify ghcr.io/anee769/conduit-gateway:<tag> \
    --certificate-identity-regexp 'https://github.com/anee769/conduit' \
    --certificate-oidc-issuer https://token.actions.githubusercontent.com
  

• Создайте SBOM локально в любое время с помощью bash scripts/sbom.sh.
• 86 автоматизированных тестов запускаются в каждом PR — включая референтный вектор AWS SigV4 и инвариант конфиденциальности управления (значение секрета/сущности никогда не появляется в сохранённых событиях).

Архитектура (кратко)

• apps/gateway — Hono на Node.js, горячий путь данных. Без шага сборки (tsx). Zero-dep ClickHouse клиент + ioredis.
• apps/control-plane — Next.js 15 / React 19 панель управления + admin API + мастер первого запуска /setup.
• packages/db — Схема Drizzle, AES-256-GCM шифрование, хеширование ключей, ценообразование + бюджеты.
• Хранилища: Postgres (конфигурация / идентификация / бюджеты / ценообразование) + ClickHouse (только добавление usage_events) + Redis (кеш + лимиты скорости + живые счётчики бюджета).

Жизненный цикл запроса (apps/gateway/src/routes/proxy.ts):

auth (vk) → лимит скорости → белый список моделей → проверка бюджета
         → сканирование управления (T1 секреты + T2-lite сущности)
         → поиск в кеше → расшифровка учётных данных → adapter.prepare()
         → пересылка + разделение потока (клиент не затрагивается; ответвление учёта в фоне)

Тесты

bash scripts/run-tests.sh             # полный набор юнит + живые системные тесты (72 теста)
bash scripts/run-tests.sh --unit-only # чистая логика, без стека Docker
pwsh scripts/run-tests.ps1            # эквивалент для Windows

CI (.github/workflows/ci.yml) запускает обе задачи в каждом PR — сливайте только когда зелёный.

Вклад в проект

PR приветствуются. Быстрый путь:

git checkout -b feat/my-change
# …
bash scripts/ci-local.sh              # запускает те же проверки, что и CI
bash scripts/ci-local.sh --fast       # только typecheck + юнит, без Docker
git push -u origin feat/my-change
gh pr create --base dev

Ветвление: фича → dev → master. CI должен пройти перед слиянием.

Лицензия

Лицензия Apache 2.0 — та же лицензия, что у Kubernetes, Terraform, Kafka. Используйте в коммерческих целях, модифицируйте, вендорите; пожалуйста, не выдавайте Conduit за свою собственную работу.

Ссылки

• Сайт: getconduit.vercel.app
• Безопасность: SECURITY.md
• Запуск с LiteLLM: docs/run-with-litellm.md
• Руководство по установке: INSTALL.md