anee769/conduitOn-Prem API-Gateway für KI-Coding-Agenten mit Kostenverteilung pro Entwickler, harten Budgets, Egress-Governance (Scannen von Geheimnissen/Entitäten), Context-Rot-Beobachtbarkeit und prüfbereiten Exporten. Läuft innerhalb Ihrer VPC.
Die On-Prem-Steuerungsebene für KI-Codierungsagenten. Kostenverursachung pro Entwickler · harte Budgets · Egress-Governance · Context-Rot-Beobachtbarkeit · prüfungsbereite Exporte – alles in Ihrer VPC.
Conduit sitzt zwischen Ihren KI-Codierungsagenten (Claude Code, Cursor, Codex, Aider) und dem Provider, den Sie bereits verwenden (Anthropic, OpenAI, Bedrock, Azure – oder Ihrem bestehenden LiteLLM / Portkey-Deployment). Eine Umgebungsvariable zur Übernahme, null Client-Änderungen, Prompts und Completions werden nie gespeichert.
[Claude Code / Cursor / Codex]
│ ANTHROPIC_BASE_URL=https://conduit.yourco.dev
▼
[Conduit] vk_live_… (per-engineer)
│ metering · budgets · governance · audit · context-rot
▼
[LiteLLM / Portkey / direct providers]
│
▼
[Anthropic / OpenAI / Bedrock / Azure]
Übersicht – Ausgaben, Cache-Ersparnisse, Tokens, blockierte Anfragen und Governance-Flags auf einen Blick.
Harte Budgetdurchsetzung – bei Überschreitung des Limits wird am Gateway ein 402 zurückgegeben, bevor die Anfrage den Provider erreicht.
Egress-Governance – eine Anfrage mit einem AWS-Key wird mit einem 451 blockiert; nur die Kategorie wird aufgezeichnet, niemals der Wert.
Aktivität – jede Anfrage mit einem eindeutigen Status: Erfolg · Cache-Treffer · Ratenbegrenzung · Modell blockiert · Budget überschritten · Governance blockiert.
Einstellungen – vollständiges CRUD für Organisation, Provider-Anmeldeinformationen, Teams, Budgets und virtuelle Schlüssel.
Bedrock / Vertex / Azure Private Endpoints + No-Train-BAAs lösen den Kanal zum Anbieter. Sie sagen der Finanzabteilung nicht, wer die 40.000 $ ausgegeben hat, fangen keine Geheimnisse beim Egress ab, geben Prüfern keinen Nachweis und zeigen nicht, wo Context Rot Ihr Token-Budget verbrennt. Das ist die Lücke, die Conduit schließt – ohne jemals Ihre Prompts zu sehen.
Zieht die neuesten signierten Images von GHCR (überprüfbar mit cosign verify, siehe Sicherheitslage).
# 1. Get the compose file + env template (no full clone needed)
curl -fsSL https://raw.githubusercontent.com/anee769/conduit/master/docker-compose.yml -o docker-compose.yml
curl -fsSL https://raw.githubusercontent.com/anee769/conduit/master/.env.example -o .env
# 2. Generate a real master encryption key
sed -i.bak "s|^MASTER_ENCRYPTION_KEY=.*|MASTER_ENCRYPTION_KEY=$(openssl rand -base64 32)|" .env && rm .env.bak
# 3. Pull the signed images + start
docker compose --profile app pull
docker compose --profile app up -d
# 4. Run migrations + seed the pricing book (one-time)
docker exec conduit-gateway-1 pnpm --filter @finops/db db:migrate
docker exec conduit-gateway-1 pnpm --filter @finops/db seed-pricing
# → open http://localhost:3000/setup → create org / credential / team / virtual key
Auf eine bestimmte Version festlegen, indem Sie GATEWAY_IMAGE und CONTROL_PLANE_IMAGE vor up exportieren:
export GATEWAY_IMAGE=ghcr.io/anee769/conduit-gateway:v0.1.0
export CONTROL_PLANE_IMAGE=ghcr.io/anee769/conduit-control-plane:v0.1.0
git clone https://github.com/anee769/conduit && cd conduit
cp .env.example .env
sed -i.bak "s|^MASTER_ENCRYPTION_KEY=.*|MASTER_ENCRYPTION_KEY=$(openssl rand -base64 32)|" .env && rm .env.bak
docker compose --profile app up -d --build
docker exec conduit-gateway-1 pnpm --filter @finops/db db:migrate
docker exec conduit-gateway-1 pnpm --filter @finops/db seed-pricing
export ANTHROPIC_BASE_URL=http://localhost:4000
export ANTHROPIC_AUTH_TOKEN=vk_live_… # virtual key from /setup
claude # or cursor / codex / aider
Vollständige Schritt-für-Schritt-Anleitung in INSTALL.md.
| Sie betreiben heute | Konfigurieren Sie Conduits Upstream als |
|---|---|
| LiteLLM (jedes Modell, jeder Provider) | UPSTREAM_ANTHROPIC_URL=http://litellm:4000 → vollständige Anleitung: docs/run-with-litellm.md |
| Portkey | Richten Sie UPSTREAM_OPENAI_URL / UPSTREAM_ANTHROPIC_URL auf Ihre Portkey-Basis-URL |
| Direct Anthropic / OpenAI | Standard – nichts zu konfigurieren |
| AWS Bedrock | Konfigurieren Sie eine Bedrock-Anmeldeinformation in /setup; Conduit signiert Anfragen mit SigV4 |
| Azure OpenAI | Konfigurieren Sie eine Azure-Anmeldeinformation (Deployment-Name + api-version) in /setup |
| Conduit | LiteLLM | Portkey | Helicone | |
|---|---|---|---|---|
| Open-Source-Lizenz | Apache 2.0 | MIT | Apache 2.0 (gateway) | MIT |
| Läuft vollständig on-premise / in Ihrer VPC | ✅ | ✅ | ✅ (enterprise) | ✅ (self-host) |
| Provider-Routing + Aliasing + Fallback | ✅ (any upstream) | ✅ | ✅ | ❌ |
| Kostenverursachung pro Entwickler (virtuelle Schlüssel mit Namen) | ✅ | partial (master-key shared bills) | ✅ | ✅ (observe-only) |
| Harte Budgets (Fail-Closed 402) | ✅ | partial | ✅ | ❌ |
| Egress-Governance (Geheimnisse + pro-Organisation Entitäts-Zulassungsliste, Alarm→Block) | ✅ | ❌ | ✅ (guardrails) | ❌ |
| Prüfungsbereiter CSV/JSON-Export (nur Metadaten) | ✅ | ❌ | partial | ✅ |
| Context-Rot-Beobachtbarkeit (Kosten- und Fehlerkurve nach Eingabe-Token-Größe) | ✅ | ❌ | ❌ | ❌ |
| Prompts / Completions nie gespeichert | ✅ | logs by default | configurable | logs by default |
| Signierte Releases + CycloneDX-SBOM | ✅ | ❌ | ❌ | ❌ |
| Entwickelt, um über anderen zu liegen | ✅ | n/a | n/a | n/a |
LiteLLM ist hervorragend im Modell-Aliasing und Routing – Conduit fügt die Schicht hinzu, die Ihre Sicherheits- und Finanzteams verlangt haben. Portkey hat die größte Überschneidung, ist aber Closed-Source-Enterprise, sobald Sie Governance + On-Prem benötigen. Helicone ist nur für Beobachtbarkeit (es sagt Ihnen, wohin Tokens gegangen sind; es steuert nicht, wohin sie gehen).
SECURITY.md für die vollständige Sicherheitslage./invoke funktioniert.Conduit läuft vollständig in Ihrer eigenen Cloud – kein Anbieter im Anforderungspfad, kein Phone-Home, luftspaltbar. Siehe SECURITY.md für das Whitepaper (Datenflussdiagramm, was gespeichert wird, Krypto, Fail-Closed-Auth, Compliance-Lage, Bedrohungsmodell).
ghcr.io/anee769/conduit-gateway und ghcr.io/anee769/conduit-control-plane bei jedem v* Git-Tag (siehe .github/workflows/release.yml). Überprüfen Sie jeden veröffentlichten Tag:
cosign verify ghcr.io/anee769/conduit-gateway:<tag> \
--certificate-identity-regexp 'https://github.com/anee769/conduit' \
--certificate-oidc-issuer https://token.actions.githubusercontent.com
bash scripts/sbom.sh.apps/gateway – Hono auf Node, die Datenebene des heißen Pfads. Kein Build-Schritt (tsx). Zero-Dep ClickHouse-Client + ioredis.apps/control-plane – Next.js 15 / React 19 Dashboard + Admin-API + Erstkonfigurations-Assistent /setup.packages/db – Drizzle-Schema, AES-256-GCM-Krypto, Key-Hashing, Preise + Budgets.usage_events) + Redis (Cache + Ratenbegrenzungen + Live-Budgetzähler).Request lifecycle (apps/gateway/src/routes/proxy.ts):
auth (vk) → rate limit → model allow-list → budget check
→ governance scan (T1 secrets + T2-lite entities)
→ cache lookup → resolve credential → adapter.prepare()
→ forward + tee stream (client untouched; meter branch in background)
bash scripts/run-tests.sh # vollständige Unit- + Live-System-Suite (72 Tests)
bash scripts/run-tests.sh --unit-only # reine Logik, kein Docker-Stack erforderlich
pwsh scripts/run-tests.ps1 # Windows-Äquivalent
CI (.github/workflows/ci.yml) führt beide Jobs bei jedem PR aus – nur zusammenführen, wenn grün.
PRs willkommen. Schneller Pfad:
git checkout -b feat/my-change
# …
bash scripts/ci-local.sh # führt die gleichen Prüfungen aus wie CI
bash scripts/ci-local.sh --fast # nur Typecheck + Unit, ohne Docker
git push -u origin feat/my-change
gh pr create --base dev
Branch-Fluss: Feature → dev → master. CI muss vor dem Zusammenführen bestanden sein.
Apache License 2.0 – dieselbe Lizenz wie Kubernetes, Terraform, Kafka. Nutzen Sie es kommerziell, modifizieren Sie es, binden Sie es ein; geben Sie Conduit bitte nicht als Ihre eigene Arbeit aus.
SECURITY.mddocs/run-with-litellm.mdINSTALL.md