Gateway
Every model request, as local as possible.Jede Modellanfrage, so lokal wie möglich.
Built on LiteLLM: unmodified. [Produktname] adds a setup agent (available) that configures it from two settings.Gebaut auf LiteLLM: unverändert. [Produktname] ergänzt einen Setup-Agenten (Verfügbar), der es aus zwei Einstellungen konfiguriert.
Every model request (from agents, apps and coding agents) goes through the gateway. You choose exactly two things, nothing else: data residency and cost. The setup agent turns them into LiteLLM configuration: it finds your models, tags them by residency, sets prices, and routes by cost within the residency you allow, with fallbacks and virtual keys.Jede Modellanfrage (von Agenten, Apps und Coding-Agenten) läuft durch das Gateway. Sie wählen genau zwei Dinge, sonst nichts: Datenresidenz und Kosten. Der Setup-Agent macht daraus LiteLLM-Konfiguration: Er erkennt Ihre Modelle, markiert sie nach Residenz, setzt Preise und routet nach Kosten innerhalb der erlaubten Residenz, mit Ausweichzielen und virtuellen Schlüsseln.
Core: AvailableKern: VerfügbarResidency & cost setup agent: AvailableResidenz- & Kosten-Setup-Agent: Verfügbar
Regions follow data-protection regimes, not maps. Adequacy lists change: the gateway ships a dated list; not legal advice.Regionen folgen Datenschutz-Rechtsräumen, nicht Landkarten. Angemessenheitslisten ändern sich: das Gateway liefert eine datierte Liste; keine Rechtsberatung.
Routed to: Local GPU model. 4 of 7 targets satisfy “EU/EEA (GDPR)”. Balanced: the larger open model on your own GPUs, strong answers on hardware you already pay for. Fallback if it is busy: In-country provider.Ziel: Lokales GPU-Modell. 4 von 7 Zielen erfüllen „EU/EWR (DSGVO)“. Ausgewogen: das größere offene Modell auf Ihren eigenen GPUs, starke Antworten auf Hardware, die Sie ohnehin bezahlen. Ausweichziel bei Auslastung: Anbieter im Inland.
Routed to: Local CPU model. 2 of 7 targets satisfy “Own infrastructure”. Lowest cost: a small open model on CPU capacity you already run, no per-token spend. Fallback if it is busy: Local GPU model.Ziel: Lokales CPU-Modell. 2 von 7 Zielen erfüllen „Eigene Infrastruktur“. Niedrigste Kosten: ein kleines offenes Modell auf CPU-Kapazität, die Sie ohnehin betreiben, keine Kosten pro Token. Ausweichziel bei Auslastung: Lokales GPU-Modell.
Routed to: Local GPU model. 2 of 7 targets satisfy “Own infrastructure”. Balanced: the larger open model on your own GPUs, strong answers on hardware you already pay for. Fallback if it is busy: Local CPU model.Ziel: Lokales GPU-Modell. 2 von 7 Zielen erfüllen „Eigene Infrastruktur“. Ausgewogen: das größere offene Modell auf Ihren eigenen GPUs, starke Antworten auf Hardware, die Sie ohnehin bezahlen. Ausweichziel bei Auslastung: Lokales CPU-Modell.
Routed to: Local GPU model. 2 of 7 targets satisfy “Own infrastructure”. Best quality within budget: the strongest model allowed here is the one on your own GPUs. Fallback if it is busy: Local CPU model.Ziel: Lokales GPU-Modell. 2 von 7 Zielen erfüllen „Eigene Infrastruktur“. Beste Qualität im Budget: Das stärkste hier zulässige Modell ist das auf Ihren eigenen GPUs. Ausweichziel bei Auslastung: Lokales CPU-Modell.
Routed to: Local CPU model. 3 of 7 targets satisfy “Country (e.g. AT, DE, CH)”. Lowest cost: a small open model on CPU capacity you already run, no per-token spend. Fallback if it is busy: Local GPU model.Ziel: Lokales CPU-Modell. 3 von 7 Zielen erfüllen „Land (z. B. AT, DE, CH)“. Niedrigste Kosten: ein kleines offenes Modell auf CPU-Kapazität, die Sie ohnehin betreiben, keine Kosten pro Token. Ausweichziel bei Auslastung: Lokales GPU-Modell.
Routed to: Local GPU model. 3 of 7 targets satisfy “Country (e.g. AT, DE, CH)”. Balanced: the larger open model on your own GPUs, strong answers on hardware you already pay for. Fallback if it is busy: In-country provider.Ziel: Lokales GPU-Modell. 3 von 7 Zielen erfüllen „Land (z. B. AT, DE, CH)“. Ausgewogen: das größere offene Modell auf Ihren eigenen GPUs, starke Antworten auf Hardware, die Sie ohnehin bezahlen. Ausweichziel bei Auslastung: Anbieter im Inland.
Routed to: In-country provider. 3 of 7 targets satisfy “Country (e.g. AT, DE, CH)”. Best quality within budget: a larger model from an approved provider in your country, capped by the key’s budget. Fallback if it is busy: Local GPU model.Ziel: Anbieter im Inland. 3 von 7 Zielen erfüllen „Land (z. B. AT, DE, CH)“. Beste Qualität im Budget: ein größeres Modell eines freigegebenen Anbieters in Ihrem Land, begrenzt durch das Budget des Schlüssels. Ausweichziel bei Auslastung: Lokales GPU-Modell.
Routed to: Local CPU model. 4 of 7 targets satisfy “EU/EEA (GDPR)”. Lowest cost: a small open model on CPU capacity you already run, no per-token spend. Fallback if it is busy: Local GPU model.Ziel: Lokales CPU-Modell. 4 von 7 Zielen erfüllen „EU/EWR (DSGVO)“. Niedrigste Kosten: ein kleines offenes Modell auf CPU-Kapazität, die Sie ohnehin betreiben, keine Kosten pro Token. Ausweichziel bei Auslastung: Lokales GPU-Modell.
Routed to: Local GPU model. 4 of 7 targets satisfy “EU/EEA (GDPR)”. Balanced: the larger open model on your own GPUs, strong answers on hardware you already pay for. Fallback if it is busy: In-country provider.Ziel: Lokales GPU-Modell. 4 von 7 Zielen erfüllen „EU/EWR (DSGVO)“. Ausgewogen: das größere offene Modell auf Ihren eigenen GPUs, starke Antworten auf Hardware, die Sie ohnehin bezahlen. Ausweichziel bei Auslastung: Anbieter im Inland.
Routed to: EU/EEA provider. 4 of 7 targets satisfy “EU/EEA (GDPR)”. Best quality within budget: a larger model from an approved provider inside the EU/EEA, capped by the key’s budget. Fallback if it is busy: In-country provider.Ziel: EU/EWR-Anbieter. 4 von 7 Zielen erfüllen „EU/EWR (DSGVO)“. Beste Qualität im Budget: ein größeres Modell eines freigegebenen Anbieters in der EU bzw. im EWR, begrenzt durch das Budget des Schlüssels. Ausweichziel bei Auslastung: Anbieter im Inland.
Routed to: Local CPU model. 5 of 7 targets satisfy “EU/EEA + adequate countries”. Lowest cost: a small open model on CPU capacity you already run, no per-token spend. Fallback if it is busy: Local GPU model.Ziel: Lokales CPU-Modell. 5 von 7 Zielen erfüllen „EU/EWR + angemessene Länder“. Niedrigste Kosten: ein kleines offenes Modell auf CPU-Kapazität, die Sie ohnehin betreiben, keine Kosten pro Token. Ausweichziel bei Auslastung: Lokales GPU-Modell.
Routed to: Local GPU model. 5 of 7 targets satisfy “EU/EEA + adequate countries”. Balanced: the larger open model on your own GPUs, strong answers on hardware you already pay for. Fallback if it is busy: In-country provider.Ziel: Lokales GPU-Modell. 5 von 7 Zielen erfüllen „EU/EWR + angemessene Länder“. Ausgewogen: das größere offene Modell auf Ihren eigenen GPUs, starke Antworten auf Hardware, die Sie ohnehin bezahlen. Ausweichziel bei Auslastung: Anbieter im Inland.
Routed to: Adequate-country provider. 5 of 7 targets satisfy “EU/EEA + adequate countries”. Best quality within budget: a larger model from an approved provider in an adequate country, capped by the key’s budget. Fallback if it is busy: EU/EEA provider.Ziel: Anbieter in angemessenem Land. 5 von 7 Zielen erfüllen „EU/EWR + angemessene Länder“. Beste Qualität im Budget: ein größeres Modell eines freigegebenen Anbieters in einem angemessenen Land, begrenzt durch das Budget des Schlüssels. Ausweichziel bei Auslastung: EU/EWR-Anbieter.
Routed to: Local CPU model. 6 of 7 targets satisfy “United States (EU-US DPF certified only)”. Lowest cost: a small open model on CPU capacity you already run, no per-token spend. Fallback if it is busy: Local GPU model.Ziel: Lokales CPU-Modell. 6 von 7 Zielen erfüllen „USA (nur EU-US-DPF-zertifiziert)“. Niedrigste Kosten: ein kleines offenes Modell auf CPU-Kapazität, die Sie ohnehin betreiben, keine Kosten pro Token. Ausweichziel bei Auslastung: Lokales GPU-Modell.
Routed to: Local GPU model. 6 of 7 targets satisfy “United States (EU-US DPF certified only)”. Balanced: the larger open model on your own GPUs, strong answers on hardware you already pay for. Fallback if it is busy: In-country provider.Ziel: Lokales GPU-Modell. 6 von 7 Zielen erfüllen „USA (nur EU-US-DPF-zertifiziert)“. Ausgewogen: das größere offene Modell auf Ihren eigenen GPUs, starke Antworten auf Hardware, die Sie ohnehin bezahlen. Ausweichziel bei Auslastung: Anbieter im Inland.
Routed to: US provider, DPF-certified. 6 of 7 targets satisfy “United States (EU-US DPF certified only)”. Best quality within budget: the strongest approved model from a DPF-certified US provider, as long as the key’s budget allows it. Fallback if it is busy: Adequate-country provider.Ziel: US-Anbieter, DPF-zertifiziert. 6 von 7 Zielen erfüllen „USA (nur EU-US-DPF-zertifiziert)“. Beste Qualität im Budget: das stärkste freigegebene Modell eines DPF-zertifizierten US-Anbieters, solange das Budget des Schlüssels es erlaubt. Ausweichziel bei Auslastung: Anbieter in angemessenem Land.
Routed to: Local CPU model. 7 of 7 targets satisfy “Any approved provider”. Lowest cost: a small open model on CPU capacity you already run, no per-token spend. Fallback if it is busy: Local GPU model.Ziel: Lokales CPU-Modell. 7 von 7 Zielen erfüllen „Jeder freigegebene Anbieter“. Niedrigste Kosten: ein kleines offenes Modell auf CPU-Kapazität, die Sie ohnehin betreiben, keine Kosten pro Token. Ausweichziel bei Auslastung: Lokales GPU-Modell.
Routed to: Local GPU model. 7 of 7 targets satisfy “Any approved provider”. Balanced: the larger open model on your own GPUs, strong answers on hardware you already pay for. Fallback if it is busy: In-country provider.Ziel: Lokales GPU-Modell. 7 von 7 Zielen erfüllen „Jeder freigegebene Anbieter“. Ausgewogen: das größere offene Modell auf Ihren eigenen GPUs, starke Antworten auf Hardware, die Sie ohnehin bezahlen. Ausweichziel bei Auslastung: Anbieter im Inland.
Routed to: US provider, DPF-certified. 7 of 7 targets satisfy “Any approved provider”. Best quality within budget: the strongest approved model from a DPF-certified US provider, as long as the key’s budget allows it. Fallback if it is busy: Other approved provider.Ziel: US-Anbieter, DPF-zertifiziert. 7 von 7 Zielen erfüllen „Jeder freigegebene Anbieter“. Beste Qualität im Budget: das stärkste freigegebene Modell eines DPF-zertifizierten US-Anbieters, solange das Budget des Schlüssels es erlaubt. Ausweichziel bei Auslastung: Anderer freigegebener Anbieter.
Illustrative sample: shows how the two settings will behave; not a live system and not a benchmark.Illustratives Beispiel: zeigt, wie die zwei Einstellungen wirken werden; kein Live-System und kein Benchmark.
Residency options: data-protection regimesResidenz-Optionen: Datenschutz-Rechtsräume
Residency: AvailableResidenz: VerfügbarCost routing: AvailableKosten-Routing: Verfügbar
The full list the setup agent is meant to offer. The demo above shows a selection; Asia-Pacific and China are handled per regime.Die vollständige Liste, die der Setup-Agent anbieten soll. Die Demo oben zeigt eine Auswahl; Asien-Pazifik und China werden je Rechtsraum behandelt.
- Own infrastructureEigene InfrastrukturYour own clusters and GPUs only.Nur Ihre eigenen Cluster und GPUs.
- Country (e.g. AT, DE, CH)Land (z. B. AT, DE, CH)One named country, for data that must not leave it.Ein bestimmtes Land, für Daten, die es nicht verlassen dürfen.
- EU/EEA (GDPR)EU/EWR (DSGVO)The GDPR area as a whole.Der DSGVO-Raum als Ganzes.
- EU/EEA + adequate countriesEU/EWR + angemessene LänderEU/EEA plus countries with an EU adequacy decision (e.g. Switzerland, UK, Japan, South Korea, Canada).EU/EWR plus Länder mit EU-Angemessenheitsbeschluss (z. B. Schweiz, UK, Japan, Südkorea, Kanada).
- United States (EU-US DPF certified only)USA (nur EU-US-DPF-zertifiziert)Only providers certified under the EU-US Data Privacy Framework.Nur Anbieter mit Zertifizierung nach dem EU-US Data Privacy Framework.
- Asia-Pacific, per regimeAsien-Pazifik, je RechtsraumSelected per regime: Singapore PDPA, Japan APPI, South Korea PIPA, India DPDP, Australia (Privacy Act).Je Rechtsraum wählbar: Singapur PDPA, Japan APPI, Südkorea PIPA, Indien DPDP, Australien (Privacy Act).
- China (PIPL)China (PIPL)Kept separate because of data-localisation rules, never mixed with other regimes.Wegen Lokalisierungsvorschriften getrennt geführt, nie mit anderen Rechtsräumen gemischt.
- Any approved providerJeder freigegebene AnbieterEvery provider your team approved, wherever it hosts.Jeder vom Team freigegebene Anbieter, wo auch immer er hostet.
Regions follow data-protection regimes, not maps. Adequacy lists change: the gateway ships a dated list; not legal advice.Regionen folgen Datenschutz-Rechtsräumen, nicht Landkarten. Angemessenheitslisten ändern sich: das Gateway liefert eine datierte Liste; keine Rechtsberatung.
Model endpointsModell-Endpunkte
Beyond your own hardware, in a fixed order.Über die eigene Hardware hinaus, in fester Reihenfolge.
- AvailableVerfügbar
Exoscale Dedicated InferenceExoscale Dedicated Inference
Open-weight models on dedicated GPUs in European data centers, with tool calling, routed right after your own infrastructure.Open-Weight-Modelle auf dedizierten GPUs in europäischen Rechenzentren, mit Tool-Calling, direkt nach Ihrer eigenen Infrastruktur geroutet.
LimitationsEinschränkungen
One deployment (Frankfurt, de-fra-1, Qwen3.8-27B) wired into the dev cluster; the Vienna endpoint is still a placeholder. A dedicated GPU deployment is billed while it runs, whether used or not.Eine Bereitstellung (Frankfurt, de-fra-1, Qwen3.8-27B) im Dev-Cluster angebunden; der Wiener Endpunkt ist noch ein Platzhalter. Eine dedizierte GPU-Bereitstellung kostet, solange sie läuft: ob genutzt oder nicht.
- AvailableVerfügbar
Approved global modelsFreigegebene globale Modelle
Where your policy allows it, approved global models via OpenRouter, always after your own and EU endpoints. These requests leave the EU.Wo Ihre Richtlinie es erlaubt, freigegebene globale Modelle über OpenRouter, immer nach eigenen und EU-Endpunkten. Diese Anfragen verlassen die EU.
LimitationsEinschränkungen
Not EU: requests leave the EU and the serving providers may be hosted in China or the US. Only offered when the residency policy allows approved non-EU providers; locality-first ordering tries own infrastructure and Exoscale first.Nicht EU: Anfragen verlassen die EU, die ausführenden Anbieter können in China oder den USA sitzen. Nur verfügbar, wenn die Residenz-Richtlinie freigegebene Nicht-EU-Anbieter erlaubt; „lokal zuerst“ versucht zuerst eigene Infrastruktur und Exoscale.
Coding agentsCoding-Agenten
OpenCode, Claude Code and Codex, on the same gateway, tracked per user.OpenCode, Claude Code und Codex, über dasselbe Gateway, erfasst pro Nutzer.
- AvailableVerfügbar
Gateway keys for users and groupsGateway-Schlüssel für Nutzer und Gruppen
Tenant admins grant coding-agent access to a user or a group: allowed models (residency-aware), a monthly budget per user, an expiry. Every user gets their own virtual key and downloads a ready profile for OpenCode, Claude Code (Anthropic-compatible /v1/messages) or Codex, or sets routing and session recording up in one go with Watchdog. Spend lands per user, group and grant in governance; revoking a grant or removing someone from the group blocks the key at the gateway.Mandanten-Admins geben Coding-Agent-Zugang an einen Nutzer oder eine Gruppe frei: erlaubte Modelle (residenzbewusst), ein Monatsbudget pro Nutzer, ein Ablaufdatum. Jeder Nutzer erhält einen eigenen virtuellen Schlüssel und lädt ein fertiges Profil für OpenCode, Claude Code (Anthropic-kompatibel über /v1/messages) oder Codex, oder richtet Routing und Sitzungsaufzeichnung mit Watchdog in einem Schritt ein. Der Verbrauch landet pro Nutzer, Gruppe und Freigabe in der Governance; ein Widerruf oder das Entfernen aus der Gruppe sperrt den Schlüssel am Gateway.
LimitationsEinschränkungen
Cluster: the public route (Ingress litellm-public, /llm/v1 on oap.exoscale.cloud) and CODING_AGENT_GATEWAY_URL are prepared in tailnet gitops but not deployed (docs/platform/runbooks/coding-agents-public-gateway.md); until then the cluster page shows no public gateway URL. OpenCode setup proven on macOS with an installed OpenCode: the install branch (brew / official script / npm) and the Windows PowerShell script have not been executed in a test run; an existing opencode.json is backed up and replaced, not merged. The one-time link needs EVENT_SECRETS_KEY (else only the direct download). The Codex CLI profile is generated and unit-tested but the codex CLI itself has not answered through the gateway in a test run. Allowed clients only select the offered profiles; the gateway does not tell clients apart. LiteLLM OSS does not let the scoped credential change a key's budget: grant changes apply to newly issued keys (rotate). Removal from a group or the tenant revokes the key on the next sweep (default 2 min) or page load. Watchdog attribution needs the Watchdog CLI (not published on npm) and its gateway logger.Cluster: Die öffentliche Route (Ingress litellm-public, /llm/v1 auf oap.exoscale.cloud) und CODING_AGENT_GATEWAY_URL liegen in den Tailnet-gitops, sind aber nicht ausgerollt (docs/platform/runbooks/coding-agents-public-gateway.md); bis dahin zeigt die Cluster-Seite keine öffentliche Gateway-URL. OpenCode-Einrichtung auf macOS mit installiertem OpenCode erprobt: der Installationszweig (brew / offizielles Skript / npm) und das Windows-PowerShell-Skript liefen noch in keinem Test; eine vorhandene opencode.json wird gesichert und ersetzt, nicht zusammengeführt. Der Einmal-Link braucht EVENT_SECRETS_KEY (sonst nur der direkte Download). Das Codex-Profil wird erzeugt und ist unit-getestet, die Codex-CLI selbst hat in einem Testlauf noch nicht über das Gateway geantwortet. „Erlaubte Clients“ steuert nur die angebotenen Profile; das Gateway unterscheidet Clients nicht. LiteLLM OSS erlaubt dem eingeschränkten Admin-Schlüssel keine Budgetänderung bestehender Schlüssel: Änderungen gelten für neu ausgegebene Schlüssel (rotieren). Das Entfernen aus Gruppe oder Mandant widerruft den Schlüssel beim nächsten Abgleich (Standard 2 min) oder Seitenaufruf. Watchdog-Zuordnung braucht die Watchdog-CLI (nicht auf npm veröffentlicht) und deren Gateway-Logger.
Underneath, from LiteLLM: available todayDarunter, von LiteLLM: heute verfügbar
AvailableVerfügbar- OpenAI- & Anthropic-compatible endpointsOpenAI- & Anthropic-kompatible EndpunktePoint existing SDKs and tools at one URL.Bestehende SDKs und Tools auf eine URL richten.
- Virtual keys with scopesVirtuelle Schlüssel mit ScopesPer team, app or developer, revocable, model allow-lists.Pro Team, App oder Entwickler, widerrufbar, mit Modell-Allowlist.
- BudgetsBudgetsCaps per key, user and tenant.Obergrenzen pro Schlüssel, Nutzer und Mandant.
- Spend trackingKostenerfassungToken usage attributed to whoever caused it.Token-Verbrauch dem Verursacher zugeordnet.
- AuditAuditKey and policy changes are recorded.Schlüssel- und Richtlinienänderungen werden protokolliert.
Installer support · coding CLIs & harnessesInstaller-Unterstützung · Coding-CLIs & Harnesses
AvailableVerfügbar- Claude CodeClaude CodeRouting: automaticRouting: automatischRecording: automaticAufzeichnung: automatisch
- OpenAI Codex CLIOpenAI Codex CLIRouting: automaticRouting: automatischRecording: automaticAufzeichnung: automatisch
- Gemini CLIGemini CLIRouting: automaticRouting: automatischRecording: automaticAufzeichnung: automatisch
- OpenCodeOpenCodeRouting: automaticRouting: automatischRecording: automaticAufzeichnung: automatisch
- AiderAiderRouting: automaticRouting: automatischRecording: automaticAufzeichnung: automatisch
- ContinueContinueRouting: automaticRouting: automatischRecording: automaticAufzeichnung: automatisch
- Grok CLI (community)Grok CLI (Community)Routing: automaticRouting: automatischRecording: automaticAufzeichnung: automatisch
- CursorCursorRouting: manual stepsRouting: manuelle SchritteRecording: automaticAufzeichnung: automatisch
- Any OpenAI-/Anthropic-compatible clientJeder OpenAI-/Anthropic-kompatible ClientRouting: manual stepsRouting: manuelle SchritteRecording: automaticAufzeichnung: automatisch
Routing automatic: the installer configures the tool to use the gateway itself. Manual steps: it prints a base URL and key to paste. Recording: whether watchdog recording is switched on too. The installer is not published to npm yet. Select a tool to see its one-prompt install.Routing automatisch: Der Installer richtet das Tool selbst auf das Gateway ein. Manuelle Schritte: Er gibt Basis-URL und Schlüssel zum Einfügen aus. Aufzeichnung: ob auch die Watchdog-Aufzeichnung eingeschaltet wird. Der Installer ist noch nicht auf npm veröffentlicht. Tool wählen, um die Ein-Prompt-Installation zu sehen. Claude Code speaks the Anthropic protocol, so it is routed through the gateway’s Anthropic-compatible endpoint; the other tools use the OpenAI-compatible one. Residency and cost settings apply either way.Claude Code spricht das Anthropic-Protokoll und wird daher über den Anthropic-kompatiblen Endpunkt des Gateways geroutet; die anderen Tools nutzen den OpenAI-kompatiblen. Residenz- und Kosten-Einstellungen gelten in beiden Fällen.
Continue withWeiter mit
- PlatformPlattformBuild, govern and run AI agents.KI-Agenten bauen, steuern und betreiben.
- WatchdogWatchdogSee what coding agents do on developer machines.Sehen, was Coding-Agenten auf Entwicklerrechnern tun.
- InstallInstallierenOne prompt on, one command off.Ein Prompt an, ein Befehl aus.
- FoundationFoundationPlanned neutral steward, local operators.Geplanter neutraler Treuhänder, lokale Betreiber.