Gateway

Every model request, as local as possible.Jede Modellanfrage, so lokal wie möglich.

Built on LiteLLM: unmodified. [Produktname] adds a setup agent (available) that configures it from two settings.Gebaut auf LiteLLM: unverändert. [Produktname] ergänzt einen Setup-Agenten (Verfügbar), der es aus zwei Einstellungen konfiguriert.

Every model request (from agents, apps and coding agents) goes through the gateway. You choose exactly two things, nothing else: data residency and cost. The setup agent turns them into LiteLLM configuration: it finds your models, tags them by residency, sets prices, and routes by cost within the residency you allow, with fallbacks and virtual keys.Jede Modellanfrage (von Agenten, Apps und Coding-Agenten) läuft durch das Gateway. Sie wählen genau zwei Dinge, sonst nichts: Datenresidenz und Kosten. Der Setup-Agent macht daraus LiteLLM-Konfiguration: Er erkennt Ihre Modelle, markiert sie nach Residenz, setzt Preise und routet nach Kosten innerhalb der erlaubten Residenz, mit Ausweichzielen und virtuellen Schlüsseln.

Core: AvailableKern: VerfügbarResidency & cost setup agent: AvailableResidenz- & Kosten-Setup-Agent: Verfügbar

Routing policyRouting-Richtlinie

AvailableVerfügbarIllustrativeIllustration
1 · Data residency1 · Datenresidenz
2 · Cost2 · Kosten

Regions follow data-protection regimes, not maps. Adequacy lists change: the gateway ships a dated list; not legal advice.Regionen folgen Datenschutz-Rechtsräumen, nicht Landkarten. Angemessenheitslisten ändern sich: das Gateway liefert eine datierte Liste; keine Rechtsberatung.

Routed to: Local GPU model. 4 of 7 targets satisfy “EU/EEA (GDPR)”. Balanced: the larger open model on your own GPUs, strong answers on hardware you already pay for. Fallback if it is busy: In-country provider.Ziel: Lokales GPU-Modell. 4 von 7 Zielen erfüllen „EU/EWR (DSGVO)“. Ausgewogen: das größere offene Modell auf Ihren eigenen GPUs, starke Antworten auf Hardware, die Sie ohnehin bezahlen. Ausweichziel bei Auslastung: Anbieter im Inland.

Illustrative sample: shows how the two settings will behave; not a live system and not a benchmark.Illustratives Beispiel: zeigt, wie die zwei Einstellungen wirken werden; kein Live-System und kein Benchmark.

Residency options: data-protection regimesResidenz-Optionen: Datenschutz-Rechtsräume

Residency: AvailableResidenz: VerfügbarCost routing: AvailableKosten-Routing: Verfügbar

The full list the setup agent is meant to offer. The demo above shows a selection; Asia-Pacific and China are handled per regime.Die vollständige Liste, die der Setup-Agent anbieten soll. Die Demo oben zeigt eine Auswahl; Asien-Pazifik und China werden je Rechtsraum behandelt.

  • Own infrastructureEigene InfrastrukturYour own clusters and GPUs only.Nur Ihre eigenen Cluster und GPUs.
  • Country (e.g. AT, DE, CH)Land (z. B. AT, DE, CH)One named country, for data that must not leave it.Ein bestimmtes Land, für Daten, die es nicht verlassen dürfen.
  • EU/EEA (GDPR)EU/EWR (DSGVO)The GDPR area as a whole.Der DSGVO-Raum als Ganzes.
  • EU/EEA + adequate countriesEU/EWR + angemessene LänderEU/EEA plus countries with an EU adequacy decision (e.g. Switzerland, UK, Japan, South Korea, Canada).EU/EWR plus Länder mit EU-Angemessenheitsbeschluss (z. B. Schweiz, UK, Japan, Südkorea, Kanada).
  • United States (EU-US DPF certified only)USA (nur EU-US-DPF-zertifiziert)Only providers certified under the EU-US Data Privacy Framework.Nur Anbieter mit Zertifizierung nach dem EU-US Data Privacy Framework.
  • Asia-Pacific, per regimeAsien-Pazifik, je RechtsraumSelected per regime: Singapore PDPA, Japan APPI, South Korea PIPA, India DPDP, Australia (Privacy Act).Je Rechtsraum wählbar: Singapur PDPA, Japan APPI, Südkorea PIPA, Indien DPDP, Australien (Privacy Act).Not in the demoNicht in der DemoAvailableVerfügbar
  • China (PIPL)China (PIPL)Kept separate because of data-localisation rules, never mixed with other regimes.Wegen Lokalisierungsvorschriften getrennt geführt, nie mit anderen Rechtsräumen gemischt.Not in the demoNicht in der DemoPreviewVorschau
  • Any approved providerJeder freigegebene AnbieterEvery provider your team approved, wherever it hosts.Jeder vom Team freigegebene Anbieter, wo auch immer er hostet.

Regions follow data-protection regimes, not maps. Adequacy lists change: the gateway ships a dated list; not legal advice.Regionen folgen Datenschutz-Rechtsräumen, nicht Landkarten. Angemessenheitslisten ändern sich: das Gateway liefert eine datierte Liste; keine Rechtsberatung.

Model endpointsModell-Endpunkte

Beyond your own hardware, in a fixed order.Über die eigene Hardware hinaus, in fester Reihenfolge.

  • AvailableVerfügbar

    Exoscale Dedicated InferenceExoscale Dedicated Inference

    Open-weight models on dedicated GPUs in European data centers, with tool calling, routed right after your own infrastructure.Open-Weight-Modelle auf dedizierten GPUs in europäischen Rechenzentren, mit Tool-Calling, direkt nach Ihrer eigenen Infrastruktur geroutet.

    LimitationsEinschränkungen

    One deployment (Frankfurt, de-fra-1, Qwen3.8-27B) wired into the dev cluster; the Vienna endpoint is still a placeholder. A dedicated GPU deployment is billed while it runs, whether used or not.Eine Bereitstellung (Frankfurt, de-fra-1, Qwen3.8-27B) im Dev-Cluster angebunden; der Wiener Endpunkt ist noch ein Platzhalter. Eine dedizierte GPU-Bereitstellung kostet, solange sie läuft: ob genutzt oder nicht.

  • AvailableVerfügbar

    Approved global modelsFreigegebene globale Modelle

    Where your policy allows it, approved global models via OpenRouter, always after your own and EU endpoints. These requests leave the EU.Wo Ihre Richtlinie es erlaubt, freigegebene globale Modelle über OpenRouter, immer nach eigenen und EU-Endpunkten. Diese Anfragen verlassen die EU.

    LimitationsEinschränkungen

    Not EU: requests leave the EU and the serving providers may be hosted in China or the US. Only offered when the residency policy allows approved non-EU providers; locality-first ordering tries own infrastructure and Exoscale first.Nicht EU: Anfragen verlassen die EU, die ausführenden Anbieter können in China oder den USA sitzen. Nur verfügbar, wenn die Residenz-Richtlinie freigegebene Nicht-EU-Anbieter erlaubt; „lokal zuerst“ versucht zuerst eigene Infrastruktur und Exoscale.

Coding agentsCoding-Agenten

OpenCode, Claude Code and Codex, on the same gateway, tracked per user.OpenCode, Claude Code und Codex, über dasselbe Gateway, erfasst pro Nutzer.

  • AvailableVerfügbar

    Gateway keys for users and groupsGateway-Schlüssel für Nutzer und Gruppen

    Tenant admins grant coding-agent access to a user or a group: allowed models (residency-aware), a monthly budget per user, an expiry. Every user gets their own virtual key and downloads a ready profile for OpenCode, Claude Code (Anthropic-compatible /v1/messages) or Codex, or sets routing and session recording up in one go with Watchdog. Spend lands per user, group and grant in governance; revoking a grant or removing someone from the group blocks the key at the gateway.Mandanten-Admins geben Coding-Agent-Zugang an einen Nutzer oder eine Gruppe frei: erlaubte Modelle (residenzbewusst), ein Monatsbudget pro Nutzer, ein Ablaufdatum. Jeder Nutzer erhält einen eigenen virtuellen Schlüssel und lädt ein fertiges Profil für OpenCode, Claude Code (Anthropic-kompatibel über /v1/messages) oder Codex, oder richtet Routing und Sitzungsaufzeichnung mit Watchdog in einem Schritt ein. Der Verbrauch landet pro Nutzer, Gruppe und Freigabe in der Governance; ein Widerruf oder das Entfernen aus der Gruppe sperrt den Schlüssel am Gateway.

    LimitationsEinschränkungen

    Cluster: the public route (Ingress litellm-public, /llm/v1 on oap.exoscale.cloud) and CODING_AGENT_GATEWAY_URL are prepared in tailnet gitops but not deployed (docs/platform/runbooks/coding-agents-public-gateway.md); until then the cluster page shows no public gateway URL. OpenCode setup proven on macOS with an installed OpenCode: the install branch (brew / official script / npm) and the Windows PowerShell script have not been executed in a test run; an existing opencode.json is backed up and replaced, not merged. The one-time link needs EVENT_SECRETS_KEY (else only the direct download). The Codex CLI profile is generated and unit-tested but the codex CLI itself has not answered through the gateway in a test run. Allowed clients only select the offered profiles; the gateway does not tell clients apart. LiteLLM OSS does not let the scoped credential change a key's budget: grant changes apply to newly issued keys (rotate). Removal from a group or the tenant revokes the key on the next sweep (default 2 min) or page load. Watchdog attribution needs the Watchdog CLI (not published on npm) and its gateway logger.Cluster: Die öffentliche Route (Ingress litellm-public, /llm/v1 auf oap.exoscale.cloud) und CODING_AGENT_GATEWAY_URL liegen in den Tailnet-gitops, sind aber nicht ausgerollt (docs/platform/runbooks/coding-agents-public-gateway.md); bis dahin zeigt die Cluster-Seite keine öffentliche Gateway-URL. OpenCode-Einrichtung auf macOS mit installiertem OpenCode erprobt: der Installationszweig (brew / offizielles Skript / npm) und das Windows-PowerShell-Skript liefen noch in keinem Test; eine vorhandene opencode.json wird gesichert und ersetzt, nicht zusammengeführt. Der Einmal-Link braucht EVENT_SECRETS_KEY (sonst nur der direkte Download). Das Codex-Profil wird erzeugt und ist unit-getestet, die Codex-CLI selbst hat in einem Testlauf noch nicht über das Gateway geantwortet. „Erlaubte Clients“ steuert nur die angebotenen Profile; das Gateway unterscheidet Clients nicht. LiteLLM OSS erlaubt dem eingeschränkten Admin-Schlüssel keine Budgetänderung bestehender Schlüssel: Änderungen gelten für neu ausgegebene Schlüssel (rotieren). Das Entfernen aus Gruppe oder Mandant widerruft den Schlüssel beim nächsten Abgleich (Standard 2 min) oder Seitenaufruf. Watchdog-Zuordnung braucht die Watchdog-CLI (nicht auf npm veröffentlicht) und deren Gateway-Logger.

Underneath, from LiteLLM: available todayDarunter, von LiteLLM: heute verfügbar

AvailableVerfügbar
  • OpenAI- & Anthropic-compatible endpointsOpenAI- & Anthropic-kompatible EndpunktePoint existing SDKs and tools at one URL.Bestehende SDKs und Tools auf eine URL richten.
  • Virtual keys with scopesVirtuelle Schlüssel mit ScopesPer team, app or developer, revocable, model allow-lists.Pro Team, App oder Entwickler, widerrufbar, mit Modell-Allowlist.
  • BudgetsBudgetsCaps per key, user and tenant.Obergrenzen pro Schlüssel, Nutzer und Mandant.
  • Spend trackingKostenerfassungToken usage attributed to whoever caused it.Token-Verbrauch dem Verursacher zugeordnet.
  • AuditAuditKey and policy changes are recorded.Schlüssel- und Richtlinienänderungen werden protokolliert.

Installer support · coding CLIs & harnessesInstaller-Unterstützung · Coding-CLIs & Harnesses

AvailableVerfügbar

Routing automatic: the installer configures the tool to use the gateway itself. Manual steps: it prints a base URL and key to paste. Recording: whether watchdog recording is switched on too. The installer is not published to npm yet. Select a tool to see its one-prompt install.Routing automatisch: Der Installer richtet das Tool selbst auf das Gateway ein. Manuelle Schritte: Er gibt Basis-URL und Schlüssel zum Einfügen aus. Aufzeichnung: ob auch die Watchdog-Aufzeichnung eingeschaltet wird. Der Installer ist noch nicht auf npm veröffentlicht. Tool wählen, um die Ein-Prompt-Installation zu sehen. Claude Code speaks the Anthropic protocol, so it is routed through the gateway’s Anthropic-compatible endpoint; the other tools use the OpenAI-compatible one. Residency and cost settings apply either way.Claude Code spricht das Anthropic-Protokoll und wird daher über den Anthropic-kompatiblen Endpunkt des Gateways geroutet; die anderen Tools nutzen den OpenAI-kompatiblen. Residenz- und Kosten-Einstellungen gelten in beiden Fällen.