Gateway

Every model request, as local as possible.Jede Modellanfrage, so lokal wie möglich.

Built on LiteLLM — unmodified. [Produktname] adds a setup agent (in development) that configures it from two settings.Gebaut auf LiteLLM — unverändert. [Produktname] ergänzt einen Setup-Agenten (in Entwicklung), der es aus zwei Einstellungen konfiguriert.

Every model request — from agents, apps and coding agents — goes through the gateway. You choose exactly two things, nothing else: data residency and cost. The setup agent turns them into LiteLLM configuration: it finds your models, tags them by residency, sets prices, and routes by cost within the residency you allow — with fallbacks and virtual keys.Jede Modellanfrage — von Agenten, Apps und Coding-Agenten — läuft durch das Gateway. Sie wählen genau zwei Dinge, sonst nichts: Datenresidenz und Kosten. Der Setup-Agent macht daraus LiteLLM-Konfiguration: Er erkennt Ihre Modelle, markiert sie nach Residenz, setzt Preise und routet nach Kosten innerhalb der erlaubten Residenz — mit Ausweichzielen und virtuellen Schlüsseln.

Core: AvailableKern: VerfügbarResidency & cost setup agent: PreviewResidenz- & Kosten-Setup-Agent: Vorschau

Routing policyRouting-Richtlinie

PreviewVorschauIllustrativeIllustration

1 · Data residency1 · DatenresidenzOwn infrastructureEigene InfrastrukturNothing leaves your network.Nichts verlässt Ihr Netz.Country (e.g. AT, DE, CH)Land (z. B. AT, DE, CH)Only providers hosting in your country.Nur Anbieter mit Hosting in Ihrem Land.EU/EEA (GDPR)EU/EWR (DSGVO)Providers hosting inside the EU/EEA.Anbieter mit Hosting in der EU bzw. im EWR.EU/EEA + adequate countriesEU/EWR + angemessene LänderAdds countries with an EU adequacy decision, e.g. Switzerland, UK, Japan, South Korea, Canada.Plus Länder mit EU-Angemessenheitsbeschluss, z. B. Schweiz, UK, Japan, Südkorea, Kanada.United States (EU-US DPF certified only)USA (nur EU-US-DPF-zertifiziert)Adds US providers certified under the EU-US Data Privacy Framework; uncertified ones stay out.Plus US-Anbieter, die nach dem EU-US Data Privacy Framework zertifiziert sind; andere bleiben außen vor.Any approved providerJeder freigegebene AnbieterEvery provider your team approved is eligible.Jeder vom Team freigegebene Anbieter ist zulässig.

2 · Cost2 · KostenLowest costNiedrigste KostenCheapest capable model.Günstigstes geeignetes Modell.BalancedAusgewogenGood quality, sensible spend.Gute Qualität, vernünftige Kosten.Best quality within budgetBeste Qualität im BudgetStrongest eligible model the key’s budget allows.Stärkstes zulässiges Modell, das das Budget des Schlüssels erlaubt.

Regions follow data-protection regimes, not maps. Adequacy lists change — the gateway ships a dated list; not legal advice.Regionen folgen Datenschutz-Rechtsräumen, nicht Landkarten. Angemessenheitslisten ändern sich — das Gateway liefert eine datierte Liste; keine Rechtsberatung.

RequestAnfrageAgent, app or coding agentAgent, App oder Coding-AgentPOST /v1/chat/completionskey: team-dev

Gateway · LiteLLM, unmodifiedGateway · LiteLLM, unverändert

1Residency filterResidenz-FilterEU/EEA (GDPR)EU/EWR (DSGVO)
2Cost choiceKostenwahlBalancedAusgewogen

Configured by the setup agent · keys · budgets · auditVom Setup-Agenten konfiguriert · Schlüssel · Budgets · Audit

Own infrastructureEigene InfrastrukturLocal GPU modelLokales GPU-ModellvLLM on your GPUsvLLM auf Ihren GPUsSelectedGewähltFallbackAusweichNot allowedNicht erlaubt
Own infrastructureEigene InfrastrukturLocal CPU modelLokales CPU-ModellSmall open model via OllamaKleines offenes Modell via OllamaSelectedGewähltFallbackAusweichNot allowedNicht erlaubt
Your countryIhr LandIn-country providerAnbieter im InlandApproved, hosts in your countryFreigegeben, hostet in Ihrem LandSelectedGewähltFallbackAusweichNot allowedNicht erlaubt
EU/EEA · GDPREU/EWR · DSGVOEU/EEA providerEU/EWR-AnbieterApproved, hosts in another EU/EEA countryFreigegeben, hostet in einem anderen EU/EWR-LandSelectedGewähltFallbackAusweichNot allowedNicht erlaubt
EU adequacy decisionEU-AngemessenheitsbeschlussAdequate-country providerAnbieter in angemessenem LandApproved, e.g. hosts in SwitzerlandFreigegeben, z. B. Hosting in der SchweizSelectedGewähltFallbackAusweichNot allowedNicht erlaubt
United States · DPFUSA · DPFUS provider, DPF-certifiedUS-Anbieter, DPF-zertifiziertApproved, EU-US Data Privacy FrameworkFreigegeben, EU-US Data Privacy FrameworkSelectedGewähltFallbackAusweichNot allowedNicht erlaubt
ElsewhereAnderswoOther approved providerAnderer freigegebener AnbieterApproved, no adequacy or DPF basisFreigegeben, ohne Angemessenheit oder DPFSelectedGewähltFallbackAusweichNot allowedNicht erlaubt

Routed to: Local GPU model. 4 of 7 targets satisfy “EU/EEA (GDPR)”. Balanced: the larger open model on your own GPUs — strong answers on hardware you already pay for. Fallback if it is busy: In-country provider.Ziel: Lokales GPU-Modell. 4 von 7 Zielen erfüllen „EU/EWR (DSGVO)“. Ausgewogen: das größere offene Modell auf Ihren eigenen GPUs — starke Antworten auf Hardware, die Sie ohnehin bezahlen. Ausweichziel bei Auslastung: Anbieter im Inland.

Routed to: Local CPU model. 2 of 7 targets satisfy “Own infrastructure”. Lowest cost: a small open model on CPU capacity you already run — no per-token spend. Fallback if it is busy: Local GPU model.Ziel: Lokales CPU-Modell. 2 von 7 Zielen erfüllen „Eigene Infrastruktur“. Niedrigste Kosten: ein kleines offenes Modell auf CPU-Kapazität, die Sie ohnehin betreiben — keine Kosten pro Token. Ausweichziel bei Auslastung: Lokales GPU-Modell.

Routed to: Local GPU model. 2 of 7 targets satisfy “Own infrastructure”. Balanced: the larger open model on your own GPUs — strong answers on hardware you already pay for. Fallback if it is busy: Local CPU model.Ziel: Lokales GPU-Modell. 2 von 7 Zielen erfüllen „Eigene Infrastruktur“. Ausgewogen: das größere offene Modell auf Ihren eigenen GPUs — starke Antworten auf Hardware, die Sie ohnehin bezahlen. Ausweichziel bei Auslastung: Lokales CPU-Modell.

Routed to: Local GPU model. 2 of 7 targets satisfy “Own infrastructure”. Best quality within budget: the strongest model allowed here is the one on your own GPUs. Fallback if it is busy: Local CPU model.Ziel: Lokales GPU-Modell. 2 von 7 Zielen erfüllen „Eigene Infrastruktur“. Beste Qualität im Budget: Das stärkste hier zulässige Modell ist das auf Ihren eigenen GPUs. Ausweichziel bei Auslastung: Lokales CPU-Modell.

Routed to: Local CPU model. 3 of 7 targets satisfy “Country (e.g. AT, DE, CH)”. Lowest cost: a small open model on CPU capacity you already run — no per-token spend. Fallback if it is busy: Local GPU model.Ziel: Lokales CPU-Modell. 3 von 7 Zielen erfüllen „Land (z. B. AT, DE, CH)“. Niedrigste Kosten: ein kleines offenes Modell auf CPU-Kapazität, die Sie ohnehin betreiben — keine Kosten pro Token. Ausweichziel bei Auslastung: Lokales GPU-Modell.

Routed to: Local GPU model. 3 of 7 targets satisfy “Country (e.g. AT, DE, CH)”. Balanced: the larger open model on your own GPUs — strong answers on hardware you already pay for. Fallback if it is busy: In-country provider.Ziel: Lokales GPU-Modell. 3 von 7 Zielen erfüllen „Land (z. B. AT, DE, CH)“. Ausgewogen: das größere offene Modell auf Ihren eigenen GPUs — starke Antworten auf Hardware, die Sie ohnehin bezahlen. Ausweichziel bei Auslastung: Anbieter im Inland.

Routed to: In-country provider. 3 of 7 targets satisfy “Country (e.g. AT, DE, CH)”. Best quality within budget: a larger model from an approved provider in your country, capped by the key’s budget. Fallback if it is busy: Local GPU model.Ziel: Anbieter im Inland. 3 von 7 Zielen erfüllen „Land (z. B. AT, DE, CH)“. Beste Qualität im Budget: ein größeres Modell eines freigegebenen Anbieters in Ihrem Land, begrenzt durch das Budget des Schlüssels. Ausweichziel bei Auslastung: Lokales GPU-Modell.

Routed to: Local CPU model. 4 of 7 targets satisfy “EU/EEA (GDPR)”. Lowest cost: a small open model on CPU capacity you already run — no per-token spend. Fallback if it is busy: Local GPU model.Ziel: Lokales CPU-Modell. 4 von 7 Zielen erfüllen „EU/EWR (DSGVO)“. Niedrigste Kosten: ein kleines offenes Modell auf CPU-Kapazität, die Sie ohnehin betreiben — keine Kosten pro Token. Ausweichziel bei Auslastung: Lokales GPU-Modell.

Routed to: EU/EEA provider. 4 of 7 targets satisfy “EU/EEA (GDPR)”. Best quality within budget: a larger model from an approved provider inside the EU/EEA, capped by the key’s budget. Fallback if it is busy: In-country provider.Ziel: EU/EWR-Anbieter. 4 von 7 Zielen erfüllen „EU/EWR (DSGVO)“. Beste Qualität im Budget: ein größeres Modell eines freigegebenen Anbieters in der EU bzw. im EWR, begrenzt durch das Budget des Schlüssels. Ausweichziel bei Auslastung: Anbieter im Inland.

Routed to: Local CPU model. 5 of 7 targets satisfy “EU/EEA + adequate countries”. Lowest cost: a small open model on CPU capacity you already run — no per-token spend. Fallback if it is busy: Local GPU model.Ziel: Lokales CPU-Modell. 5 von 7 Zielen erfüllen „EU/EWR + angemessene Länder“. Niedrigste Kosten: ein kleines offenes Modell auf CPU-Kapazität, die Sie ohnehin betreiben — keine Kosten pro Token. Ausweichziel bei Auslastung: Lokales GPU-Modell.

Routed to: Local GPU model. 5 of 7 targets satisfy “EU/EEA + adequate countries”. Balanced: the larger open model on your own GPUs — strong answers on hardware you already pay for. Fallback if it is busy: In-country provider.Ziel: Lokales GPU-Modell. 5 von 7 Zielen erfüllen „EU/EWR + angemessene Länder“. Ausgewogen: das größere offene Modell auf Ihren eigenen GPUs — starke Antworten auf Hardware, die Sie ohnehin bezahlen. Ausweichziel bei Auslastung: Anbieter im Inland.

Routed to: Adequate-country provider. 5 of 7 targets satisfy “EU/EEA + adequate countries”. Best quality within budget: a larger model from an approved provider in an adequate country, capped by the key’s budget. Fallback if it is busy: EU/EEA provider.Ziel: Anbieter in angemessenem Land. 5 von 7 Zielen erfüllen „EU/EWR + angemessene Länder“. Beste Qualität im Budget: ein größeres Modell eines freigegebenen Anbieters in einem angemessenen Land, begrenzt durch das Budget des Schlüssels. Ausweichziel bei Auslastung: EU/EWR-Anbieter.

Routed to: Local CPU model. 6 of 7 targets satisfy “United States (EU-US DPF certified only)”. Lowest cost: a small open model on CPU capacity you already run — no per-token spend. Fallback if it is busy: Local GPU model.Ziel: Lokales CPU-Modell. 6 von 7 Zielen erfüllen „USA (nur EU-US-DPF-zertifiziert)“. Niedrigste Kosten: ein kleines offenes Modell auf CPU-Kapazität, die Sie ohnehin betreiben — keine Kosten pro Token. Ausweichziel bei Auslastung: Lokales GPU-Modell.

Routed to: Local GPU model. 6 of 7 targets satisfy “United States (EU-US DPF certified only)”. Balanced: the larger open model on your own GPUs — strong answers on hardware you already pay for. Fallback if it is busy: In-country provider.Ziel: Lokales GPU-Modell. 6 von 7 Zielen erfüllen „USA (nur EU-US-DPF-zertifiziert)“. Ausgewogen: das größere offene Modell auf Ihren eigenen GPUs — starke Antworten auf Hardware, die Sie ohnehin bezahlen. Ausweichziel bei Auslastung: Anbieter im Inland.

Routed to: US provider, DPF-certified. 6 of 7 targets satisfy “United States (EU-US DPF certified only)”. Best quality within budget: the strongest approved model from a DPF-certified US provider, as long as the key’s budget allows it. Fallback if it is busy: Adequate-country provider.Ziel: US-Anbieter, DPF-zertifiziert. 6 von 7 Zielen erfüllen „USA (nur EU-US-DPF-zertifiziert)“. Beste Qualität im Budget: das stärkste freigegebene Modell eines DPF-zertifizierten US-Anbieters, solange das Budget des Schlüssels es erlaubt. Ausweichziel bei Auslastung: Anbieter in angemessenem Land.

Routed to: Local CPU model. 7 of 7 targets satisfy “Any approved provider”. Lowest cost: a small open model on CPU capacity you already run — no per-token spend. Fallback if it is busy: Local GPU model.Ziel: Lokales CPU-Modell. 7 von 7 Zielen erfüllen „Jeder freigegebene Anbieter“. Niedrigste Kosten: ein kleines offenes Modell auf CPU-Kapazität, die Sie ohnehin betreiben — keine Kosten pro Token. Ausweichziel bei Auslastung: Lokales GPU-Modell.

Routed to: Local GPU model. 7 of 7 targets satisfy “Any approved provider”. Balanced: the larger open model on your own GPUs — strong answers on hardware you already pay for. Fallback if it is busy: In-country provider.Ziel: Lokales GPU-Modell. 7 von 7 Zielen erfüllen „Jeder freigegebene Anbieter“. Ausgewogen: das größere offene Modell auf Ihren eigenen GPUs — starke Antworten auf Hardware, die Sie ohnehin bezahlen. Ausweichziel bei Auslastung: Anbieter im Inland.

Routed to: US provider, DPF-certified. 7 of 7 targets satisfy “Any approved provider”. Best quality within budget: the strongest approved model from a DPF-certified US provider, as long as the key’s budget allows it. Fallback if it is busy: Other approved provider.Ziel: US-Anbieter, DPF-zertifiziert. 7 von 7 Zielen erfüllen „Jeder freigegebene Anbieter“. Beste Qualität im Budget: das stärkste freigegebene Modell eines DPF-zertifizierten US-Anbieters, solange das Budget des Schlüssels es erlaubt. Ausweichziel bei Auslastung: Anderer freigegebener Anbieter.

Illustrative sample — shows how the two settings will behave; not a live system and not a benchmark.Illustratives Beispiel — zeigt, wie die zwei Einstellungen wirken werden; kein Live-System und kein Benchmark.

Residency options: data-protection regimesResidenz-Optionen: Datenschutz-Rechtsräume

The full list the setup agent is meant to offer. The demo above shows a selection; Asia-Pacific and China are handled per regime.Die vollständige Liste, die der Setup-Agent anbieten soll. Die Demo oben zeigt eine Auswahl; Asien-Pazifik und China werden je Rechtsraum behandelt.

Own infrastructureEigene InfrastrukturYour own clusters and GPUs only.Nur Ihre eigenen Cluster und GPUs.
Country (e.g. AT, DE, CH)Land (z. B. AT, DE, CH)One named country, for data that must not leave it.Ein bestimmtes Land, für Daten, die es nicht verlassen dürfen.
EU/EEA (GDPR)EU/EWR (DSGVO)The GDPR area as a whole.Der DSGVO-Raum als Ganzes.
EU/EEA + adequate countriesEU/EWR + angemessene LänderEU/EEA plus countries with an EU adequacy decision (e.g. Switzerland, UK, Japan, South Korea, Canada).EU/EWR plus Länder mit EU-Angemessenheitsbeschluss (z. B. Schweiz, UK, Japan, Südkorea, Kanada).
United States (EU-US DPF certified only)USA (nur EU-US-DPF-zertifiziert)Only providers certified under the EU-US Data Privacy Framework.Nur Anbieter mit Zertifizierung nach dem EU-US Data Privacy Framework.
Asia-Pacific, per regimeAsien-Pazifik, je RechtsraumSelected per regime: Singapore PDPA, Japan APPI, South Korea PIPA, India DPDP, Australia (Privacy Act).Je Rechtsraum wählbar: Singapur PDPA, Japan APPI, Südkorea PIPA, Indien DPDP, Australien (Privacy Act).Not in the demoNicht in der DemoPlannedGeplant
China (PIPL)China (PIPL)Kept separate because of data-localisation rules — never mixed with other regimes.Wegen Lokalisierungsvorschriften getrennt geführt — nie mit anderen Rechtsräumen gemischt.Not in the demoNicht in der DemoPlannedGeplant
Any approved providerJeder freigegebene AnbieterEvery provider your team approved, wherever it hosts.Jeder vom Team freigegebene Anbieter, wo auch immer er hostet.

Hosted, but under local lawGehostet, aber nach lokalem RechtPlannedGeplant

Residency is not only about where a server stands. Hosted services are intended to be run by independent local operating companies — e.g. for the EU/EEA, Switzerland, the United States and Asia-Pacific — each under its own jurisdiction, with local operations, local data residency and local legal accountability, while the Take Control Foundation (working name) stewards the open-source project from a neutral jurisdiction. Self-hosting does not depend on any of this.Bei Residenz geht es nicht nur darum, wo ein Server steht. Gehostete Dienste sollen von unabhängigen lokalen Betriebsgesellschaften erbracht werden — z. B. für EU/EWR, Schweiz, USA und Asien-Pazifik —, jede in ihrem eigenen Rechtsraum, mit lokalem Betrieb, lokaler Datenresidenz und lokaler rechtlicher Verantwortung, während die Take Control Foundation (Arbeitsname) das Open-Source-Projekt aus einem neutralen Rechtsraum betreut. Der Selbstbetrieb hängt von nichts davon ab.

Planned — not incorporated; subject to legal review.Geplant — nicht gegründet; unter rechtlichem Prüfvorbehalt. About the planned foundationZur geplanten Foundation

Underneath, from LiteLLM — available todayDarunter, von LiteLLM — heute verfügbar

AvailableVerfügbar

OpenAI- & Anthropic-compatible endpointsOpenAI- & Anthropic-kompatible EndpunktePoint existing SDKs and tools at one URL.Bestehende SDKs und Tools auf eine URL richten.
Virtual keys with scopesVirtuelle Schlüssel mit ScopesPer team, app or developer — revocable, model allow-lists.Pro Team, App oder Entwickler — widerrufbar, mit Modell-Allowlist.
BudgetsBudgetsCaps per key, user and tenant.Obergrenzen pro Schlüssel, Nutzer und Mandant.
Spend trackingKostenerfassungToken usage attributed to whoever caused it.Token-Verbrauch dem Verursacher zugeordnet.
AuditAuditKey and policy changes are recorded.Schlüssel- und Richtlinienänderungen werden protokolliert.

Installer support · coding CLIs & harnessesInstaller-Unterstützung · Coding-CLIs & Harnesses

In developmentIn Entwicklung

Routing automatic: the installer configures the tool to use the gateway itself. Manual steps: it prints a base URL and key to paste. Recording: whether watchdog recording is switched on too. The installer is in development and not published yet. Select a tool to see its one-prompt install.Routing automatisch: Der Installer richtet das Tool selbst auf das Gateway ein. Manuelle Schritte: Er gibt Basis-URL und Schlüssel zum Einfügen aus. Aufzeichnung: ob auch die Watchdog-Aufzeichnung eingeschaltet wird. Der Installer ist in Entwicklung und noch nicht veröffentlicht. Tool wählen, um die Ein-Prompt-Installation zu sehen. Claude Code speaks the Anthropic protocol, so it is routed through the gateway’s Anthropic-compatible endpoint; the other tools use the OpenAI-compatible one. Residency and cost settings apply either way.Claude Code spricht das Anthropic-Protokoll und wird daher über den Anthropic-kompatiblen Endpunkt des Gateways geroutet; die anderen Tools nutzen den OpenAI-kompatiblen. Residenz- und Kosten-Einstellungen gelten in beiden Fällen.

Every model request, as local as possible.Jede Modellanfrage, so lokal wie möglich.

Residency options: data-protection regimesResidenz-Optionen: Datenschutz-Rechtsräume

Underneath, from LiteLLM — available todayDarunter, von LiteLLM — heute verfügbar

Continue withWeiter mit