ArchitectureArchitektur
Every layer runs inside your perimeter.Jede Schicht läuft in Ihrem Perimeter.
From the cluster up to the chat window, each layer is open, replaceable and under your control. Governance is not a layer you add later: it spans all of them.Vom Cluster bis zum Chatfenster ist jede Schicht offen, austauschbar und unter Ihrer Kontrolle. Governance ist keine nachträgliche Schicht: sie umspannt alle.
- Apps & channelsApps & KanäleWhere people meet your agents.Wo Menschen Ihre Agenten treffen.
- Agents & workflowsAgenten & WorkflowsRegistered use cases, versioned agents, tools, knowledge and workflows.Registrierte Anwendungsfälle, versionierte Agenten, Werkzeuge, Wissen und Workflows.
- Model gatewayModell-GatewayUnmodified LiteLLM with keys and spend tracking. A setup agent that configures it from residency first, then cost, is available.Unverändertes LiteLLM mit Schlüsseln und Kostenerfassung. Ein Setup-Agent, der es erst nach Residenz, dann nach Kosten konfiguriert, ist verfügbar.
- ModelsModelleOpen-weight models on your hardware, or any endpoint you approve.Open-Weight-Modelle auf Ihrer Hardware, oder jeder Endpunkt, den Sie freigeben.
- Your infrastructureIhre InfrastrukturDeclarative, GitOps-managed, yours.Deklarativ, per GitOps verwaltet, Ihres.
- Edge collector · WatchdogEdge-Kollektor · WatchdogRecords coding agents on developer machines, feeds governance, routes their model traffic through the gateway.Zeichnet Coding-Agenten auf Entwicklerrechnern auf, speist Governance, leitet deren Modellverkehr über das Gateway.
Lean to runSchlank im BetriebAvailableVerfügbar
Small images, little idle load. Measured, not promised.Kleine Images, wenig Grundlast. Gemessen, nicht versprochen.
Since October 2026 the platform services are written in Rust. Each one ships as a container image under 25 MB and needs between 1 and 13 MiB of memory at idle. Easy to run. The web frontend stays TypeScript (Next.js).Seit Oktober 2026 sind die Plattformdienste in Rust geschrieben. Jeder kommt als Container-Image unter 25 MB und braucht im Leerlauf zwischen 1 und 13 MiB Speicher. Einfach zu betreiben. Das Web-Frontend bleibt TypeScript (Next.js).
- < 25 MB< 25 MBper service image, compressed: all 11 Rust imagesje Dienst-Image, komprimiert: alle 11 Rust-Images
- ≈ 50 MiB≈ 50 MiBmemory of the 10 Rust services together, at idle (TypeScript before: 3.0 GiB)Speicher der 10 Rust-Dienste zusammen, im Leerlauf (vorher TypeScript: 3,0 GiB)
- < 1< 1CPU core for the whole platform at idle, with Postgres, Keycloak, NATS, Qdrant, LiteLLM and OpenBaoCPU-Kern für die gesamte Plattform im Leerlauf, mit Postgres, Keycloak, NATS, Qdrant, LiteLLM und OpenBao
- runtimeTypeScript 90.2 MB90,2 MBRust 24.1 MB24,1 MB
- toolsTypeScript 52.6 MB52,6 MBRust 22.7 MB22,7 MB
- modelsTypeScript 50.2 MB50,2 MBRust 19.0 MB19,0 MB
- Measured at idle on the dev cluster (single-node k3s) on 26 October 2026 with kubectl top. Image sizes from the dev registry, linux/amd64.Im Leerlauf gemessen auf dem Dev-Cluster (Single-Node-k3s) am 26. Oktober 2026 mit kubectl top. Image-Größen aus der Dev-Registry, linux/amd64.
- Model inference runs remotely (Exoscale Dedicated Inference), so the platform itself mostly waits on I/O.Die Modell-Inferenz läuft entfernt (Exoscale Dedicated Inference), die Plattform selbst wartet daher meist auf I/O.
- TEI for local embeddings is optional and the largest consumer (about 11 GiB), not the platform services.TEI für lokale Embeddings ist optional und der größte Verbraucher (etwa 11 GiB), nicht die Plattformdienste.
- Not measured yet: behaviour under load and the minimum machine size under load. A sizing test is pending.Noch nicht gemessen: Verhalten unter Last und die Mindestgröße unter Last. Ein Sizing-Test steht aus.
Images: AvailableImages: VerfügbarIdle footprint: AvailableGrundlast: Verfügbar
Limitations of these figures (2)Einschränkungen dieser Werte (2)
- Lean Rust services: every service image under 25 MB compressedSchlanke Rust-Dienste: jedes Dienst-Image unter 25 MB komprimiert The web frontend (Next.js) stays TypeScript and is not part of this figure. On the dev cluster the knowledge API, the developer platform, the sandbox broker and the channel worker still run their previous images.Das Web-Frontend (Next.js) bleibt TypeScript und ist in dieser Zahl nicht enthalten. Auf dem Dev-Cluster laufen Wissens-API, Entwicklerplattform, Sandbox-Broker und Channel-Worker noch mit ihren bisherigen Images.
- Low idle footprint: the whole platform idles below one CPU core, the Rust services use about 50 MiB togetherWenig Grundlast: die gesamte Plattform braucht im Leerlauf weniger als einen CPU-Kern, die Rust-Dienste zusammen etwa 50 MiB Measured at idle, not under load. The minimum machine size under load is not yet measured; a sizing test is pending. Local embeddings (TEI) are optional and need far more memory than the platform services.Im Leerlauf gemessen, nicht unter Last. Die Mindestgröße unter Last ist noch nicht gemessen; ein Sizing-Test steht aus. Lokale Embeddings (TEI) sind optional und brauchen deutlich mehr Speicher als die Plattformdienste.
DeploymentBetrieb
Start on a client. Grow into your data center.Auf dem Client starten. Ins eigene Rechenzentrum wachsen.
Same code, same manifests, from the first test to production. Status labels say honestly how far each path is.Gleicher Code, gleiche Manifeste, vom ersten Test bis zur Produktion. Die Status-Labels sagen ehrlich, wie weit jeder Weg ist.
- AvailableVerfügbar
Client · local stackClient · lokaler Stack
One script starts Postgres in Docker, runs migrations and seed data, and brings up all services, a dev gateway and the web UI.Ein Skript startet Postgres in Docker, führt Migrationen und Seed-Daten aus und startet alle Services, ein Dev-Gateway und die Web-UI.
scripts/dev/local-stack.sh up - AvailableVerfügbar
Homelab · k3sHomelab · k3s
A single-node k3s VM with Argo CD, CloudNativePG and Qdrant, reachable privately over your tailnet with real TLS.Eine Single-Node-k3s-VM mit Argo CD, CloudNativePG und Qdrant, privat über Ihr Tailnet erreichbar, mit echtem TLS.
infra/tailnet - In developmentIn Entwicklung
Cloud · managed KubernetesCloud · Managed Kubernetes
An OpenTofu stack for Exoscale SKS: autoscaled node pools, ingress, cert-manager and an Argo CD bootstrap that takes over from there.Ein OpenTofu-Stack für Exoscale SKS: autoskalierte Node-Pools, Ingress, cert-manager und ein Argo-CD-Bootstrap, der danach übernimmt.
infra/sks - PreviewVorschau
On-prem · your data centerOn-prem · Ihr Rechenzentrum
Render and install the same Helm charts and manifests onto a cluster you operate, with a context-bound install harness. The customer-onprem profile runs preflight checks and the production login; so far proven on k3d.Dieselben Helm-Charts und Manifeste auf einem selbst betriebenen Cluster rendern und installieren, mit kontextgebundenem Installer. Das Profil customer-onprem prüft die Umgebung vorab und nutzt den Produktions-Login; bisher auf k3d erprobt.
scripts/platform/install.sh
System requirementsSystemanforderungen
What it needs. Only what we have seen run.Was es braucht. Nur, was wir laufen gesehen haben.
Minimum and recommended sizing per deployment option, the model and GPU setups we have tried, and what to expect from them. Every number says where it comes from.Minimale und empfohlene Ausstattung je Betriebsoption, die Modell- und GPU-Setups, die wir ausprobiert haben, und was Sie davon erwarten können. Jede Zahl sagt, woher sie stammt.
- measuredgemessenread off a running systeman einem laufenden System abgelesen
- testedgetesteta setup that has actually runein Aufbau, der tatsächlich lief
- from configaus Konfigurationdeclared in manifests or install scriptsin Manifesten oder Installationsskripten festgelegt
- estimateRichtwertderived, with the derivation statedabgeleitet, mit genannter Herleitung
| Client · local stackClient · lokaler Stack | Homelab · single-node k3sHomelab · Single-Node-k3s | Managed Kubernetes · Exoscale SKSManaged Kubernetes · Exoscale SKS | On-prem · your clusterOn-prem · Ihr Cluster | |
|---|---|---|---|---|
| Status | AvailableVerfügbar | AvailableVerfügbar | In developmentIn Entwicklung | PreviewVorschau |
| Runs onLäuft auf | testedgetestetmacOS 26 on Apple silicon (arm64), the development machines.macOS 26 auf Apple Silicon (arm64), den Entwicklungsrechnern. | testedgetestetDebian 13 VM on Proxmox, single-node k3s, reached over Tailscale: 16 vCPU, 48 GB RAM, 160 GB disk. The live dev environment.Debian-13-VM auf Proxmox, Single-Node-k3s, erreichbar über Tailscale: 16 vCPU, 48 GB RAM, 160 GB Disk. Die laufende Dev-Umgebung. | Not yet: no cluster has been created from this stack. Its sizing below is the stack default, not a proven setup.Noch nicht: aus diesem Stack wurde noch kein Cluster erstellt. Die Größen unten sind die Stack-Vorgabe, kein erprobter Aufbau. | testedgetestetThrowaway k3d clusters on a developer machine (end-to-end smoke test, twice from empty). Not yet on a real host.Wegwerf-k3d-Cluster auf einem Entwicklerrechner (End-to-End-Smoke-Test, zweimal von leer). Noch nicht auf einem echten Host. |
| MinimumMinimum | estimateRichtwert16 GB RAM, 10 GB free disk. Derived from the measured footprint below (up to about 6 GiB) plus operating system, Docker and browser. No CPU minimum was measured.16 GB RAM, 10 GB freier Speicher. Abgeleitet aus dem gemessenen Bedarf unten (bis rund 6 GiB) plus Betriebssystem, Docker und Browser. Ein CPU-Minimum wurde nicht gemessen. | testedgetestetAn 8 vCPU / 19 GB RAM / 75 GB VM ran all 12 services in July 2026, with fewer platform components than today; its disk reached 90 % when images were built on it too.Eine VM mit 8 vCPU / 19 GB RAM / 75 GB lief im Juli 2026 mit allen 12 Diensten, mit weniger Plattform-Komponenten als heute; ihre Disk lief auf 90 %, als dort auch Images gebaut wurden.estimateRichtwertToday: 8 vCPU, 32 GB RAM, 100 GB SSD. Derived from that VM, the declared requests below and the on-prem preflight thresholds.Heute: 8 vCPU, 32 GB RAM, 100 GB SSD. Abgeleitet aus dieser VM, den deklarierten Anforderungen unten und den Preflight-Schwellen des On-prem-Profils. | from configaus KonfigurationStack default: 3 system nodes standard.large (4 vCPU, 8 GB, 100 GB disk each) and 3 workload nodes standard.huge (8 vCPU, 32 GB, 200 GB each): 36 vCPU and 120 GB RAM. A production-shaped default, not a measured minimum.Stack-Vorgabe: 3 System-Nodes standard.large (je 4 vCPU, 8 GB, 100 GB Disk) und 3 Workload-Nodes standard.huge (je 8 vCPU, 32 GB, 200 GB): 36 vCPU und 120 GB RAM. Eine auf Produktion zugeschnittene Vorgabe, kein gemessenes Minimum. | from configaus Konfiguration4 vCPU, 16 GiB RAM: the installer’s preflight check fails below this.4 vCPU, 16 GiB RAM: darunter bricht die Preflight-Prüfung des Installers ab. |
| RecommendedEmpfohlen | estimateRichtwert32 GB RAM, 20 GB free disk for data and build caches. Add the model’s memory if a local model runs on the same machine.32 GB RAM, 20 GB freier Speicher für Daten und Build-Caches. Den Speicher des Modells hinzurechnen, wenn ein lokales Modell auf derselben Maschine läuft. | testedgetestet16 vCPU, 48 GB RAM, 160 GB disk: the live VM.16 vCPU, 48 GB RAM, 160 GB Disk: die laufende VM.testedgetestetUse an SSD with low write latency: on a shared consumer SSD with about 1.5 s write latency, k3s lost its leases and API calls timed out.Eine SSD mit niedriger Schreiblatenz verwenden: Auf einer geteilten Consumer-SSD mit rund 1,5 s Schreiblatenz verlor k3s seine Leases, und API-Aufrufe liefen in Timeouts. | from configaus KonfigurationNot determined until the stack has run. Autoscaling bounds in the stack: workload pool 3 to 12 nodes, tenant pool 0 to 20 × standard.titan (16 vCPU, 128 GB, 500 GB), GPU pool 0 to 4 × gpua5000.small (NVIDIA A5000, 24 GB).Offen, bis der Stack gelaufen ist. Autoskalierungs-Grenzen im Stack: Workload-Pool 3 bis 12 Nodes, Tenant-Pool 0 bis 20 × standard.titan (16 vCPU, 128 GB, 500 GB), GPU-Pool 0 bis 4 × gpua5000.small (NVIDIA A5000, 24 GB). | from configaus Konfiguration8 vCPU, 32 GiB RAM, 80 GiB free on /var: the preflight check warns below this.8 vCPU, 32 GiB RAM, 80 GiB frei auf /var: darunter warnt die Preflight-Prüfung. |
| FootprintBedarf | measuredgemessenRAM of two running stacks: 1.7 and 4.8 GiB for the 14 Bun processes and the web dev server (the dev server alone 0.1 to 3.1 GiB), plus 0.1 to 0.3 GiB Postgres, plus about 1.1 GiB when LiteLLM, Qdrant and MinIO run.RAM zweier laufender Stacks: 1,7 und 4,8 GiB für die 14 Bun-Prozesse und den Web-Dev-Server (der Dev-Server allein 0,1 bis 3,1 GiB), plus 0,1 bis 0,3 GiB Postgres, plus rund 1,1 GiB, wenn LiteLLM, Qdrant und MinIO laufen.measuredgemessenDisk: 1.4 GB checkout including 1.1 GB dependencies, 0.6 GB Postgres image, 2.2 GB more for the optional images.Speicher: 1,4 GB Checkout inklusive 1,1 GB Abhängigkeiten, 0,6 GB Postgres-Image, weitere 2,2 GB für die optionalen Images. | from configaus KonfigurationSum over 38 workloads (41 replicas) rendered from the manifests: requests 6.2 vCPU and 11.6 GiB, limits 41 vCPU and 43 GiB; volumes 41 GiB. 12 upstream workloads set no requests, and Argo CD and k3s are not counted, so this is a lower bound.Summe über 38 Workloads (41 Replikas), aus den Manifesten gerendert: Requests 6,2 vCPU und 11,6 GiB, Limits 41 vCPU und 43 GiB; Volumes 41 GiB. 12 Upstream-Workloads setzen keine Requests, Argo CD und k3s sind nicht mitgezählt: eine Untergrenze. | Same services as the homelab, with more replicas once the high-availability setup runs there; not measured on SKS.Dieselben Dienste wie im Homelab, mit mehr Replikas, sobald dort das Hochverfügbarkeits-Setup läuft; auf SKS nicht gemessen. | from configaus KonfigurationChart with the on-prem values: 19 workloads, requests 3.6 vCPU and 6.8 GiB, limits 28 vCPU and 21.5 GiB, volumes 32 GiB; the prerequisite operators come on top. The knowledge ingest image alone is about 9.6 GB.Chart mit den On-prem-Werten: 19 Workloads, Requests 3,6 vCPU und 6,8 GiB, Limits 28 vCPU und 21,5 GiB, Volumes 32 GiB; die vorausgesetzten Operatoren kommen hinzu. Allein das Image für die Wissensaufnahme ist rund 9,6 GB groß. |
| OS / KubernetesOS / Kubernetes | macOS (tested). The script needs bash, Docker, lsof and openssl; Linux and Windows are not tested.macOS (getestet). Das Skript braucht bash, Docker, lsof und openssl; Linux und Windows sind nicht getestet. | Linux VM (Debian 13 tested), k3s single node, Tailscale for private access.Linux-VM (Debian 13 getestet), k3s mit einem Node, Tailscale für den privaten Zugang. | Exoscale SKS, Kubernetes 1.30.5 as the stack default, provisioned with OpenTofu.Exoscale SKS, Kubernetes 1.30.5 als Stack-Vorgabe, bereitgestellt mit OpenTofu. | A fresh Linux host (single-node k3s is installed for you) or an existing cluster with Kubernetes 1.28 or newer. OpenShift is not validated.Ein frischer Linux-Host (Single-Node-k3s wird mitinstalliert) oder ein bestehender Cluster ab Kubernetes 1.28. OpenShift ist nicht validiert. |
| Required componentsBenötigte Komponenten | Docker (Postgres 16 with pgvector), Bun 1.3.9 or newer. Optional containers: LiteLLM, Qdrant, MinIO. No Keycloak, NATS or Redis.Docker (Postgres 16 mit pgvector), Bun ab 1.3.9. Optionale Container: LiteLLM, Qdrant, MinIO. Kein Keycloak, NATS oder Redis. | Argo CD, CloudNativePG, Qdrant with bge-m3 embeddings, NATS, Keycloak, OpenBao, External Secrets, ingress-nginx, cert-manager, Redis, LiteLLM, Prometheus.Argo CD, CloudNativePG, Qdrant mit bge-m3-Embeddings, NATS, Keycloak, OpenBao, External Secrets, ingress-nginx, cert-manager, Redis, LiteLLM, Prometheus. | An Exoscale account, OpenTofu, an object storage bucket for backups. The stack bootstraps cert-manager, ingress and Argo CD, which installs the rest.Ein Exoscale-Konto, OpenTofu, ein Objektspeicher-Bucket für Backups. Der Stack richtet cert-manager, Ingress und Argo CD ein, das den Rest installiert. | Default StorageClass, LoadBalancer or NodePort, cluster-admin, your own TLS certificate (no cert-manager or ACME needed). The profile installs ingress-nginx, External Secrets, CloudNativePG, NATS and optionally OpenBao. For GPUs: NVIDIA driver, container toolkit and device plugin.Standard-StorageClass, LoadBalancer oder NodePort, cluster-admin, Ihr eigenes TLS-Zertifikat (kein cert-manager oder ACME nötig). Das Profil installiert ingress-nginx, External Secrets, CloudNativePG, NATS und optional OpenBao. Für GPUs: NVIDIA-Treiber, Container-Toolkit und Device-Plugin. |
The model runs separately: these numbers cover the platform. With a hosted model behind the gateway no GPU is needed at all; with a local model, add the model host from the next block.Das Modell läuft getrennt: Diese Zahlen betreffen die Plattform. Mit einem gehosteten Modell hinter dem Gateway braucht es gar keine GPU; mit einem lokalen Modell kommt der Modell-Host aus dem nächsten Block hinzu.
Models and GPUsModelle und GPUs
On-prem GPU serving: PreviewOn-prem-GPU-Betrieb: Vorschau
Configurations we have run ourselves. They are data points, not general limits: other models, quantisations and engine versions behave differently.Konfigurationen, die wir selbst betrieben haben. Es sind Datenpunkte, keine allgemeinen Grenzen: andere Modelle, Quantisierungen und Engine-Versionen verhalten sich anders.
| GPU | ModelModell | ContextKontext | ResultErgebnis |
|---|---|---|---|
| RTX Pro 6000, 96 GB (Exoscale Dedicated Inference)RTX Pro 6000, 96 GB (Exoscale Dedicated Inference) | Qwen3.8-27B-FP8Qwen3.8-27B-FP8 | 128K128K | measuredgemessenWorks, with tool calling. One replica saturated at about 16 parallel requests: time to first token p95 0.36 s at 16, 7 s at 32.Funktioniert, mit Tool-Calling. Eine Replik war bei rund 16 parallelen Anfragen gesättigt: Zeit bis zum ersten Token p95 0,36 s bei 16, 7 s bei 32. |
| RTX Pro 6000, 96 GB (GPU VM with vLLM)RTX Pro 6000, 96 GB (GPU-VM mit vLLM) | Qwen3-Coder-Next-FP8 (80B MoE, about 75 GB weights)Qwen3-Coder-Next-FP8 (80B MoE, rund 75 GB Gewichte) | 16K at mosthöchstens 16K | testedgetestetRuns, but too little context for coding agents, which need 70K tokens or more.Läuft, aber zu wenig Kontext für Coding-Agenten, die 70K Tokens oder mehr brauchen. |
| A5000, 24 GBA5000, 24 GB | Granite 3 8BGranite 3 8B | 131K did not fit; 8K worked131K passte nicht; 8K lief | testedgetestetOnly usable with the context reduced to 8K.Nur mit auf 8K reduziertem Kontext nutzbar. |
| V100 (sm_70)V100 (sm_70) | anybeliebig | n/an/a | testedgetestetNo longer works with current vLLM builds.Funktioniert mit aktuellen vLLM-Builds nicht mehr. |
| Homelab LLM host (Ollama)Homelab-LLM-Host (Ollama) | qwen3:14b (chat), qwen2.5:7b (tools), bge-m3 (embeddings)qwen3:14b (Chat), qwen2.5:7b (Werkzeuge), bge-m3 (Embeddings) | Ollama defaultsOllama-Standard | testedgetestetThe default models of the homelab deployment, in daily use. The host’s hardware is not documented, so we do not state it.Die Standardmodelle des Homelab-Betriebs, täglich im Einsatz. Die Hardware des Hosts ist nicht dokumentiert, daher nennen wir sie nicht. |
| No GPU (llama.cpp on k3d)Keine GPU (llama.cpp auf k3d) | Qwen2.5-0.5B-Instruct (GGUF)Qwen2.5-0.5B-Instruct (GGUF) | n/an/a | testedgetestetAnswered chat turns through the platform in the on-prem smoke test. Proves the path, not suitable for real work.Beantwortete im On-prem-Smoke-Test Chat-Turns über die Plattform. Beweist den Weg, nicht für echte Arbeit geeignet. |
- estimateRichtwert Rule of thumb: VRAM needed = model weights + KV cache. Weights take about parameters × bytes per parameter: 2 bytes at FP16, 1 at FP8, about 0.5 at 4 bit. A 27B model in FP8 needs about 27 GB, an 80B model about 75 to 80 GB.Faustregel: benötigter VRAM = Modellgewichte + KV-Cache. Die Gewichte brauchen etwa Parameter × Bytes pro Parameter: 2 Bytes bei FP16, 1 bei FP8, rund 0,5 bei 4 Bit. Ein 27B-Modell in FP8 braucht rund 27 GB, ein 80B-Modell rund 75 bis 80 GB.
- Context length drives the rest: the KV cache grows with context length and parallel requests. That is why the same 96 GB card held 128K context with a 27B model and only 16K with an 80B model.Die Kontextlänge bestimmt den Rest: Der KV-Cache wächst mit Kontextlänge und parallelen Anfragen. Deshalb hielt dieselbe 96-GB-Karte mit einem 27B-Modell 128K Kontext und mit einem 80B-Modell nur 16K.
- Agents with tools need a model with tool calling. Coding agents need long context (70K tokens or more), which rules out small cards for them.Agenten mit Werkzeugen brauchen ein Modell mit Tool-Calling. Coding-Agenten brauchen langen Kontext (70K Tokens oder mehr), damit scheiden kleine Karten für sie aus.
- No GPU of your own? Any OpenAI-compatible endpoint works through the gateway; the residency setting decides which ones are allowed.Keine eigene GPU? Jeder OpenAI-kompatible Endpunkt funktioniert über das Gateway; die Residenz-Einstellung entscheidet, welche zulässig sind.
- from configaus Konfiguration Knowledge embeddings (bge-m3) run on CPU in the cluster: the embedding service requests 1 vCPU and 3 GiB, with limits of 6 vCPU and 16 GiB. Alternatively the same model via Ollama.Wissens-Embeddings (bge-m3) laufen im Cluster auf CPU: Der Embedding-Dienst fordert 1 vCPU und 3 GiB an, mit Limits von 6 vCPU und 16 GiB. Alternativ dasselbe Modell über Ollama.
What you can expectWas Sie erwarten können
Per-stage metrics: PreviewMetriken je Stufe: Vorschau
The platform adds little time of its own; the model decides how fast answers come and how many people one setup serves. Size the model backend, not the platform.Die Plattform fügt wenig eigene Zeit hinzu; das Modell entscheidet, wie schnell Antworten kommen und wie viele Menschen ein Setup bedient. Dimensionieren Sie das Modell-Backend, nicht die Plattform.
- measuredgemessen
~130 ms~130 ms
platform time per chat turnPlattformzeit pro Chat-Turn
Median of everything except the model: sign-in check, PII rules, intake, queue, worker pickup, saving.Median aller Stufen außer dem Modell: Anmeldeprüfung, PII-Regeln, Annahme, Warteschlange, Worker-Übernahme, Speichern.
- measuredgemessen
~7 s~7 s
simple turn with a real 27B modeleinfacher Turn mit echtem 27B-Modell
Qwen3.8-27B on one RTX Pro 6000 through the full chat path, no tools, one user: 6.8 s median, first token after 0.3 s. Agents with tools need 3 to 6 model calls per turn; those turns took about 12 s (measured with DeepSeek via OpenRouter).Qwen3.8-27B auf einer RTX Pro 6000 über den ganzen Chat-Pfad, ohne Werkzeuge, ein Nutzer: 6,8 s Median, erstes Token nach 0,3 s. Agenten mit Werkzeugen brauchen 3 bis 6 Modellaufrufe pro Turn; diese Turns dauerten rund 12 s (gemessen mit DeepSeek über OpenRouter).
- measuredgemessen
90 to 13090 bis 130
simple turns per minute per GPU replicaeinfache Turns pro Minute je GPU-Replik
One RTX Pro 6000 with the 27B model, saturated at about 16 parallel requests (about 560 tokens per second in total). With tools an estimated 30 to 45.Eine RTX Pro 6000 mit dem 27B-Modell, gesättigt bei rund 16 parallelen Anfragen (rund 560 Tokens pro Sekunde gesamt). Mit Werkzeugen geschätzt 30 bis 45.
- estimateRichtwert
~90 to 130~90 bis 130
active users per GPU replicaaktive Nutzer je GPU-Replik
For simple chat, about 40 with tools. Assumes an active user sends one message every two minutes and a target load of 70 %: users = turns per minute × 0.7 ÷ 0.5.Bei einfachem Chat, mit Werkzeugen rund 40. Annahme: Ein aktiver Nutzer schickt alle zwei Minuten eine Nachricht, Zielauslastung 70 %: Nutzer = Turns pro Minute × 0,7 ÷ 0,5.
Caveat:Vorbehalt: Platform numbers were measured on a shared developer laptop in development mode, with a simulated model; the runs against the real 27B model were short and capped. What drives latency: model size and GPU, context length, the number of model calls per turn, and queueing once the model is saturated. The user count is a planning value, not a load test with real users.Die Plattformwerte stammen von einem geteilten Entwickler-Laptop im Entwicklungsmodus mit simuliertem Modell; die Läufe gegen das echte 27B-Modell waren kurz und gedeckelt. Was die Latenz treibt: Modellgröße und GPU, Kontextlänge, die Zahl der Modellaufrufe pro Turn und Warteschlangen, sobald das Modell gesättigt ist. Die Nutzerzahl ist ein Planungswert, kein Lasttest mit echten Nutzern. Full measurementGanze Messung