Wir haben ein Dashboard gebaut, um LLM-Kosten zu bändigen — und es hat verändert, wie wir praktizieren

Es gibt in jeder Yogastunde einen Moment, in dem ein Schüler aufhört, eine Pose erzwingen zu wollen, und einfach bemerkt, was der Körper tut. Die Hüfte ist fest. Der Atem ist flach. Die Schulter kompensiert. Dieser Moment des Gewahrseins — wertfrei, präzise — ist der Punkt, an dem Veränderung beginnt. Nicht im Erzwingen. Im Bemerken.

Wir haben das AI Model Pricing Dashboard aus genau demselben Grund gebaut. Nicht, weil wir mehr für Large Language Models ausgeben wollten, sondern weil wir euch nicht — ehrlich, präzise — sagen konnten, was wir bereits ausgaben. Niemand im Team wusste es. Die Rechnungen kamen, und niemand konnte die einfache Frage beantworten: Welche Modelle nutzen wir tatsächlich, und zu welchen Kosten pro Anbieter?

Das Durcheinander unter der Haube

Wenn ihr KI-Workloads über mehrere Anbieter hinweg betrieben habt, kennt ihr den Schmerz. OpenRouter berechnet pro Token zu einem Tarif. OpenAI trennt Input- und Output-Tokens zu unterschiedlichen Preisen. Anthropic hat seine eigene Struktur. Kilo AI Gateway ergänzt Abonnementpläne mit Berechnungen für Mehrverbrauch. Jeder Anbieter zählt Tokens anders. Jeder Anbieter ändert sein Preissheet ohne Release-Note.

Es ist ein bisschen so, als würde man versuchen, Yoga zu praktizieren, indem man fünf verschiedene Bücher in fünf verschiedenen Sprachen liest, von denen keines darin übereinstimmt, was „Downward Dog“ bedeutet. Man kann sich irgendwie durchschlagen. Aber man wird kompensieren. Und Kompensation hat einen Preis — auf der Infrastrukturseite in Geld bezahlt, auf der Matte in Ausrichtung bezahlt.

Was das Dashboard macht

Das AI Model Pricing Dashboard ist ein Open-Source-Tool — BSD 3-Clause, MIT-freundlich — aufgebaut mit einem FastAPI-Backend und einem Next.js-Frontend. Es aggregiert Preise über 10+ LLM-Anbieter hinweg, normalisiert alles auf Dollar pro Million Tokens und gibt euch eine einzige filterbare, sortierbare Tabelle, die Vergleiche mühelos macht.

Der eigentliche Wert liegt aber nicht in der Tabelle. Der eigentliche Wert ist, was die Tabelle offenbart:

• Input-vs.-Output-Token-Mathe. Die meisten Teams denken in Begriffen von „Kosten pro Aufruf“. Doch die moderne Nutzung von LLMs wird von Output-Tokens dominiert — den Antworten des Modells. Ein Modell, das 2 Dollar pro Million Input-Tokens und 15 Dollar pro Million Output-Tokens berechnet, hat ein völlig anderes Kostenprofil als eines, das jeweils 5 und 6 Dollar berechnet. Das Dashboard macht das sofort sichtbar.

• Kontextfenster-Kontext. Ein Modell mit einem 128K-Kontextfenster mag pro Token teurer wirken als eines mit einem 4K-Fenster. Aber wenn ihr derzeit mehrere Aufrufe an ein günstigeres Modell verketten müsst, um lange Prompts zu verarbeiten, ist das teurere Modell mit dem großen Kontextfenster tatsächlich günstiger — und liefert bessere Ergebnisse.

• Trendverfolgung. Preise ändern sich. Das Dashboard speichert eine 30-Tage-Preishistorie. Das bedeutet, ihr seht Preisbewegungen der Anbieter, bevor sie eure nächste Rechnung erreichen.

• Kilo-Plan-Projektion. Wenn ihr Kilo AI Gateway nutzt, ordnet das Dashboard die tatsächliche Nutzung den jeweiligen Stufen zu und sagt euch, welcher Plan eure Gesamtkosten einschließlich Mehrverbrauch minimiert.

Die Architektur darunter

Das System läuft auf Postgres und Redis, mit Kubernetes-Manifests für den Produktionseinsatz. Das FastAPI-Backend übernimmt die Preisaggregation mit einem 900-Sekunden-Redis-Cache — schnell genug für den Echtzeit-Dashboard-Einsatz, schonend genug für die APIs der Anbieter. CronJobs aktualisieren die Preise alle 15 Minuten und senden täglich um 9 Uhr UTC E-Mail-Berichte.

Für die lokale Entwicklung startet der gesamte Stack mit docker-compose.yml — Postgres, Redis, die API und das Next.js-Frontend — in unter zwei Minuten.

Wir haben uns für Kubernetes entschieden, nicht weil das Dashboard enorme Skalierung braucht, sondern weil das Bereitstellungsmuster langweilig sein sollte. Traefik für Ingress, cert-manager für TLS, horizontales Pod-Autoscaling für die API- und Web-Replikas. Langweilig ist zuverlässig. Zuverlässig ist das, was ihr wollt, wenn dieses Tool Budgetentscheidungen informiert.

Wo Yoga auf das Dashboard trifft

Hier ist der Teil, den kein Architektur-Blog erzählen wird: Kostenoptimierung und Yoga teilen sich denselben ersten Schritt.

Im Yoga sagen wir: Bewusstsein geht Veränderung voraus. Ihr könnt eine fehl ausgerichtete Hüfte nicht korrigieren, wenn ihr nicht wisst, dass sie fehl ausgerichtet ist. Ihr könnt einen chronisch angespannten Kiefer nicht weicher werden lassen, wenn ihr nie bemerkt habt, dass er fest ist. Das Bemerken ist die Praxis. Das Bemerken ist der Punkt, an dem Handlungsfähigkeit beginnt.

Das Dashboard existiert, weil wir es bemerkt haben. Zum ersten Mal hatten wir ein präzises, ehrliches Bild davon, was unsere KI-Workloads tatsächlich kosten — nicht eine Schätzung, nicht ein vages Gefühl, dass „es scheint teuer zu sein“, sondern eine Zahl. Und sobald ihr eine Zahl habt, könnt ihr eine Entscheidung treffen. Wechseln wir für diesen Workload den Anbieter? Verwenden wir für nicht kritische Aufgaben ein günstigeres Modell? Cachen wir aggressiver? Wählen wir das Modell mit dem größeren Kontextfenster und eliminieren die Verketten von Aufrufen?

Keine dieser Entscheidungen war vorher sichtbar. Nicht, weil die Daten nicht existierten, sondern weil sie über fünf Anbieter-Dashboards, drei Abrechnungsseiten und eine Tabelle verstreut waren, die niemand aktualisierte.

Wir haben den Scraper gebaut. Wir haben den Normalizer gebaut. Wir haben das Dashboard gebaut. Und in der ersten Woche, in der wir es genutzt haben, haben wir eine Ineffizienz von 40 Dollar pro Monat gefunden, die vier Monate lang gelaufen war. Das sind 160 Dollar, die wir ausgegeben haben, weil wir nicht hingeschaut haben. Das Dashboard hat weniger gekostet als ein Abend zum Einrichten.

Was wir aus den Daten lernen

Seit der Einführung des Dashboards haben sich drei Dinge in unserer Arbeitsweise verändert:

Rechtssizing nach Aufgabe. Wir ordnen nun bestimmten Aufgaben bestimmte Modelle zu, basierend auf den tatsächlichen Kosten pro Aufgabe, nicht auf Markenpräferenz. Aufgaben mit hoher Wiederholungsrate und geringer Komplexität gehen an günstigere, schnellere Modelle. Komplexe Denkaufgaben gehen dorthin, wo die Qualität den Preis rechtfertigt. Das ist keine neue Idee — es ist dasselbe Prinzip wie die Wahl einer restorative practice statt eines power flows, basierend darauf, was euer Körper an diesem Tag tatsächlich braucht.

Caching als Pranayama. Im Yoga ist Pranayama (Atemkontrolle) die Praxis, jeden Atemzug zählen zu lassen — weniger Volumen, mehr Absicht, besserer Sauerstoffaustausch. Das Caching von LLM-Antworten ist dasselbe Konzept. Wenn derselbe Prompt dieselbe Ausgabe erzeugt, speichert ihr ihn. Ihr zahlt nicht zweimal für dieselbe Berechnung. Der 900-Sekunden-TTL-Redis-Cache des Dashboards hat unsere Ausgaben für wiederholte Tokens um ungefähr 30 % reduziert. Weniger atmen, mehr bekommen.

Trendbewusstsein. Preisentwicklungen über 30 Tage zu verfolgen bedeutet, dass wir Preissenkungen von Anbietern sehen, bevor wir Blogposts darüber lesen. Wenn ein Anbieter seinen Tarif um 20 % senkt, wissen wir es innerhalb einer Stunde. Wenn ein Anbieter die Preise erhöht, können wir vor dem nächsten Abrechnungszyklus neu bewerten. Bewusstsein. Handlungsfähigkeit. Entscheidung.

Open Source, weil Werkzeuge zu horten schlechtes Yoga ist

Das Projekt steht auf GitHub unter BSD-3-Clause-Lizenz: github.com/andreab67/ai-models-pricing. Die Kubernetes-Manifests sind enthalten. Die API-Dokumentation steht in FUNCTIONAL.md. Die SBOM — jede Abhängigkeit, ihre Lizenz, ihre Sicherheitshinweise — steht in SBOM.md.

Wir haben das Open Source gemacht, weil das Problem nicht nur unseres ist. Jedes Team, das Multi-Provider-KI-Workloads betreibt, hat dieses Problem. Und nützliche Werkzeuge zu horten ist, um eine Yoga-Analogie zu verwenden, als würde man sich weigern, einem Schüler eine Pose zu zeigen, die ihm helfen würde. Die Praxis wird durch das Teilen nicht geschmälert. Sie wird vertieft.

Eine Bewegung für diese Woche

Wenn euer Team LLM-Workloads betreibt und ihr nicht sofort beantworten könnt: „Was geben wir pro Anbieter und pro Aufgabe aus?“ — dann kompensiert ihr. Nicht schlecht. Nur teuer.

Richtet das Dashboard lokal ein. Mit Docker dauert es zwei Minuten. Startet es. Schaut euch die Zahlen an. Lasst die Zahlen euch etwas sagen, das ihr nicht bemerkt habt.

Dann entscheidet euch.

Das ist dieselbe Praxis, die wir auf der Matte üben: ankommen, bemerken, wählen. Die Werkzeuge ändern sich. Das Prinzip nicht.

Das AI Model Pricing Dashboard ist Open Source unter github.com/andreab67/ai-models-pricing. Die Produktionsinstanz läuft auf unserem Kubernetes-Cluster. Wenn ihr Hilfe beim Deployen oder bei der Integration in eure eigene Kosten-Alarm-Pipeline wollt, meldet euch.