Vor sechs Monaten war unsere monatliche Rechnung für gehostete Sprachmodelle die Art von Zahl, bei der die Finanzabteilung Fragen stellt. Heute ist sie nur noch ein Zehntel davon, und die Modelle laufen auf unserer Hardware schneller als je zuvor über das öffentliche Internet. Wir haben keinen Rabatt ausgehandelt. Wir sind nicht auf eine günstigere Stufe gewechselt. Wir haben die Modelle nach Hause geholt.
Die Umstellung begann als Experiment und wurde zu einem Stack. Ein kleiner, sorgfältig ausgewählter Satz von Open-Weight-Modellen, der auf einer einzelnen Consumer-Grade-Box am Rand unseres Netzwerks läuft, verarbeitet inzwischen den Großteil unseres Inferenzverkehrs. Cloud-Modelle sind weiterhin im Einsatz, aber nur für die Aufgaben, die sie wirklich brauchen. Alles andere läuft lokal, und die Einsparungen schlagen direkt auf das Ergebnis durch.
Die erste Lektion war, dass größer nicht für jede Eingabe besser ist. Ein Modell mit 70 Milliarden Parametern ist beeindruckend, aber für Routine-Zusammenfassungen, Klassifizierungen und strukturierte Extraktionen ist es völlig überdimensioniert. Wir haben den echten Traffic analysiert und festgestellt, dass ungefähr sieben von zehn Anfragen Routine waren. Ein fein abgestimmtes Modell mit 7 Milliarden Parametern bewältigte sie mit einem Bruchteil der Latenz und ohne Kosten pro Token. Die Weiterleitung nach Aufgabe, nicht nach Gewohnheit, war der entscheidende Hebel.
Die zweite Lektion betraf die Hardware. Wir hatten angenommen, dass wir ein Rack mit Beschleunigern brauchen würden. In der Praxis deckte eine einzelne moderne GPU mit ausreichend VRAM, um zwei oder drei quantisierte Modelle gleichzeitig zu halten, unsere Spitzenlast problemlos ab. Die Quantisierung auf 4-Bit-Gewichte kostete uns einen messbaren, aber akzeptablen Qualitätsverlust und verschaffte uns enorme Mengen an Speicher und Durchsatz. Für den langen Tail von Aufgaben mit niedriger Priorität hielt ein CPU-only-Fallback mit einem kleineren Modell das System reaktionsfähig, wenn die GPU ausgelastet war.
Die dritte Lektion war Caching. Token-Kosten summieren sich, wenn Sie denselben Kontextfensterinhalt immer wieder neu auswerten. Wir haben vor die Inferenzschicht einen semantischen Cache gesetzt, damit nahezu identische Prompts eine gespeicherte Antwort zurückgeben, ohne das Modell überhaupt zu berühren. Zusammen mit Prompt-Templating, das unnötige Historie entfernt, stieg die Cache-Trefferquote innerhalb weniger Wochen auf über vierzig Prozent.
Die vierte Lektion war Observability. Ohne Dashboards für Latenz pro Modell, Kosten pro Million Tokens und Qualitäts-Stichproben ist Optimierung Ratespiel. Wir haben jeden Aufruf instrumentiert, damit wir genau sehen konnten, welche Routen profitabel waren und welche heimlich Budget verbrannten.
Wenn Sie auf eine Modellrechnung starren, die nicht mehr zum Wert passt, den Sie daraus ziehen, ist der Weg klar. Analysieren Sie, was Sie tatsächlich senden, dimensionieren Sie das Modell passend zur Aufgabe, quantisieren Sie aggressiv, cachen Sie Duplikate und messen Sie unerbittlich. Die Cloud bleibt für die schwierigen Fälle. Alles andere kann auf Ihrem eigenen Schreibtisch laufen.
Neugierig, wie Ihr Traffic aussehen würde, wenn er so geroutet wird? Antworten Sie mit Ihren drei wichtigsten Anwendungsfällen für Modelle, und wir teilen die Routing-Aufschlüsselung, mit der wir starten würden.