Vor sechs Monosen war unsere monatliche Rechnung für gehostete Sprachmodelle eine Zahl, bei der die Finanzabteilung Rückfragen stellte. Heute beträgt sie nur noch ein Zehntel davon, und die Modelle laufen auf unserer Hardware schneller, als sie es je über das öffentliche Internet taten. Wir haben keinen Rabatt ausgehandelt. Wir sind nicht auf einen günstigeren Tarif gewechselt. Wir haben die Modelle nach Hause geholt.
Die Umstellung begann als Experiment und wurde zu einem Stack. Eine kleine, sorgfältig ausgewählte Reihe von Open-Weight-Modellen, die auf einer einzigen Consumer-Box am Rand unseres Netzwerks laufen, übernimmt jetzt den Großteil unseres Inferenz-Traffics. Cloud-Modelle sind weiterhin im Einsatz, aber nur für die Aufgaben, die sie tatsächlich benötigen. Alles andere läuft lokal, und die Einsparungen kommen direkt dem Endergebnis zugute.
Die erste Erkenntnis war, dass größer nicht für jede Eingabe besser ist. Ein 70-Milliarden-Parameter-Modell ist beeindruckend, aber für routinemäßige Zusammenfassungen, Klassifizierung und strukturierte Extraktion ist es völlig überdimensioniert. Wir haben den tatsächlichen Traffic analysiert und festgestellt, dass etwa sieben von zehn Anfragen routinemäßig waren. Ein feinabgestimmtes 7-Milliarden-Parameter-Modell erledigte sie mit einem Bruchteil der Latenz und null Token-Kosten. Die Weiterleitung nach Aufgabe statt nach Gewohnheit war der entscheidende Durchbruch.
Die zweite Erkenntnis betraf die Hardware. Wir waren davon ausgegangen, dass wir ein Rack voller Beschleuniger bräuchten. In der Praxis hat eine einzige moderne GPU mit genug VRAM, um zwei oder drei quantisierte Modelle gleichzeitig komfortabel vorzuhalten, unsere Spitzenlast problemlos abgedeckt. Die Quantisierung auf Vier-Bit-Gewichte kostete uns einen messbaren, aber akzeptablen Qualitätsverlust und brachte uns enorme Mengen an Speicher und Durchsatz zurück. Für den langen Schwanz von Aufgaben mit niedriger Priorität hielt ein CPU-only-Fallback mit einem kleineren Modell das System reaktionsfähig, wenn die GPU ausgelastet war.
Die dritte Erkenntnis war Caching. Token-Kosten summieren sich, wenn man dasselbe Kontextfenster immer wieder neu bewertet. Wir haben einen semantischen Cache vor die Inferenz-Schicht gesetzt, sodass nahezu identische Eingaben eine gespeicherte Antwort zurückgeben, ohne das Modell überhaupt zu berühren. In Kombination mit Prompt-Templating, das unnötige Verlaufsdaten entfernt, stieg die Cache-Trefferrate innerhalb weniger Wochen auf über vierzig Prozent.
Die vierte Erkenntnis war Observability. Ohne Dashboards für Latenz pro Modell, Kosten pro Million Tokens und Stichproben zur Qualität ist Optimierung reine Raterei. Wir haben jeden Aufruf instrumentiert, um genau sehen zu können, welche Routen profitabel waren und welche still und leise das Budget verbrannten.
Wenn Sie auf eine Modellrechnung starren, die nicht mehr zum Wert passt, den Sie dafür erhalten, ist der Weg straightforward. Analysieren Sie, was Sie tatsächlich senden, dimensionieren Sie das Modell passend zur Aufgabe, quantisieren Sie aggressiv, cachen Sie Duplikate und messen Sie unerbittlich. Die Cloud bleibt für die schwierigen Fälle. Alles andere kann auf Ihrem eigenen Schreibtisch laufen.
Neugierig, wie Ihr Traffic auf diesem Weg aussehen würde? Antworten Sie mit Ihren drei wichtigsten Modell-Anwendungsfällen, und wir teilen die Routing-Aufschlüsselung, mit der wir starten würden.