छह महीने पहले hosted language models के लिए हमारा monthly bill ऐसी रकम थी जिस पर finance सवाल पूछने लगती थी। आज यह उसका एक-तिहाई नहीं, एक-दसवाँ है, और हमारे hardware पर models public internet के मुकाबले कहीं अधिक तेज़ हैं। हमने कोई discount negotiate नहीं किया। हमने किसी cheaper tier पर switch नहीं किया। हम models को घर ले आए।
यह बदलाव एक experiment के रूप में शुरू हुआ और फिर एक stack बन गया। open-weight models का एक छोटा, अच्छी तरह चुना हुआ set, जो हमारी network edge पर एक single consumer-grade box पर चल रहा है, अब हमारे inference traffic का bulk संभालता है। Cloud models अभी भी loop में हैं, लेकिन केवल उन jobs के लिए जिन्हें सचमुच उनकी ज़रूरत है। बाकी सब local रूप से चलता है, और बचत सीधे bottom line में चली जाती है।
पहला सबक यह था कि हर prompt के लिए बड़ा बेहतर नहीं होता। 70-billion-parameter model प्रभावशाली है, लेकिन routine summarization, classification, और structured extraction के लिए यह बेहद ज़्यादा सक्षम है। हमने real traffic का profiling किया और पाया कि लगभग दस में से सात requests routine थीं। Fine-tuned 7-billion-parameter model ने उन्हें latency के एक अंश और zero per-token cost पर संभाल लिया। habit के बजाय task के आधार पर routing ही असली unlock था।
दूसरा सबक hardware के बारे में था। हमने मान लिया था कि हमें accelerators का एक rack चाहिए होगा। व्यवहार में, पर्याप्त VRAM वाला एक modern GPU, जो एक साथ दो या तीन quantized models को आराम से hold कर सके, हमारे peak load को कवर करने के लिए काफी था। चार-bit weights में quantization से quality में measurable लेकिन स्वीकार्य गिरावट आई और memory तथा throughput की भारी मात्रा वापस मिली। कम प्राथमिकता वाली jobs की long tail के लिए, एक छोटे model के साथ CPU-only fallback ने GPU के busy होने पर भी system को responsive बनाए रखा।
तीसरा सबक caching था। जब आप एक ही context window को बार-बार re-evaluate करते हैं, तो token costs बढ़ते जाते हैं। हमने inference layer के सामने एक semantic cache जोड़ा ताकि लगभग-duplicate prompts model को छुए बिना ही stored response लौटा दें। अनावश्यक history हटाने वाली prompt templating के साथ मिलकर, कुछ ही हफ्तों में cache hit rate चालीस percent से ऊपर पहुँच गया।
चौथा सबक observability था। per-model latency, cost-per-million-tokens, और quality spot-check dashboards के बिना optimization बस अटकलें है। हमने हर call instrument की ताकि हम ठीक-ठीक देख सकें कि कौन-से routes profitable थे और कौन-से quietly budget जला रहे थे।
अगर आप ऐसे model bill को देख रहे हैं जो अब उससे मिलने वाले value से मेल नहीं खाता, तो रास्ता सीधा है। आप वास्तव में क्या भेज रहे हैं, उसका profile बनाइए, task के हिसाब से model का right-size कीजिए, aggressively quantize कीजिए, duplicates cache कीजिए, और लगातार measure कीजिए। Cloud कठिन मामलों के लिए बनी रहती है। बाकी सब आपके अपने desk पर चल सकता है।
जानना चाहते हैं कि इस तरह routed होने पर आपका traffic कैसा दिखेगा? अपने top three model use cases के साथ जवाब दें, और हम वह routing breakdown साझा करेंगे जिससे हम शुरुआत करते।