असल में एक निजी चैटबॉट के लिए $400 का मासिक क्लाउड बिल कभी उचित लगता था। फिर आपको एहसास होता है कि वही कार्यभार आपके पास पहले से मौजूद एक पुरानी ग्राफ़िक्स कार्ड पर चलता है, ऐसे हार्डवेयर पर जो दिन में कुछ सेंट बिजली में चल जाता है। लोकल-AI लागत स्टैक अब कोई सैद्धांतिक बात नहीं रही। यह उन सभी के लिए एक अलग आर्थिक मॉडल है जो AI को दुर्लभ काम के बजाय दैनिक इंफ़्रास्ट्रक्चर की तरह मानते हैं, और एक बार जब आप इसकी परतों को समझ लेते हैं, तो आगे का रास्ता हैरान करने वाला आसान हो जाता है।
पहली परत हार्डवेयर फ़्लोर है, और यह अधिकांश लोगों की सोच से काफ़ी कम है। एक रिफर्बिश्ड RTX 3090, दो या तीन साल पुरानी और गेमिंग के लिए ट्रेंड से बाहर, क्वांटाइज़्ड 70-बिलियन-पैरामीटर मॉडल को इस्तेमाल लायक गति पर चलाती है। एक Mac Studio यूनिफ़ाइड मेमोरी के साथ कम झंझट में समान कार्यभार सँभालता है। पूँजीगत खर्च एक बार का झटका है जो जल्दी एमोर्टाइज़ हो जाता है, और मूल्यह्रास वक्र धीमा है क्योंकि ये कार्ड एक दशक तक एक ही उद्देश्य की सेवा देती रहती हैं।
दूसरी परत मॉडल स्वयं है। ओपन-वेट मॉडल उन कार्यों पर तेज़ी से बराबरी पर आ गए हैं जो अधिकांश लोग वास्तव में करते हैं: मसौदा तैयार करना, सारांश बनाना, वर्गीकरण करना, अव्यवस्थित टेक्स्ट से संरचित डेटा निकालना। आप समझौता नहीं कर रहे। आप ऐसा मॉडल चुन रहे हैं जो आपके हार्डवेयर बजट में फिट हो, बजाय किसी और के सिलिकॉन पर समय किराए पर लेने के। क्वांटाइज़्ड वेरिएंट गुणवत्ता की थोड़ी कमी के बदले मेमोरी में बड़ी कमी देते हैं, जो निजी स्टैक के लिए लगभग हमेशा सही सौदा है।
तीसरी परत रनटाइम और ऑर्केस्ट्रेशन सॉफ़्टवेयर है। llama.cpp, Ollama, vLLM और इसी तरह की परियोजनाओं ने मॉडल सर्विंग को एक-लाइन कमांड बना दिया है। एक बार जब कोई मॉडल स्थानीय रूप से चलने लगता है, तो उसे अपने ही टूल्स से जोड़ना आसान हिस्सा है। कस्टम स्किल्स — वे छोटे ऑटोमेशन जो "इस PDF का सारांश बनाओ" को एक कीस्ट्रोक में बदल देते हैं — एक लोकल एंडपॉइंट से ठीक उसी तरह जुड़ते हैं जैसे किसी होस्टेड एंडपॉइंट से जुड़ते। एकीकरण लागत अनिवार्य रूप से शून्य है।
चौथी परत वर्कफ़्लो डिज़ाइन है। लोग जो गलती करते हैं वह यह है कि लोकल AI को क्लाउड के प्रतिस्थापन की तरह मानते हैं और हर अक्षमता की नकल करते हैं। असल जीत बार-बार दोहराए जाने वाले प्रॉम्प्ट को कैश करने, मिलते-जुलते कार्यों को बैच करने, और भारी कामों को रात में — जब GPU पर कोई इंतज़ार नहीं कर रहा — चलाने से आती है। एक लोकल स्टैक थोड़ी इंजीनियरिंग समझदारी का ऐसा पुरस्कार देता है जैसा क्लाउड ने कभी नहीं दिया।
पाँचवीं और वह परत जिसे अधिकांश लोग छोड़ देते हैं, मापन है। अपनी वास्तविक उपयोगिता पर नज़र रखें। अधिकांश निजी AI उपयोगकर्ता अपने उपलब्ध कंप्यूट का एक बहुत छोटा हिस्सा ही खर्च करते हैं। एक बार जब आप असल संख्याएँ देख लेते हैं, तो अर्थशास्त्र को नज़रअंदाज़ करना असंभव हो जाता है।
यदि आप उत्सुक हैं, तो छोटी शुरुआत करें। कोई ओपन-वेट मॉडल लें, उसे उसी मशीन पर चलाएँ जो आपके पास पहले से है, और एक निजी वर्कफ़्लो को उसकी ओर मोड़ दें। समुदाय की राइट-अप और बेंचमार्क अच्छे हैं, लेकिन एकमात्र मीट्रिक जो मायने रखती है वह यह है कि क्या वह आपका काम करता है। क्लाउड ज़रूरत पड़ने पर अब भी वहीं रहेगा। एक निजी स्टैक जो वास्तव में करता है उसमें से अधिकांश काम के लिए, उसकी ज़रूरत नहीं रहेगी।