जो चीज़ मूल रूप से एक निजी चैटबॉट होती है, उसके लिए हर महीने का $400 क्लाउड बिल पहले काफ़ी उचित लगता था। फिर आपको एहसास होता है कि वही काम आपके पास पहले से मौजूद इस्तेमाल किए हुए ग्राफ़िक्स कार्ड पर, ऐसे हार्डवेयर पर चलता है जिसकी बिजली की लागत रोज़ कुछ सेंट होती है। लोकल-AI लागत ढांचा अब सैद्धांतिक नहीं रहा। यह किसी भी ऐसे व्यक्ति के लिए एक अलग आर्थिक मॉडल है जो AI को कभी-कभार के काम के बजाय रोज़मर्रा के बुनियादी ढाँचे की तरह देखता है, और एक बार जब आप इसकी परतें देख लेते हैं, तो आगे का रास्ता आश्चर्यजनक रूप से सरल हो जाता है।
पहली परत हार्डवेयर की न्यूनतम सीमा है, और यह ज़्यादातर लोगों की सोच से भी कम है। एक रीफर्बिश्ड RTX 3090, जो दो या तीन साल पुराना है और गेमिंग के लिए अब चलन से बाहर है, उपयोगी गति पर quantized 70-billion-parameter models चलाता है। Unified memory वाला Mac Studio समान लोड को कम झंझट के साथ संभाल लेता है। पूंजीगत खर्च एक बार का झटका है जो जल्दी ही बराबर हो जाता है, और depreciation curve भी नरम है क्योंकि ये कार्ड एक दशक तक वही काम करते रहते हैं।
दूसरी परत स्वयं model की है। Open-weight models उन कामों में तेज़ी से आगे बढ़ चुके हैं जो ज़्यादातर लोग सचमुच करते हैं: ड्राफ़्ट तैयार करना, सारांश बनाना, वर्गीकरण करना, असंगठित पाठ से संरचित डेटा निकालना। आप कोई समझौता नहीं कर रहे। आप ऐसा मॉडल चुन रहे हैं जो आपके हार्डवेयर बजट में फिट बैठता है, बजाय इसके कि किसी और के silicon पर समय किराए पर लें। Quantized variants memory में बड़ी कमी के बदले गुणवत्ता में थोड़ा बहुत त्याग करती हैं, और निजी stack के लिए यह लगभग हमेशा सही सौदा होता है।
तीसरी परत runtime और orchestration software की है। llama.cpp, Ollama, vLLM, और इसी तरह की परियोजनाओं ने model serving को एक-पंक्ति वाले command में बदल दिया है। एक बार model स्थानीय रूप से चलने लगे, तो उसे अपने औज़ारों से जोड़ना सबसे आसान हिस्सा होता है। Custom skills, वे छोटे-छोटे automations जो "इस PDF का सारांश बनाओ" को एक ही keystroke में बदल देते हैं, एक local endpoint से उसी तरह जुड़ते हैं जैसे वे किसी hosted endpoint से जुड़ते। Integration cost वस्तुतः शून्य है।
चौथी परत workflow design की है। लोग जो गलती करते हैं, वह है local AI को cloud replacement मानकर हर अक्षमता की नकल करना। असली फ़ायदा बार-बार आने वाले prompts को cache करने, समान कामों को batch करने, और भारी jobs को रात में चलाने से मिलता है, जब कोई GPU का इंतज़ार नहीं कर रहा होता। एक local stack थोड़ी engineering समझ को वैसे इनाम देता है जैसे cloud कभी नहीं देता था।
पाँचवीं परत, और जिसको ज़्यादातर लोग छोड़ देते हैं, वह है measurement। अपने वास्तविक usage को ट्रैक करें। ज़्यादातर निजी AI उपयोगकर्ता अपने उपलब्ध compute का बहुत छोटा हिस्सा ही खर्च करते हैं। एक बार जब आप असली आँकड़े देख लेते हैं, तो अर्थशास्त्र को नज़रअंदाज़ करना असंभव हो जाता है।
अगर आपकी जिज्ञासा है, तो छोटे से शुरू करें। कोई open-weight model लें, उसे उस मशीन पर चलाएँ जो आपके पास पहले से है, और अपने किसी एक व्यक्तिगत workflow को उससे जोड़ें। समुदाय की लिखी गई रिपोर्टें और benchmarks अच्छे हैं, लेकिन एकमात्र मापदंड जो मायने रखता है, वह है कि क्या यह आपका काम करता है। अगर आपको cloud की ज़रूरत होगी, तो वह तब भी मौजूद रहेगा। लेकिन निजी stack जो काम सचमुच करता है, उनमें से ज़्यादातर के लिए इसकी ज़रूरत नहीं पड़ती।