Una bolletta cloud mensile da 400 $ per quello che, in sostanza, è un chatbot personale sembrava ragionevole. Poi capisci che lo stesso carico di lavoro gira su una scheda grafica usata che possiedi già, su hardware che costa pochi centesimi di elettricità al giorno. La struttura dei costi dell’IA locale non è più teorica. È un modello economico diverso per chiunque consideri l’IA come infrastruttura quotidiana anziché come una commissione occasionale, e una volta viste le varie componenti, la strada da seguire diventa sorprendentemente semplice.
Il primo livello è il pavimento hardware, ed è più basso di quanto la maggior parte delle persone pensi. Una RTX 3090 ricondizionata, vecchia di due o tre anni e fuori moda per il gaming, esegue modelli quantizzati da 70 miliardi di parametri a una velocità utilizzabile. Un Mac Studio con memoria unificata gestisce carichi simili con meno complicazioni. La spesa iniziale è un colpo una tantum che si ammortizza rapidamente, e la curva di deprezzamento è dolce perché queste schede continuano a svolgere lo stesso compito per un decennio.
Il secondo livello è il modello stesso. I modelli open-weight hanno recuperato rapidamente nelle attività che la maggior parte delle persone svolge davvero: redazione, riassunto, classificazione, estrazione di dati strutturati da testo disordinato. Non stai accontentandoti di meno. Stai scegliendo un modello che si adatta al tuo budget hardware invece di affittare tempo sul silicio di qualcun altro. Le varianti quantizzate sacrificano una piccola quantità di qualità per una grande riduzione della memoria, e questo è quasi sempre il compromesso giusto per una configurazione personale.
Il terzo livello è il runtime e il software di orchestrazione. llama.cpp, Ollama, vLLM e progetti simili hanno trasformato l’erogazione dei modelli in un comando da una sola riga. Una volta che un modello gira in locale, esporlo ai tuoi strumenti è la parte facile. Le skill personalizzate, quelle piccole automazioni che trasformano "riassumi questo PDF" in una singola pressione di tasto, si collegano a un endpoint locale esattamente come si collegherebbero a uno ospitato. Il costo di integrazione è sostanzialmente zero.
Il quarto livello è la progettazione del flusso di lavoro. L’errore che fanno le persone è trattare l’IA locale come un sostituto del cloud e replicare ogni inefficienza. Il vantaggio arriva dal mettere in cache i prompt ripetuti, raggruppare attività simili ed eseguire i lavori più pesanti di notte, quando nessuno sta aspettando la GPU. Una configurazione locale premia un po’ di attenzione ingegneristica in modi che il cloud non ha mai fatto.
Il quinto livello, e quello che la maggior parte delle persone salta, è la misurazione. Tieni traccia del tuo utilizzo reale. La maggior parte degli utenti personali di IA usa una piccolissima frazione del compute disponibile. Una volta visti i numeri reali, l’economia diventa impossibile da ignorare.
Se sei curioso, inizia in piccolo. Scarica un modello open-weight, eseguilo sulla macchina che possiedi già e collega un singolo flusso di lavoro personale. Le guide della community e i benchmark sono utili, ma l’unica metrica che conta è se svolge il tuo lavoro. Il cloud sarà ancora lì, se ne avrai bisogno. Per la maggior parte di ciò che una configurazione personale fa davvero, non servirà.