C’è un principio silenzioso nello yoga che si applica sorprendentemente bene alla tecnologia: usare esattamente lo sforzo richiesto dal momento — né più, né meno. La maggior parte dei team che oggi utilizzano l’AI fa l’opposto. Stanno spendendo il massimo sforzo per ogni attività, che ne abbia bisogno o meno, e pagando per il privilegio un token alla volta.
Parliamo del perché i tuoi costi AI continuano a salire — e di come riportarli a qualcosa di intenzionale.
I modelli frontier sono progettati per consumare token
I modelli frontier di Anthropic e OpenAI sono davvero straordinari, e in gran parte il perché è che la generazione più recente semplicemente fa più lavoro per richiesta. Ragionano passo dopo passo. "Pensano" prima di rispondere. Eseguono loop agentici più lunghi e multi-step. Forniscono risposte approfondite, ben cautelative e ricche di contesto.
Questo è un vero vantaggio per l’esperienza utente. Le risposte sono migliori, più attente e più capaci rispetto ai modelli sintetici di un paio di anni fa. Ma comporta un effetto collaterale strutturale che vale la pena nominare chiaramente:
Questi modelli hanno un prezzo per token, e sono progettati per usare più token.
Più ragionamento, più output, più andirivieni — tutto questo migliora l’esperienza e aumenta il consumo. Gli incentivi di chi ti vende i token e i tuoi, in qualità di acquirente, non puntano nella stessa direzione. Finisci per pagare una deliberazione profonda per attività che richiedevano una risposta in una sola riga.
Quanto costa davvero a un’azienda
In una singola chat, il costo è invisibile — una frazione di centesimo. Il problema è la scala.
- Un flusso di assistenza clienti che gestisce 50,000 messaggi al giorno.
- Una pipeline di contenuti che genera centinaia di bozze.
- Un agente interno che si ripete cinque o sei volte per attività per "ragionare fino in fondo".
Moltiplica l’uso di token per chiamata per l’overhead di ragionamento, poi per il volume, poi per 30 giorni. Un flusso di lavoro che nella demo sembrava trascurabilmente economico diventa una spesa operativa seria e ricorrente — e che cresce ogni volta che aggiungi una funzionalità o un cliente. Peggio ancora, è imprevedibile: un modello che decide di pensare più a fondo questo mese aumenta silenziosamente la tua fattura senza che nessuno spediscano una sola riga di nuovo codice.
Per una piccola impresa o un’azienda di medie dimensioni, questa imprevedibilità è la vera tassa.
L’alternativa locale: Ollama
Ecco il cambio di mentalità. Non ogni attività richiede un modello frontier. Anzi, la maggior parte no.
Ollama ti permette di eseguire modelli open-source capaci — Llama, Mistral, Qwen e molti altri — direttamente sul tuo hardware o su un server modesto. Una volta avviato, il costo marginale di una richiesta scende praticamente a zero. Hai già pagato per il compute; non c’è alcun contatore per token che continua a girare.
Il compromesso è che un modello locale da 7B–30B non è brillante in modo così trasversale come un modello frontier. Ma per lavori ben definiti e ripetibili — classificazione, estrazione, riassunto, routing, redazione su template — un modello locale più piccolo è più che sufficiente. L’arte sta nel sapere quali attività tenere in locale e quali escalare.
Le competenze personalizzate di AnythingLLM: la vera leva
È qui che si concentra la maggior parte del risparmio.
AnythingLLM è un’applicazione open-source che integra modelli locali (tramite Ollama) in un workspace pulito con supporto a documenti/RAG — e, soprattutto, un sistema di competenze personalizzate. Invece di chiedere a un modello di ragionare da zero ogni volta sulla stessa attività, codifichi la parte ripetibile del lavoro come una competenza deterministica: vero codice che gira in modo prevedibile, chiama le tue API, formatta l’output e restituisce al modello solo le decisioni davvero ambigue.
Il risultato è un ibrido:
- Il codice deterministico fa il lavoro pesante e ripetitivo — gratis, ogni volta, in modo identico.
- Il modello viene invocato solo per la piccola parte dell’attività che richiede davvero giudizio.
Ottieni lo stesso risultato finale, con una frazione del consumo di token — perché hai smesso di pagare un modello linguistico per ricostruire un processo che già conosci.
Dove si inseriscono i server MCP
Un piccolo modello locale è utile solo quanto ciò che può raggiungere. Questo è il ruolo dei server MCP (Model Context Protocol).
MCP è uno standard aperto per connettere modelli AI a strumenti, dati e sistemi live — database, archivi di file, API interne, sistemi di ticketing, il tuo CRM. AnythingLLM supporta i server MCP, il che significa che il tuo stack locale non è un chatbot chiuso; è un agente che può leggere dati reali e compiere azioni reali attraverso un’interfaccia pulita e standardizzata.
Questo è ciò che rende praticabile l’approccio locale per lavori seri. I fornitori frontier vogliono che tu faccia tutto dentro la loro finestra di contesto a consumo di token. MCP ti consente di tenere dati, strumenti e logica deterministica dalla tua parte — e di spendere token solo per il vero ragionamento.
Consigli pratici: riscrivere una competenza standard come competenza personalizzata ottimizzata
Ecco come prendere un’attività che oggi affidi a un modello frontier e ricostruirla per farla girare a una frazione del costo.
Per prima cosa profila la spesa di token. Individua i 3–5 flussi di lavoro che si eseguono più spesso. È lì che i risparmi si sommano. Non ottimizzare la cosa che esegui due volte a settimana.
Separa il deterministico dall’ambiguo. Esamina cosa fa davvero il modello a ogni chiamata. Le parti che sono sempre uguali — recuperare dati, applicare un formato, validare campi, instradare — non hanno bisogno di alcun modello linguistico.
Sposta le parti deterministiche nel codice. In una competenza personalizzata di AnythingLLM, quella logica diventa una funzione handler. Gira sempre nello stesso modo, con costo zero in token.
Riduci il prompt alla decisione. Dai al modello solo la domanda davvero ambigua, con il contesto appena sufficiente per rispondere. Niente riscrivere l’intero processo a ogni chiamata. Input più piccolo, output più piccolo, fattura più bassa.
Porta i dati live tramite MCP, non tramite il prompt. Non incollare un documento da 4,000 token nel contesto quando uno strumento MCP può recuperare esattamente il campo che ti serve su richiesta.
Instrada in base alla difficoltà. Esegui la versione quotidiana su un modello locale Ollama. Riserva il modello frontier per il vero 5% più difficile — e lascia che sia la tua competenza a decidere quando escalare.
Misura prima e dopo. Traccia i token-per-attività prima e dopo. I team che lo fanno regolarmente trovano riduzioni dell’80–95% sui flussi di lavoro a più alto volume.
La conclusione intenzionale
L’AI frontier vale la pena pagarla — quando l’attività lo richiede davvero. L’errore è usarla come default per tutto, finanziando in silenzio un contatore per token progettato per continuare a salire.
Esegui il lavoro di routine in locale. Codifica ciò che è ripetibile come competenze personalizzate. Collegalo al mondo reale con MCP. Conserva i modelli frontier per i momenti che ne hanno davvero bisogno.
Non significa tagliare gli angoli. Significa semplicemente usare lo sforzo giusto per il momento — che, guarda caso, è una buona pratica sia sul tappetino che nel cloud.