La nostra ultima fattura mensile da un provider di modelli ospitati è arrivata a $4,200, e quasi la metà era una spesa che non riuscivamo a collegare a un risultato per il cliente. Questa singola voce ci ha spinti a ripensare da zero il modo in cui i nostri agenti interni ragionano, instradano e pagano l’intelligenza. Dopo tre mesi, stiamo lavorando in modo più snello, più veloce e più economico — e la strategia è più semplice di quanto faccia sembrare il circuito delle conferenze.
Il primo cambiamento è stato ammettere che non ogni attività merita un modello all’avanguardia. Instradare la classificazione semplice, la formattazione e i controlli di schema verso un piccolo modello locale ha gestito la maggior parte del nostro volume senza perdere precisione nei punti che contavano. Abbiamo riservato le chiamate ospitate costose al lavoro di ragionamento davvero difficile — definizione della strategia, sintesi sfumata e casi limite. Il principio è poco appariscente ma potente: far corrispondere il costo della chiamata al valore della risposta.
Il secondo cambiamento è stato trattare le competenze degli agenti come codice, non come chat. Ogni competenza è una piccola funzione testabile con input e output espliciti. Quando una competenza è ben definita, un minuscolo modello locale può eseguirla in modo affidabile, e possiamo memorizzare nella cache il risultato. Nel corso di una settimana, quelle chiamate memorizzate nella cache e servite localmente sono il punto in cui i risparmi si accumulano. Il modello ospitato diventa un fallback, non l’impostazione predefinita.
Terzo, abbiamo misurato i token come un budget, non come una metrica di vanità. Abbiamo monitorato il costo per attività risolta in ogni flusso di lavoro e ci siamo rifiutati di rilasciare qualsiasi cosa che non battesse un baseline. Questo ci ha costretti ad avere conversazioni oneste su quali prompt stessero davvero contribuendo e quali stessero pagando prezzi premium per riempitivo. Una quantità sorprendente di "intelligenza" nella nostra pipeline era boilerplate ripetitivo che un modello da 7B parametri gestisce comodamente.
Quarto, abbiamo dato a ogni agente la capacità di fare escalation in modo deliberato. Local-first con un percorso chiaro e documentato verso un modello più potente quando la fiducia è bassa. Il team si fida del sistema perché l’uscita di emergenza è reale, e il budget si fida del sistema perché la maggior parte delle chiamate non ci arriva mai.
Infine, abbiamo smesso di ottimizzare per la demo e abbiamo iniziato a ottimizzare per il martedì alle 2pm. Flussi di lavoro reali, budget di latenza reali, limiti di costo reali. È lì che i modelli locali e una progettazione disciplinata delle competenze si guadagnano il loro posto.
Se stai fissando una dashboard di utilizzo che non torna con il valore che il tuo team sta consegnando, la strada da seguire non è un altro negoziato contrattuale. Inizia mappando le chiamate ad alto volume, instrada localmente quelle semplici, formalizza il resto come competenze riutilizzabili e assegna a ogni flusso di lavoro un numero reale di costo-per-attività. La riduzione del 90% non è una promessa di marketing — è ciò che emerge quando smetti di pagare prezzi da frontiera per le faccende.
Vuoi una checklist di audit iniziale che usiamo per trovare i miglioramenti facili prima di impegnarci sull’infrastruttura? Iscriviti e ti invieremo il foglio di lavoro di una pagina venerdì.