Sei mesi fa la nostra bolletta mensile per i modelli linguistici ospitati era il tipo di cifra che faceva sorgere domande al reparto finanziario. Oggi è un decimo di quella cifra, e i modelli sono più veloci sul nostro hardware di quanto non lo siano mai stati via internet pubblico. Non abbiamo negoziato uno sconto. Non siamo passati a un piano più economico. Abbiamo portato i modelli a casa.
Il cambiamento è iniziato come un esperimento ed è diventato uno stack. Un insieme piccolo e ben scelto di modelli open-weight, in esecuzione su un singolo box di livello consumer ai margini della nostra rete, gestisce ora la maggior parte del nostro traffico di inferenza. I modelli cloud sono ancora nel flusso, ma solo per i compiti che ne hanno davvero bisogno. Tutto il resto gira in locale, e il risparmio finisce dritto a bilancio.
La prima lezione è stata che più grande non è sempre meglio per ogni prompt. Un modello da 70 miliardi di parametri è impressionante, ma per compiti di routine come riassunti, classificazione ed estrazione strutturata è enormemente sovradimensionato. Abbiamo analizzato il traffico reale e abbiamo scoperto che circa sette richieste su dieci erano di routine. Un modello da 7 miliardi di parametri, messo a punto con fine-tuning, le gestiva a una frazione della latenza e con costo zero per token. Instradare in base al compito, non per abitudine, è stata la svolta.
La seconda lezione riguardava l'hardware. Avevamo dato per scontato di aver bisogno di un rack di acceleratori. In pratica, una singola GPU moderna con abbastanza VRAM da contenere comodamente due o tre modelli quantizzati contemporaneamente ha coperto il nostro carico di picco. La quantizzazione a pesi a quattro bit ci è costata un calo di qualità misurabile ma accettabile, restituendoci enormi quantità di memoria e throughput. Per la coda lunga di lavori a bassa priorità, un fallback solo CPU con un modello più piccolo ha mantenuto il sistema reattivo quando la GPU era occupata.
La terza lezione riguardava la cache. I costi dei token si accumulano quando rivaluti la stessa finestra di contesto più e più volte. Abbiamo aggiunto una cache semantica davanti allo strato di inferenza, in modo che prompt quasi duplicati restituiscano una risposta già salvata senza toccare mai il modello. Combinata con un prompt templating che elimina la cronologia non necessaria, il tasso di riscontro nella cache ha superato il quaranta percento nel giro di poche settimane.
La quarta lezione riguardava l'osservabilità. Senza dashboard su latenza per modello, costo per milione di token e controlli puntuali sulla qualità, l'ottimizzazione è un lavoro a tentoni. Abbiamo instrumentato ogni chiamata per vedere esattamente quali instradamenti erano redditizi e quali stavano silenziosamente bruciando budget.
Se stai guardando una bolletta per i modelli che non riflette più il valore che ne ricavi, il percorso è semplice. Analizza ciò che invii davvero, dimensiona il modello in base al compito, quantizza in modo aggressivo, metti in cache i duplicati e misura senza sosta. Il cloud resta per i casi difficili. Tutto il resto può girare sulla tua scrivania.
Curioso di sapere come sarebbe il tuo traffico instradato in questo modo? Rispondi con i tuoi tre principali casi d'uso dei modelli e condivideremo la suddivisione dell'instradamento con cui inizieremmo.