Abbiamo costruito una dashboard per domare i costi degli LLM — e ha cambiato il nostro modo di praticare

C'è un momento in ogni lezione di yoga in cui uno studente smette di cercare di forzare una postura e semplicemente nota ciò che il corpo sta facendo. L'anca è rigida. Il respiro è superficiale. La spalla sta compensando. Quel momento di consapevolezza — non giudicante, preciso — è il punto in cui inizia il cambiamento. Non nel forzare. Nel notare.

Abbiamo costruito la AI Model Pricing Dashboard esattamente per lo stesso motivo. Non perché volessimo spendere di più per i Large Language Models, ma perché non riuscivamo a dirvi — onestamente, con precisione — quanto stavamo già spendendo. Nessuno del team lo sapeva. Arrivavano le fatture e nessuno poteva rispondere alla semplice domanda: quali modelli stiamo effettivamente usando, e con quale costo per provider?

Il caos sotto il cofano

Se avete gestito carichi di lavoro AI su più provider, conoscete il problema. OpenRouter addebita per token con una tariffa. OpenAI separa i token di input e output con prezzi diversi. Anthropic ha una propria struttura. Kilo AI Gateway si appoggia a piani in abbonamento con calcoli per eccedenze. Ogni provider conta i token in modo diverso. Ogni provider cambia il proprio listino senza una nota di rilascio.

È un po' come cercare di praticare yoga leggendo cinque libri diversi in cinque lingue diverse, nessuno dei quali concorda su cosa significhi "Downward Dog". Si può andare avanti arrangiandosi. Ma si finirà per compensare. E la compensazione ha un costo — pagato in denaro sul fronte dell'infrastruttura, pagato in allineamento sul tappetino.

Cosa fa la dashboard

La AI Model Pricing Dashboard è uno strumento open source — BSD 3-Clause, compatibile con MIT — costruito con un backend FastAPI e un frontend Next.js. Aggrega i prezzi di oltre 10 provider di LLM, normalizza tutto in dollari per milione di token e offre una singola tabella filtrabile e ordinabile che rende il confronto immediato.

Ma il vero valore non è la tabella. Il vero valore è ciò che la tabella rivela:

• Matematica dei token di input vs output. La maggior parte dei team pensa in termini di "costo per chiamata". Ma l'uso moderno degli LLM è dominato dai token di output — le risposte del modello. Un modello che costa $2 per milione di token di input ma $15 per milione di token di output ha un profilo di costo completamente diverso da uno che costa rispettivamente $5 e $6. La dashboard rende tutto questo visibile all'istante.

• Contesto della finestra di contesto. Un modello con una finestra di contesto da 128K può sembrare più costoso per token di uno con una finestra da 4K. Ma se al momento state concatenando più chiamate a un modello più economico per gestire prompt lunghi, il modello più costoso con la finestra di contesto ampia in realtà costa meno — e produce risultati migliori.

• Tracciamento dei trend. I prezzi cambiano. La dashboard conserva la cronologia dei prezzi a 30 giorni. Questo significa che vedete i movimenti di prezzo del provider prima che arrivino alla vostra prossima fattura.

• Proiezione del piano Kilo. Se siete utenti di Kilo AI Gateway, la dashboard mappa l'uso reale rispetto a ciascuna fascia e vi dice quale piano minimizza il costo totale, incluse le eccedenze.

L'architettura sotto il livello visibile

Il sistema gira su Postgres e Redis, con manifesti Kubernetes per il deployment in produzione. Il backend FastAPI gestisce l'aggregazione dei prezzi con una cache Redis da 900 secondi — abbastanza veloce per l'uso in tempo reale della dashboard, abbastanza leggera sulle API dei provider. I CronJob aggiornano i prezzi ogni 15 minuti e inviano report email giornalieri alle 9 AM UTC.

Per lo sviluppo locale, l'intero stack si avvia con docker-compose.yml — Postgres, Redis, l'API e il frontend Next.js — in meno di due minuti.

Abbiamo scelto Kubernetes non perché la dashboard abbia bisogno di una scala enorme, ma perché il pattern di deployment dovrebbe essere noioso. Traefik per l'ingresso, cert-manager per TLS, autoscaling orizzontale dei pod per le repliche dell'API e del web. Noioso è affidabile. Affidabile è ciò che volete quando questo strumento informa decisioni di budget.

Dove lo yoga incontra la dashboard

Ecco la parte che nessun blog di architettura vi dirà: l'ottimizzazione dei costi e lo yoga condividono lo stesso primo passo.

Nello yoga diciamo la consapevolezza precede il cambiamento. Non potete correggere un'anca disallineata se non sapete che è disallineata. Non potete ammorbidire una mandibola cronicamente contratta se non avete mai notato che era tesa. Il notare è la pratica. Il notare è il punto in cui inizia l'agency.

La dashboard esiste perché abbiamo notato. Per la prima volta avevamo un quadro preciso e onesto di quanto costassero davvero i nostri carichi di lavoro AI — non una stima, non una vaga sensazione che "sembra costoso", ma un numero. E una volta che avete un numero, potete prendere una decisione. Passiamo a un altro provider per questo carico di lavoro? Usiamo un modello più economico per i task non critici? Facciamo caching in modo più aggressivo? Scegliamo il modello con la finestra di contesto più grande ed eliminiamo la concatenazione delle chiamate?

Nessuna di queste decisioni era visibile prima. Non perché i dati non esistessero, ma perché erano sparsi su cinque dashboard di provider, tre pagine di fatturazione e un foglio di calcolo che nessuno aggiornava.

Abbiamo costruito lo scraper. Abbiamo costruito il normalizzatore. Abbiamo costruito la dashboard. E nella prima settimana in cui l'abbiamo usata, abbiamo trovato un'inefficienza da $40/mese che andava avanti da quattro mesi. Sono $160 che abbiamo speso perché non stavamo guardando. La dashboard è costata meno di una sera per essere configurata.

Cosa stiamo imparando dai dati

Da quando abbiamo implementato la dashboard, tre cose sono cambiate nel nostro modo di lavorare:

Dimensionamento in base al task. Ora assegniamo modelli specifici a task specifici in base al costo reale per task, non alla preferenza di marca. I task ad alta ripetizione e bassa complessità vanno a modelli più economici e veloci. I task di ragionamento complesso vanno dove la qualità giustifica il prezzo. Non è un'idea nuova — è lo stesso principio del scegliere una pratica restaurativa invece di un power flow in base a ciò di cui il vostro corpo ha realmente bisogno quel giorno.

Caching come pranayama. Nello yoga, il pranayama (controllo del respiro) è la pratica di far contare ogni respiro — meno volume, più intenzione, migliore scambio di ossigeno. Il caching delle risposte LLM è lo stesso concetto. Se lo stesso prompt produce lo stesso output, lo memorizzate. Non pagate due volte per lo stesso calcolo. La cache Redis della dashboard con TTL di 900 secondi ha ridotto la nostra spesa per token ripetuti di circa il 30%. Respirare meno, ottenere di più.

Consapevolezza dei trend. Tracciare i trend dei prezzi su 30 giorni significa vedere i cali dei prezzi dei provider prima di leggere i post sul blog a riguardo. Quando un provider abbassa la tariffa del 20%, lo sappiamo entro un'ora. Quando un provider aumenta i prezzi, possiamo rivalutare prima del ciclo di fatturazione successivo. Consapevolezza. Agency. Decisione.

Open source, perché accumulare strumenti è cattivo yoga

Il progetto è con licenza BSD 3-Clause su GitHub: github.com/andreab67/ai-models-pricing. I manifesti Kubernetes sono inclusi. La documentazione dell'API si trova in FUNCTIONAL.md. Lo SBOM — ogni dipendenza, la sua licenza, le note di sicurezza — si trova in SBOM.md.

Abbiamo reso il progetto open source perché il problema non è solo nostro. Ogni team che esegue carichi di lavoro AI multi-provider ha questo problema. E accumulare strumenti utili è, per usare un'analogia yogica, come rifiutarsi di insegnare a uno studente una postura che potrebbe aiutarlo. La pratica non si impoverisce condividendo. Si approfondisce.

Un'azione per questa settimana

Se il vostro team esegue carichi di lavoro LLM e non potete rispondere immediatamente a "quanto stiamo spendendo per provider per task" — state compensando. Non male. Solo in modo costoso.

Configurate la dashboard in locale. Con Docker ci vogliono due minuti. Eseguite la dashboard. Guardate i numeri. Lasciate che i numeri vi dicano qualcosa che non avevate notato.

Poi decidete.

Questa è la stessa pratica che facciamo sul tappetino: arrivare, notare, scegliere. Gli strumenti cambiano. Il principio no.

La AI Model Pricing Dashboard è open source su github.com/andreab67/ai-models-pricing. L'istanza di produzione gira sul nostro cluster Kubernetes. Se volete aiuto per distribuirla o integrarla con la vostra pipeline di alerting dei costi, contattateci.