Abbiamo costruito una dashboard per domare i costi degli LLM — e ha cambiato il modo in cui pratichiamo

C'è un momento in ogni lezione di yoga in cui uno studente smette di cercare di forzare una posa e פשוט nota ciò che il corpo sta facendo. L'anca è rigida. Il respiro è superficiale. La spalla sta compensando. Quel momento di consapevolezza — non giudicante, preciso — è il punto da cui inizia il cambiamento. Non nel forzare. Nel notare.

Abbiamo costruito l'AI Model Pricing Dashboard esattamente per lo stesso motivo. Non perché volessimo spendere di più per i Large Language Models, ma perché non riuscivamo a dirvi — onestamente, con precisione — quanto stavamo già spendendo. Nessuno del team lo sapeva. Arrivavano le fatture e nessuno poteva rispondere alla semplice domanda: quali modelli stiamo usando davvero e con quale costo per provider?

Il caos sotto il cofano

Se avete eseguito workload AI su più provider, conoscete il problema. OpenRouter addebita per token con una tariffa. OpenAI separa i token di input e di output con prezzi diversi. Anthropic ha una propria struttura. Kilo AI Gateway aggiunge piani in abbonamento con calcoli sugli eccedenti. Ogni provider conteggia i token in modo diverso. Ogni provider cambia il proprio listino senza note di rilascio.

È un po' come cercare di praticare yoga leggendo cinque libri diversi in cinque lingue diverse, nessuno dei quali concorda sul significato di "Downward Dog". Si può andare avanti a fatica. Ma si finirà per compensare. E la compensazione ha un costo — pagato in denaro sul fronte infrastrutturale, pagato in allineamento sul tappetino.

Cosa fa la dashboard

L'AI Model Pricing Dashboard è uno strumento open source — BSD 3-Clause, compatibile con MIT — costruito con un backend FastAPI e un frontend Next.js. Aggrega i prezzi di oltre 10 provider LLM, normalizza tutto in dollari per milione di token e vi offre una singola tabella filtrabile e ordinabile che rende il confronto semplice.

Ma il vero valore non è la tabella. Il vero valore è ciò che la tabella rivela:

• Matematica dei token di input vs output. La maggior parte dei team ragiona in termini di "costo per chiamata". Ma l'uso moderno degli LLM è dominato dai token di output — le risposte del modello. Un modello che addebita $2 per milione di token di input ma $15 per milione di token di output ha un profilo di costo completamente diverso rispetto a uno che addebita rispettivamente $5 e $6. La dashboard rende tutto questo immediatamente visibile.

• Contesto della finestra di contesto. Un modello con una finestra di contesto da 128K può sembrare più costoso per token di uno con una finestra da 4K. Ma se al momento state concatenando più chiamate a un modello più economico per gestire prompt lunghi, il modello più costoso con la finestra di contesto ampia è in realtà più economico — e produce risultati migliori.

• Monitoraggio dei trend. I prezzi cambiano. La dashboard conserva lo storico dei prezzi a 30 giorni. Questo significa che vedete i movimenti di prezzo dei provider prima che arrivino sulla vostra prossima fattura.

• Proiezione del piano Kilo. Se siete utenti di Kilo AI Gateway, la dashboard confronta l'utilizzo effettivo con ogni fascia e vi dice quale piano minimizza il costo totale, inclusi gli eccedenti.

L'architettura sotto la superficie

Il sistema gira su Postgres e Redis, con manifest Kubernetes per il deployment in produzione. Il backend FastAPI gestisce l'aggregazione dei prezzi con una cache Redis da 900 secondi — abbastanza veloce per l'uso in tempo reale della dashboard, abbastanza delicata sulle API dei provider. I CronJob aggiornano i prezzi ogni 15 minuti e inviano report email giornalieri alle 9 AM UTC.

Per lo sviluppo locale, l'intero stack si avvia con docker-compose.yaml — Postgres, Redis, l'API e il frontend Next.js — in meno di due minuti.

Abbiamo scelto Kubernetes non perché la dashboard richieda una scala enorme, ma perché il pattern di deployment dovrebbe essere noioso. Traefik per l'ingress, cert-manager per TLS, autoscaling orizzontale dei pod per le repliche API e web. Noioso è affidabile. Affidabile è ciò che volete quando questo strumento informa decisioni di budget.

Dove lo yoga incontra la dashboard

Ecco la parte che nessun blog di architettura vi dirà: l'ottimizzazione dei costi e lo yoga condividono lo stesso primo passo.

Nello yoga diciamo la consapevolezza precede il cambiamento. Non potete correggere un'anca disallineata se non sapete che è disallineata. Non potete ammorbidire una mascella cronicamente contratta se non avete mai notato che era tesa. Il notare è la pratica. Il notare è il punto in cui inizia l'autonomia.

La dashboard esiste perché abbiamo notato. Per la prima volta avevamo un quadro preciso e onesto di quanto costassero davvero i nostri workload AI — non una stima, non una sensazione vaga che "sembra costoso", ma un numero. E una volta che avete un numero, potete prendere una decisione. Cambiamo provider per questo workload? Usiamo un modello più economico per i task non critici? Facciamo un caching più aggressivo? Scegliamo il modello con la finestra di contesto più ampia ed eliminiamo le chiamate concatenate?

Nessuna di queste decisioni era visibile prima. Non perché i dati non esistessero, ma perché erano sparsi tra cinque dashboard di provider, tre pagine di fatturazione e un foglio di calcolo che nessuno aggiornava.

Abbiamo costruito lo scraper. Abbiamo costruito il normalizzatore. Abbiamo costruito la dashboard. E la prima settimana in cui l'abbiamo usata, abbiamo trovato un'inefficienza da $40/mese che andava avanti da quattro mesi. Sono $160 che abbiamo speso perché non stavamo guardando. La dashboard è costata meno di una sera per essere configurata.

Cosa stiamo imparando dai dati

Da quando abbiamo distribuito la dashboard, tre cose sono cambiate nel nostro modo di operare:

Dimensionamento in base al task. Ora assegniamo modelli specifici a task specifici in base al costo reale per task, non alla preferenza per un brand. I task ad alta ripetizione e bassa complessità vanno a modelli più economici e veloci. I task di ragionamento complesso vanno dove la qualità giustifica il prezzo. Non è un'idea nuova — è lo stesso principio di scegliere una pratica restorative invece di un power flow in base a ciò di cui il corpo ha davvero bisogno quel giorno.

Caching come pranayama. Nello yoga, il pranayama (controllo del respiro) è la pratica di far contare ogni respiro — meno volume, più intenzione, migliore scambio di ossigeno. Il caching delle risposte LLM è lo stesso concetto. Se lo stesso prompt produce lo stesso output, lo memorizzate. Non pagate due volte per lo stesso calcolo. La cache Redis della dashboard con TTL di 900 secondi ha ridotto la spesa per token ripetuti di circa il 30%. Respirare meno, ottenere di più.

Consapevolezza dei trend. Tenere traccia dei trend dei prezzi per 30 giorni significa vedere i ribassi dei provider prima di leggere i post sul blog che li annunciano. Quando un provider abbassa la tariffa del 20%, lo sappiamo entro un'ora. Quando un provider aumenta le tariffe, possiamo rivalutare prima del ciclo di fatturazione successivo. Consapevolezza. Autonomia. Decisione.

Open source, perché accumulare strumenti è cattivo yoga

Il progetto è con licenza MIT su GitHub: github.com/andreab67/ai-models-pricing. I manifest Kubernetes sono inclusi. La documentazione dell'API si trova in FUNCTIONAL.md. L'SBOM — ogni dipendenza, la sua licenza, le sue note di sicurezza — è in SBOM.md.

Abbiamo open-source questo progetto perché il problema non riguarda solo noi. Ogni team che esegue workload AI multi-provider ha questo problema. E accumulare strumenti utili è, per usare un'analogia yoga, come rifiutarsi di insegnare a uno studente una posa che potrebbe aiutarlo. La pratica non si impoverisce condividendo. Si approfondisce.

Un passo per questa settimana

Se il vostro team esegue workload LLM e non sapete rispondere immediatamente a "quanto spendiamo per provider per task" — state compensando. Non male. Solo in modo costoso.

Configurate la dashboard in locale. Con Docker ci vogliono due minuti. Fatela girare. Guardate i numeri. Lasciate che i numeri vi dicano qualcosa che non avevate notato.

Poi decidete.

Questa è la stessa pratica che facciamo sul tappetino: arrivare, notare, scegliere. Gli strumenti cambiano. Il principio no.

L'AI Model Pricing Dashboard è open source su github.com/andreab67/ai-models-pricing. L'istanza di produzione gira sul nostro cluster Kubernetes. Se desiderate aiuto per distribuirlo o integrarlo nel vostro pipeline di alerting dei costi, contattateci.