Construímos um Dashboard para Domar os Custos dos LLM — E Isso Mudou a Forma Como Praticamos

Há um momento em cada aula de yoga em que um aluno deixa de tentar forçar uma pose e simplesmente repara no que o corpo está a fazer. A anca está rígida. A respiração está curta. O ombro está a compensar. Esse momento de consciência — não julgador, preciso — é onde a mudança começa. Não no forçar. No reparar.

Construímos o AI Model Pricing Dashboard exatamente pelo mesmo motivo. Não porque quiséssemos gastar mais em Large Language Models, mas porque não conseguíamos dizer-vos — honestamente, com precisão — o que já estávamos a gastar. Ninguém da equipa sabia. As faturas chegavam e ninguém conseguia responder à pergunta simples: que modelos estamos realmente a utilizar e com que custo por fornecedor?

A confusão por detrás do sistema

Se já executou cargas de trabalho de IA em vários fornecedores, conhece a dor. A OpenRouter cobra por token com uma taxa. A OpenAI separa tokens de input e output com preços diferentes. A Anthropic tem a sua própria estrutura. O Kilo AI Gateway adiciona planos de subscrição com cálculos de excedentes. Cada fornecedor conta tokens de forma diferente. Cada fornecedor altera a sua tabela de preços sem nota de lançamento.

É um pouco como tentar praticar yoga ao ler cinco livros diferentes em cinco línguas diferentes, nenhum dos quais concorda sobre o que significa "Downward Dog". Consegue ir andando. Mas vai compensar. E a compensação tem um custo — pago em dinheiro do lado da infraestrutura, pago em alinhamento no tapete.

O que o dashboard faz

O AI Model Pricing Dashboard é uma ferramenta open-source — BSD 3-Clause, compatível com MIT — construída com um backend FastAPI e um frontend Next.js. Agrega preços de mais de 10 fornecedores de LLM, normaliza tudo para dólares por milhão de tokens e oferece-lhe uma única tabela filtrável e ordenável que torna a comparação sem esforço.

Mas o valor real não está na tabela. O valor real é o que a tabela revela:

• Matemática de tokens de input vs. output. A maioria das equipas pensa em termos de "custo por chamada". Mas a utilização moderna de LLM é dominada por tokens de output — as respostas do modelo. Um modelo que cobra 2 dólares por milhão de tokens de input, mas 15 dólares por milhão de tokens de output, tem um perfil de custo completamente diferente de um que cobra 5 e 6, respetivamente. O dashboard torna isto visível instantaneamente.

• Contexto da janela de contexto. Um modelo com uma janela de contexto de 128K pode parecer mais caro por token do que um com uma janela de 4K. Mas se atualmente está a encadear várias chamadas a um modelo mais barato para lidar com prompts longos, o modelo caro com a grande janela de contexto é, na verdade, mais barato — e produz melhores resultados.

• Acompanhamento de tendências. Os preços mudam. O dashboard guarda o histórico de preços de 30 dias. Isso significa que vê os movimentos de preço do fornecedor antes de chegarem à sua próxima fatura.

• Projeção do plano Kilo. Se é utilizador do Kilo AI Gateway, o dashboard mapeia a utilização real contra cada escalão e diz-lhe qual o plano que minimiza o seu custo total, incluindo excedentes.

A arquitetura por baixo

O sistema corre em Postgres e Redis, com manifests do Kubernetes para implementação em produção. O backend FastAPI trata da agregação de preços com uma cache Redis de 900 segundos — suficientemente rápida para utilização em tempo real no dashboard, suficientemente leve para as APIs dos fornecedores. CronJobs atualizam os preços a cada 15 minutos e enviam relatórios diários por email às 9 AM UTC.

Para desenvolvimento local, toda a stack arranca com docker-compose.yml — Postgres, Redis, a API e o frontend Next.js — em menos de dois minutos.

Optámos pelo Kubernetes não porque o dashboard precise de escala massiva, mas porque o padrão de implementação deve ser aborrecido. Traefik para ingress, cert-manager para TLS, autoscaling horizontal de pods para as réplicas da API e da web. Aborrecido é fiável. Fiável é o que quer quando esta ferramenta está a informar decisões orçamentais.

Onde o yoga encontra o dashboard

Aqui está a parte que nenhum artigo de arquitetura lhe dirá: a otimização de custos e o yoga partilham o mesmo primeiro passo.

No yoga, dizemos a consciência precede a mudança. Não pode corrigir uma anca desalinhada se não souber que está desalinhada. Não pode suavizar uma mandíbula cronicamente tensa se nunca tiver reparado que ela estava contraída. O reparar é a prática. O reparar é onde a autonomia começa.

O dashboard existe porque reparámos. Pela primeira vez, tínhamos uma imagem precisa e honesta do que as nossas cargas de trabalho de IA realmente custavam — não uma estimativa, não uma sensação vaga de que "parece caro", mas um número. E, uma vez que tem um número, pode tomar uma decisão. Mudamos de fornecedor para esta carga de trabalho? Usamos um modelo mais barato para tarefas não críticas? Fazemos caching de forma mais agressiva? Escolhemos o modelo com a janela de contexto maior e eliminamos a encadeação de chamadas?

Nenhuma dessas decisões era visível antes. Não porque os dados não existissem, mas porque estavam dispersos por cinco dashboards de fornecedores, três páginas de faturação e uma folha de cálculo que ninguém atualizava.

Construímos o scraper. Construímos o normalizador. Construímos o dashboard. E na primeira semana em que o utilizámos, encontrámos uma ineficiência de 40 dólares/mês que estava a correr há quatro meses. Isso são 160 dólares que gastámos porque não estávamos a olhar. O dashboard custou menos do que uma noite para configurar.

O que estamos a aprender com os dados

Desde a implementação do dashboard, três coisas mudaram na forma como trabalhamos:

Dimensionamento adequado por tarefa. Agora atribuímos modelos específicos a tarefas específicas com base no custo real por tarefa, e não na preferência pela marca. Tarefas de alta repetição e baixa complexidade vão para modelos mais baratos e rápidos. Tarefas de raciocínio complexo vão para onde a qualidade justifica o preço. Esta não é uma ideia nova — é o mesmo princípio de escolher uma prática restaurativa versus uma power flow com base no que o seu corpo realmente precisa nesse dia.

Caching como pranayama. No yoga, pranayama (controlo da respiração) é a prática de fazer com que cada respiração conte — menos volume, mais intenção, melhor troca de oxigénio. Fazer caching das respostas de LLM é o mesmo conceito. Se o mesmo prompt produz a mesma saída, guarda-o. Não paga pela mesma computação duas vezes. A cache Redis do dashboard com um TTL de 900 segundos reduziu o nosso gasto com tokens repetidos em cerca de 30%. Respirar menos, obter mais.

Consciência da tendência. Acompanhar as tendências de preços durante 30 dias significa que vemos as descidas de preço dos fornecedores antes de vermos publicações de blog sobre elas. Quando um fornecedor reduz a sua tarifa em 20%, sabemos-no dentro de uma hora. Quando um fornecedor aumenta as tarifas, podemos reavaliar antes do próximo ciclo de faturação. Consciência. Autonomia. Decisão.

Open source, porque acumular ferramentas é mau yoga

O projeto está licenciado em BSD 3-Clause no GitHub: github.com/andreab67/ai-models-pricing. Os manifests do Kubernetes estão incluídos. A documentação da API está em FUNCTIONAL.md. O SBOM — cada dependência, a sua licença, as suas notas de segurança — está em SBOM.md.

Tornámos isto open-source porque o problema não é apenas nosso. Todas as equipas que executam cargas de trabalho de IA em múltiplos fornecedores têm este problema. E acumular ferramentas úteis é, para usar uma analogia de yoga, como recusar ensinar a um aluno uma pose que o ajudaria. A prática não diminui por ser partilhada. Aprofunda-se.

Um movimento para esta semana

Se a sua equipa executa cargas de trabalho de LLM e não consegue responder imediatamente a "quanto estamos a gastar por fornecedor por tarefa" — está a compensar. Não mal. Apenas de forma cara.

Configure o dashboard localmente. Leva dois minutos com Docker. Execute-o. Veja os números. Deixe que os números lhe digam algo que não reparou.

Depois decida.

Essa é a mesma prática que fazemos no tapete: chegar, reparar, escolher. As ferramentas mudam. O princípio não.

O AI Model Pricing Dashboard é open source em github.com/andreab67/ai-models-pricing. A instância de produção corre no nosso cluster Kubernetes. Se quiser ajuda a implementá-lo ou a integrá-lo no seu próprio pipeline de alertas de custos, contacte-nos.