Há seis meses, a nossa fatura mensal de modelos de linguagem alojados era daquelas que faziam o departamento financeiro fazer perguntas. Hoje é um décimo desse valor, e os modelos são mais rápidos no nosso hardware do que alguma vez foram na internet pública. Não negociámos um desconto. Não mudámos para um escalão mais barato. Trouxemos os modelos para casa.
A mudança começou como uma experiência e transformou-se numa stack. Um pequeno conjunto, bem escolhido, de modelos open-weight a correr numa única máquina de nível de consumo, na periferia da nossa rede, trata agora da maior parte do nosso tráfego de inferência. Os modelos na cloud continuam no circuito, mas apenas para os trabalhos que realmente precisam deles. Tudo o resto corre localmente, e as poupanças revertem diretamente para o resultado final.
A primeira lição foi que maior não é melhor para todos os prompts. Um modelo com 70 mil milhões de parâmetros é impressionante, mas para sumarização rotineira, classificação e extração estruturada está excessivamente qualificado. Analisámos o tráfego real e descobrimos que cerca de sete em cada dez pedidos eram rotineiros. Um modelo afinado com 7 mil milhões de parâmetros tratava deles com uma fração da latência e custo zero por token. Encaminhar por tarefa, e não por hábito, foi o que desbloqueou tudo.
A segunda lição foi sobre hardware. Partíamos do princípio de que precisaríamos de um rack de aceleradores. Na prática, uma única GPU moderna com VRAM suficiente para alojar confortavelmente dois ou três modelos quantizados em simultâneo cobria a nossa carga de pico. A quantização para pesos de quatro bits custou-nos uma queda mensurável, mas aceitável, na qualidade e devolveu-nos enormes quantidades de memória e throughput. Para a cauda longa de trabalhos de baixa prioridade, um fallback apenas com CPU e um modelo mais pequeno manteve o sistema responsivo quando a GPU estava ocupada.
A terceira lição foi sobre cache. Os custos em tokens acumulam-se quando reavaliamos o mesmo contexto repetidas vezes. Adicionámos uma cache semântica à frente da camada de inferência para que prompts quase duplicados devolvam uma resposta armazenada sem sequer tocar no modelo. Em conjunto com um templating de prompts que remove o histórico desnecessário, a taxa de acerto da cache subiu para além dos quarenta por cento em poucas semanas.
A quarta lição foi sobre observabilidade. Sem dashboards de latência por modelo, custo por milhão de tokens e verificações pontuais de qualidade, a otimização é mera adivinhação. Instrumentámos cada chamada para podermos ver exatamente quais as rotas lucrativas e quais as que, silenciosamente, estavam a queimar orçamento.
Se está a olhar para uma fatura de modelos que já não corresponde ao valor que deles obtém, o caminho é simples. Analise o que realmente envia, dimensione o modelo corretamente para a tarefa, quantize de forma agressiva, faça cache de duplicados e meça sem descanso. A cloud fica para os casos difíceis. Tudo o resto pode correr na sua própria secretária.
Curioso para saber como seria o seu tráfego encaminhado desta forma? Responda com os seus três principais casos de utilização de modelos e partilharemos a repartição de encaminhamento com que começaríamos.