Há seis meses, a nossa fatura mensal com modelos de linguagem hospedados era o tipo de número que fazia a financeira levantar questões. Hoje é um décimo disso, e os modelos são mais rápidos no nosso hardware do que alguma vez foram através da internet pública. Não negociámos nenhum desconto. Não mudámos para um escalão mais barato. Trouxemos os modelos para casa.
A mudança começou como uma experiência e transformou-se numa stack. Um conjunto pequeno e bem escolhido de modelos de pesos abertos a correr numa única máquina de gama consumer na extremidade da nossa rede trata agora da maior parte do nosso tráfego de inferência. Os modelos na cloud continuam na equação, mas apenas para as tarefas que realmente precisam deles. Tudo o resto corre localmente, e a poupança cai diretamente para os resultados.
A primeira lição foi que maior nem sempre é melhor para cada prompt. Um modelo de 70 mil milhões de parâmetros é impressionante, mas para resumos, classificação e extração estruturada rotineiras é absurdamente demasiado. Analisámos o tráfego real e descobrimos que cerca de sete em cada dez pedidos eram rotineiros. Um modelo afinado de 7 mil milhões de parâmetros tratava deles a uma fração da latência e a custo zero por token. Encaminhar por tarefa, e não por hábito, foi o desbloqueio.
A segunda lição foi sobre o hardware. Partíamos do princípio de que iríamos precisar de uma prateleira de aceleradores. Na prática, uma única GPU moderna com VRAM suficiente para manter dois ou três modelos quantizados em simultâneo cobriu confortavelmente o nosso pico de carga. A quantização para pesos de quatro bits custou-nos uma queda de qualidade mensurável mas aceitável e devolveu-nos enormes quantidades de memória e débito. Para a cauda longa de tarefas de baixa prioridade, uma alternativa apenas com CPU com um modelo mais pequeno manteve o sistema responsivo quando a GPU estava ocupada.
A terceira lição foi o caching. Os custos com tokens acumulam-se quando se reavalia a mesma janela de contexto vezes sem conta. Adicionámos uma cache semântica à frente da camada de inferência, para que prompts quase duplicados devolvam uma resposta armazenada sem nunca tocar no modelo. Combinada com templating de prompts que remove histórico desnecessário, a taxa de acerto da cache subiu acima dos quarenta por cento em poucas semanas.
A quarta lição foi a observabilidade. Sem dashboards de latência por modelo, custo por milhão de tokens e verificações pontuais de qualidade, a otimização é um exercício de adivinhação. Instrumentámos cada chamada para conseguirmos ver exatamente que rotas eram rentáveis e quais estavam silenciosamente a queimar orçamento.
Se está a olhar para uma fatura de modelos que já não corresponde ao valor que dela retira, o caminho é simples. Analise o que realmente envia, dimensione o modelo à tarefa, quantize de forma agressiva, faça cache dos duplicados e meça sem parar. A cloud fica para os casos difíceis. Tudo o resto pode correr na sua própria secretária.
Tem curiosidade em saber como ficaria o seu tráfego encaminhado desta forma? Responda com os seus três principais casos de uso de modelos e partilharemos a divisão de encaminhamento com que começaríamos.