A nossa última fatura mensal de um fornecedor de modelos alojados chegou aos $4,200, e quase metade desse valor era gasto que não conseguíamos associar a um resultado para o cliente. Essa única linha levou-nos a reconstruir a forma como os nossos agentes internos pensam, encaminham e pagam pela inteligência. Passados três meses, estamos a operar de forma mais leve, mais rápida e mais barata — e o método é mais simples do que o circuito de conferências faz parecer.
A primeira mudança foi reconhecer que nem todas as tarefas merecem um modelo de fronteira. Encaminhar classificação simples, formatação e verificações de esquema para um pequeno modelo local tratou da maior parte do nosso volume sem perder precisão onde isso realmente importava. Reservámos as chamadas alojadas caras para o trabalho de raciocínio verdadeiramente difícil — enquadramento estratégico, síntese com nuance e casos-limite. O princípio é pouco glamoroso, mas poderoso: corresponder o custo da chamada ao valor da resposta.
A segunda mudança foi tratar as competências dos agentes como código, não como conversa. Cada competência é uma função pequena e testável, com entradas e saídas explícitas. Quando uma competência está bem definida, um modelo local pequeno consegue executá-la de forma fiável, e podemos guardar o resultado em cache. Ao longo de uma semana, são essas chamadas em cache e servidas localmente que fazem as poupanças acumular-se. O modelo alojado torna-se uma alternativa de recurso, não o padrão.
Em terceiro lugar, medimos tokens como um orçamento, não como uma métrica de vaidade. Acompanhámos o custo por tarefa resolvida em todos os fluxos de trabalho e recusámos lançar qualquer coisa que não superasse uma referência base. Isto obrigou a conversas honestas sobre quais prompts estavam realmente a justificar o seu peso e quais estavam a pagar preços premium por conteúdo de enchimento. Uma quantidade surpreendente de "inteligência" no nosso pipeline era boilerplate repetitivo que um modelo de 7B parâmetros lida confortavelmente.
Em quarto lugar, demos a cada agente a capacidade de escalar deliberadamente. Local-first, com um caminho claro e documentado para um modelo mais forte quando a confiança é baixa. A equipa confia no sistema porque a via de escape é real, e o orçamento confia no sistema porque a maioria das chamadas nunca chega lá.
Por fim, deixámos de otimizar para a demonstração e passámos a otimizar para a terça-feira às 2pm. Fluxos de trabalho reais, orçamentos de latência reais, limites de custo reais. É aí que os modelos locais e um design disciplinado de competências justificam o investimento.
Se estiver a olhar para um painel de utilização que não bate certo com o valor que a sua equipa está a entregar, o caminho a seguir não é outra negociação de contrato. Comece por mapear as suas chamadas de maior volume, encaminhe localmente as mais simples, formalize o resto como competências reutilizáveis e atribua um valor real de custo por tarefa a cada fluxo de trabalho. A redução de 90% não é uma alegação de marketing — é o que acontece quando se deixa de pagar preços de fronteira para tarefas rotineiras.
Quer uma checklist de auditoria inicial que usamos para encontrar as vitórias fáceis antes de investir em infraestrutura? Subscreva e enviaremos a folha de uma página na sexta-feira.