A nossa última fatura mensal de um fornecedor de modelos alojados chegou aos 4 200 $, e quase metade dessa despesa era impossível de associar a qualquer resultado do cliente. Foi essa única rubrica que nos empurrou a reconstruir a forma como os nossos agentes internos pensam, encaminham e pagam pela inteligência. Três meses depois, estamos a funcionar de forma mais enxuta, mais rápida e mais barata — e o manual é mais simples do que o circuito de conferenças faz parecer.
A primeira mudança foi admitir que nem todas as tarefas merecem um modelo de fronteira. Encaminhar a classificação simples, a formatação e as verificações de esquema para um pequeno modelo local tratou da maior parte do nosso volume sem perder precisão onde ela contava. Reservámos as chamadas alojadas e dispendiosas para o trabalho de raciocínio verdadeiramente difícil — enquadramento estratégico, síntese matizada e casos limite. O princípio não é glamour, mas é poderoso: fazer corresponder o custo da chamada ao valor da resposta.
A segunda mudança foi tratar as competências dos agentes como código, e não como conversa. Cada competência é uma função pequena e testável, com entradas e saídas explícitas. Quando uma competência está bem definida, um pequeno modelo local pode executá-la de forma fiável, e nós podemos colocar o resultado em cache. Ao longo de uma semana, são essas chamadas servidas em cache e localmente que fazem os savings acumular-se. O modelo alojado passa a ser um recurso de recurso, não o padrão.
Em terceiro lugar, passámos a medir os tokens como um orçamento, e não como uma métrica de vaidade. Acompanhámos o custo por tarefa resolvida em cada fluxo de trabalho e recusámo-nos a enviar para produção tudo o que não superasse uma linha de base. Isto forçou conversas honestas sobre que prompts estavam realmente a justificar o seu peso e quais estavam a pagar preços premium por conteúdo de enchimento. Uma quantidade surpreendente de "inteligência" no nosso pipeline era boilerplate repetitivo que um modelo de 7B parâmetros trata sem esforço.
Em quarto lugar, demos a cada agente a capacidade de escalar de forma deliberada. Primeiro o local, com um caminho claro e documentado para um modelo mais forte quando a confiança é baixa. A equipa confia no sistema porque a saída de emergência é real, e o orçamento confia no sistema porque a maioria das chamadas nunca chega até ela.
Por fim, deixámos de otimizar para a demonstração e passámos a otimizar para a terça-feira às 14h. Fluxos de trabalho reais, orçamentos de latência reais, tetos de custo reais. É aí que os modelos locais e uma conceção disciplinada de competências ganham o seu valor.
Se está a olhar para um dashboard de utilização que não reconcilia com o valor que a sua equipa está a entregar, o caminho a seguir não é mais uma negociação de contrato. Comece por mapear as suas chamadas de maior volume, encaminhe as simples localmente, formalize o resto como competências reutilizáveis, e atribua um número real de custo-por-tarefa a cada fluxo de trabalho. A redução de 90% não é uma afirmação de marketing — é o que acontece quando se deixa de pagar preços de fronteira por tarefas básicas.
Quer uma checklist de auditoria inicial que usamos para encontrar as vitórias fáceis antes de assumir compromissos com infraestrutura? Subscreva e enviar-lhe-emos a ficha de uma página na sexta-feira.