Nuestra última factura mensual de un proveedor de modelos alojados llegó a $4,200, y casi la mitad era un gasto que no podíamos vincular a ningún resultado para un cliente. Esa única partida nos impulsó a reconstruir cómo piensan, enrutan y pagan por inteligencia nuestros agentes internos. Tres meses después, estamos operando con más eficiencia, más rapidez y a menor coste — y la estrategia es más sencilla de lo que parece en el circuito de conferencias.
El primer cambio fue admitir que no todas las tareas merecen un modelo de frontera. Derivar la clasificación simple, el formateo y las comprobaciones de esquema a un pequeño modelo local cubrió la mayor parte de nuestro volumen sin perder precisión donde importaba. Reservamos las llamadas alojadas más caras para el trabajo de razonamiento realmente difícil — encuadre estratégico, síntesis matizada y casos límite. El principio no tiene glamour, pero es potente: ajusta el coste de la llamada al valor de la respuesta.
El segundo cambio fue tratar las habilidades de los agentes como código, no como chat. Cada habilidad es una función pequeña y testeable con entradas y salidas explícitas. Cuando una habilidad está bien definida, un diminuto modelo local puede ejecutarla de forma fiable, y podemos almacenar en caché el resultado. A lo largo de una semana, esas llamadas en caché y servidas localmente son donde el ahorro se va acumulando. El modelo alojado pasa a ser un plan de respaldo, no el valor predeterminado.
Tercero, medimos los tokens como un presupuesto, no como una métrica de vanidad. Hicimos seguimiento del coste por tarea resuelta en cada flujo de trabajo y nos negamos a lanzar nada que no superara una referencia base. Esto nos obligó a tener conversaciones honestas sobre qué prompts realmente aportaban valor y cuáles estaban pagando precios premium por relleno. Una cantidad sorprendente de "inteligencia" en nuestra canalización era texto repetitivo que un modelo de 7B parámetros maneja con soltura.
Cuarto, dimos a cada agente la capacidad de escalar deliberadamente. Primero local, con una ruta clara y documentada hacia un modelo más potente cuando la confianza es baja. El equipo confía en el sistema porque la vía de escape es real, y el presupuesto confía en el sistema porque la mayoría de las llamadas nunca llegan a usarla.
Por último, dejamos de optimizar para la demo y empezamos a optimizar para el martes a las 2pm. Flujos de trabajo reales, presupuestos reales de latencia, techos de coste reales. Ahí es donde los modelos locales y un diseño disciplinado de habilidades se ganan su sitio.
Si estás mirando un panel de uso que no cuadra con el valor que tu equipo está entregando, el camino a seguir no es otra negociación de contrato. Empieza por mapear tus llamadas de mayor volumen, deriva localmente las sencillas, formaliza el resto como habilidades reutilizables y asigna un coste real por tarea a cada flujo de trabajo. La reducción del 90% no es una afirmación de marketing — es lo que ocurre cuando dejas de pagar precios de frontera por tareas rutinarias.
¿Quieres una lista de verificación de auditoría inicial que usamos para detectar las mejoras fáciles antes de comprometernos con infraestructura? Suscríbete y te enviaremos la hoja de trabajo de una página el viernes.