Nuestra última factura mensual de un proveedor de modelos alojados ascendió a 4.200 $, y casi la mitad era un gasto que no podíamos atribuir a ningún resultado de cliente. Esa única partida nos empujó a reconstruir cómo nuestros agentes internos piensan, enrutan y pagan la inteligencia. Tres meses después, funcionamos de forma más ágil, rápida y barata — y el manual es más sencillo de lo que lo presenta el circuito de conferencias.
El primer cambio fue admitir que no todas las tareas merecen un modelo de frontera. Enrutar la clasificación sencilla, el formateo y las comprobaciones de esquema a un modelo local pequeño gestionó el grueso de nuestro volumen sin perder precisión donde importaba. Reservamos las llamadas alojadas y caras para el trabajo de razonamiento realmente difícil — encuadre estratégico, síntesis matizada y casos límite. El principio es poco glamuroso pero poderoso: iguala el coste de la llamada al valor de la respuesta.
El segundo cambio fue tratar las habilidades de los agentes como código, no como chat. Cada habilidad es una función pequeña y comprobable con entradas y salidas explícitas. Cuando una habilidad está bien definida, un modelo local diminuto puede ejecutarla de forma fiable, y podemos almacenar en caché el resultado. A lo largo de una semana, esas llamadas servidas en caché y de forma local son donde se acumulan los ahorros. El modelo alojado se convierte en un respaldo, no en la opción predeterminada.
En tercer lugar, medimos los tokens como un presupuesto, no como una métrica de vanidad. Hicimos un seguimiento del coste por tarea resuelta en cada flujo de trabajo y nos negamos a enviar cualquier cosa que no superara una línea base. Esto forzó conversaciones honestas sobre qué prompts estaban realmente tirando del carro y cuáles pagaban precios premium por relleno. Una cantidad sorprendente de "inteligencia" en nuestro pipeline era texto repetitivo que un modelo de 7B de parámetros gestiona con soltura.
En cuarto lugar, dimos a cada agente la capacidad de escalar de forma deliberada. Local primero, con una vía clara y documentada hacia un modelo más potente cuando la confianza es baja. El equipo confía en el sistema porque la salida de emergencia es real, y el presupuesto confía en el sistema porque la mayoría de las llamadas nunca llegan a ella.
Por último, dejamos de optimizar para la demo y empezamos a optimizar para el martes a las 14:00. Flujos de trabajo reales, presupuestos reales de latencia, techos de coste reales. Ahí es donde los modelos locales y un diseño disciplinado de habilidades se ganan su sitio.
Si estás mirando un panel de uso que no cuadra con el valor que está generando tu equipo, el camino a seguir no es otra negociación de contrato. Empieza mapeando tus llamadas de mayor volumen, enruta localmente las sencillas, formaliza el resto como habilidades reutilizables y pon un número real de coste-por-tarea en cada flujo de trabajo. La reducción del 90 % no es una afirmación de marketing — es lo que ocurre cuando dejas de pagar precios de frontera por tareas rutinarias.
¿Quieres una lista de comprobación de auditoría inicial que usamos para encontrar las victorias fáciles antes de comprometerte con la infraestructura? Suscríbete y te enviaremos la hoja de trabajo de una página el viernes.