Hace seis meses, nuestra factura mensual por modelos de lenguaje alojados era de esas cifras que hacían que finanzas empezara a preguntar. Hoy es una décima parte de aquello, y los modelos son más rápidos sobre nuestro hardware de lo que jamás fueron a través de la internet pública. No negociamos ningún descuento. No cambiamos a un plan más barato. Trajimos los modelos a casa.
El cambio empezó como un experimento y se convirtió en un stack. Un conjunto pequeño y bien elegido de modelos de pesos abiertos, ejecutándose en una sola máquina de gama de consumo en el borde de nuestra red, ahora gestiona la mayor parte de nuestro tráfico de inferencia. Los modelos en la nube siguen en el bucle, pero solo para los trabajos que realmente los necesitan. Todo lo demás se ejecuta en local, y el ahorro va directo al resultado final.
La primera lección fue que más grande no es mejor para cada prompt. Un modelo de 70 000 millones de parámetros es impresionante, pero para tareas rutinarias de resumen, clasificación y extracción estructurada está enormemente sobrecapacitado. Analizamos el tráfico real y descubrimos que aproximadamente siete de cada diez peticiones eran rutinarias. Un modelo ajustado de 7 000 millones de parámetros las gestionaba con una fracción de la latencia y sin coste por token. Enrutar por tarea, y no por costumbre, fue lo que desbloqueó el sistema.
La segunda lección fue sobre el hardware. Asumíamos que necesitaríamos un rack de aceleradoras. En la práctica, una sola GPU moderna con VRAM suficiente para mantener cómodamente dos o tres modelos cuantizados a la vez cubría nuestra carga punta. La cuantización a pesos de cuatro bits nos costó una caída de calidad mensurable pero aceptable y nos devolvió enormes cantidades de memoria y rendimiento. Para la larga cola de trabajos de baja prioridad, un respaldo solo CPU con un modelo más pequeño mantenía el sistema responsive cuando la GPU estaba ocupada.
La tercera lección fue la caché. Los costes por token se acumulan cuando vuelves a evaluar el mismo contexto una y otra vez. Añadimos una caché semántica delante de la capa de inferencia para que los prompts casi duplicados devuelvan una respuesta almacenada sin tocar siquiera el modelo. Combinado con plantillas de prompts que eliminan historial innecesario, la tasa de acierto de caché superó el cuarenta por ciento en pocas semanas.
La cuarta lección fue la observabilidad. Sin paneles de latencia por modelo, coste por millón de tokens y controles puntuales de calidad, optimizar es disparar a ciegas. Instrumentamos cada llamada para poder ver exactamente qué rutas eran rentables y cuáles estaban quemando presupuesto silenciosamente.
Si estás mirando una factura de modelos que ya no se corresponde con el valor que obtienes de ella, el camino es directo. Analiza lo que realmente envías, dimensiona el modelo a la tarea, cuantiza de forma agresiva, cachea los duplicados y mide sin descanso. La nube se queda para los casos difíciles. Todo lo demás puede ejecutarse en tu propio escritorio.
¿Te pica la curiosidad por saber cómo quedaría tu tráfico enrutado así? Responde con tus tres principales casos de uso de modelos y compartiremos el desglose de enrutamiento con el que empezaríamos.