Una factura mensual de 400 $ por lo que es esencialmente un chatbot personal solía parecer razonable. Entonces te das cuenta de que la misma carga de trabajo se ejecuta en una tarjeta gráfica usada que ya tienes, en un hardware que cuesta unos pocos céntimos de electricidad al día. La pila de costes de la IA local ya no es algo teórico. Es un modelo económico diferente para cualquiera que trate la IA como infraestructura diaria en lugar de como un recado puntual, y una vez que ves las capas, el camino a seguir se vuelve sorprendentemente sencillo.
La primera capa es el suelo del hardware, y es más bajo de lo que la mayoría de la gente cree. Una RTX 3090 reacondicionada, con dos o tres años de antigüedad y pasada de moda para los juegos, ejecuta modelos cuantizados de 70 000 millones de parámetros a una velocidad utilizable. Un Mac Studio con memoria unificada maneja cargas similares con menos complicaciones. El gasto de capital es un golpe único que se amortiza rápidamente, y la curva de depreciación es suave porque estas tarjetas siguen cumpliendo el mismo propósito durante una década.
La segunda capa es el propio modelo. Los modelos de pesos abiertos se han puesto al día rápidamente en las tareas que la mayoría de la gente realmente hace: redactar, resumir, clasificar, extraer datos estructurados a partir de texto desordenado. No estás renunciando a nada. Estás eligiendo un modelo que se ajusta a tu presupuesto de hardware en lugar de alquilar tiempo en el silicio de otro. Las variantes cuantizadas intercambian una pequeña cantidad de calidad por una gran reducción de memoria, lo que casi siempre es el intercambio correcto para una pila personal.
La tercera capa es el software de ejecución y orquestación. llama.cpp, Ollama, vLLM y proyectos similares han convertido el servicio de modelos en un comando de una sola línea. Una vez que un modelo se ejecuta en local, exponerlo a tus propias herramientas es la parte fácil. Las habilidades personalizadas, esas pequeñas automatizaciones que convierten «resume este PDF» en una sola pulsación de tecla, se conectan a un endpoint local de la misma manera que se conectarían a uno alojado. El coste de integración es esencialmente cero.
La cuarta capa es el diseño del flujo de trabajo. El error que comete la gente es tratar la IA local como un sustituto de la nube y replicar cada ineficiencia. La victoria viene de almacenar en caché los prompts repetidos, agrupar tareas similares y ejecutar los trabajos más pesados por la noche, cuando nadie está esperando a la GPU. Una pila local recompensa un poco de ingenio en ingeniería de formas que la nube nunca hizo.
La quinta capa, y la que la mayoría de la gente se salta, es la medición. Haz un seguimiento de tu uso real. La mayoría de los usuarios personales de IA gastan una fracción mínima de su capacidad de cálculo disponible. Una vez que ves los números reales, la economía se vuelve imposible de ignorar.
Si tienes curiosidad, empieza por lo pequeño. Descarga un modelo de pesos abiertos, ejecútalo en la máquina que ya tengas y dirige hacia él un flujo de trabajo personal. Las reseñas y los benchmarks de la comunidad son buenos, pero la única métrica que importa es si hace tu trabajo. La nube seguirá ahí si la necesitas. Para la mayor parte de lo que hace realmente una pila personal, no la necesitarás.