Una factura mensual de la nube de 400 $ por lo que esencialmente es un chatbot personal parecía razonable. Luego te das cuenta de que la misma carga de trabajo se ejecuta en una tarjeta gráfica de segunda mano que ya tienes, en hardware que cuesta solo unos céntimos de electricidad al día. La estructura de costes de la IA local ya no es teórica. Es un modelo económico distinto para cualquiera que trate la IA como infraestructura diaria y no como un recado ocasional, y una vez que ves las capas, el camino a seguir se vuelve sorprendentemente sencillo.
La primera capa es el suelo de hardware, y es más bajo de lo que la mayoría piensa. Una RTX 3090 reacondicionada, de dos o tres años y pasada de moda para jugar, ejecuta modelos cuantizados de 70 mil millones de parámetros a una velocidad útil. Un Mac Studio con memoria unificada maneja cargas similares con menos complicaciones. El gasto de capital es un golpe único que se amortiza rápidamente, y la curva de depreciación es suave porque estas tarjetas siguen sirviendo para lo mismo durante una década.
La segunda capa es el modelo en sí. Los modelos de peso abierto han alcanzado rápidamente en las tareas que la mayoría de la gente hace de verdad: redactar, resumir, clasificar, extraer datos estructurados de texto desordenado. No estás conformándote con menos. Estás eligiendo un modelo que encaja con tu presupuesto de hardware en lugar de alquilar tiempo en el silicio de otra persona. Las variantes cuantizadas intercambian una pequeña cantidad de calidad por una gran reducción de memoria, lo que casi siempre es el intercambio correcto para una pila personal.
La tercera capa es el software de ejecución y orquestación. llama.cpp, Ollama, vLLM y proyectos similares han convertido la provisión de modelos en un comando de una sola línea. Una vez que un modelo se ejecuta localmente, exponerlo a tus propias herramientas es la parte fácil. Las habilidades personalizadas, esas pequeñas automatizaciones que convierten "resume este PDF" en una sola pulsación de tecla, se conectan a un endpoint local igual que lo harían a uno alojado. El coste de integración es esencialmente cero.
La cuarta capa es el diseño del flujo de trabajo. El error que comete la gente es tratar la IA local como un sustituto de la nube y replicar todas las ineficiencias. La ganancia viene de cachear prompts repetidos, agrupar tareas similares y ejecutar trabajos más pesados por la noche, cuando nadie está esperando la GPU. Una pila local recompensa un poco de criterio de ingeniería de formas que la nube nunca hizo.
La quinta capa, y la que la mayoría omite, es la medición. Haz un seguimiento de tu uso real. La mayoría de los usuarios de IA personal gastan una fracción diminuta de su capacidad de cómputo disponible. Una vez que ves los números reales, resulta imposible ignorar la economía.
Si tienes curiosidad, empieza poco a poco. Descarga un modelo de peso abierto, ejecútalo en cualquier máquina que ya tengas y conecta a él un flujo de trabajo personal. Las notas de la comunidad y los benchmarks son buenos, pero la única métrica que importa es si hace tu trabajo. La nube seguirá ahí si la necesitas. Para la mayor parte de lo que realmente hace una pila personal, no será así.