Uma fatura mensal de 400 dólares na nuvem por aquilo que é essencialmente um chatbot pessoal costumava parecer razoável. Depois percebe-se que a mesma carga de trabalho corre numa placa gráfica usada que já é nossa, num hardware que custa alguns cêntimos de eletricidade por dia. A pilha de custos da IA local já não é teórica. É um modelo económico diferente para qualquer pessoa que trate a IA como infraestrutura diária em vez de uma tarefa rara, e quando se veem as camadas, o caminho a seguir torna-se surpreendentemente simples.
A primeira camada é o patamar de hardware, e é mais baixo do que a maioria das pessoas pensa. Uma RTX 3090 recondicionada, com dois ou três anos e fora de moda para jogos, executa modelos quantizados de 70 mil milhões de parâmetros a uma velocidade utilizável. Um Mac Studio com memória unificada trata cargas semelhantes com menos complicações. A despesa de capital é um investimento único que se amortiza rapidamente, e a curva de depreciação é suave porque estas placas continuam a servir o mesmo propósito durante uma década.
A segunda camada é o próprio modelo. Os modelos de pesos abertos recuperaram o atraso rapidamente nas tarefas que a maioria das pessoas realmente faz: redigir, resumir, classificar, extrair dados estruturados de texto desorganizado. Não se está a aceitar uma versão inferior. Está-se a escolher um modelo que se adequa ao orçamento de hardware em vez de alugar tempo no silício de outra pessoa. As variantes quantizadas trocam uma pequena quantidade de qualidade por uma grande redução de memória, o que é quase sempre a troca certa para uma pilha pessoal.
A terceira camada é o software de execução e orquestração. O llama.cpp, o Ollama, o vLLM e projetos semelhantes transformaram o serviço de modelos num comando de uma linha. Quando um modelo está a correr localmente, expô-lo às nossas próprias ferramentas é a parte fácil. Competências personalizadas, aquelas pequenas automações que transformam "resumir este PDF" num único atalho de teclado, ligam-se a um endpoint local da mesma forma que se ligariam a um endpoint alojado. O custo de integração é essencialmente zero.
A quarta camada é a conceção do fluxo de trabalho. O erro que as pessoas cometem é tratar a IA local como um substituto da nuvem e replicar todas as ineficiências. A vitória vem de colocar em cache prompts repetidos, agrupar tarefas semelhantes e executar os trabalhos mais pesados durante a noite, quando ninguém está à espera da GPU. Uma pilha local recompensa um pouco de engenho na forma como a nuvem nunca recompensou.
A quinta camada, e aquela que a maioria das pessoas ignora, é a medição. Acompanhe o seu uso real. A maioria dos utilizadores pessoais de IA gasta uma fração minúscula da capacidade computacional disponível. Quando se veem os números reais, a economia torna-se impossível de ignorar.
Se tem curiosidade, comece pequeno. Arranque um modelo de pesos abertos, execute-o em qualquer máquina que já tenha e direcione para ele um fluxo de trabalho pessoal. Os artigos e benchmarks da comunidade são bons, mas a única métrica que importa é se ele faz o seu trabalho. A nuvem continuará lá se precisar dela. Para a maior parte daquilo que uma pilha pessoal realmente faz, não vai precisar.