Une facture cloud mensuelle de 400 $ pour ce qui est essentiellement un chatbot personnel semblait raisonnable. Puis on réalise que la même charge de travail tourne sur une carte graphique d'occasion que l'on possède déjà, sur un matériel qui coûte quelques centimes d'électricité par jour. La pile de coûts de l'IA locale n'est plus théorique. C'est un modèle économique différent pour quiconque considère l'IA comme une infrastructure quotidienne plutôt que comme une course occasionnelle, et une fois que l'on voit les couches, la marche à suivre devient étonnamment simple.
La première couche est le plancher matériel, et il est plus bas que ce que la plupart des gens pensent. Une RTX 3090 reconditionnée, vieille de deux ou trois ans et démodée pour le jeu vidéo, fait tourner des modèles quantifiés à 70 milliards de paramètres à une vitesse utilisable. Un Mac Studio à mémoire unifiée gère des charges similaires avec moins de complications. La dépense en capital est un coup unique qui s'amortit rapidement, et la courbe d'amortissement est douce parce que ces cartes continuent de remplir le même usage pendant une décennie.
La deuxième couche est le modèle lui-même. Les modèles à poids ouverts ont rapidement rattrapé leur retard sur les tâches que la plupart des gens font réellement : rédaction, résumé, classification, extraction de données structurées à partir de textes en désordre. Vous ne vous contentez pas d'un pis-aller. Vous choisissez un modèle qui correspond à votre budget matériel plutôt que de louer du temps sur la puce de quelqu'un d'autre. Les variantes quantifiées échangent une petite partie de la qualité contre une grande réduction de la mémoire, ce qui est presque toujours le bon compromis pour une pile personnelle.
La troisième couche est le logiciel d'exécution et d'orchestration. llama.cpp, Ollama, vLLM et des projets similaires ont transformé le service de modèle en une commande d'une seule ligne. Une fois qu'un modèle tourne en local, l'exposer à vos propres outils est la partie facile. Les compétences personnalisées, ces petites automatisations qui transforment « résume ce PDF » en une seule frappe au clavier, se branchent sur un point de terminaison local de la même manière qu'elles se brancheraient sur un point de terminaison hébergé. Le coût d'intégration est essentiellement nul.
La quatrième couche est la conception du flux de travail. L'erreur que commettent les gens est de traiter l'IA locale comme un remplacement du cloud et de reproduire toutes les inefficacités. Le gain vient de la mise en cache des invites répétées, du traitement par lots des tâches similaires et de l'exécution des travaux plus lourds pendant la nuit, quand personne n'attend le GPU. Une pile locale récompense un peu de réflexion d'ingénierie d'une manière que le cloud n'a jamais faite.
La cinquième couche, et celle que la plupart des gens oublient, est la mesure. Suivez votre utilisation réelle. La plupart des utilisateurs personnels d'IA n'utilisent qu'une infime fraction de leur puissance de calcul disponible. Une fois que l'on voit les vrais chiffres, l'équation économique devient impossible à ignorer.
Si vous êtes curieux, commencez petit. Récupérez un modèle à poids ouverts, faites-le tourner sur la machine que vous possédez déjà, et branchez-y un flux de travail personnel. Les articles et benchmarks de la communauté sont bons, mais la seule métrique qui compte est de savoir s'il fait votre travail. Le cloud sera toujours là si vous en avez besoin. Pour la plupart de ce qu'une pile personnelle fait réellement, vous n'en aurez pas besoin.