Notre dernière facture mensuelle d’un fournisseur de modèle hébergé est arrivée à 4,200 $, et près de la moitié correspondait à des dépenses que nous ne pouvions rattacher à aucun résultat client. Cette seule ligne de coût nous a poussés à repenser la façon dont nos agents internes réfléchissent, orientent et paient l’intelligence. Trois mois plus tard, nous fonctionnons de manière plus légère, plus rapide et moins coûteuse — et la méthode est plus simple que ce que laisse entendre le circuit des conférences.
Le premier changement a été d’admettre que toutes les tâches ne méritent pas un modèle de pointe. En orientant la classification simple, le formatage et les vérifications de schéma vers un petit modèle local, nous avons traité l’essentiel de notre volume sans perdre en précision là où cela comptait. Nous avons réservé les appels hébergés les plus coûteux aux tâches de raisonnement réellement difficiles — cadrage stratégique, synthèse nuancée et cas limites. Le principe est peu spectaculaire, mais puissant : alignez le coût de l’appel sur la valeur de la réponse.
Le deuxième changement a consisté à traiter les compétences des agents comme du code, pas comme une discussion. Chaque compétence est une petite fonction testable, avec des entrées et des sorties explicites. Lorsqu’une compétence est bien définie, un minuscule modèle local peut l’exécuter de manière fiable, et nous pouvons mettre le résultat en cache. Sur une semaine, ce sont ces appels mis en cache et servis localement qui font s’accumuler les économies. Le modèle hébergé devient alors une solution de repli, et non la valeur par défaut.
Troisièmement, nous avons mesuré les tokens comme un budget, et non comme une métrique de vanité. Nous avons suivi le coût par tâche résolue sur chaque workflow et refusé de déployer quoi que ce soit qui ne battait pas une référence de base. Cela nous a forcés à avoir des conversations honnêtes sur les prompts qui apportaient réellement de la valeur et ceux qui coûtaient un prix premium pour du remplissage. Une part surprenante de « l’intelligence » dans notre pipeline n’était qu’un texte répétitif et générique qu’un modèle de 7B paramètres gère sans difficulté.
Quatrièmement, nous avons donné à chaque agent la capacité de passer à un niveau supérieur de manière délibérée. Priorité au local, avec un chemin clair et documenté vers un modèle plus puissant lorsque le niveau de confiance est faible. L’équipe fait confiance au système parce que l’issue de secours est bien réelle, et le budget lui fait confiance parce que la plupart des appels n’y parviennent jamais.
Enfin, nous avons cessé d’optimiser pour la démonstration et commencé à optimiser pour le mardi à 2pm. De vrais workflows, de vraies contraintes de latence, de vrais plafonds de coûts. C’est là que les modèles locaux et une conception disciplinée des compétences justifient pleinement leur valeur.
Si vous regardez un tableau de bord d’utilisation qui ne correspond pas à la valeur que votre équipe livre, la voie à suivre n’est pas une négociation de contrat supplémentaire. Commencez par cartographier vos appels les plus volumineux, orientez localement les plus simples, formalisez le reste sous forme de compétences réutilisables et attribuez un vrai coût par tâche à chaque workflow. La réduction de 90 % n’est pas une promesse marketing — c’est ce qui ressort quand vous cessez de payer des tarifs de pointe pour des tâches routinières.
Vous voulez une liste de contrôle d’audit de départ que nous utilisons pour repérer les gains faciles avant d’investir dans l’infrastructure ? Abonnez-vous et nous vous enverrons la fiche d’une page vendredi.