Un modèle local peut être utile sans pour autant promettre de réduire chaque facture d’un pourcentage fixe. La bonne répartition entre l’inférence locale et l’inférence hébergée dépend de la tâche, du matériel disponible, de la taille du contexte, des exigences de qualité et du temps consacré à la maintenance de la configuration.
Les trois exemples ci-dessous illustrent des conceptions de flux de travail. Il ne s’agit ni de témoignages de lecteurs, ni de réductions de coûts mesurées, ni d’affirmations selon lesquelles n’importe quel vieil ordinateur portable peut faire fonctionner correctement tous les modèles.
1. Un brouillon relu par une personne
Un modèle local peut servir à essayer un plan ou à réorganiser des notes lorsque la machine et le modèle sont adaptés à la tâche. Comparez le résultat au cahier des charges et vérifiez les affirmations factuelles avant publication. Si un modèle hébergé produit un brouillon plus utile avec moins de révisions, prenez aussi ce temps en compte dans la comparaison, plutôt que de compter uniquement les tokens.
2. Programmer avec des instructions explicites
Un flux de travail de programmation exige plus qu’une réponse rapide. Donnez à l’agent une tâche claire, limitez ce qu’il peut modifier et vérifiez le diff obtenu ainsi que les tests. Le dépôt agent-skills fournit des instructions réutilisables que vous pouvez examiner et adapter. Il ne garantit pas qu’un modèle particulier produira du code correct ou une facture moins élevée.
3. Rechercher les documents avant de générer une réponse
Récupérez d’abord les documents pertinents, puis décidez si la question nécessite un modèle local ou hébergé. Vérifiez que le passage trouvé étaye effectivement la réponse. Pour comparer les prix actuels des fournisseurs, le projet AI Models Pricing constitue un point de départ ; le coût réel dépend de la répartition de vos requêtes et des conditions du fournisseur.
Mesurez le flux de travail que vous utilisez
Consignez le taux d’achèvement des tâches, la qualité des réponses, la latence, le temps de maintenance et les dépenses réelles sur un ensemble représentatif de tâches. Une configuration hybride peut convenir à une tâche et en compliquer une autre. Modifiez l’orientation des requêtes lorsque vos mesures le justifient, plutôt que de considérer un exemple illustratif comme une référence de performance.
Pour lire d’autres articles sur les outils que nous concevons et utilisons, consultez les archives de la newsletter sur notre site. Les nouveaux numéros sont publiés sur le site web ; cet article ne propose pas de guide envoyé par e-mail.
