Un modello locale può essere utile senza promettere che ridurrà ogni bolletta di una percentuale fissa. La giusta ripartizione tra inferenza locale e in hosting dipende dal compito, dall'hardware disponibile, dalle dimensioni del contesto, dai requisiti di qualità e dal tempo dedicato alla manutenzione della configurazione.
I tre esempi qui sotto illustrano possibili flussi di lavoro. Non sono testimonianze di lettori, riduzioni dei costi misurate o affermazioni secondo cui qualsiasi vecchio laptop possa eseguire bene ogni modello.
1. Una bozza di testo con revisione umana
Un modello locale può essere uno strumento per provare una scaletta o riorganizzare appunti, quando il computer e il modello sono in grado di svolgere il compito. Confronta il risultato con le istruzioni iniziali e verifica le affermazioni fattuali prima di pubblicare. Se un modello in hosting produce una bozza più utile e richiede meno revisioni, includi quel tempo nel confronto anziché limitarti a contare i token.
2. Programmazione con istruzioni esplicite
Un flusso di lavoro per la programmazione richiede più di una risposta rapida. Assegna all'agente un compito chiaro, limita ciò che può modificare e controlla il diff risultante e i test. Il repository agent-skills offre istruzioni riutilizzabili che puoi esaminare e adattare. Non garantisce che un particolare modello produca codice corretto o una bolletta più bassa.
3. Ricerca nei documenti prima della generazione
Recupera prima il materiale pertinente, poi decidi se la domanda richiede un modello locale o in hosting. Verifica che il passaggio recuperato supporti effettivamente la risposta. Per confrontare i prezzi attuali dei fornitori, il progetto AI Models Pricing offre un punto di partenza; il costo effettivo dipende dal tuo insieme di richieste e dalle condizioni del fornitore.
Misura il flusso di lavoro che utilizzi
Registra il completamento dei compiti, la qualità delle risposte, la latenza, il tempo di manutenzione e la spesa effettiva su un insieme rappresentativo di attività. Una configurazione ibrida può essere adatta a un compito e complicarne un altro. Modifica l'instradamento quando le tue misurazioni lo giustificano, anziché trattare un esempio illustrativo come un parametro di riferimento.
Per leggere altri articoli sugli strumenti che sviluppiamo e utilizziamo, consulta l'archivio delle newsletter sul sito. I nuovi numeri sono pubblicati sul sito; questo articolo non offre una guida inviata per email.
