Può valere la pena provare un modello locale quando un flusso di lavoro contiene attività ripetute e ben definite. Il risparmio dipende da hardware, elettricità, manutenzione, prezzi dei modelli ospitati e qualità necessaria. Questo è un esempio di pianificazione, non il resoconto di una riduzione misurata del 90% o di una fattura di un particolare fornitore.
Inizia con attività rappresentative. Separa formattazione, classificazione, recupero delle informazioni e ragionamento più complesso. Definisci il risultato necessario prima di confrontare i modelli.
Prova un modello locale su un sottoinsieme limitato di attività, con un'alternativa ospitata disponibile quando il risultato non supera le verifiche. Un modello locale non è automaticamente abbastanza accurato solo perché un'attività sembra semplice. Misura gli errori e il tempo di revisione, oltre ai costi dei token.
Trasforma il lavoro ripetuto in competenze esplicite e verificabili. Usa la cache solo dove gli input e i requisiti di aggiornamento lo consentono. Considera configurazione, utilizzo dell'hardware e manutenzione insieme alle richieste ai modelli ospitati.
Confronta il costo totale per attività completata con successo e il tempo di risposta rispetto alla stessa baseline. Amplia l'instradamento locale quando i dati lo giustificano; mantieni un modello più potente dove offre una qualità utile.
Per strumenti e codice da esaminare mentre pianifichi un esperimento, consulta il catalogo software di Green Yoga Inc. Leggi le note correlate sulla pagina delle newsletter del sito. Nessuno dei due promette un worksheet inviato via email o una percentuale di risparmio universale.
