Ein lokales Modell kann einen Test wert sein, wenn ein Workflow wiederholte, klar definierte Aufgaben enthält. Ob es Geld spart, hängt von Hardware, Strom, Wartung, den Preisen gehosteter Modelle und der benötigten Qualität ab. Dies ist ein Planungsbeispiel, kein Bericht über eine gemessene Reduzierung um 90% oder eine bestimmte Anbieterrechnung.
Beginnen Sie mit repräsentativen Aufgaben. Trennen Sie Formatierung, Klassifizierung, das Abrufen von Informationen und anspruchsvollere Denkaufgaben. Halten Sie fest, welches Ergebnis Sie benötigen, bevor Sie Modelle vergleichen.
Testen Sie ein lokales Modell an einer eng begrenzten Auswahl von Aufgaben und halten Sie eine gehostete Alternative bereit, falls das Ergebnis Ihre Prüfungen nicht besteht. Ein lokales Modell ist nicht automatisch genau genug, nur weil eine Aufgabe einfach erscheint. Messen Sie Fehler und Prüfzeit ebenso wie Tokenkosten.
Machen Sie wiederkehrende Arbeit zu ausdrücklichen, testbaren Skills. Nutzen Sie Caching nur dort, wo Eingaben und Aktualitätsanforderungen es zulassen. Berücksichtigen Sie neben gehosteten Anfragen auch Einrichtung, Hardwarenutzung und Wartung.
Vergleichen Sie die Gesamtkosten pro erfolgreich erledigter Aufgabe und die Antwortzeit mit derselben Baseline. Weiten Sie das lokale Routing dort aus, wo die Daten es rechtfertigen; behalten Sie ein stärkeres Modell dort bei, wo es eine nützliche Qualität liefert.
Werkzeuge und Code, die Sie bei der Planung eines Experiments prüfen können, finden Sie im Green Yoga Inc software catalog. Lesen Sie verwandte Beiträge auf der Newsletter-Seite der Website. Keines von beiden verspricht ein Arbeitsblatt per E-Mail oder einen allgemeingültigen Einsparungsprozentsatz.
