Puede valer la pena probar un modelo local cuando un flujo de trabajo contiene tareas repetidas y bien definidas. Que permita ahorrar dinero depende del hardware, la electricidad, el mantenimiento, los precios de los modelos alojados y la calidad que necesites. Este es un ejemplo de planificación, no un informe sobre una reducción medida del 90 % ni sobre la factura de un proveedor concreto.
Empieza con tareas representativas. Separa el formateo, la clasificación, la recuperación de información y el razonamiento más complejo. Registra el resultado que necesitas antes de comparar modelos.
Prueba un modelo local en un subconjunto limitado, con una alternativa alojada disponible cuando el resultado no supere tus comprobaciones. Un modelo local no es automáticamente lo bastante preciso solo porque una tarea parezca sencilla. Mide los errores y el tiempo de revisión, además de los costes por tokens.
Convierte el trabajo repetido en habilidades explícitas y comprobables. Usa la caché solo cuando lo permitan las entradas y los requisitos de actualidad de los datos. Ten en cuenta la configuración, el uso del hardware y el mantenimiento junto con las solicitudes alojadas.
Compara el coste total por tarea completada correctamente y el tiempo de respuesta con la misma línea de base. Amplía el enrutamiento local cuando los datos lo respalden; mantén un modelo más potente cuando aporte una calidad útil.
Para consultar herramientas y código mientras planificas un experimento, explora el catálogo de software de Green Yoga Inc. Lee notas relacionadas en la página de boletines del sitio web. Ninguno de los dos promete una hoja de trabajo por correo electrónico ni un porcentaje de ahorro universal.
