Pode valer a pena testar um modelo local quando um fluxo de trabalho contém tarefas repetidas e bem definidas. A possibilidade de poupar dinheiro depende do hardware, da eletricidade, da manutenção, dos preços dos modelos alojados e da qualidade de que precisa. Este é um exemplo de planeamento, não um relato de uma redução medida de 90% nem de uma fatura de um fornecedor específico.
Comece por tarefas representativas. Separe a formatação, a classificação, a recuperação de informação e o raciocínio mais difícil. Registe o resultado de que precisa antes de comparar modelos.
Experimente um modelo local num subconjunto limitado, com uma alternativa alojada disponível quando o resultado não passar nas suas verificações. Um modelo local não é automaticamente suficientemente preciso só porque uma tarefa parece simples. Meça os erros e o tempo de revisão, além dos custos de tokens.
Transforme o trabalho repetido em competências explícitas e testáveis. Use a cache apenas quando as entradas e os requisitos de atualização o permitirem. Tenha em conta a configuração, a utilização do hardware e a manutenção, juntamente com os pedidos aos modelos alojados.
Compare o custo total por tarefa concluída com sucesso e o tempo de resposta com a mesma linha de base. Alargue o encaminhamento local quando os dados o justificarem; mantenha um modelo mais forte quando este proporcionar qualidade útil.
Para consultar ferramentas e código enquanto planeia uma experiência, explore o catálogo de software da Green Yoga Inc. Leia notas relacionadas na página de newsletters do website. Nenhum deles promete uma ficha enviada por email ou uma percentagem universal de poupança.
