La maggior parte delle bollette dell'AI prosciuga in silenzio i piccoli team prima che qualcuno se ne accorga. La buona notizia è che i lettori che sono arrivati per leggere dei tagli ai costi non sono gli unici ad aver capito la situazione: hanno inviato le loro configurazioni, e i risparmi sono abbastanza concreti da poterli condividere. Emergono tre schemi ancora e ancora a Colorado Springs e altrove: un fondatore solitario che scambia pochi dollari di API con un ciclo di ricerca a costo marginale di $0, un insegnante che esegue modelli locali su hardware che stava già prendendo polvere in un armadio, e una proprietaria di uno studio yoga che ha fatto funzionare il suo assistente per la pianificazione delle lezioni interamente fuori dal cloud. Nessuno di loro è ingegnere. Tutti hanno ridotto la spesa mensile per l'AI di oltre il novanta percento.
Il primo schema è la sostituzione silenziosa. La fondatrice solitaria si è resa conto che ogni "domanda veloce" che inviava a uno strumento di chat ospitato costava all'incirca quanto un panino, e le domande si accumulavano. Ha tenuto il modello cloud per i due compiti settimanali in cui aveva davvero bisogno di un ragionamento di alto livello, ma ha spostato bozze quotidiane, schemi e riscritture di email su un piccolo modello locale in esecuzione sul suo laptop. La spesa totale è scesa da circa quaranta dollari al mese al costo dell'elettricità — meno di un dollaro. La chiave è scrivere davvero quali compiti meritano il budget del cloud, invece di lasciarlo disperdere per comodità.
Il secondo schema è hardware dismesso che rinasce. Un insegnante di scuola media ha tirato fuori un vecchio desktop dallo storage, ha installato un eseguire modelli locali gratuito e ora lo usa per valutare brevi testi e generare bozze di email per i genitori su una rete chiusa. I Chromebook forniti dalla scuola restano inutilizzati, i dati degli studenti non lasciano mai l'aula e l'unico costo ricorrente è l'elettricità per tenere acceso il box. Stima che la scuola abbia evitato circa millecinquecento dollari all'anno in abbonamenti. Se hai una torre funzionante in un armadio, è quasi certamente abbastanza potente.
Il terzo schema è l'ibrido di cui nessuno parla. La proprietaria dello studio gestisce tutto in locale per impostazione predefinita — risposte agli orari, descrizioni delle lezioni, caption per i social — e instrada verso un modello ospitato solo quando un membro fa una domanda sanitaria sfumata che richiede un ragionamento più solido. Poiché il novantacinque percento del suo traffico non tocca mai il cloud, la sua bolletta hosted è minima e prevedibile. Il cambiamento mentale consiste nel considerare il modello locale come la porta d'ingresso e il cloud come lo specialista di turno.
Il filo conduttore è l'onestà su ciò di cui ogni compito ha davvero bisogno, e la disponibilità a dedicare un pomeriggio alla configurazione invece di un pomeriggio a scrivere un assegno. Se un risparmio del novanta percento sembra marketing, non lo è — è ciò che accade quando l'opzione più economica è anche quella più vicina al lavoro.
Vuoi una checklist iniziale per la configurazione locale più economica e pratica sull'hardware che possiedi già? Iscriviti alla newsletter e ti invieremo la nostra guida gratuita di una pagina, oltre ai prompt esatti e alle scelte di piccoli modelli che i nostri lettori stanno usando proprio ora.