Leggi un case study su un'azienda che ha integrato un LLM nel proprio flusso di lavoro. C'è la fase di sperimentazione, il prototipo che funziona, il lancio. Poi l'articolo finisce. Quello che non trovi mai è il mese sei, il mese dodici. Quanto costa tenere quella cosa in piedi? Chi la monitora? Cosa succede quando il modello comincia a rispondere peggio di sei mesi fa?
Queste domande le pongo ogni settimana ai clienti che mi chiedono di integrare AI nei loro processi. La maggior parte è convinta che il costo principale sia quello iniziale: la consulenza, il setup, magari il fine-tuning. In realtà, quello è spesso il costo minore. Il grosso arriva dopo.
Il costo di inferenza: non è fisso, scala con l'uso
Quando usi un modello via API (OpenAI, Anthropic, Google) paghi per token: in input quelli che mandi al modello, in output quelli che ti restituisce. I prezzi variano molto tra modelli diversi e cambiano nel tempo, quindi non ha senso citare tariffe precise qui. Quello che conta è capire la logica.
Un prompt ben strutturato per un'attività semplice, tipo classificare un ticket di assistenza, può pesare 200-400 token. Se hai 10.000 ticket al mese, stai parlando di volumi gestibili, con costi che per modelli di fascia media si aggirano nell'ordine delle decine di euro mensili. Ma se il tuo caso d'uso prevede contesti lunghi, cronologie di conversazione o documenti da analizzare, i token salgono rapidamente. Un documento di 10 pagine in input può valere 3.000-5.000 token da solo.
La trappola più comune per le PMI è progettare il sistema sul prototipo, dove si fanno 50 chiamate al giorno in test, e poi scoprire che in produzione se ne fanno 5.000. Nessuno ha ricalcolato i costi a regime. La regola pratica: stima il tuo volume realistico, moltiplica per tre per avere un margine di sicurezza, e solo allora decidi quale modello usare e con quale architettura.
Latenza e affidabilità: il costo nascosto della user experience
Un LLM via API non risponde in 50 millisecondi come un database. Tempi di risposta di 2-8 secondi sono normali, a seconda del modello e del carico sul provider. Per alcune applicazioni va bene. Per altre, come un assistente virtuale integrato nel sito e-commerce, è un problema serio che impatta la conversione.
Le soluzioni esistono: streaming della risposta (mostri il testo mentre arriva), caching delle risposte per query ricorrenti, architetture con modelli più piccoli per i casi semplici e modelli grandi solo dove serve. Ma ognuna di queste soluzioni ha un costo di sviluppo e manutenzione. Il caching, in particolare, richiede una logica applicativa non banale e introduce nuovi rischi: servi una risposta obsoleta senza accorgertene.
C'è poi il tema dell'affidabilità del provider. Le API di grandi modelli hanno SLA che raramente garantiscono il 99,9% di uptime. Se il tuo processo di business dipende criticamente da una chiamata API esterna, devi prevedere fallback, retry logic e gestione degli errori. Tutto lavoro da sviluppare e mantenere.
Il drift del modello: il problema che nessuno anticipa
Questo è l'argomento più sottovalutato. I provider di modelli li aggiornano. Aggiornamenti silenti, spesso senza preavviso dettagliato, che cambiano il comportamento del modello anche a parità di prompt. Una risposta che sei mesi fa era strutturata in un certo modo adesso è diversa. Il tuo parsing automatico smette di funzionare. Il tono cambia. Le risposte si allungano o si accorciano.
Se stai usando GPT-4, Claude o Gemini in un flusso automatizzato dove l'output viene parsato o processato da codice, devi mettere in conto che quel flusso si romperà. Non se: quando. La domanda è se te ne accorgi prima o dopo che ha causato danni.
La soluzione è un sistema di monitoraggio dell'output. Significa:
- Loggare un campione rappresentativo di input e output in produzione
- Definire metriche di qualità misurabili (non solo "sembra buono")
- Impostare alert automatici quando le metriche escono da soglie predefinite
- Avere un processo chiaro per chi risponde all'alert e come
Quanto costa costruire questo sistema? Per una PMI, con risorse interne limitate, stai parlando di settimane di lavoro di uno sviluppatore competente, più il costo continuativo di chi monitora. Se esternalizzi, calcola un retainer mensile. Non è un costo opzionale: è infrastruttura.
Fine-tuning e aggiornamento dei modelli custom
Alcune aziende, invece di usare modelli via API, scelgono di fare fine-tuning su modelli open-source (LLaMA, Mistral e simili) per avere più controllo o ridurre i costi variabili. È una scelta legittima, ma porta con sé costi diversi.
Il fine-tuning iniziale è un costo una tantum, ma i modelli open-source evolvono. Quando esce una versione migliorata del modello base, vuoi beneficiarne? Devi rifare il fine-tuning. Nel frattempo, il tuo modello custom envecchia rispetto allo stato dell'arte. E se ospiti il modello su infrastruttura propria o cloud, hai un costo fisso di compute che gira anche quando non lo usi.
Per una PMI italiana senza un team ML interno, il fine-tuning su modello custom raramente è la scelta giusta. I costi operativi e di manutenzione superano spesso i vantaggi, a meno che il volume di chiamate non sia altissimo o ci siano vincoli di privacy che rendono impossibile usare API esterne.
Governance, privacy e conformità: il costo regolatorio
Se la tua azienda opera in Europa e usa LLM per processare dati personali o dati sensibili di business, hai obblighi normativi. L'AI Act europeo sta entrando in vigore per gradi, con le prime disposizioni già operative nel 2024 e le principali applicabili entro il 2026. Non è fantascienza futura: è adesso.
Questo significa documentazione dei sistemi AI, valutazioni del rischio, controlli umani su decisioni automatizzate in certi contesti. Significa anche capire dove vanno i tuoi dati quando chiami un'API americana. I grandi provider hanno clausole di data processing conformi al GDPR, ma devi leggerle, capirle e includerle nella tua documentazione. Se non lo fai tu, qualcuno deve farlo.
Il costo di un DPO (Data Protection Officer) o di consulenza legale specializzata è reale. Non è attribuibile solo all'AI, ma l'introduzione di LLM in produzione lo fa emergere e spesso amplifica.
Quello che puoi fare domani mattina
Prima di portare in produzione qualsiasi sistema basato su LLM, costruisci un foglio Excel con tre colonne: costi di avvio, costi mensili a regime, costi di manutenzione straordinaria (drift, aggiornamenti, incidenti). Riempi ogni riga con stime realistiche, non ottimistiche. Se non riesci a stimare una voce, è un segnale che non hai ancora capito abbastanza il sistema per portarlo in produzione. Torna indietro, fai domande, poi procedi.