Un cliente, qualche mese fa, mi ha contattato entusiasta: voleva costruire una knowledge base AI per la sua rete di agenti commerciali. Budget disponibile: cinquantamila euro. Motivo reale del progetto: aveva letto un articolo su ChatGPT e pensava che i suoi competitor stessero già facendo lo stesso. Non era così. Alla fine abbiamo rimandato tutto di sei mesi, lavorando prima sui dati. È andata bene.
Questo episodio mi torna in mente ogni volta che si parla di RAG, acronimo di Retrieval-Augmented Generation. La tecnologia è solida, i casi d'uso reali esistono, i risultati possono essere notevoli. Ma l'investimento ha senso solo in presenza di condizioni specifiche. Senza quelle condizioni, si costruisce un sistema costoso che nessuno usa.
Cosa fa davvero un sistema RAG
Prima di ragionare sull'investimento, serve chiarezza tecnica. Un sistema RAG non è semplicemente un chatbot addestrato sui tuoi documenti. È un'architettura in cui un modello linguistico, al momento di rispondere, recupera in tempo reale i passaggi rilevanti da una base documentale e li usa come contesto per generare la risposta.
Il vantaggio rispetto al fine-tuning tradizionale è che i documenti restano aggiornabili senza riaddestrare il modello. Aggiungi un nuovo manuale, una nuova policy, un nuovo listino: il sistema lo legge al prossimo caricamento. Questo lo rende adatto a contesti in cui le informazioni cambiano frequentemente.
I componenti principali sono tre: un database vettoriale dove i documenti vengono indicizzati come embedding, un meccanismo di retrieval che trova i passaggi pertinenti alla domanda, e un modello generativo che assembla la risposta finale. Ognuno di questi componenti ha un costo, una complessità e un punto di fallimento potenziale.
I tre segnali che indicano un RAG ha senso
Non esiste una formula universale, ma nella mia esperienza ci sono tre condizioni che, insieme, rendono l'investimento giustificabile.
La prima è il volume documentale attivo. Se la tua azienda produce e consulta continuamente documentazione, il RAG risolve un problema reale: trovare l'informazione giusta tra centinaia di PDF, procedure, email, contratti. Sotto una certa soglia, una ricerca full-text ben configurata o anche un buon sistema di tagging fa lo stesso lavoro a costo zero.
La seconda condizione è la frequenza delle query interne. Quante volte al giorno i tuoi collaboratori cercano informazioni su procedure, prodotti, normative, storico clienti? Se la risposta è "decine di volte" e il processo attuale richiede tempo o genera errori, c'è un problema da risolvere. Se la risposta è "qualche volta a settimana", probabilmente non basta.
La terza è la qualità dei dati esistenti. Questo è il punto che più spesso viene ignorato in fase di valutazione. Un RAG funziona bene se i documenti sorgente sono strutturati, aggiornati e privi di contraddizioni. Se la tua knowledge base attuale è un mix di file Word del 2018, email sparse e presentazioni con dati non verificati, prima devi fare pulizia. Il sistema recupererà anche le informazioni sbagliate, con la stessa sicurezza di quelle corrette.
Quando l'investimento non regge
Ci sono scenari in cui un RAG appare attraente sulla carta ma non porta valore reale. È utile nominarli esplicitamente.
Il primo scenario è l'azienda con poca documentazione strutturata. Se il sapere aziendale vive nelle teste delle persone o in conversazioni informali, costruire un RAG è prematuro. Devi prima esternalizzare quel sapere in forma scritta e verificata. È un lavoro lungo, spesso più costoso del sistema tecnico.
Il secondo scenario è l'uso saltuario da parte di pochi utenti. Il ROI di un sistema RAG si giustifica su scala: più persone lo usano, più query gestisce al giorno, più si ammortizza l'investimento iniziale e il costo di manutenzione. Per cinque persone che cercano informazioni una volta al giorno, non regge.
Il terzo scenario, spesso sottovalutato, è la mancanza di un owner interno. Un sistema RAG non si gestisce da solo. Qualcuno deve aggiornare i documenti, verificare la qualità delle risposte, gestire i falsi positivi, decidere cosa includere e cosa escludere. Se non hai una persona dedicata anche solo per una frazione del suo tempo, il sistema degrada in pochi mesi.
Come stimare il valore prima di spendere
Esiste un modo semplice per fare una stima di massima prima di coinvolgere fornitori o aprire un progetto formale. Segui questi passi:
- Conta le query informative giornaliere medie nella tua organizzazione (ricerche interne, domande a colleghi, consultazioni di documenti)
- Stima il tempo medio per risposta nel processo attuale, in minuti
- Calcola il costo orario medio delle persone coinvolte
- Proietta su base annua
Se il tempo recuperabile vale almeno tre volte il costo del progetto nell'arco di due anni, la direzione è quella giusta. Se i numeri non tornano neanche con stime ottimistiche, fermati.
Un aspetto che spesso sfugge è il costo nascosto dell'errore. In certi contesti, un operatore che fornisce informazioni sbagliate a un cliente o prende una decisione su dati obsoleti ha un costo ben preciso: reclami, resi, perdita di fiducia. In questi casi il valore del RAG non è solo l'efficienza, ma la riduzione del rischio operativo. Questo va quantificato separatamente.
Quale architettura scegliere e a che costo
Il mercato oggi offre tre strade principali, con profili di costo molto diversi.
La prima è usare strumenti SaaS già costruiti su logica RAG: piattaforme come Notion AI, Guru, Confluence AI, o soluzioni verticali di settore. Costo basso, personalizzazione limitata, time-to-value rapido. Adatta a team piccoli con esigenze standard.
La seconda è costruire su API di modelli fondazionali (OpenAI, Anthropic, Google) collegandole a un database vettoriale come Pinecone, Weaviate o pgvector su Postgres. Più flessibile, richiede competenze tecniche interne o un partner esterno, costi variabili in base ai volumi di query.
La terza è un'architettura completamente on-premise con modelli open source come Llama o Mistral. Ha senso solo in presenza di vincoli normativi stringenti sulla residenza dei dati (settore finanziario, sanitario, pubblico). I costi di infrastruttura e manutenzione sono significativi.
Non esiste la soluzione giusta in assoluto. Esiste quella adeguata al tuo contesto, ai tuoi vincoli e alla maturità digitale della tua organizzazione.
La mossa concreta per domani mattina
Prima di aprire qualsiasi conversazione con un fornitore o un consulente, fai questo: siediti con due o tre delle persone più operative della tua azienda e chiedi loro quante volte al giorno cercano informazioni che faticano a trovare, dove le cercano, e quante volte ottengono risposte sbagliate o incomplete. Quel confronto di un'ora vale più di qualsiasi demo tecnologica. Ti dirà se hai un problema reale da risolvere o solo una curiosità da soddisfare.