Allucinazioni AI: perché il tuo assistente sbaglia e come ridurle

Un cliente ti inoltra una chat: l’assistente del tuo sito gli ha detto che i resi sono gratuiti per sessanta giorni, mentre le tue condizioni dicono trenta. Oppure un collega cita una clausola contrattuale che l’assistente interno ha “trovato”, e nessuno riesce a trovarla nel contratto. In entrambi i casi l’AI dà risposte sbagliate: sono le cosiddette allucinazioni AI. In breve: non puoi spegnere del tutto gli errori, ma di solito puoi capire di che tipo di errore si tratta e rendere le risposte sbagliate date con sicurezza rare, visibili e passate a una persona.

Le reazioni tipiche sono dare la colpa al modello, aggiungere “non inventare” alle istruzioni o spegnere l’assistente. Spesso la causa è più banale: all’assistente è stato chiesto qualcosa a cui il suo materiale non risponde, ha letto la pagina sbagliata, oppure nessuno gli ha detto che “non lo so” è una risposta accettabile. Ognuna di queste cause lascia una traccia che puoi verificare da solo.

Perché il tuo assistente AI dà risposte sbagliate?

Un modello linguistico scrive le parole successive più plausibili. Quando ha davanti il dato, la risposta plausibile di solito è quella giusta. Quando non ce l’ha, scrive comunque qualcosa di scorrevole, e il NIST la chiama confabulazione: “contenuto affermato con sicurezza ma errato o falso”, noto colloquialmente come allucinazioni.

I ricercatori di OpenAI spiegano questa sicurezza: l’addestramento e la valutazione standard “premiano il tirare a indovinare rispetto all’ammettere l’incertezza”. Il centro assistenza di OpenAI aggiunge che “sicurezza non significa affidabilità”: una risposta scorrevole e sicura può comunque essere sbagliata. In un assistente aziendale, le allucinazioni AI nascono da alcune lacune specifiche.

La risposta non è nel suo materiale. Un cliente chiede di un servizio che non offri più, di un paese in cui non hai mai spedito o di uno sconto mai messo per iscritto. Uno studio di Barnett e colleghi sugli assistenti basati su documenti indica questo come primo punto di errore: una domanda “a cui non si può rispondere con i documenti disponibili”. L’assistente tira a indovinare in base alla sua conoscenza generale, ed è così che compare un periodo di reso plausibile ma inventato.

Ha trovato la pagina sbagliata. L’assistente prima cerca nei tuoi documenti e poi risponde con ciò che trova, quindi se il listino dell’anno scorso, una bozza delle condizioni e la versione attuale stanno nella stessa cartella, può citare una qualsiasi delle tre. Le indicazioni di Microsoft sul controllo delle risposte rispetto alle fonti partono dallo stesso punto: le fonti stesse devono essere “accurate e aggiornate”. Riconosci questa causa quando la risposta sbagliata risulta vera da qualche parte nei tuoi file, solo non più attuale.

La regola esiste solo nella testa di qualcuno. Il tuo team sa che i rimborsi oltre una certa cifra richiedono un responsabile, o che a dicembre non si promettono date di consegna. Se niente di ciò che l’assistente legge contiene quella regola, colma il vuoto con una regola sua che suona ragionevole.

La domanda è fuori dal suo compito. A un assistente impostato per orari di apertura e prenotazioni viene chiesto un consiglio legale, medico o sui prezzi. Senza un’istruzione a declinare, prova ad aiutare.

Niente gli permette di dire “non lo so”. Istruzioni come “aiuta sempre il cliente” possono spingere il modello a rispondere anche quando non ha nulla su cui basarsi. La documentazione di Anthropic dice che permettere esplicitamente al modello di ammettere l’incertezza “può ridurre drasticamente le informazioni false”.

Queste lacune stanno lungo un unico percorso dalla domanda alla risposta, e la risposta va storta al primo passaggio che fallisce.

Chi risponde di ciò che dice l’assistente?

In un caso noto, l’azienda. In Moffatt v. Air Canada (2024), il chatbot della compagnia aerea aveva lasciato intendere a un cliente che potesse chiedere una tariffa per lutto in modo retroattivo, cosa che le regole della compagnia non consentivano. Il tribunale della British Columbia ha stabilito che “non fa alcuna differenza se l’informazione provenga da una pagina statica o da un chatbot”. Ha ritenuto che la compagnia “non abbia usato una ragionevole diligenza per assicurarsi che il suo chatbot fosse accurato” e ha riconosciuto al cliente 812,02 dollari canadesi.

Lo stesso principio vale per gli assistenti usati dal tuo personale. In Mata v. Avianca (2023), un tribunale statunitense ha condannato due avvocati e il loro studio a pagare in solido una sanzione di 5.000 dollari, dopo che avevano depositato sentenze inventate da ChatGPT e avevano continuato a difenderle quando sono state messe in dubbio. Il tribunale ha detto che non c’è “nulla di intrinsecamente scorretto” nell’usare uno strumento di AI affidabile, ma chi deposita gli atti mantiene un “ruolo di controllo” sull’accuratezza. Quando qualcuno inoltra a un cliente la risposta sbagliata di un assistente interno, è probabile che il cliente la legga come la risposta della tua azienda.

Come capire qual è la tua causa

Per trovare la causa delle allucinazioni AI del tuo assistente, raccogli una serie di domande reali e confronta ogni risposta con ciò che sai essere vero. Non servono strumenti a pagamento, solo l’assistente, i tuoi documenti e l’accesso alla cronologia delle sue conversazioni. Nel loro insieme, le risposte sbagliate ti dicono quale lacuna colmare per prima.

1. Scrivi domande reali. Prendile da chat, email e chiamate recenti, con le parole dei clienti. Aggiungi domande a cui i tuoi documenti non rispondono e alcune che sono fuori dal compito dell’assistente.
2. Accanto a ognuna, scrivi la risposta corretta. Per le domande senza risposta nel tuo materiale, la risposta corretta è “Non lo so, ti passo a un collega”.
3. Fai all’assistente ogni domanda, poi riformulane alcune con altre parole. Se i fatti in una risposta cambiano da un tentativo all’altro, probabilmente l’assistente li sta indovinando.
4. Per ogni risposta sbagliata, guarda cosa ha usato. Molti assistenti basati sulla conoscenza aziendale possono mostrare il passaggio di origine o registrare quali documenti hanno recuperato; verifica se il tuo lo fa. Annota se non c’era una fonte, se la fonte era vecchia o in conflitto con un’altra, oppure se era quella giusta ma l’ha letta male.
5. Ordina le risposte sbagliate per causa. Nessun documento, documento sbagliato o superato, regola non scritta, fuori dal compito, oppure un caso che richiedeva comunque una persona. Il gruppo più grande è il punto da cui partire.

Conserva questa serie e rieseguila dopo ogni modifica. Lo studio di Barnett osserva che validare un sistema del genere “è possibile solo durante l’esercizio”, quindi aggiungi le nuove domande che le persone fanno dopo il lancio.

Come impedire a un assistente AI di inventare?

Parti dalle correzioni più economiche: lascia che l’assistente dica “non lo so” e passi la conversazione a una persona, fallo rispondere solo dai tuoi documenti con una fonte visibile e tieni quei documenti aggiornati. Poi vengono le regole messe per iscritto, un compito più ristretto, l’indicazione che si tratta di un’AI e i test periodici. Riesegui la serie di domande dopo ogni modifica, così vedi quale ha aiutato.

1. Lascia che dica “non lo so” e passi la mano. Modifica le istruzioni in modo che, quando i documenti non contengono la risposta, l’assistente lo dica e passi la conversazione a una persona, allegando la domanda e i contatti del cliente. I ricercatori di OpenAI dicono la stessa cosa dall’altro lato: i modelli “possono astenersi quando sono incerti”. Il passaggio serve solo se qualcuno lo prende in carico; nel nostro articolo sul chatbot AI per aziende vediamo dove dovrebbero arrivare questi passaggi.

2. Fallo rispondere solo dai tuoi documenti e mostra la fonte. Questa impostazione si chiama spesso retrieval-augmented generation, o RAG: l’assistente prima cerca nel tuo materiale, poi risponde con i passaggi che ha trovato. L’indicazione di Anthropic è limitare il modello alle “informazioni contenute nei documenti forniti e non alla sua conoscenza generale”. Una fonte visibile sotto ogni risposta permette a clienti e personale di verificarla, e a te di vedere quale pagina ha causato un errore. Nei nostri progetti di implementazione dell’AI, un assistente basato sulla conoscenza aziendale risponde con un link alla fonte, così una risposta sbagliata si può ricondurre alla pagina che c’è dietro. Anche così, metti in conto qualche errore: i ricercatori di Stanford che hanno testato strumenti di AI per la ricerca giuridica hanno scoperto che “anche i sistemi RAG non sono privi di allucinazioni”.

3. Pulisci il materiale che legge. Una sola versione attuale di ogni regolamento, listino e modello di contratto; le vecchie versioni fuori dalla cartella; ogni documento con un responsabile nominato che lo aggiorna quando la regola cambia. Se l’assistente risponde a partire dal tuo CRM, lo stesso vale per i record lì dentro, come abbiamo spiegato nell’articolo sulla qualità dei dati CRM.

4. Metti per iscritto le regole che continua a inventare. Condizioni di rimborso, promesse di consegna, sconti, cosa conta come reclamo. Dove la posta in gioco è alta, dai all’assistente una formulazione fissa da usare, oppure rendi quell’argomento uno di quelli in cui una persona conferma la risposta prima che parta.

5. Restringi il suo compito. Elenca a cosa risponde e cosa declina gentilmente. Le domande fuori dall’elenco ricevono un breve rifiuto e, dove serve, un passaggio a una persona.

6. Di’ alle persone che stanno parlando con un’AI. Nell’UE, il regolamento sull’intelligenza artificiale impone che le persone siano informate del fatto di interagire con un sistema di AI, a meno che non sia evidente, al più tardi al momento della prima interazione. L’obbligo spetta al fornitore del sistema e si applica dal 2 agosto 2026. Indicare le risposte dell’AI serve anche a fissare le aspettative: dopo che nel 2025 il suo bot di assistenza aveva inventato una regola d’uso, Cursor ha iniziato a contrassegnare le risposte dell’AI nell’assistenza via email. Nei progetti di siti web in cui aggiungiamo un assistente, dire ai visitatori che stanno parlando con un’AI fa parte della pagina fin dall’inizio.

7. Ripeti il test dopo ogni modifica. Nuovi documenti, istruzioni modificate e aggiornamenti del modello da parte del fornitore possono cambiare le risposte a domande che prima funzionavano. Esegui la serie di domande dopo ognuno di questi cambiamenti e prima di un periodo di picco.

Cosa non ferma da solo le allucinazioni AI?

Tre correzioni vengono spesso provate per prime: una riga che dice al modello di non avere allucinazioni, una temperatura a 0 e il fine-tuning sui tuoi testi. Ognuna cambia solo una parte dell’assistente. I fatti che gli mancano e il permesso di dire “non lo so” vengono dai suoi documenti e dalle sue istruzioni, quindi se le risposte sbagliate continuano dopo queste correzioni, controlla prima quelli.

Come capire se le risposte sbagliate stanno diminuendo?

Tieni traccia di alcuni numeri dalla serie di domande e dalle conversazioni reali, partendo da prima della prima correzione, così hai un termine di paragone. Controllali dopo ogni modifica, poi a cadenza regolare una volta che l’assistente si è stabilizzato, e oltre ai totali leggi anche le risposte sbagliate.

• Risposte corrette sulla tua serie di domande, comprese quelle in cui la risposta giusta è “non lo so”.
• Risposte sbagliate a settimana per causa, dalla lettura delle conversazioni reali. Una causa che torna di continuo è la prossima correzione da fare.
• Passaggi presi in carico da una persona, e quanto hanno aspettato. Un passaggio a cui nessuno risponde spesso finisce comunque con il cliente che se ne va.
• Risposte che mostrano una fonte. Se la quota di risposte senza fonte cresce, verifica che i documenti coprano ancora le domande che le persone fanno.

Dove entriamo in gioco noi

Partiamo dalle tue domande e dai tuoi documenti: la serie di domande, le risposte corrette e le fonti che l’assistente dovrebbe usare. Poi impostiamo l’assistente perché risponda da quel materiale con una fonte visibile e con una persona che approva le risposte dove conta. Continuiamo a verificarlo con la serie di domande nell’ambito dei controlli di qualità regolari. Se un tuo assistente sta già dando risposte sbagliate, il brief è il modo più semplice per mostrarci dove.

← Tutti gli articoli