Halucinații AI: de ce greșește asistentul și cum reduceți erorile

Un client vă trimite o conversație: asistentul de pe site i-a spus că returul este gratuit timp de șaizeci de zile, deși politica dvs. spune treizeci. Sau un coleg citează o clauză de contract pe care asistentul intern a “găsit-o”, iar nimeni nu o găsește în contract. Ambele sunt halucinații AI: asistentul dă cu încredere un răspuns greșit. Pe scurt: nu puteți opri erorile complet, dar de obicei puteți afla ce fel de eroare este și puteți face ca răspunsurile greșite date cu încredere să fie rare, vizibile și preluate de un om.

Reacțiile obișnuite sunt să dați vina pe model, să adăugați în instrucțiuni “nu inventa nimic” sau să opriți asistentul. Adesea cauza e mai banală: a fost întrebat ceva la care materialul lui nu răspunde, a citit pagina greșită sau nimeni nu i-a spus că “nu știu” este un răspuns acceptabil. Fiecare dintre acestea lasă o urmă pe care o puteți verifica singuri.

De ce apar halucinații AI în asistentul dvs.?

Un model de limbaj scrie cele mai plauzibile cuvinte următoare. Când are faptul în față, răspunsul plauzibil este de obicei cel corect. Când nu îl are, scrie totuși ceva fluent, iar NIST numește asta confabulație: “conținut afirmat cu încredere, dar eronat sau fals”, cunoscut colocvial drept halucinații.

Cercetătorii OpenAI explică această încredere: antrenarea și evaluarea standard “recompensează ghicitul în locul recunoașterii incertitudinii”. Centrul lor de ajutor adaugă că “încrederea nu înseamnă fiabilitate”: un răspuns fluent și sigur poate fi totuși greșit. Într-un asistent de business, acest obicei general apare prin câteva goluri concrete.

Răspunsul nu se află în materialul lui. Un client întreabă despre un serviciu pe care nu îl mai oferiți, despre o țară în care nu ați livrat niciodată sau despre o reducere care nu a fost scrisă nicăieri. Un studiu despre asistenții bazați pe documente, semnat de Barnett și colegii săi, trece acest caz drept primul punct de eșec: o întrebare “la care nu se poate răspunde din documentele disponibile”. Asistentul ghicește din cunoștințele generale și așa apare un termen de retur plauzibil, dar inventat.

A găsit pagina greșită. Asistentul caută întâi în documentele dvs. și răspunde din ce găsește, deci dacă lista de prețuri de anul trecut, o politică în lucru și cea în vigoare stau în același dosar, o poate cita pe oricare. Ghidul Microsoft despre verificarea răspunsurilor față de surse pornește de la același punct: sursele însele trebuie să fie “exacte și actualizate”. Recunoașteți această cauză atunci când răspunsul greșit se dovedește adevărat undeva în fișierele dvs., doar că e depășit.

Regula există doar în capul cuiva. Echipa dvs. știe că rambursările peste o anumită sumă au nevoie de aprobarea unui manager sau că în decembrie nu promiteți date de livrare. Când nimic din ce citește asistentul nu conține regula, el umple golul cu o politică a lui care sună rezonabil.

Întrebarea nu ține de rolul lui. Unui asistent configurat pentru program și rezervări i se cere sfat juridic, medical sau despre prețuri. Fără o instrucțiune de a refuza, încearcă să ajute.

Nimic nu îi permite să spună “nu știu”. Instrucțiuni precum “ajută mereu clientul” pot împinge modelul să răspundă chiar și când nu are din ce. Documentația Anthropic spune că a permite explicit modelului să-și recunoască incertitudinea “poate reduce drastic informațiile false”.

Aceste goluri stau de-a lungul aceluiași drum de la întrebare la răspuns, iar răspunsul o ia razna la primul pas care eșuează.

Cine răspunde pentru ce spune asistentul?

Într-un caz cunoscut, compania. În Moffatt v. Air Canada (2024), chatbotul companiei aeriene i-a sugerat unui client că poate solicita retroactiv un tarif de doliu, lucru pe care politica companiei nu îl permitea. Tribunalul din Columbia Britanică a constatat că “nu are nicio importanță dacă informația provine dintr-o pagină statică sau de la un chatbot”. A reținut că firma “nu a manifestat o grijă rezonabilă pentru a se asigura că chatbotul său este corect” și i-a acordat clientului 812,02 CAD.

Același principiu se aplică asistenților folosiți de angajații dvs. În Mata v. Avianca (2023), o instanță din SUA a obligat doi avocați și firma lor să plătească în solidar o amendă de 5.000 de dolari, după ce au depus hotărâri judecătorești inventate de ChatGPT și au continuat să le susțină când au fost întrebați despre ele. Instanța a spus că nu este “nimic în mod inerent nepotrivit” în folosirea unui instrument AI fiabil, dar persoana care depune documentele păstrează un “rol de control” asupra exactității. Când cineva trimite unui client răspunsul greșit al unui asistent intern, clientul îl va citi probabil drept răspunsul companiei dvs.

Cum aflați care este cauza la dvs.

Ca să aflați de ce AI-ul dă răspunsuri greșite, strângeți un set de întrebări reale și comparați fiecare răspuns cu ce știți că este adevărat. Nu aveți nevoie de instrumente plătite, doar de asistent, de documentele dvs. și de acces la istoricul conversațiilor. Luate împreună, răspunsurile greșite vă arată ce gol să închideți mai întâi.

1. Notați întrebări reale. Luați-le din conversații, e-mailuri și apeluri recente, în cuvintele clienților. Adăugați întrebări la care documentele dvs. nu răspund și câteva care nu țin de rolul asistentului.
2. Scrieți lângă fiecare răspunsul corect. Pentru întrebările fără răspuns în materialul dvs., răspunsul corect este “nu știu, vă transfer la un coleg”.
3. Puneți asistentului fiecare întrebare, apoi puneți-le din nou pe unele, cu alte cuvinte. Dacă faptele dintr-un răspuns se schimbă de la o rulare la alta, asistentul probabil le ghicește.
4. Pentru fiecare răspuns greșit, uitați-vă ce a folosit. Mulți asistenți de cunoștințe pot arăta pasajul sursă sau înregistrează ce documente au regăsit; verificați dacă al dvs. face asta. Notați dacă nu a existat nicio sursă, dacă sursa era veche sau contradictorie ori dacă era sursa corectă, dar citită greșit.
5. Grupați răspunsurile greșite după cauză. Niciun document, document greșit sau depășit, regulă nescrisă, întrebare din afara rolului sau un caz care oricum avea nevoie de un om. Cel mai mare grup este locul de unde începeți.

Păstrați acest set și rulați-l după fiecare schimbare. Lucrarea lui Barnett notează că validarea unui astfel de sistem “este fezabilă doar în timpul funcționării”, așa că adăugați noile întrebări pe care oamenii le pun după lansare.

Cum opriți un asistent AI să inventeze?

Începeți cu remedierile cele mai ieftine: lăsați asistentul să spună “nu știu” și să predea conversația unui om, faceți-l să răspundă doar din documentele dvs., cu sursa vizibilă, și țineți aceste documente la zi. Urmează scrierea regulilor, restrângerea rolului, marcarea ca AI și retestările regulate. Rulați din nou setul de întrebări după fiecare schimbare, ca să vedeți care a ajutat.

1. Lăsați-l să spună “nu știu” și să predea conversația. Schimbați instrucțiunile astfel încât, atunci când documentele nu conțin răspunsul, asistentul să spună asta și să predea conversația unui om, împreună cu întrebarea și datele de contact ale clientului. Cercetătorii OpenAI spun același lucru din cealaltă parte: modelele “se pot abține atunci când sunt nesigure”. O predare ajută doar dacă cineva o preia; articolul nostru despre când merită un chatbot AI pentru firme care răspunde clienților arată unde ar trebui să ajungă aceste predări.

2. Faceți-l să răspundă doar din documentele dvs. și să arate sursa. Această configurare se numește adesea generare augmentată prin regăsire, sau RAG: asistentul caută întâi în materialul dvs., apoi răspunde din pasajele găsite. Recomandarea Anthropic este ca modelul să fie limitat la “informațiile din documentele furnizate, nu la cunoștințele sale generale”. O sursă vizibilă sub fiecare răspuns le permite clienților și angajaților să o verifice și vă permite să vedeți ce pagină a cauzat o eroare. În proiectele noastre de implementare AI, unde reducem halucinațiile AI, un asistent de cunoștințe răspunde cu un link către sursă, așa că un răspuns greșit poate fi urmărit până la pagina din spatele lui. Așteptați-vă la unele erori chiar și așa: cercetătorii de la Stanford care au testat instrumente AI pentru cercetare juridică au constatat că “nici sistemele RAG nu sunt lipsite de halucinații”.

3. Curățați materialul pe care îl citește. O singură versiune în vigoare pentru fiecare politică, listă de prețuri și model de contract; versiunile vechi scoase din dosar; fiecare document cu un responsabil numit, care îl actualizează când regula se schimbă. Dacă asistentul răspunde din CRM, același lucru e valabil pentru înregistrările de acolo, cum am arătat în articolul despre calitatea datelor din CRM.

4. Scrieți regulile pe care tot le inventează. Condiții de rambursare, promisiuni de livrare, reduceri, ce se consideră reclamație. Acolo unde miza e mare, dați-i asistentului o formulare fixă sau faceți din subiectul respectiv unul la care un om confirmă răspunsul înainte să plece.

5. Restrângeți-i rolul. Enumerați la ce răspunde și ce refuză politicos. Întrebările din afara listei primesc un refuz scurt și, unde e util, o predare către un om.

6. Spuneți-le oamenilor că vorbesc cu un AI. În UE, Regulamentul privind inteligența artificială cere ca persoanele să fie informate că interacționează cu un sistem de IA, cu excepția cazului în care acest lucru este evident, cel târziu la prima interacțiune. Obligația revine furnizorului sistemului și se aplică din 2 august 2026. Marcarea răspunsurilor AI setează și așteptările: după ce botul său de suport a inventat în 2025 o politică de utilizare, Cursor a început să marcheze răspunsurile AI în suportul prin e-mail. În proiectele de site-uri în care adăugăm un asistent AI, informarea vizitatorilor că vorbesc cu un AI face parte din pagină de la început.

7. Retestați după fiecare schimbare. Documentele noi, instrucțiunile modificate și actualizările de model de la furnizor pot schimba răspunsurile la întrebări care mergeau înainte. Rulați setul de întrebări după fiecare dintre ele și înainte de un sezon aglomerat.

Ce nu oprește singur halucinațiile AI?

Trei remedieri sunt încercate adesea primele: un rând care îi cere modelului să nu halucineze, o temperatură de 0 și fine-tuning pe propriile texte. Fiecare schimbă doar o parte a asistentului. Faptele care îi lipsesc și permisiunea de a spune “nu știu” vin din documente și instrucțiuni, așa că, dacă răspunsurile greșite continuă după aceste remedieri, verificați-le întâi pe acestea.

De unde știți că răspunsurile greșite devin mai rare?

Urmăriți câțiva indicatori din setul de întrebări și din conversațiile reale, începând dinainte de prima remediere, ca să aveți cu ce compara. Verificați-i după fiecare schimbare, apoi la un ritm regulat după ce asistentul se stabilizează, și citiți răspunsurile greșite în sine, nu doar totalurile.

• Răspunsuri corecte pe setul de întrebări, inclusiv la întrebările unde răspunsul corect este “nu știu”.
• Răspunsuri greșite pe săptămână, după cauză, din citirea conversațiilor reale. O cauză care tot revine este următoarea remediere.
• Predări preluate de un om și cât au așteptat. O predare la care nu răspunde nimeni se termină adesea cu plecarea clientului oricum.
• Răspunsuri care arată o sursă. Dacă ponderea răspunsurilor fără sursă crește, verificați dacă documentele mai acoperă întrebările pe care le pun oamenii.

Cum vă ajutăm

Pornim de la întrebările și documentele dvs.: setul de întrebări, răspunsurile corecte și sursele pe care asistentul ar trebui să le folosească. Apoi configurăm asistentul să răspundă din acest material, cu sursă vizibilă și cu un om care aprobă răspunsurile acolo unde contează. Îl verificăm în continuare pe setul de întrebări, ca parte a controalelor regulate de calitate. Dacă unul dintre asistenții dvs. dă deja răspunsuri greșite, un brief este cel mai simplu mod de a ne arăta unde.

← Toate articolele