Egy ügyfél továbbít Önnek egy csevegést: a webhelye asszisztense azt írta neki, hogy hatvan napig ingyenes a visszaküldés, pedig a szabályzat harminc napot mond. Vagy egy kolléga olyan szerződési pontot idéz, amelyet a belső asszisztens “talált”, de a szerződésben senki nem leli. Mindkettő AI hallucináció: az asszisztens magabiztosan ad hibás választ. A rövid válasz: a hibákat nem lehet teljesen kikapcsolni, de általában kideríthető, milyen hibáról van szó, és elérhető, hogy a magabiztos téves válasz ritka és látható legyen, és emberhez kerüljön.
A szokásos reakció a modell hibáztatása, egy “ne találj ki semmit” sor hozzáadása az utasításokhoz, vagy az asszisztens kikapcsolása. Az ok gyakran hétköznapibb: olyat kérdeztek tőle, amire az anyaga nem ad választ, rossz oldalt olvasott el, vagy senki nem mondta meg neki, hogy a “nem tudom” elfogadható válasz. Mindegyik nyomot hagy, amelyet Ön maga is ellenőrizhet.
Miért ad hibás válaszokat az asszisztense? Az AI hallucináció okai
Egy nyelvi modell a legvalószínűbb következő szavakat írja le. Ha a tény ott van előtte, a valószínű válasz általában a helyes. Ha nincs, akkor is gördülékeny szöveget ír, és ezt a NIST konfabulációnak nevezi: “magabiztosan állított, de hibás vagy hamis tartalom”, köznyelven hallucináció.
Az OpenAI kutatói meg is magyarázzák ezt a magabiztosságot: a szokásos tanítás és értékelés “a találgatást jutalmazza a bizonytalanság beismerése helyett”. A súgóközpontjuk hozzáteszi, hogy “a magabiztosság nem megbízhatóság”: egy gördülékeny, határozott válasz is lehet hibás. Egy céges asszisztensnél ez az általános hajlam néhány konkrét hiányosságon keresztül jelenik meg.
A válasz nincs benne az anyagában. Egy ügyfél olyan szolgáltatásról kérdez, amelyet már nem kínál, olyan országról, ahová soha nem szállított, vagy olyan kedvezményről, amelyet soha senki nem írt le. Barnett és kollégái dokumentumalapú asszisztensekről szóló tanulmánya ezt sorolja első hibapontként: olyan kérdés, “amely a rendelkezésre álló dokumentumokból nem válaszolható meg”. Az asszisztens ilyenkor az általános tudásából találgat, és így születik egy hihető, de kitalált visszaküldési határidő.
Rossz oldalt talált. Az asszisztens először a dokumentumaiban keres, és abból válaszol, amit talál. Ha tehát a tavalyi árlista, egy szabályzattervezet és az érvényes szabályzat ugyanabban a mappában van, bármelyiket idézheti. A Microsoft útmutatója a válaszok forrásokkal való összevetéséről ugyanebből indul ki: maguknak a forrásoknak “pontosnak és naprakésznek” kell lenniük. Erre az okra akkor ismer rá, ha a hibás válasz valahol a fájljaiban igaz, csak elavult.
A szabály csak valakinek a fejében létezik. A csapata tudja, hogy egy bizonyos összeg feletti visszatérítéshez vezetői jóváhagyás kell, vagy hogy decemberben nem ígérnek szállítási dátumot. Ha az asszisztens semmilyen olvasott anyagában nincs benne ez a szabály, a hézagot egy saját, ésszerűen hangzó szabállyal tölti ki.
A kérdés kívül esik a feladatán. A nyitvatartásra és foglalásokra beállított asszisztenstől jogi, orvosi vagy árazási tanácsot kérnek. Ha nincs utasítása arra, hogy ezt elhárítsa, megpróbál segíteni.
Semmi nem engedi meg neki, hogy azt mondja: “nem tudom”. Az olyan utasítások, mint a “mindig segíts az ügyfélnek”, arra késztethetik a modellt, hogy akkor is válaszoljon, amikor nincs miből. Az Anthropic dokumentációja szerint ha kifejezetten megengedjük a modellnek, hogy beismerje a bizonytalanságát, az “drasztikusan csökkentheti a hamis információkat”.
Ezek a hiányosságok egyetlen úton helyezkednek el a kérdéstől a válaszig, és a válasz az első olyan lépésnél csúszik félre, amelyik nem sikerül.
Ki felel azért, amit az asszisztens mond?
Egy ismert esetben a cég. A Moffatt v. Air Canada ügyben (2024) a légitársaság chatbotja azt sugallta egy ügyfélnek, hogy gyászolói kedvezményes viteldíjat utólag is igényelhet, holott a légitársaság szabályzata ezt nem engedte. A brit columbiai vitarendező testület megállapította: “Nincs jelentősége, hogy az információ statikus oldalról vagy chatbottól származik”. Kimondta, hogy a légitársaság “nem járt el kellő gondossággal annak biztosítására, hogy a chatbotja pontos legyen”, és 812,02 kanadai dollárt ítélt meg az ügyfélnek.
Ugyanez az elv érvényes a munkatársai által használt asszisztensekre. A Mata v. Avianca ügyben (2023) egy amerikai bíróság két ügyvédet és az irodájukat egyetemlegesen 5000 dollár bírság megfizetésére kötelezte, miután a ChatGPT által kitalált bírósági döntéseket nyújtottak be, és kérdőre vonva is kitartottak mellettük. A bíróság szerint egy megbízható AI-eszköz használatában “önmagában nincs semmi helytelen”, de a beadványt benyújtó személynek “kapuőri szerepe” marad a pontosság felett. Ha valaki egy belső asszisztens hibás válaszát továbbítja egy ügyfélnek, az ügyfél valószínűleg a cége válaszaként fogja olvasni.
Hogyan derítse ki, melyik ok áll fenn Önnél
Hogy megtalálja, mi okozza a hibás válaszokat, gyűjtsön össze valódi kérdéseket, és minden választ vessen össze azzal, amiről tudja, hogy igaz. Nem kell hozzá fizetős eszköz, csak az asszisztens, a dokumentumai és hozzáférés a beszélgetési előzményekhez. A hibás válaszok együtt megmutatják, melyik hiányosságot zárja be először.
- Írjon le valódi kérdéseket. Vegye őket a legutóbbi csevegésekből, e-mailekből és hívásokból, az ügyfelek saját szavaival. Tegyen hozzá olyan kérdéseket, amelyekre a dokumentumai nem adnak választ, és néhányat, amely kívül esik az asszisztens feladatán.
- Írja mindegyik mellé a helyes választ. Azoknál a kérdéseknél, amelyekre az anyagában nincs válasz, a helyes válasz: “nem tudom, átkapcsolom egy kollégához”.
- Tegye fel az asszisztensnek az összes kérdést, majd néhányat más szavakkal még egyszer. Ha a válaszban szereplő tények futtatásról futtatásra változnak, az asszisztens valószínűleg találgatja őket.
- Minden hibás válasznál nézze meg, mit használt. Sok tudásalapú asszisztens meg tudja mutatni a forrásrészletet, vagy naplózza, mely dokumentumokat kereste vissza; ellenőrizze, hogy az Önéé tudja-e ezt. Jegyezze fel, hogy nem volt forrás, régi vagy ellentmondó forrás volt, vagy a helyes forrást értette félre.
- Csoportosítsa a hibás válaszokat ok szerint. Nincs dokumentum, rossz vagy elavult dokumentum, le nem írt szabály, a feladaton kívüli kérdés, vagy olyan eset, amelyhez amúgy is ember kellett volna. A legnagyobb csoportnál érdemes kezdeni.
Őrizze meg ezt a kérdéssort, és futtassa le minden változtatás után. A Barnett-tanulmány megjegyzi, hogy egy ilyen rendszer validálása “csak működés közben lehetséges”, ezért vegye fel a kérdéssorba azokat az új kérdéseket is, amelyeket az indulás után tesznek fel.
Hogyan akadályozza meg, hogy az AI-asszisztens kitaláljon dolgokat?
Kezdje a legolcsóbb javításokkal: engedje meg az asszisztensnek, hogy azt mondja, “nem tudom”, és átadja a beszélgetést egy embernek, csak a dokumentumaiból válaszoljon látható forrással, és ezek a dokumentumok legyenek naprakészek. Ezután jön a szabályok leírása, a feladata szűkítése, az AI-jelölés és a rendszeres újratesztelés. Minden változtatás után futtassa le újra a kérdéssort, hogy lássa, melyik segített.
-
Engedje meg neki, hogy azt mondja, “nem tudom”, és átadja a beszélgetést. Módosítsa az utasításokat úgy, hogy ha a dokumentumok nem tartalmazzák a választ, az asszisztens ezt mondja ki, és adja át a beszélgetést egy embernek, csatolva az ügyfél kérdését és elérhetőségét. Az OpenAI kutatói a másik oldalról mondják ugyanezt: a modellek “tartózkodhatnak a válaszadástól, ha bizonytalanok”. Az átadás csak akkor segít, ha valaki átveszi; abban az írásunkban, hogy érdemes-e AI chatbotot használni cégeknek az ügyfelek kiszolgálására, arról is írunk, hová kerüljenek ezek az átadások.
-
Csak a dokumentumaiból válaszoljon, és mutassa a forrást. Ezt a megoldást gyakran visszakereséssel kiegészített generálásnak, röviden RAG-nak nevezik: az asszisztens először az anyagában keres, majd a talált részletekből válaszol. Az Anthropic útmutatása szerint a modellt korlátozni kell “a megadott dokumentumokból származó információkra, nem pedig az általános tudására”. Az egyes válaszok alatt látható forrás lehetővé teszi az ügyfeleknek és a munkatársaknak, hogy ellenőrizzék, Önnek pedig, hogy lássa, melyik oldal okozott hibát. AI-bevezetési projektjeinkben, ahol az AI hallucináció visszaszorítása is cél, a tudásalapú asszisztens a forrás linkjével válaszol, így egy hibás válasz visszakövethető a mögötte álló oldalig. Hibákra még így is számítson: a Stanford kutatói jogi kutatásra szolgáló AI-eszközöket tesztelve azt találták, hogy “még a RAG-rendszerek sem mentesek a hallucinációktól”.
-
Tegye rendbe az anyagot, amelyet olvas. Minden szabályzatból, árlistából és szerződéssablonból egy érvényes változat; a régi változatok kikerülnek a mappából; minden dokumentumnak van megnevezett felelőse, aki frissíti, amikor a szabály változik. Ha az asszisztens a CRM-jéből válaszol, ugyanez érvényes az ottani rekordokra is, ahogy a CRM adatok minőségéről szóló írásunkban kifejtettük.
-
Írja le azokat a szabályokat, amelyeket újra meg újra kitalál. Visszatérítési feltételek, szállítási ígéretek, kedvezmények, mi számít panasznak. Ahol nagy a tét, adjon az asszisztensnek rögzített megfogalmazást, vagy tegye az adott témát olyanná, ahol egy ember hagyja jóvá a választ, mielőtt kimegy.
-
Szűkítse a feladatát. Sorolja fel, mire válaszol, és mit hárít el udvariasan. A listán kívüli kérdések rövid elutasítást kapnak, és ahol hasznos, átadást.
-
Közölje az emberekkel, hogy AI-jal beszélnek. Az EU-ban a mesterséges intelligenciáról szóló rendelet előírja, hogy az embereket legkésőbb az első interakció alkalmával tájékoztatni kell arról, hogy MI-rendszerrel lépnek interakcióba, kivéve ha ez nyilvánvaló. A kötelezettség a rendszer szolgáltatóját terheli, és 2026. augusztus 2. óta alkalmazandó. Az AI-válaszok jelölése az elvárásokat is helyre teszi: miután 2025-ben a támogatási botja kitalált egy használati szabályt, a Cursor elkezdte jelölni az AI-válaszokat az e-mailes ügyfélszolgálatán. Azokban a webhelyprojektekben, ahol AI-asszisztenst is beépítünk, a látogatók tájékoztatása arról, hogy AI-jal beszélnek, kezdettől az oldal része.
-
Minden változtatás után teszteljen újra. Az új dokumentumok, a módosított utasítások és a szállító modellfrissítései mind megváltoztathatják a korábban jól működő kérdésekre adott válaszokat. Mindegyik után és minden forgalmas szezon előtt futtassa le a kérdéssort.
Mi az, ami önmagában nem állítja meg az AI hallucinációkat?
Három javítással gyakran próbálkoznak elsőként: egy sorral, amely megtiltja a modellnek a hallucinálást, a 0-s temperature értékkel és a saját szövegekre végzett finomhangolással. Mindegyik csak az asszisztens egy részét változtatja meg. A hiányzó tények és a “nem tudom” kimondásának engedélye a dokumentumaiból és az utasításaiból jön, ezért ha a hibás válaszok ezek után is folytatódnak, először ezeket ellenőrizze.
| Amivel próbálkoznak | Amit megváltoztat | Ami ugyanaz marad |
|---|---|---|
| Egy “ne hallucinálj” sor az utasításokban | Hogyan van megfogalmazva a modellnek szóló kérés | A “nem tudom” kimondásának engedélye nélkül a modellnek továbbra is választ kell adnia |
| A temperature 0-ra csökkentése | Mennyire változik a megfogalmazás futtatásról futtatásra; az Anthropic megjegyzi, hogy 0-n is “az eredmények nem lesznek teljesen determinisztikusak” | Az asszisztens által olvasott dokumentumok, és a belőlük hiányzó tények |
| Egy modell finomhangolása (további tanítása) a saját szövegein | Szerintünk főként azt, hogyan ír és viselkedik a modell | A változó árak és feltételek, amelyek olyan dokumentumokba valók, amelyeket a válaszadáskor olvas |
Honnan tudja, hogy ritkulnak a hibás válaszok?
Kövessen néhány számot a kérdéssorból és a valódi beszélgetésekből, már az első javítás előttől, hogy legyen mihez viszonyítania. Ellenőrizze őket minden változtatás után, majd amikor az asszisztens beállt, rendszeres ütemben, és az összesítések mellett magukat a hibás válaszokat is olvassa el.
- Helyes válaszok a kérdéssoron, azokkal a kérdésekkel együtt, ahol a helyes válasz a “nem tudom”.
- Heti hibás válaszok ok szerint, a valódi beszélgetések olvasása alapján. Az újra meg újra visszatérő ok a következő javítás.
- Ember által átvett átadások, és hogy mennyit vártak. Egy átadás, amelyre senki nem reagál, gyakran azzal végződik, hogy az ügyfél így is elmegy.
- Forrást mutató válaszok. Ha nő a forrás nélküli válaszok aránya, nézze meg, hogy a dokumentumok még lefedik-e azokat a kérdéseket, amelyeket az emberek feltesznek.
Miben segítünk mi
Az Ön kérdéseiből és dokumentumaiból indulunk ki: a kérdéssorból, a helyes válaszokból és azokból a forrásokból, amelyeket az asszisztensnek használnia kell. Ezután úgy állítjuk be az asszisztenst, hogy ebből az anyagból válaszoljon, látható forrással, és ahol számít, egy ember hagyja jóvá a válaszokat. A rendszeres minőség-ellenőrzés részeként folyamatosan teszteljük a kérdéssoron. Ha valamelyik asszisztense már most hibás válaszokat ad, egy rövid brief a legegyszerűbb módja annak, hogy megmutassa, hol.
