Asiakas lähettää sinulle keskustelun: verkkosivusi avustaja lupasi hänelle ilmaisen palautuksen kuudenkymmenen päivän ajan, vaikka käytäntönne mukaan aikaa on kolmekymmentä päivää. Tai kollega lainaa sopimuslauseketta, jonka sisäinen avustaja “löysi”, eikä kukaan löydä sitä sopimuksesta. Molemmissa tekoäly antaa vääriä vastauksia. Lyhyesti: virheitä ei voi kytkeä kokonaan pois, mutta yleensä voit selvittää, millainen virhe on kyseessä, ja tehdä varmoista vääristä vastauksista harvinaisia, näkyviä ja ihmiselle siirtyviä.
Tavalliset reaktiot ovat mallin syyttäminen, ohjeiden täydentäminen lauseella “älä keksi asioita” tai avustajan sulkeminen. Usein syy on arkisempi: avustajalta kysyttiin jotain, mihin sen aineisto ei vastaa, se luki väärää sivua, tai kukaan ei kertonut sille, että “en tiedä” on hyväksyttävä vastaus. Jokainen näistä jättää jäljen, jonka voit tarkistaa itse.
Miksi tekoäly antaa vääriä vastauksia?
Kielimalli kirjoittaa todennäköisimmät seuraavat sanat. Kun tieto on sen edessä, todennäköinen vastaus on yleensä oikea. Kun tietoa ei ole, se kirjoittaa silti jotain sujuvaa, ja NIST kutsuu tätä konfabulaatioksi: “varmasti esitettyä mutta virheellistä tai väärää sisältöä”, jota kutsutaan arkikielessä hallusinoinneiksi.
OpenAIn tutkijat selittävät varmuuden: tavanomainen koulutus ja arviointi “palkitsevat arvaamisen epävarmuuden myöntämisen sijaan”. Sen ohjekeskus lisää, että “varmuus ei ole luotettavuutta”: sujuva ja varma vastaus voi silti olla väärä. Yrityksen avustajassa tämä yleinen taipumus näkyy muutaman konkreettisen aukon kautta.
Vastausta ei ole aineistossa. Asiakas kysyy palvelusta, jota ette enää tarjoa, maasta, johon ette ole koskaan toimittaneet, tai alennuksesta, jota ei koskaan kirjattu. Barnettin ja kollegoiden tutkimus dokumentteihin perustuvista avustajista mainitsee tämän ensimmäisenä vikakohtana: kysymys, “johon ei voi vastata saatavilla olevien dokumenttien perusteella”. Avustaja arvaa yleistietonsa pohjalta, ja näin syntyy uskottava mutta keksitty palautusaika.
Se löysi väärän sivun. Avustaja hakee ensin dokumenteistasi ja vastaa löytämänsä perusteella, joten jos viime vuoden hinnasto, käytännön luonnos ja voimassa oleva versio ovat samassa kansiossa, se voi lainata mitä tahansa niistä. Microsoftin ohje vastausten tarkistamisesta lähteitä vasten lähtee samasta kohdasta: lähteiden itsensä on oltava “tarkkoja ja ajan tasalla”. Tunnistat tämän syyn, kun väärä vastaus osoittautuu paikkansapitäväksi jossain tiedostoissasi, vain vanhentuneena.
Sääntö on olemassa vain jonkun päässä. Tiimisi tietää, että tietyn summan ylittävät hyvitykset vaativat esihenkilön hyväksynnän tai ettei joulukuussa luvata toimituspäiviä. Kun mikään avustajan lukema ei sisällä tätä sääntöä, se täyttää aukon omalla järkevältä kuulostavalla käytännöllään.
Kysymys on sen tehtävän ulkopuolella. Aukioloaikoja ja varauksia varten perustetulta avustajalta pyydetään oikeudellisia, lääketieteellisiä tai hinnoitteluun liittyviä neuvoja. Ilman ohjetta kieltäytyä se yrittää auttaa.
Mikään ei salli sen sanoa “en tiedä”. Ohjeet kuten “auta asiakasta aina” voivat painostaa mallia vastaamaan silloinkin, kun sillä ei ole mitään, mihin vastauksen perustaa. Anthropicin dokumentaation mukaan se, että mallille annetaan nimenomainen lupa myöntää epävarmuutensa, “voi vähentää väärää tietoa huomattavasti”.
Nämä aukot sijaitsevat samalla polulla kysymyksestä vastaukseen, ja vastaus menee pieleen ensimmäisessä vaiheessa, joka pettää.
Kuka vastaa siitä, mitä avustaja sanoo?
Yritys vastasi yhdessä tunnetussa tapauksessa. Asiassa Moffatt v. Air Canada (2024) lentoyhtiön chatbot antoi asiakkaan ymmärtää, että tämä voisi hakea surutapausalennusta jälkikäteen, mitä lentoyhtiön käytäntö ei sallinut. Brittiläisen Kolumbian tuomioistuin totesi: “Ei ole merkitystä, tuleeko tieto staattiselta sivulta vai chatbotilta”. Se katsoi, että lentoyhtiö “ei noudattanut kohtuullista huolellisuutta varmistaakseen, että sen chatbot oli paikkansapitävä”, ja määräsi asiakkaalle 812,02 CA$.
Sama periaate koskee avustajia, joita henkilöstösi käyttää. Asiassa Mata v. Avianca (2023) yhdysvaltalainen tuomioistuin määräsi kaksi asianajajaa ja heidän toimistonsa maksamaan yhteisesti 5 000 dollarin seuraamusmaksun, kun he olivat jättäneet ChatGPT:n keksimiä oikeuden ratkaisuja ja pitäneet niistä kiinni vielä kysyttäessä. Tuomioistuimen mukaan luotettavan tekoälytyökalun käytössä ei ole “mitään sinänsä sopimatonta”, mutta asiakirjan jättäjälle jää tarkkuudesta “portinvartijan rooli”. Kun joku välittää sisäisen avustajan väärän vastauksen asiakkaalle, asiakas lukee sen todennäköisesti yrityksesi vastauksena.
Miten selvität, mikä syy koskee sinua
Kun haluat selvittää, miksi tekoäly antaa vääriä vastauksia, kerää joukko oikeita kysymyksiä ja tarkista jokainen vastaus sitä vasten, minkä tiedät todeksi. Et tarvitse maksullisia työkaluja, vain avustajan, dokumenttisi ja pääsyn sen keskusteluhistoriaan. Yhdessä väärät vastaukset kertovat, mikä aukko kannattaa sulkea ensin.
- Kirjoita ylös oikeita kysymyksiä. Ota ne viimeaikaisista keskusteluista, sähköposteista ja puheluista asiakkaiden omin sanoin. Lisää kysymyksiä, joihin dokumenttisi eivät vastaa, ja muutama, joka on avustajan tehtävän ulkopuolella.
- Kirjoita oikea vastaus jokaisen viereen. Kysymyksissä, joihin aineistossa ei ole vastausta, oikea vastaus on “en tiedä, ohjaan sinut kollegalle”.
- Esitä avustajalle jokainen kysymys ja kysy osa uudelleen eri sanoin. Jos vastauksen tosiasiat muuttuvat ajokerrasta toiseen, avustaja todennäköisesti arvaa ne.
- Katso jokaisen väärän vastauksen kohdalla, mitä se käytti. Monet tietoavustajat voivat näyttää lähdekohdan tai kirjata, mitkä dokumentit ne hakivat; tarkista, tekeekö omasi niin. Merkitse, puuttuiko lähde, oliko lähde vanha tai ristiriitainen, vai oliko lähde oikea mutta luettu väärin.
- Lajittele väärät vastaukset syyn mukaan. Ei dokumenttia, väärä tai vanhentunut dokumentti, kirjoittamaton sääntö, tehtävän ulkopuolella tai tapaus, joka olisi joka tapauksessa vaatinut ihmisen. Suurimmasta ryhmästä kannattaa aloittaa.
Säilytä tämä kysymysjoukko ja aja se jokaisen muutoksen jälkeen. Barnettin artikkeli toteaa, että tällaisen järjestelmän validointi “on mahdollista vain käytön aikana”, joten lisää joukkoon uudet kysymykset, joita ihmiset esittävät käyttöönoton jälkeen.
Miten saat tekoälyavustajan lopettamaan asioiden keksimisen?
Aloita halvimmista korjauksista: anna avustajan sanoa “en tiedä” ja siirtää keskustelu ihmiselle, anna sen vastata vain dokumenteistasi näkyvän lähteen kanssa ja pidä nuo dokumentit ajan tasalla. Seuraavaksi tulevat sääntöjen kirjaaminen, tehtävän rajaaminen, tekoälymerkintä ja säännölliset uusintatestit. Aja kysymysjoukko uudelleen jokaisen muutoksen jälkeen, jotta näet, mikä auttoi.
-
Anna sen sanoa “en tiedä” ja siirtää eteenpäin. Muuta ohjeita niin, että kun dokumenteissa ei ole vastausta, avustaja sanoo sen ja siirtää keskustelun ihmiselle asiakkaan kysymyksen ja yhteystietojen kanssa. OpenAIn tutkijat sanovat saman toisesta suunnasta: mallit “voivat pidättäytyä vastaamasta epävarmoina”. Siirto auttaa vain, jos joku ottaa sen vastaan; artikkelimme siitä, kannattaako tekoälychatbotin vastata asiakkaillesi, käsittelee, minne siirtojen pitäisi päätyä.
-
Anna sen vastata vain dokumenteistasi ja näytä lähde. Tätä asetelmaa kutsutaan usein hakuun perustuvaksi generoinniksi eli RAGiksi: avustaja hakee ensin aineistostasi ja vastaa sitten löytämiensä tekstikohtien perusteella. Anthropicin ohje on rajata malli “annettujen dokumenttien tietoihin eikä sen yleistietoon”. Näkyvä lähde jokaisen vastauksen alla antaa asiakkaiden ja henkilöstön tarkistaa sen ja sinun nähdä, mikä sivu aiheutti virheen. Tekoälyn käyttöönottoprojekteissamme tietoavustaja vastaa linkillä lähteeseen, joten väärä vastaus voidaan jäljittää sen taustalla olevaan sivuun. Varaudu silti joihinkin virheisiin: Stanfordin tutkijat, jotka testasivat tekoälytyökaluja juridiseen tiedonhakuun, havaitsivat, että “edes RAG-järjestelmät eivät ole vapaita hallusinoinneista”.
-
Siivoa aineisto, jota se lukee. Yksi voimassa oleva versio jokaisesta käytännöstä, hinnastosta ja sopimuspohjasta; vanhat versiot pois kansiosta; jokaiselle dokumentille nimetty omistaja, joka päivittää sen säännön muuttuessa. Jos avustaja vastaa CRM-järjestelmänne perusteella, sama koskee siellä olevia tietueita, kuten kerroimme artikkelissamme CRM-datan laadusta.
-
Kirjaa säännöt, joita se keksii yhä uudelleen. Hyvitysehdot, toimituslupaukset, alennukset, mikä lasketaan reklamaatioksi. Kun panokset ovat suuret, anna avustajalle valmis sanamuoto tai tee aiheesta sellainen, jossa ihminen vahvistaa vastauksen ennen sen lähettämistä.
-
Rajaa sen tehtävä. Listaa, mihin se vastaa ja mistä se kohteliaasti kieltäytyy. Listan ulkopuoliset kysymykset saavat lyhyen kieltäytymisen ja tarvittaessa siirron ihmiselle.
-
Kerro ihmisille, että he keskustelevat tekoälyn kanssa. EU:ssa tekoälysäädös edellyttää, että ihmisille kerrotaan heidän olevan vuorovaikutuksessa tekoälyjärjestelmän kanssa, ellei se ole ilmeistä, viimeistään ensimmäisen vuorovaikutuksen yhteydessä. Velvollisuus on järjestelmän tarjoajalla, ja sitä on sovellettu 2. elokuuta 2026 alkaen. Tekoälyvastausten merkitseminen myös asettaa odotukset: kun Cursorin tukibotti oli vuonna 2025 keksinyt käyttökäytännön, Cursor alkoi merkitä tekoälyn vastaukset sähköpostituessaan. Verkkosivuprojekteissa, joihin lisäämme avustajan, kävijöille kerrotaan alusta asti, että he keskustelevat tekoälyn kanssa.
-
Testaa uudelleen jokaisen muutoksen jälkeen. Uudet dokumentit, muokatut ohjeet ja toimittajan mallipäivitykset voivat kaikki muuttaa vastauksia kysymyksiin, jotka ennen toimivat. Aja kysymysjoukko jokaisen jälkeen ja ennen kiireistä sesonkia.
Mikä ei yksinään estä tekoälyn hallusinointeja?
Kolmea korjausta kokeillaan usein ensin: ohjeisiin lisättyä riviä, joka kieltää mallia hallusinoimasta, lämpötilaa 0 ja hienosäätöä omilla teksteillä. Kukin muuttaa vain yhtä avustajan osaa. Puuttuvat tiedot ja lupa sanoa “en tiedä” tulevat sen dokumenteista ja ohjeista, joten jos väärät vastaukset jatkuvat näiden korjausten jälkeen, tarkista ne ensin.
| Mitä kokeillaan | Mitä se muuttaa | Mikä pysyy ennallaan |
|---|---|---|
| Ohjeisiin rivi “älä hallusinoi” | Miten pyyntö mallille on muotoiltu | Ilman lupaa sanoa “en tiedä” mallin on silti tuotettava vastaus |
| Lämpötilan laskeminen nollaan | Kuinka paljon sanamuoto vaihtelee ajokerrasta toiseen; Anthropic huomauttaa, että edes nollalla “tulokset eivät ole täysin deterministisiä” | Dokumentit, joita avustaja lukee, ja niistä puuttuvat tiedot |
| Mallin hienosäätö (lisäkoulutus) omilla teksteillä | Meidän näkemyksemme mukaan lähinnä sitä, miten malli kirjoittaa ja käyttäytyy | Muuttuvat hinnat ja ehdot, jotka kuuluvat dokumentteihin, joita se lukee vastatessaan |
Mistä tiedät, että väärät vastaukset vähenevät?
Seuraa muutamaa lukua kysymysjoukosta ja oikeista keskusteluista ja aloita ennen ensimmäistä korjaustasi, jotta sinulla on vertailukohta. Tarkista ne jokaisen muutoksen jälkeen ja sitten säännöllisesti, kun avustaja on vakiintunut, ja lue itse väärät vastaukset kokonaismäärien rinnalla.
- Oikeat vastaukset kysymysjoukossasi, mukaan lukien kysymykset, joissa oikea vastaus on “en tiedä”.
- Väärät vastaukset viikossa syyn mukaan, oikeiden keskustelujen lukemisen perusteella. Toistuvasti palaava syy on seuraava korjauskohde.
- Ihmisen vastaanottamat siirrot ja se, kuinka kauan niitä odotettiin. Siirto, johon kukaan ei vastaa, päättyy usein siihen, että asiakas lähtee joka tapauksessa.
- Vastaukset, joissa näkyy lähde. Jos lähteettömien vastausten osuus kasvaa, tarkista, kattavatko dokumentit yhä ne kysymykset, joita ihmiset esittävät.
Missä me tulemme mukaan
Aloitamme kysymyksistäsi ja dokumenteistasi: kysymysjoukosta, oikeista vastauksista ja lähteistä, joita avustajan pitäisi käyttää. Sitten määritämme avustajan vastaamaan tuosta aineistosta näkyvän lähteen kanssa niin, että ihminen hyväksyy vastaukset siellä, missä sillä on merkitystä. Tarkistamme sitä jatkuvasti kysymysjoukkoa vasten osana säännöllisiä laatutarkistuksia. Jos jokin avustajistasi antaa jo vääriä vastauksia, brief on helpoin tapa näyttää meille, missä.
