Клієнт пересилає вам листування: асистент на вашому сайті сказав йому, що повернення безкоштовне протягом шістдесяти днів, хоча за вашими правилами строк тридцять днів. Або колега цитує пункт договору, який “знайшов” внутрішній асистент, а в самому договорі цього пункту ніхто не може знайти. Обидва випадки це галюцинації ШІ: модель упевнено видає хибну відповідь. Коротко: повністю вимкнути такі помилки не вийде, але зазвичай можна з’ясувати, якого вони роду, і зробити впевнені хибні відповіді рідкісними, помітними і такими, що передаються людині.
Зазвичай реагують так: звинувачують модель, дописують в інструкції “нічого не вигадуй” або вимикають асистента. Часто причина буденніша: асистента запитали про те, на що в його матеріалах немає відповіді, він прочитав не ту сторінку або ніхто не сказав йому, що “я не знаю” це прийнятна відповідь. Кожна з цих причин залишає слід, який можна перевірити самостійно.
Чому виникають галюцинації ШІ?
Мовна модель пише найправдоподібніші наступні слова. Коли потрібний факт у неї перед очима, правдоподібна відповідь зазвичай і є правильною. Коли факту немає, вона однаково пише щось гладке, і NIST називає це конфабуляцією: “упевнено викладений, але помилковий або неправдивий вміст”, у побуті галюцинації.
Дослідники OpenAI пояснюють, звідки впевненість: стандартне навчання та оцінювання “заохочують вгадування, а не визнання невпевненості”. Довідковий центр компанії додає, що “впевненість не означає надійності”: гладка й упевнена відповідь однаково може бути хибною. У бізнес-асистенті ця загальна звичка проявляється через кілька конкретних прогалин.
Відповіді немає в його матеріалах. Клієнт питає про послугу, яку ви більше не надаєте, про країну, куди ви ніколи не доставляли, або про знижку, яку ніде не записано. Дослідження асистентів, що працюють за документами, яке провели Барнетт і співавтори, називає це першою точкою збою: запитання, “на яке не можна відповісти за наявними документами”. Асистент вгадує із загальних знань, і так з’являється правдоподібний, але вигаданий строк повернення.
Він знайшов не ту сторінку. Асистент спочатку шукає у ваших документах і відповідає за знайденим, тому якщо торішній прайс-лист, чернетка правил і чинні правила лежать в одній папці, він може процитувати будь-який із них. Настанови Microsoft щодо звіряння відповідей із джерелами виходять із того самого: самі джерела мають бути “точними й актуальними”. Цю причину ви впізнаєте, коли хибна відповідь виявиться правдою десь у ваших файлах, тільки застарілою.
Правило існує лише в чиїйсь голові. Ваша команда знає, що повернення понад певну суму погоджує керівник або що в грудні ви не обіцяєте строків доставки. Якщо в жодному документі, який читає асистент, цього правила немає, він заповнює прогалину власним правилом, яке звучить розумно.
Запитання не входить у його завдання. Асистента, налаштованого на години роботи та бронювання, просять про юридичну, медичну чи цінову консультацію. Без вказівки відмовляти він намагається допомогти.
Ніщо не дозволяє йому сказати “я не знаю”. Інструкції на кшталт “завжди допомагай клієнтові” можуть підштовхувати модель відповідати, навіть коли їй немає з чого відповідати. У документації Anthropic сказано, що прямий дозвіл моделі визнавати невпевненість “може різко зменшити кількість неправдивої інформації”.
Ці прогалини лежать на одному шляху від запитання до відповіді, і відповідь ламається на першому кроці, який не спрацював.
Хто відповідає за те, що каже асистент?
В одній відомій справі відповідав бізнес. У справі Moffatt v. Air Canada (2024) чат-бот авіакомпанії підказав клієнтові, що пільговий тариф у зв’язку зі смертю близької людини можна оформити заднім числом, хоча правила авіакомпанії цього не дозволяли. Трибунал Британської Колумбії постановив: “Немає жодної різниці, чи надходить інформація зі статичної сторінки, чи від чат-бота”. Він визнав, що авіакомпанія “не виявила розумної обачності, щоб забезпечити точність свого чат-бота”, і присудив клієнтові 812,02 канадського долара.
Той самий принцип діє для асистентів, якими користуються ваші працівники. У справі Mata v. Avianca (2023) суд США зобов’язав двох юристів та їхню фірму солідарно сплатити штраф 5000 доларів після того, як вони подали до суду судові рішення, вигадані ChatGPT, і продовжували на них наполягати, коли їх про це запитали. Суд зазначив, що у використанні надійного ШІ-інструмента “немає нічого неправомірного по суті”, але за тим, хто подає документи, залишається “роль вартового”, відповідального за точність. Коли хтось пересилає клієнтові хибну відповідь внутрішнього асистента, клієнт, найімовірніше, сприйме її як відповідь вашої компанії.
Як зрозуміти, яка причина у вас
Щоб знайти причину хибних відповідей ШІ, зберіть набір реальних запитань і звірте кожну відповідь із тим, що ви точно знаєте. Платні інструменти не потрібні: лише асистент, ваші документи і доступ до історії його розмов. Разом хибні відповіді покажуть, яку прогалину закривати першою.
- Випишіть реальні запитання. Візьміть їх із недавніх чатів, листів і дзвінків, словами самих клієнтів. Додайте запитання, на які ваші документи не відповідають, і кілька запитань поза завданнями асистента.
- Поруч із кожним запишіть правильну відповідь. Для запитань, відповіді на які немає у ваших матеріалах, правильна відповідь: “Я не знаю, зараз передам вас колезі”.
- Поставте асистентові кожне запитання, а потім деякі повторіть іншими словами. Якщо факти у відповіді змінюються від запуску до запуску, асистент, імовірно, їх вгадує.
- Для кожної хибної відповіді подивіться, чим асистент користувався. Багато асистентів за базою знань уміють показувати вихідний фрагмент або записують у журнал, які документи вони знайшли; перевірте, чи вміє ваш. Позначте, чи джерела не було, чи джерело було старим або суперечливим, чи джерело було правильним, але асистент його хибно прочитав.
- Розкладіть хибні відповіді за причинами. Немає документа, не той або застарілий документ, незаписане правило, запитання поза завданнями або випадок, який так чи інакше потребував людини. Починайте з найбільшої групи.
Збережіть цей набір і проганяйте його після кожної зміни. У статті Барнетта зазначено, що перевірка такої системи “можлива лише під час експлуатації”, тому додавайте нові запитання, які люди ставлять після запуску.
Як відучити ШІ-асистента вигадувати?
Почніть із найдешевших виправлень: дозвольте асистентові казати “я не знаю” і передавати розмову людині, змусьте його відповідати лише за вашими документами з видимим джерелом і тримайте ці документи актуальними. Далі йдуть запис правил, звуження завдань, позначка, що це ШІ, і регулярні повторні перевірки. Проганяйте набір запитань після кожної зміни, щоб бачити, яка з них допомогла.
-
Дозвольте казати “я не знаю” і передавати розмову. Змініть інструкції так, щоб, коли в документах немає відповіді, асистент так і казав і передавав розмову людині разом із запитанням клієнта та його контактами. Дослідники OpenAI говорять про те саме з іншого боку: моделі “можуть утримуватися від відповіді, коли не впевнені”. Передача допомагає, лише якщо її хтось підхоплює; про те, куди мають потрапляти такі передачі, ми писали в статті про те, чи варто довіряти ШІ-чат-боту відповіді клієнтам.
-
Змусьте його відповідати лише за вашими документами і показувати джерело. Таку схему часто називають генерацією з доповненим пошуком, або RAG: асистент спочатку шукає у ваших матеріалах, а потім відповідає за знайденими фрагментами. Anthropic радить обмежити модель “інформацією з наданих документів, а не її загальними знаннями”. Видиме джерело під кожною відповіддю дає змогу клієнтам і працівникам її перевірити, а вам побачити, яка сторінка спричинила помилку. У наших проєктах із впровадження ШІ асистент за базою знань відповідає з посиланням на джерело, тож хибну відповідь можна простежити до сторінки, на якій вона ґрунтується. Помилки можливі й тоді: дослідники Стенфорда, які перевіряли ШІ-інструменти для юридичних досліджень, виявили, що “навіть RAG-системи не вільні від галюцинацій”.
-
Наведіть лад у матеріалах, які він читає. Одна чинна версія кожного регламенту, прайс-листа і шаблону договору; старі версії прибрані з папки; у кожного документа є відповідальний, який оновлює його, коли правило змінюється. Якщо асистент відповідає за вашою CRM, те саме стосується записів у ній, про це наша стаття про якість даних у CRM.
-
Запишіть правила, які він постійно вигадує. Умови повернення, обіцянки щодо доставки, знижки, що вважається скаргою. Де ставки високі, дайте асистентові готове формулювання або зробіть тему такою, де людина підтверджує відповідь, перш ніж вона піде клієнтові.
-
Звузьте його завдання. Перелічіть, на що він відповідає і від чого ввічливо відмовляється. На запитання поза списком він коротко відмовляє і, де це корисно, передає розмову людині.
-
Повідомляйте людям, що вони спілкуються з ШІ. У ЄС Регламент про штучний інтелект (AI Act) вимагає повідомляти людям, що вони взаємодіють із системою ШІ, якщо це не очевидно, не пізніше першої взаємодії. Обов’язок покладено на постачальника системи, і він діє з 2 серпня 2026 р. Позначка відповідей ШІ ще й налаштовує очікування: після того як у 2025 році її бот підтримки вигадав правило користування, компанія Cursor почала позначати відповіді ШІ в підтримці електронною поштою. У проєктах зі створення сайтів, куди ми додаємо асистента, повідомлення відвідувачам, що вони спілкуються з ШІ, від самого початку входить у сторінку.
-
Перевіряйте знову після кожної зміни. Нові документи, відредаговані інструкції та оновлення моделі в постачальника можуть змінити відповіді на запитання, з якими раніше все було гаразд. Проганяйте набір запитань після кожної такої зміни і перед гарячим сезоном.
Що саме по собі не рятує від вигадок?
Першими часто пробують три виправлення: рядок із забороною галюцинувати, температуру 0 і донавчання на ваших текстах. Кожне змінює лише одну частину асистента. Відсутні факти і дозвіл сказати “я не знаю” беруться з документів та інструкцій, тому якщо хибні відповіді тривають після цих виправлень, перевірте спершу їх.
| Що пробують | Що це змінює | Що залишається як було |
|---|---|---|
| Рядок “не галюцинуй” в інструкціях | Як сформульовано запит до моделі | Без дозволу сказати “я не знаю” модель однаково мусить видати відповідь |
| Зниження температури до 0 | Наскільки формулювання змінюються від запуску до запуску; Anthropic зазначає, що навіть за 0 “результати не будуть повністю детермінованими” | Документи, які читає асистент, і факти, яких у них немає |
| Донавчання моделі на ваших текстах | На нашу думку, переважно те, як модель пише і поводиться | Ціни та умови, що змінюються, яким місце в документах, які читаються в момент відповіді |
Як зрозуміти, що хибних відповідей стає менше?
Відстежуйте кілька показників за набором запитань і за реальними розмовами, почавши до першого виправлення, щоб було з чим порівнювати. Перевіряйте їх після кожної зміни, а коли асистент стабілізується, за регулярним графіком, і читайте самі хибні відповіді, а не лише підсумкові цифри.
- Правильні відповіді на ваш набір запитань, зокрема на запитання, де правильна відповідь “я не знаю”.
- Хибні відповіді на тиждень за причинами, за результатами читання реальних розмов. Причина, яка повертається знову і знову, і є наступним виправленням.
- Передачі, які підхопила людина, і скільки клієнт чекав. Передача, на яку ніхто не відповів, часто однаково закінчується тим, що клієнт іде.
- Відповіді із зазначенням джерела. Якщо частка відповідей без джерела зростає, перевірте, чи покривають документи запитання, які ставлять люди.
Чим можемо допомогти ми
Ми починаємо з ваших запитань і документів: набір запитань, правильні відповіді та джерела, якими має користуватися асистент. Потім налаштовуємо асистента так, щоб він відповідав за цими матеріалами з видимим джерелом, а там, де це важливо, відповіді схвалювала людина. Далі ми продовжуємо звіряти його з набором запитань у межах регулярного контролю якості. Якщо ваш асистент уже дає хибні відповіді, бриф найпростіший спосіб показати нам, де саме.
