Ein Kunde leitet Ihnen einen Chat weiter: Der Assistent auf Ihrer Website hat ihm gesagt, Rücksendungen seien sechzig Tage lang kostenlos, während Ihre Regel dreißig Tage vorsieht. Oder eine Kollegin zitiert eine Vertragsklausel, die der interne Assistent “gefunden” hat, und niemand findet sie im Vertrag. In beiden Fällen gilt: Die KI gibt falsche Antworten. Die kurze Antwort: Ganz abschalten lassen sich die Fehler nicht, aber meist können Sie herausfinden, um welche Art von Fehler es sich handelt, und selbstsichere falsche Antworten selten, sichtbar und an einen Menschen übergeben machen.
Die üblichen Reaktionen sind, dem Modell die Schuld zu geben, “erfinde nichts” in seine Anweisungen zu schreiben oder den Assistenten abzuschalten. Oft ist die Ursache banaler: Der Assistent wurde etwas gefragt, worauf sein Material keine Antwort enthält, er hat die falsche Seite gelesen, oder niemand hat ihm gesagt, dass “Ich weiß es nicht” eine zulässige Antwort ist. Jede dieser Ursachen hinterlässt eine Spur, die Sie selbst prüfen können.
Ihre KI gibt falsche Antworten: Woran liegt das?
Ein Sprachmodell schreibt die plausibelsten nächsten Wörter. Liegt ihm der Fakt vor, ist die plausible Antwort meist die richtige. Liegt er ihm nicht vor, schreibt es trotzdem etwas Flüssiges, und NIST nennt das Konfabulation: “selbstsicher vorgetragene, aber fehlerhafte oder falsche Inhalte”, umgangssprachlich als Halluzinationen bekannt.
Die Forscher von OpenAI erklären die Selbstsicherheit: Übliches Training und übliche Bewertung “belohnen Raten statt des Eingeständnisses von Unsicherheit”. Das Hilfecenter von OpenAI ergänzt, dass “Selbstsicherheit keine Zuverlässigkeit ist”: Eine flüssige, sichere Antwort kann trotzdem falsch sein. In einem Business-Assistenten zeigt sich diese allgemeine Neigung durch einige konkrete Lücken.
Die Antwort steht nicht in seinem Material. Ein Kunde fragt nach einer Leistung, die Sie nicht mehr anbieten, nach einem Land, in das Sie nie geliefert haben, oder nach einem Rabatt, der nie schriftlich festgehalten wurde. Eine Studie von Barnett und Kollegen zu dokumentenbasierten Assistenten nennt das als ersten Fehlerpunkt: eine Frage, “die sich aus den verfügbaren Dokumenten nicht beantworten lässt”. Der Assistent rät aus seinem Allgemeinwissen, und so entsteht eine plausible, aber erfundene Rückgabefrist.
Er hat die falsche Seite gefunden. Der Assistent durchsucht zuerst Ihre Dokumente und antwortet aus dem, was er findet. Liegen die Preisliste vom letzten Jahr, ein Richtlinienentwurf und die aktuelle Fassung im selben Ordner, kann er jede davon zitieren. Die Hinweise von Microsoft zur Prüfung von Antworten anhand von Quellen setzen am selben Punkt an: Die Quellen selbst müssen “korrekt und aktuell” sein. Sie erkennen diese Ursache daran, dass die falsche Antwort irgendwo in Ihren Dateien stimmt, nur veraltet.
Die Regel existiert nur in jemandes Kopf. Ihr Team weiß, dass Erstattungen ab einem bestimmten Betrag eine Freigabe durch die Leitung brauchen oder dass Sie im Dezember keine Liefertermine zusagen. Steht diese Regel in nichts, was der Assistent liest, füllt er die Lücke mit einer vernünftig klingenden eigenen Regel.
Die Frage liegt außerhalb seiner Aufgabe. Ein Assistent, der für Öffnungszeiten und Buchungen eingerichtet ist, wird nach rechtlicher, medizinischer oder preislicher Beratung gefragt. Ohne Anweisung, so etwas abzulehnen, versucht er zu helfen.
Nichts erlaubt ihm, “Ich weiß es nicht” zu sagen. Anweisungen wie “hilf dem Kunden immer” können das Modell dazu bringen, auch dann zu antworten, wenn es nichts hat, woraus es antworten kann. Die Dokumentation von Anthropic sagt, dass es “falsche Informationen drastisch reduzieren kann”, dem Modell ausdrücklich zu erlauben, Unsicherheit zuzugeben.
Diese Lücken liegen auf einem Weg von der Frage zur Antwort, und die Antwort geht beim ersten Schritt schief, der versagt.
Wer haftet für das, was der Assistent sagt?
In einem bekannten Fall das Unternehmen. In Moffatt v. Air Canada (2024) deutete der Chatbot der Fluggesellschaft an, ein Kunde könne einen Trauerfalltarif rückwirkend beantragen, was die Regeln der Fluggesellschaft nicht vorsahen. Das Tribunal in British Columbia stellte fest: “Es macht keinen Unterschied, ob die Information von einer statischen Seite oder von einem Chatbot stammt”. Es befand, dass die Fluggesellschaft “keine angemessene Sorgfalt walten ließ, um sicherzustellen, dass ihr Chatbot korrekt war”, und sprach dem Kunden 812,02 CA$ zu.
Dasselbe Prinzip gilt für Assistenten, die Ihre Mitarbeitenden nutzen. In Mata v. Avianca (2023) verurteilte ein US-Gericht zwei Anwälte und ihre Kanzlei gemeinsam zu einer Strafe von 5.000 US-Dollar, nachdem sie von ChatGPT erfundene Gerichtsentscheidungen eingereicht und auf Nachfrage weiter daran festgehalten hatten. Das Gericht sagte, am Einsatz eines verlässlichen KI-Werkzeugs sei “an sich nichts Unzulässiges”, doch wer einreicht, behalte eine “Kontrollfunktion” für die Richtigkeit. Leitet jemand die falsche Antwort eines internen Assistenten an einen Kunden weiter, wird der Kunde sie wahrscheinlich als Antwort Ihres Unternehmens lesen.
Wie Sie herausfinden, welche Ursache bei Ihnen vorliegt
Um herauszufinden, warum die KI falsche Antworten gibt, sammeln Sie echte Fragen und prüfen jede Antwort gegen das, was Sie als richtig kennen. Kostenpflichtige Werkzeuge brauchen Sie nicht, nur den Assistenten, Ihre Dokumente und Zugriff auf seinen Gesprächsverlauf. Zusammengenommen zeigen die falschen Antworten, welche Lücke Sie zuerst schließen sollten.
- Schreiben Sie echte Fragen auf. Nehmen Sie sie aus aktuellen Chats, E-Mails und Anrufen, in den Worten der Kunden. Ergänzen Sie Fragen, die Ihre Dokumente nicht beantworten, und einige, die außerhalb der Aufgabe des Assistenten liegen.
- Notieren Sie zu jeder die richtige Antwort. Bei Fragen ohne Antwort in Ihrem Material lautet die richtige Antwort: “Das weiß ich nicht, ich verbinde Sie mit einem Kollegen”.
- Stellen Sie dem Assistenten jede Frage und einige davon noch einmal mit anderen Worten. Ändern sich die Fakten in einer Antwort zwischen den Durchläufen, rät der Assistent sie wahrscheinlich.
- Prüfen Sie bei jeder falschen Antwort, was er verwendet hat. Viele Wissensassistenten können die Quellpassage anzeigen oder protokollieren, welche Dokumente sie abgerufen haben; prüfen Sie, ob Ihrer das kann. Notieren Sie, ob es keine Quelle gab, eine alte oder widersprüchliche Quelle oder die richtige Quelle, die er falsch gelesen hat.
- Sortieren Sie die falschen Antworten nach Ursache. Kein Dokument, falsches oder veraltetes Dokument, ungeschriebene Regel, außerhalb der Aufgabe oder ein Fall, der ohnehin einen Menschen gebraucht hätte. Mit der größten Gruppe fangen Sie an.
Behalten Sie diesen Fragensatz und lassen Sie ihn nach jeder Änderung laufen. Die Studie von Barnett hält fest, dass die Validierung eines solchen Systems “nur im laufenden Betrieb möglich ist”. Ergänzen Sie deshalb die neuen Fragen, die Menschen nach dem Start stellen.
Wie verhindern Sie, dass ein KI-Assistent Dinge erfindet?
Beginnen Sie mit den günstigsten Maßnahmen: Erlauben Sie dem Assistenten, “Ich weiß es nicht” zu sagen und das Gespräch an einen Menschen zu übergeben, lassen Sie ihn nur aus Ihren Dokumenten mit sichtbarer Quelle antworten, und halten Sie diese Dokumente aktuell. Danach folgen das Aufschreiben von Regeln, eine engere Aufgabe, die Kennzeichnung als KI und regelmäßige Nachtests. Lassen Sie Ihren Fragensatz nach jeder Änderung erneut laufen, damit Sie sehen, welche geholfen hat.
-
Lassen Sie ihn “Ich weiß es nicht” sagen und übergeben. Ändern Sie die Anweisungen so, dass der Assistent, wenn die Dokumente die Antwort nicht enthalten, das sagt und das Gespräch an einen Menschen übergibt, mit der Frage und den Kontaktdaten des Kunden. Die Forscher von OpenAI sagen dasselbe von der anderen Seite: Modelle “können sich bei Unsicherheit enthalten”. Eine Übergabe hilft nur, wenn jemand sie annimmt; unser Beitrag dazu, ob ein KI-Chatbot Ihren Kunden antworten sollte, beschreibt, wo diese Übergaben landen sollten.
-
Lassen Sie ihn nur aus Ihren Dokumenten antworten und die Quelle zeigen. Dieser Aufbau heißt oft Retrieval-Augmented Generation, kurz RAG: Der Assistent durchsucht zuerst Ihr Material und antwortet dann aus den gefundenen Passagen. Anthropic empfiehlt, das Modell auf “Informationen aus den bereitgestellten Dokumenten und nicht sein Allgemeinwissen” zu beschränken. Eine sichtbare Quelle unter jeder Antwort lässt Kunden und Mitarbeitende sie prüfen und zeigt Ihnen, welche Seite einen Fehler verursacht hat. In unseren Projekten zur KI-Einführung antwortet ein Wissensassistent mit einem Link zur Quelle, sodass sich eine falsche Antwort bis zur Seite dahinter zurückverfolgen lässt. Rechnen Sie trotzdem mit einigen Fehlern: Forscher in Stanford, die KI-Werkzeuge für die juristische Recherche testeten, stellten fest, dass “selbst RAG-Systeme nicht frei von Halluzinationen sind”.
-
Bereinigen Sie das Material, das er liest. Eine aktuelle Fassung jeder Richtlinie, jeder Preisliste und jeder Vertragsvorlage; alte Fassungen raus aus dem Ordner; zu jedem Dokument eine namentlich benannte verantwortliche Person, die es aktualisiert, wenn sich die Regel ändert. Antwortet der Assistent aus Ihrem CRM, gilt dasselbe für die Datensätze dort, wie wir in unserem Beitrag zur Datenqualität im CRM beschrieben haben.
-
Schreiben Sie die Regeln auf, die er immer wieder erfindet. Erstattungsbedingungen, Lieferzusagen, Rabatte, was als Reklamation zählt. Wo viel auf dem Spiel steht, geben Sie dem Assistenten eine feste Formulierung vor oder machen das Thema zu einem, bei dem ein Mensch die Antwort bestätigt, bevor sie hinausgeht.
-
Engen Sie seine Aufgabe ein. Listen Sie auf, was er beantwortet und was er höflich ablehnt. Fragen außerhalb der Liste bekommen eine kurze Absage und, wo sinnvoll, eine Übergabe.
-
Sagen Sie den Menschen, dass sie mit einer KI sprechen. In der EU verlangt die KI-Verordnung, dass Menschen spätestens bei der ersten Interaktion darüber informiert werden, dass sie mit einem KI-System interagieren, sofern das nicht offensichtlich ist. Die Pflicht liegt beim Anbieter des Systems und gilt seit dem 2. August 2026. Die Kennzeichnung von KI-Antworten steuert auch Erwartungen: Nachdem sein Support-Bot 2025 eine Nutzungsregel erfunden hatte, begann Cursor, KI-Antworten im E-Mail-Support zu kennzeichnen. In den Website-Projekten, in die wir einen Assistenten einbauen, gehört der Hinweis, dass Besucher mit einer KI sprechen, von Anfang an zur Seite.
-
Testen Sie nach jeder Änderung erneut. Neue Dokumente, geänderte Anweisungen und Modell-Updates des Anbieters können Antworten auf Fragen verändern, die bisher funktioniert haben. Lassen Sie den Fragensatz nach jeder solchen Änderung laufen und vor jeder Hochsaison.
Was allein keine KI-Halluzinationen verhindert
Drei Maßnahmen werden oft zuerst ausprobiert: eine Zeile, die dem Modell das Halluzinieren verbietet, eine Temperatur von 0 und Fine-Tuning mit Ihren eigenen Texten. Jede verändert nur einen Teil des Assistenten. Die Fakten, die ihm fehlen, und die Erlaubnis, “Ich weiß es nicht” zu sagen, kommen aus seinen Dokumenten und Anweisungen. Gehen die falschen Antworten nach diesen Maßnahmen weiter, prüfen Sie zuerst diese.
| Was ausprobiert wird | Was es verändert | Was gleich bleibt |
|---|---|---|
| Eine Zeile “halluziniere nicht” in den Anweisungen | Wie die Anfrage an das Modell formuliert ist | Ohne Erlaubnis, “Ich weiß es nicht” zu sagen, muss das Modell trotzdem eine Antwort liefern |
| Die Temperatur auf 0 senken | Wie stark die Formulierung zwischen Durchläufen variiert; Anthropic weist darauf hin, dass selbst bei 0 “die Ergebnisse nicht vollständig deterministisch sein werden” | Die Dokumente, die der Assistent liest, und die Fakten, die darin fehlen |
| Fine-Tuning (Nachtraining) eines Modells mit Ihren eigenen Texten | Unserer Ansicht nach vor allem, wie das Modell schreibt und sich verhält | Preise und Konditionen, die sich ändern und in Dokumente gehören, die er beim Antworten liest |
Woran erkennen Sie, dass die falschen Antworten seltener werden?
Verfolgen Sie einige Kennzahlen aus dem Fragensatz und aus echten Gesprächen, und zwar schon vor der ersten Maßnahme, damit Sie einen Vergleich haben. Prüfen Sie sie nach jeder Änderung und, sobald der Assistent eingespielt ist, in festem Rhythmus, und lesen Sie neben den Summen auch die falschen Antworten selbst.
- Richtige Antworten auf Ihren Fragensatz, einschließlich der Fragen, bei denen die richtige Antwort “Ich weiß es nicht” lautet.
- Falsche Antworten pro Woche nach Ursache, aus dem Lesen echter Gespräche. Eine Ursache, die immer wiederkehrt, ist die nächste Maßnahme.
- Von einem Menschen angenommene Übergaben und wie lange sie gewartet haben. Eine Übergabe, die niemand beantwortet, endet oft damit, dass der Kunde trotzdem geht.
- Antworten mit Quelle. Wächst der Anteil der Antworten ohne Quelle, prüfen Sie, ob die Dokumente die Fragen der Menschen noch abdecken.
Wo wir ins Spiel kommen
Wir beginnen bei Ihren Fragen und Dokumenten: dem Fragensatz, den richtigen Antworten und den Quellen, die der Assistent nutzen soll. Dann richten wir den Assistenten so ein, dass er aus diesem Material mit sichtbarer Quelle antwortet und dort, wo es darauf ankommt, ein Mensch die Antworten freigibt. Im Rahmen regelmäßiger Qualitätsprüfungen testen wir ihn weiter gegen den Fragensatz. Gibt einer Ihrer Assistenten bereits falsche Antworten, ist das Brief der einfachste Weg, uns zu zeigen, wo.
