Halluzinationen im Griff: So fangen wir KI-Fehler ab, bevor der Kunde sie sieht

Unser Support-Agent hat einer Kundin einmal eine Lieferung für Dienstag zugesagt. Das Paket lag zu dem Zeitpunkt noch beim Absender, und das Datum stand in keinem einzigen System.

Solche Momente nennt die Branche Halluzination. Das Modell erfindet etwas, das plausibel klingt und schlicht falsch ist. Wenn du KI im Kundenkontakt einsetzt, ist das dein größtes Risiko. Weniger weil es oft passiert, mehr weil es leise passiert. Ein kaputter Workflow bleibt stehen und meldet sich. Ein halluzinierendes Modell antwortet freundlich weiter.

Ich schreibe hier auf, warum Modelle erfinden, welche Aufgaben besonders anfällig sind, welche Gegenmittel bei uns wirklich greifen und was trotzdem durchrutscht.

Was eine Halluzination eigentlich ist

Ein Sprachmodell, also die KI hinter Chat und Textgenerierung, sagt immer das nächste wahrscheinliche Wort voraus. Es hat keine Datenbank, in der es nachschlägt. Es hat ein Gefühl dafür, wie ein richtiger Satz klingt.

Das ist der ganze Mechanismus. Daraus folgt alles Weitere. Das Modell unterscheidet nicht zwischen "ich weiß es" und "es klingt richtig". Beides fühlt sich für die Maschine identisch an.

Eine Halluzination ist deshalb kein Fehler, den jemand irgendwann wegpatcht. Sie ist die Kehrseite genau der Fähigkeit, die du nutzen willst. Ein Modell, das nie etwas ergänzt, könnte auch keine Mail formulieren.

Wer verstehen will, wo Sprachmodell aufhört und Agent anfängt, findet die Abgrenzung in Was ist ein KI-Agent.

Warum Modelle gerade dann erfinden, wenn es teuer wird

Drei Situationen lösen es fast immer aus.

Erstens: Du fragst nach Wissen statt nach Verarbeitung. "Wo ist Bestellung 4711" ist eine Wissensfrage. Das Modell hat diese Bestellung nie gesehen. Es füllt die Lücke mit etwas, das nach einer Bestellnummer und einem Lieferdatum aussieht.

Zweitens: Der Auftrag ist zu groß. Wer ein Modell bittet, eine Anfrage zu lesen, die Regeln zu prüfen, eine Ausnahme abzuwägen und eine Mail zu schreiben, bekommt vier halbgute Ergebnisse in einem. Fehler aus Schritt eins wandern ungeprüft bis in den Text.

Drittens: Es gibt keine erlaubte Ausrede. Wenn deine Anweisung nur "beantworte die Frage" sagt, dann beantwortet das Modell die Frage. Immer. Auch wenn die Antwort nirgends steht. "Ich weiß es nicht" muss ein ausdrücklich erlaubter Ausgang sein, sonst wählt ihn das Modell nie.

Welche Aufgaben besonders anfällig sind

Nicht jede KI-Aufgabe trägt dasselbe Risiko. Grob sortiert von harmlos nach heikel:

• Klassifizieren. Eine Mail in eine von acht Kategorien einsortieren. Sehr robust, weil die Auswahl begrenzt ist. Wie wir das aufgesetzt haben, steht in Support-Mails mit KI vorsortieren.
• Zusammenfassen. Auch stabil, solange der Originaltext mitgeliefert wird. Das Risiko liegt im Weglassen, nicht im Erfinden.
• Umformulieren. Ein vorhandener Inhalt bekommt einen anderen Ton. Kaum Spielraum für Erfindung.
• Freies Texten mit Fakten. Eine Kundenmail mit Datum, Nummer und Betrag. Hier passiert es.
• Rechnen und Fristen. Modelle rechnen unsicher. Prozente, Tage bis zum Ablauf, Teilerstattungen: das gehört in Code, nicht in ein Sprachmodell.
• Auskunft über deine eigenen Regeln. Rückgabefristen, Garantien, Versandkosten. Das Modell kennt Tausende Shops aus dem Training und mischt sie zu deinem.

Die letzten drei Zeilen sind die, die dich Geld kosten.

Gegenmittel 1: Daten mitgeben statt Wissen abfragen

Das ist der wichtigste Hebel, und er halbiert das Problem fast allein.

Frag das Modell nie, was es weiß. Gib ihm, was es braucht, und lass es nur formulieren. Konkret: Bevor der Text entsteht, holt ein normaler Workflow die Bestellung aus Shopify, den Status beim Versanddienstleister und die geltende Rückgabefrist aus einer Tabelle. Erst dann sieht das Modell die Anfrage, zusammen mit diesen Werten.

Der Unterschied in einem Satz: Vorher war das Modell die Quelle, jetzt ist es der Übersetzer. Übersetzen kann es sehr gut.

Dazu gehört eine harte Regel in der Anweisung. Was nicht in den mitgelieferten Daten steht, darf nicht in der Antwort stehen. Fehlt ein Wert, geht der Fall an einen Menschen.

Gegenmittel 2: Enge Aufgaben statt großer Aufträge

Wir zerlegen jede KI-Aufgabe in Schritte, die einzeln prüfbar sind. Ein Aufruf klassifiziert. Ein zweiter zieht die nötigen Felder heraus. Ein dritter schreibt.

Das kostet mehr Aufrufe und ist trotzdem billiger. Kleine Aufgaben laufen mit kleinen, schnellen Modellen. Und wenn etwas schiefgeht, siehst du sofort, an welcher Stelle. Bei einem einzigen großen Aufruf siehst du nur ein falsches Ergebnis und rätst.

Diese Zerlegung ist auch der Grund, warum wir nicht überall Agenten einsetzen. Ein fester Ablauf mit drei kleinen KI-Schritten ist nachvollziehbarer als ein Agent, der frei plant. Wann welcher Ansatz passt, steht in KI-Agent, Chatbot oder Workflow.

Gegenmittel 3: Ein Prüfschritt zwischen Text und Versand

Bevor eine Antwort rausgeht, läuft sie durch zwei Kontrollen.

Die erste ist stumpfer Code, kein Modell. Er prüft drei Dinge. Steht in der Antwort eine Zahl, die nicht in den mitgelieferten Daten vorkam? Steht ein Datum drin, das niemand geliefert hat? Taucht ein Wort aus der Verbotsliste auf, etwa eine Zusage wie "garantiert bis"? Jeder Treffer stoppt den Versand.

Die zweite ist ein zweiter Modellaufruf mit einer einzigen Frage: Wird jede Aussage in diesem Text durch die Daten darunter gedeckt, ja oder nein? Das ist Klassifizieren, also die robusteste Aufgabenart. Ein Modell prüft deutlich zuverlässiger, als es erfindet.

Beide Kontrollen zusammen kosten pro Anfrage ein paar Cent. Eine falsche Zusage an einen Kunden kostet mehr.

Gegenmittel 4: Freigabe bei allem, was weh tut

Manche Fälle bekommen bei uns keinen Automatikpfad. Das sind Erstattungen, Adressänderungen nach dem Versand, Kulanz außerhalb der Frist und alles, was nach Ärger klingt.

Die KI darf diese Fälle vorbereiten. Sie schreibt einen Entwurf, hängt die Daten an und legt ihn vor. Ein Mensch klickt. Das dauert zwanzig Sekunden statt fünf Minuten, und der Fehler erreicht nie den Kunden.

Wichtig ist die Reihenfolge. Erst die Grenze festlegen, dann automatisieren. Nicht umgekehrt.

Gegenmittel 5: Jede Antwort hinterlässt ihren Beleg

Jede automatisch versendete Antwort landet bei uns mit ihrem kompletten Kontext im Protokoll. Anfrage, geholte Daten, Zwischenergebnisse, finaler Text.

Das klingt nach Buchhaltung und ist in Wahrheit dein Frühwarnsystem. Erst wenn du zwanzig Fälle nebeneinander legst, siehst du Muster. Immer dieselbe Produktgruppe, immer dieselbe Frageform, immer dieselbe erfundene Angabe. Ohne Protokoll suchst du im Nebel.

Was das im Alltag bringt

Ein Beispiel aus dem Betrieb. Bei mate laufen etwa 40 Prozent aller Anfragen unter "Wo ist mein Paket". Früher hat das Modell die Antwort frei formuliert, inklusive geschätztem Liefertermin. Genau daraus entstand der Dienstag aus der Einleitung.

Heute ist der Ablauf anders. Der Workflow holt den echten Sendungsstatus. Gibt es kein Zustelldatum vom Versanddienstleister, darf auch keins in der Mail stehen. Die Antwort sagt dann, wo das Paket zuletzt gescannt wurde, und nennt keinen Termin.

Weniger befriedigend zu lesen. Deutlich seltener falsch. Insgesamt beantwortet die KI bei uns rund 65 Prozent der Support-Anfragen automatisch. Das funktioniert nur, weil die übrigen Anfragen sauber aussortiert werden. Der komplette Aufbau steht im Guide zur Kundenservice-Automatisierung.

Was trotzdem durchrutscht

Jetzt der unangenehme Teil. Wir haben das Problem nicht gelöst, wir haben es klein gemacht.

• Plausible Halbwahrheiten. Das Modell zitiert eine Regel korrekt, wendet sie aber auf den falschen Fall an. Der Prüfschritt findet keinen erfundenen Wert, weil keiner drin ist. Das fangen wir nur über Stichproben.
• Ton statt Fakt. Eine Antwort ist sachlich richtig und trotzdem falsch, weil sie einem aufgebrachten Kunden zu glatt entgegentritt. Keine Kontrolle der Welt misst das.
• Lücken in deinen eigenen Daten. Wenn die Rückgabefrist in drei Systemen verschieden gepflegt ist, hilft dir kein Modell. Dann hast du ein Datenproblem, kein KI-Problem.
• Seltene Formulierungen. Eine Anfrage in Dialekt, mit Ironie oder mit zwei Anliegen in einem Satz. Die Einsortierung greift daneben, und ab da läuft der falsche Zweig.
• Stille Verschlechterung. Modelle und Anbieter ändern sich. Was letzten Monat sauber lief, kann diesen Monat anders antworten. Ohne regelmäßige Stichprobe merkst du es erst am Kunden.

Deshalb lesen wir jede Woche zwanzig zufällige automatische Antworten mit. Zwanzig Minuten, jede Woche, seit zwei Jahren. Das ist der unspektakulärste Teil des Systems und der, den ich am wenigsten streichen würde. Wo Automatisierung generell an ihre Grenze kommt, steht in Wann Automatisierung keinen Sinn macht.

Fazit

Halluzinationen verschwinden nicht. Sie werden aber beherrschbar, wenn du drei Dinge tust. Daten mitgeben statt Wissen abfragen, Aufgaben klein schneiden, vor dem Versand prüfen. Alles andere ist Feinschliff.

Der Denkfehler, den ich am häufigsten sehe: Leute suchen das bessere Modell, wenn sie eigentlich den besseren Ablauf brauchen. Ein durchschnittliches Modell mit sauberen Daten und einem Prüfschritt schlägt ein starkes Modell ohne beides. Jedes Mal.

Wenn du gerade überlegst, wie viel KI du deinen Kunden zumuten kannst: Sprich mit uns bei Flowhouse. Wir sagen dir auch, wenn ein normaler Workflow die bessere Antwort ist.