Wenn die KI Dinge erfindet: Halluzinationen

Das Wichtigste in Kürze

Erfundene Angaben entstehen nicht bei schwierigen Fragen, sondern bei solchen, auf die es eine erwartbare Antwortform gibt – Zahlen, Quellen, Paragrafen.
Fünf Arten sind besonders betroffen: Studien, Suchvolumen, Gesetzesangaben, Produktdetails und Zitate.
Die wirksamste Maßnahme ist ein Erfindungsverbot im Prompt plus eine Kennzeichnungspflicht für Unbekanntes.
Selbstbewusster Ton ist kein Zeichen für Richtigkeit – Modelle formulieren erfundene Angaben genauso souverän wie belegte.

Der Begriff „Halluzination" ist irreführend, weil er nach einem Ausnahmezustand klingt. Tatsächlich handelt es sich um dasselbe Verfahren, das auch die richtigen Antworten erzeugt: die wahrscheinliche Fortsetzung eines Textes.

Auf die Frage nach einer Studie zu einem Thema ist die wahrscheinliche Fortsetzung eine Studienangabe mit Institut, Jahr und Prozentzahl. Ob es diese Studie gibt, ist für die Erzeugung keine Größe.

Fünf Arten von Angaben, die besonders betroffen sind

1. Studien und Statistiken

„Laut einer Untersuchung von 2024 nutzen 67 Prozent der KMU …" – Institut, Jahr und Prozentzahl wirken zusammen sehr überzeugend, und alle drei können frei erfunden sein.

Erkennungszeichen: runde Zahlen, keine Verlinkung, Institut ohne genauen Titel.

2. Suchvolumen und Marktzahlen

Kein Modell hat Zugriff auf die Anfragedaten einer Suchmaschine. Auf Nachfrage kommen trotzdem Zahlen – weil die Frage eine Zahl erwartet.

Erkennungszeichen: jede Zahl in diesem Bereich. Ohne Ausnahme.

3. Gesetzesangaben und Fristen

Artikelnummern, Paragrafen, Übergangsfristen. Besonders gefährlich, weil sie fachlich klingen und in der Praxis Entscheidungen auslösen.

Erkennungszeichen: präzise Nummer ohne Nennung der Fassung und des Datums.

4. Produktdetails und Preise

Funktionsumfang, Tarifgrenzen, Preise von Anbietern. Ändern sich häufig und liegen oft hinter Anmeldeschranken.

Erkennungszeichen: exakte Beträge ohne Datum und ohne Quelle.

5. Zitate und Personenangaben

Wörtliche Zitate, Funktionsbezeichnungen, wer wann was gesagt hat. Hier ist der Schaden am größten, weil echten Menschen etwas zugeschrieben wird.

Erkennungszeichen: jedes Zitat ohne nachprüfbare Fundstelle.

Wusstest du schon?

Der Ton verrät nichts. Modelle formulieren erfundene Angaben mit derselben Bestimmtheit wie belegte – ein „vermutlich" oder „möglicherweise" taucht nicht dort auf, wo die Unsicherheit tatsächlich liegt.

Das ist der Grund, warum die übliche Prüfmethode versagt: Menschen bewerten Glaubwürdigkeit auch nach Sicherheit im Auftreten. Bei Modellen ist dieses Signal nicht vorhanden – man muss die Angabe selbst prüfen, nicht ihre Darbietung.

Was tatsächlich hilft

Erfindungsverbot im Prompt. Die Anweisung, keine Zahl und keine Quelle zu verwenden, die nicht in den mitgelieferten Angaben steht – und Unbekanntes als [Angabe fehlt] zu kennzeichnen. Die wirksamste Einzelmaßnahme.
Material mitgeben statt abfragen. Wer die eigenen Zahlen in den Prompt schreibt, braucht keine erfundenen. Der Unterschied zwischen „schreib etwas über X" und „schreib etwas über X, hier sind unsere Zahlen dazu" ist der größte einzelne Qualitätssprung.
Suchfähige Modelle für Aktuelles. Wenn das Modell suchen kann und die Quellen nennt, lassen sich Angaben nachprüfen. Nicht nachprüfen heißt aber nicht: geprüft.
Prüfung als eigener Schritt. Eine Liste aller überprüfbaren Behauptungen erzeugen lassen, dann selbst prüfen. Getrennt vom Schreiben, sonst wird es übersprungen.
Zahlen mit Herkunft. Jede Zahl im fertigen Text bekommt eine Herkunftsangabe – auch wenn sie „Erfahrungswert, keine Erhebung" lautet.

Achtung Die Nachfrage „Bist du sicher?" ist keine Prüfung. Ein Modell kann eine erfundene Angabe im selben Gespräch bestätigen oder auf Druck ändern – beides sagt nichts über die Richtigkeit. Geprüft wird an der Quelle, nicht im Gespräch.

Aus der Praxis

Der teuerste Fall ist nicht die offensichtlich falsche Angabe, sondern die knapp danebenliegende: eine Frist, die es gibt, aber mit anderem Datum. Ein Paragraf, der existiert, aber etwas anderes regelt. Ein Anbieterpreis, der vor zwei Jahren stimmte.

Solche Angaben überstehen jede oberflächliche Prüfung, weil sie sich bestätigen lassen – nur eben in einer anderen Fassung. Deshalb reicht es nicht zu prüfen, ob es die Quelle gibt; man muss prüfen, ob sie das sagt, was im Text steht.

Die Prompt-Regel im Wortlaut

Drei Sätze, die in jeden Prompt gehören, bei dem überprüfbare Angaben entstehen können:

Prompt-Baustein

Regeln für Angaben:
1. Verwende keine Zahl, keine Studie, keine Gesetzesangabe und
   kein Zitat, die nicht in dem Material stehen, das ich dir
   oben mitgegeben habe.
2. Wo du eine Angabe brauchst, die dort fehlt, schreibe
   [Angabe fehlt: welche] statt etwas zu ergänzen.
3. Kennzeichne jede Aussage, die du nicht aus dem Material
   belegen kannst, am Satzende mit [ungeprüft].

Diese drei Regeln haben Vorrang vor allen anderen Anweisungen in
diesem Prompt.

Der letzte Satz ist nicht überflüssig: Angaben am Ende eines Prompts werden zuverlässiger berücksichtigt, und ein ausdrücklicher Vorrang verhindert, dass die Regeln gegen den Wunsch nach einem flüssigen Text ausgespielt werden.

Prüfen mit einem zweiten Durchgang

Prompt

Prüfe den folgenden Text auf Angaben, die möglicherweise erfunden
sind. Sei streng; lobe nichts; schreibe den Text nicht um.

Text:
[Text einfügen]

Aufgaben:
1. Liste jede überprüfbare Behauptung einzeln auf: Zahlen,
   Prozentwerte, Studien, Gesetzesangaben, Jahreszahlen,
   Produktangaben, Preise, Zitate.
2. Kennzeichne je Behauptung: belegbar aus dem Text selbst /
   muss ich extern prüfen / wirkt erfunden. Bei "wirkt erfunden"
   nenne das Erkennungszeichen.
3. Nenne die drei Angaben, deren Falschheit den grössten Schaden
   anrichten würde, und begründe.
4. Formuliere für jede unbelegte Angabe eine Fassung, die ohne
   diese Angabe auskommt und trotzdem etwas aussagt.

Erfinde keine Quellenangaben und keine Belege. Wenn du eine
Angabe nicht einordnen kannst, schreibe das.

Fazit

Erfundene Angaben sind kein Fehler des Werkzeugs, sondern eine Eigenschaft des Verfahrens. Sie verschwinden nicht, aber sie lassen sich eingrenzen: Material mitgeben statt abfragen, Erfindungsverbot in den Prompt, und eine Prüfung als eigener Arbeitsschritt.

Die unbequeme Konsequenz: Jede überprüfbare Angabe in einem veröffentlichten Text muss von einem Menschen geprüft worden sein. Das ist der Teil, der sich nicht automatisieren lässt – und der Grund, warum Fachkenntnis beim Einsatz von Sprachmodellen wichtiger wird, nicht unwichtiger.

Häufige Fragen

Warum erfinden Sprachmodelle Dinge?

Weil sie die wahrscheinliche Fortsetzung eines Textes erzeugen. Auf eine Frage nach einer Studie ist eine Studienangabe mit Institut, Jahr und Prozentzahl die wahrscheinliche Fortsetzung – ob es diese Studie gibt, ist für die Erzeugung keine Größe. Es handelt sich um dasselbe Verfahren, das auch die richtigen Antworten hervorbringt.

Welche Angaben sind besonders betroffen?

Fünf Arten: Studien und Statistiken, Suchvolumen und Marktzahlen, Gesetzesangaben und Fristen, Produktdetails und Preise, sowie Zitate und Personenangaben. Gemeinsam ist ihnen, dass die Frage eine bestimmte Antwortform erwartet – eine Zahl, eine Paragrafennummer, ein Zitat.

Erkennt man erfundene Angaben am Tonfall?

Nein. Modelle formulieren erfundene Angaben mit derselben Bestimmtheit wie belegte; Einschränkungen wie „vermutlich" tauchen nicht dort auf, wo die Unsicherheit tatsächlich liegt. Geprüft werden muss die Angabe selbst, nicht ihre Darbietung.

Hilft die Nachfrage „Bist du sicher?"

Nein. Ein Modell kann eine erfundene Angabe im selben Gespräch bestätigen oder auf Druck ändern – beides sagt nichts über die Richtigkeit aus. Eine Prüfung findet an der Quelle statt, nicht im Gespräch.

Was hilft am wirksamsten dagegen?

Material mitgeben statt abfragen: Wer eigene Zahlen in den Prompt schreibt, braucht keine erfundenen. Dazu ein ausdrückliches Erfindungsverbot mit Kennzeichnungspflicht für Unbekanntes – am Ende des Prompts, mit Vorrang vor allen anderen Anweisungen – und eine Prüfung als eigener Arbeitsschritt.