Als de AI dingen verzint: herkennen en voorkomen

Het belangrijkste kort

Verzonnen gegevens ontstaan niet bij moeilijke vragen, maar bij vragen waarop een verwachtbare antwoordvorm bestaat – getallen, bronnen, wetsartikelen.
Vijf soorten worden er het vaakst door geraakt: onderzoeken, zoekvolumes, wetsverwijzingen, productdetails en citaten.
De meest doeltreffende maatregel is een verzinverbod in de prompt plus een markeerplicht voor wat onbekend is.
Een zelfverzekerde toon zegt niets over juistheid – modellen formuleren verzonnen gegevens net zo soeverein als onderbouwde.

De term „hallucinatie“ misleidt, omdat hij klinkt als een uitzonderingstoestand. In werkelijkheid gaat het om precies hetzelfde proces dat ook de juiste antwoorden voortbrengt: de waarschijnlijke voortzetting van een tekst.

Op de vraag naar een onderzoek over een onderwerp is de waarschijnlijke voortzetting een onderzoeksverwijzing met instituut, jaartal en percentage. Of dat onderzoek bestaat, is voor het voortbrengen geen grootheid.

Vijf soorten gegevens die er het vaakst door worden geraakt

1. Onderzoeken en statistieken

„Volgens een onderzoek uit 2024 gebruikt 67 procent van het mkb …“ – instituut, jaartal en percentage werken samen zeer overtuigend, en alle drie kunnen vrij verzonnen zijn.

Herkenningsteken: ronde getallen, geen verwijzing, instituut zonder precieze titel.

2. Zoekvolumes en marktcijfers

Geen enkel model heeft toegang tot de zoekgegevens van een zoekmachine. Op navraag komen er toch getallen – omdat de vraag een getal verwacht.

Herkenningsteken: elk getal op dit terrein. Zonder uitzondering.

3. Wetsverwijzingen en termijnen

Artikelnummers, wetsartikelen, overgangstermijnen. Bijzonder gevaarlijk, omdat ze vakkundig klinken en in de praktijk beslissingen in gang zetten.

Herkenningsteken: een precies nummer zonder vermelding van de versie en de datum.

4. Productdetails en prijzen

Functieomvang, tariefgrenzen, prijzen van aanbieders. Veranderen vaak en liggen dikwijls achter een inlogscherm.

Herkenningsteken: exacte bedragen zonder datum en zonder bron.

5. Citaten en persoonsgegevens

Letterlijke citaten, functieaanduidingen, wie wanneer wat heeft gezegd. Hier is de schade het grootst, omdat er echte mensen iets in de mond wordt gelegd.

Herkenningsteken: elk citaat zonder een na te trekken vindplaats.

Wist je dat?

De toon verraadt niets. Modellen formuleren verzonnen gegevens met dezelfde stelligheid als onderbouwde – een „vermoedelijk“ of „mogelijk“ duikt niet op waar de onzekerheid werkelijk zit.

Dat is de reden waarom de gebruikelijke toetsmethode faalt: mensen beoordelen geloofwaardigheid mede naar de zekerheid in het optreden. Bij modellen ontbreekt dat signaal – je moet het gegeven zelf toetsen, niet de presentatie ervan.

Wat er werkelijk helpt

Verzinverbod in de prompt. De instructie om geen getal en geen bron te gebruiken die niet in het meegeleverde materiaal staat – en wat onbekend is te markeren als [gegeven ontbreekt]. De meest doeltreffende afzonderlijke maatregel.
Materiaal meegeven in plaats van uitvragen. Wie de eigen cijfers in de prompt schrijft, heeft geen verzonnen cijfers nodig. Het verschil tussen „schrijf iets over X“ en „schrijf iets over X, hier zijn onze cijfers daarover“ is de grootste afzonderlijke kwaliteitssprong.
Zoekende modellen voor actuele zaken. Als het model kan zoeken en de bronnen noemt, zijn gegevens na te trekken. Na te trekken betekent echter niet: getoetst.
Toetsing als eigen stap. Een lijst van alle toetsbare beweringen laten maken, en die dan zelf toetsen. Los van het schrijven, anders wordt het overgeslagen.
Getallen met herkomst. Elk getal in de afgeronde tekst krijgt een herkomstvermelding – ook als die luidt „ervaringswaarde, geen onderzoek“.

Let op De navraag „Weet je het zeker?“ is geen toetsing. Een model kan een verzonnen gegeven in hetzelfde gesprek bevestigen of onder druk veranderen – geen van beide zegt iets over de juistheid. Er wordt getoetst bij de bron, niet in het gesprek.

Uit de praktijk

Het duurste geval is niet het duidelijk onjuiste gegeven, maar het gegeven dat er net naast zit: een termijn die bestaat, maar met een andere datum. Een wetsartikel dat bestaat, maar iets anders regelt. Een aanbiedersprijs die twee jaar geleden klopte.

Zulke gegevens doorstaan elke oppervlakkige toets, omdat ze zich laten bevestigen – alleen dan in een andere versie. Daarom volstaat het niet te toetsen of de bron bestaat; je moet toetsen of ze zegt wat er in de tekst staat.

De promptregel woordelijk

Drie zinnen die in elke prompt horen waarbij toetsbare gegevens kunnen ontstaan:

Promptbouwsteen

Regels voor gegevens:
1. Gebruik geen getal, geen onderzoek, geen wetsverwijzing en
   geen citaat die niet staan in het materiaal dat ik je
   hierboven heb meegegeven.
2. Waar je een gegeven nodig hebt dat daar ontbreekt, schrijf je
   [gegeven ontbreekt: welk] in plaats van iets aan te vullen.
3. Markeer elke uitspraak die je niet uit het materiaal
   kunt onderbouwen aan het eind van de zin met [ongetoetst].

Deze drie regels gaan vóór alle andere instructies in
deze prompt.

De laatste zin is niet overbodig: gegevens aan het eind van een prompt worden betrouwbaarder meegenomen, en een uitdrukkelijke voorrang voorkomt dat de regels worden weggespeeld tegen de wens om een vlot lopende tekst.

Toetsen met een tweede doorgang

Prompt

Toets de volgende tekst op gegevens die mogelijk verzonnen
zijn. Wees streng; prijs niets; herschrijf de tekst niet.

Tekst:
[tekst invoegen]

Opdrachten:
1. Som elke toetsbare bewering afzonderlijk op: getallen,
   percentages, onderzoeken, wetsverwijzingen, jaartallen,
   productgegevens, prijzen, citaten.
2. Markeer per bewering: te onderbouwen uit de tekst zelf /
   moet ik extern toetsen / oogt verzonnen. Bij "oogt verzonnen"
   noem je het herkenningsteken.
3. Noem de drie gegevens waarvan de onjuistheid de grootste schade
   zou aanrichten, en onderbouw dat.
4. Formuleer voor elk onbewezen gegeven een versie die zonder
   dat gegeven toekan en toch iets zegt.

Verzin geen bronvermeldingen en geen bewijzen. Als je een
gegeven niet kunt plaatsen, schrijf dat dan.

Conclusie

Verzonnen gegevens zijn geen fout van het gereedschap, maar een eigenschap van het proces. Ze verdwijnen niet, maar ze zijn in te perken: materiaal meegeven in plaats van uitvragen, een verzinverbod in de prompt, en een toetsing als eigen werkstap.

Het ongemakkelijke gevolg: elk toetsbaar gegeven in een gepubliceerde tekst moet door een mens zijn getoetst. Dat is het deel dat zich niet laat automatiseren – en de reden waarom vakkennis bij het gebruik van taalmodellen belangrijker wordt, niet onbelangrijker.

Veelgestelde vragen

Waarom verzinnen taalmodellen dingen?

Omdat ze de waarschijnlijke voortzetting van een tekst voortbrengen. Op een vraag naar een onderzoek is een onderzoeksverwijzing met instituut, jaartal en percentage de waarschijnlijke voortzetting – of dat onderzoek bestaat, is voor het voortbrengen geen grootheid. Het gaat om precies hetzelfde proces dat ook de juiste antwoorden oplevert.

Welke gegevens worden er het vaakst door geraakt?

Vijf soorten: onderzoeken en statistieken, zoekvolumes en marktcijfers, wetsverwijzingen en termijnen, productdetails en prijzen, en citaten en persoonsgegevens. Ze hebben gemeen dat de vraag een bepaalde antwoordvorm verwacht – een getal, een artikelnummer, een citaat.

Herken je verzonnen gegevens aan de toon?

Nee. Modellen formuleren verzonnen gegevens met dezelfde stelligheid als onderbouwde; voorbehouden als „vermoedelijk“ duiken niet op waar de onzekerheid werkelijk zit. Getoetst moet het gegeven zelf worden, niet de presentatie ervan.

Helpt de navraag „Weet je het zeker?“

Nee. Een model kan een verzonnen gegeven in hetzelfde gesprek bevestigen of onder druk veranderen – geen van beide zegt iets over de juistheid. Een toetsing vindt plaats bij de bron, niet in het gesprek.

Wat helpt er het doeltreffendst tegen?

Materiaal meegeven in plaats van uitvragen: wie eigen cijfers in de prompt schrijft, heeft geen verzonnen cijfers nodig. Daarbij een uitdrukkelijk verzinverbod met markeerplicht voor wat onbekend is – aan het eind van de prompt, met voorrang boven alle andere instructies – en een toetsing als eigen werkstap.