Když si AI věci vymyslí: jak to poznat a jak tomu předejít

To nejdůležitější

Vymyšlené údaje nevznikají u těžkých otázek, ale u těch, na které existuje očekávatelná forma odpovědi – čísla, zdroje, paragrafy.
Zasažených je zvlášť pět druhů: studie, objemy vyhledávání, odkazy na zákony, detaily produktů a citáty.
Nejúčinnějším opatřením je zákaz vymýšlení v promptu plus povinnost označit, co není známé.
Sebejistý tón není známkou správnosti – modely formulují vymyšlené údaje stejně suverénně jako doložené.

Pojem „halucinace“ svádí na scestí, protože zní jako výjimečný stav. Ve skutečnosti jde o týž postup, který vytváří i správné odpovědi: pravděpodobné pokračování textu.

Na otázku po studii k nějakému tématu je pravděpodobným pokračováním údaj o studii s institutem, rokem a procentem. Jestli taková studie existuje, není pro tvorbu textu žádnou veličinou.

Pět druhů údajů, které jsou zasažené nejvíc

1. Studie a statistiky

„Podle průzkumu z roku 2024 využívá 67 procent malých a středních firem…“ – institut, rok a procento působí dohromady velmi přesvědčivě a všechny tři si model může vymyslet.

Poznávací znamení: kulatá čísla, žádný odkaz, institut bez přesného názvu.

2. Objemy vyhledávání a tržní čísla

Žádný model nemá přístup k datům dotazů ve vyhledávači. Na doptání přesto čísla přijdou – protože otázka číslo očekává.

Poznávací znamení: každé číslo v této oblasti. Bez výjimky.

3. Odkazy na zákony a lhůty

Čísla článků, paragrafy, přechodné lhůty. Zvlášť nebezpečné, protože znějí odborně a v praxi spouštějí rozhodnutí.

Poznávací znamení: přesné číslo bez uvedení znění a data.

4. Detaily produktů a ceny

Rozsah funkcí, hranice tarifů, ceny dodavatelů. Mění se často a leží často za přihlašovací zábranou.

Poznávací znamení: přesné částky bez data a bez zdroje.

5. Citáty a údaje o osobách

Doslovné citáty, označení funkcí, kdo kdy co řekl. Tady je škoda největší, protože se skutečným lidem něco přisuzuje.

Poznávací znamení: každý citát bez ověřitelného místa výskytu.

Věděli jste, že…?

Tón neprozradí nic. Modely formulují vymyšlené údaje se stejnou určitostí jako doložené – „pravděpodobně“ nebo „možná“ se neobjeví tam, kde nejistota skutečně leží.

To je důvod, proč obvyklá metoda posuzování selže: lidé hodnotí věrohodnost i podle jistoty vystupování. U modelů tento signál není k dispozici – prověřit je třeba samotný údaj, ne jeho podání.

Co skutečně pomůže

Zákaz vymýšlení v promptu. Pokyn nepoužít žádné číslo a žádný zdroj, který nestojí v předaných podkladech – a neznámé označit jako [chybí údaj]. Nejúčinnější jednotlivé opatření.
Podklady předat, ne se doptávat. Kdo napíše vlastní čísla do promptu, žádná vymyšlená nepotřebuje. Rozdíl mezi „napiš něco o X“ a „napiš něco o X, tady jsou naše čísla k tomu“ je největší jednotlivý skok v kvalitě.
Modely s vyhledáváním na aktuální věci. Když model umí hledat a uvádí zdroje, dají se údaje ověřit. Že se ověřit dají, ale neznamená: jsou ověřené.
Kontrola jako samostatný krok. Nechat vytvořit seznam všech ověřitelných tvrzení a pak je prověřit sám. Odděleně od psaní, jinak se to přeskočí.
Čísla s původem. Každé číslo v hotovém textu dostane údaj o původu – i kdyby zněl „zkušenostní hodnota, ne měření“.

Pozor Doptání „Jsi si jistý?“ není kontrola. Model může vymyšlený údaj ve stejném rozhovoru potvrdit, nebo ho pod tlakem změnit – obojí o správnosti neříká nic. Ověřuje se u zdroje, ne v rozhovoru.

Z praxe

Nejdražším případem není zjevně nesprávný údaj, ale ten těsně vedle: lhůta, která existuje, ale s jiným datem. Paragraf, který existuje, ale upravuje něco jiného. Cena dodavatele, která platila před dvěma lety.

Takové údaje přežijí každou povrchní kontrolu, protože se dají potvrdit – jenže v jiném znění. Proto nestačí prověřit, jestli zdroj existuje; je nutné prověřit, jestli říká to, co stojí v textu.

Pravidlo do promptu v doslovném znění

Tři věty, které patří do každého promptu, u kterého mohou vzniknout ověřitelné údaje:

Stavební prvek promptu

Pravidla pro údaje:
1. Nepoužívej žádné číslo, žádnou studii, žádný odkaz na zákon
   ani žádný citát, které nestojí v podkladech, jež jsem ti
   výše předal.
2. Kde potřebuješ údaj, který tam chybí, napiš
   [chybí údaj: který] místo abys něco doplnil.
3. Každé tvrzení, které z podkladů nedokážeš doložit,
   označ na konci věty jako [neověřeno].

Tato tři pravidla mají přednost před všemi ostatními pokyny
v tomto promptu.

Poslední věta není nadbytečná: údaje na konci promptu se zohledňují spolehlivěji a výslovná přednost zabrání tomu, aby se tato pravidla vyhrála proti přání po plynulém textu.

Kontrola druhým průchodem

Prompt

Prověř následující text na údaje, které mohou být vymyšlené.
Buď přísný; nechval nic; text nepřepisuj.

Text:
[vlož text]

Úkoly:
1. Vypiš každé ověřitelné tvrzení zvlášť: čísla,
   procentní hodnoty, studie, odkazy na zákony, letopočty,
   údaje o produktech, ceny, citáty.
2. U každého tvrzení označ: doložitelné z textu samotného /
   musím ověřit zvenčí / působí vymyšleně. U "působí vymyšleně"
   uveď poznávací znamení.
3. Uveď tři údaje, jejichž nesprávnost by napáchala největší
   škodu, a zdůvodni to.
4. Ke každému nedoloženému údaji zformuluj verzi, která se bez
   tohoto údaje obejde a přesto něco vypovídá.

Nevymýšlej si údaje o zdrojích ani doklady. Pokud nějaký
údaj neumíš zařadit, napiš to.

Závěr

Vymyšlené údaje nejsou chybou nástroje, ale vlastností postupu. Nezmizí, dají se ale ohraničit: podklady předat místo doptávání, zákaz vymýšlení do promptu a kontrola jako samostatný pracovní krok.

Nepohodlný důsledek: každý ověřitelný údaj ve zveřejněném textu musí prověřit člověk. To je ta část, která se automatizovat nedá – a důvod, proč je odborná znalost při nasazení jazykových modelů důležitější, ne méně důležitá.

Časté otázky

Proč si jazykové modely věci vymýšlejí?

Protože vytvářejí pravděpodobné pokračování textu. Na otázku po studii je pravděpodobným pokračováním údaj o studii s institutem, rokem a procentem – jestli taková studie existuje, není pro tvorbu textu žádnou veličinou. Jde o týž postup, který vydává i správné odpovědi.

Které údaje jsou zasažené nejvíc?

Pět druhů: studie a statistiky, objemy vyhledávání a tržní čísla, odkazy na zákony a lhůty, detaily produktů a ceny a také citáty a údaje o osobách. Společné jim je, že otázka očekává určitou formu odpovědi – číslo, číslo paragrafu, citát.

Poznají se vymyšlené údaje podle tónu?

Ne. Modely formulují vymyšlené údaje se stejnou určitostí jako doložené; omezení typu „pravděpodobně“ se neobjeví tam, kde nejistota skutečně leží. Prověřit je nutné samotný údaj, ne jeho podání.

Pomůže doptání „Jsi si jistý?“

Ne. Model může vymyšlený údaj ve stejném rozhovoru potvrdit, nebo ho pod tlakem změnit – obojí o správnosti nevypovídá nic. Kontrola probíhá u zdroje, ne v rozhovoru.

Co proti tomu pomůže nejúčinněji?

Předat podklady místo doptávání: kdo napíše vlastní čísla do promptu, žádná vymyšlená nepotřebuje. K tomu výslovný zákaz vymýšlení s povinností označit neznámé – na konci promptu, s předností před všemi ostatními pokyny – a kontrola jako samostatný pracovní krok.