Gdy AI wymyśla rzeczy: po czym to poznać i jak temu zapobiec

Najważniejsze w skrócie

Wymyślone informacje powstają nie przy trudnych pytaniach, lecz przy takich, na które istnieje oczekiwana forma odpowiedzi – liczby, źródła, przepisy.
Pięć rodzajów jest szczególnie narażonych: badania, wolumeny wyszukiwań, przepisy prawne, szczegóły produktowe i cytaty.
Najskuteczniejszym działaniem jest zakaz wymyślania w promptcie plus obowiązek oznaczania nieznanego.
Pewny ton nie jest oznaką poprawności – modele formułują wymyślone dane równie zdecydowanie jak poparte.

Pojęcie „halucynacja” wprowadza w błąd, bo brzmi jak stan wyjątkowy. W rzeczywistości chodzi o dokładnie tę samą procedurę, która tworzy również poprawne odpowiedzi: prawdopodobną kontynuację tekstu.

Na pytanie o badanie dotyczące jakiegoś tematu prawdopodobną kontynuacją jest informacja o badaniu z instytutem, rokiem i wartością procentową. Czy takie badanie istnieje, dla generowania nie jest wielkością.

Pięć rodzajów informacji szczególnie narażonych

1. Badania i statystyki

„Według badania z 2024 roku 67 procent małych firm korzysta…” – instytut, rok i wartość procentowa działają razem bardzo przekonująco, a wszystkie trzy mogą być swobodnie wymyślone.

Znak rozpoznawczy: okrągłe liczby, brak odnośnika, instytut bez dokładnego tytułu.

2. Wolumeny wyszukiwań i liczby rynkowe

Żaden model nie ma dostępu do danych o zapytaniach wyszukiwarki. Na życzenie i tak przychodzą liczby – bo pytanie oczekuje liczby.

Znak rozpoznawczy: każda liczba w tym obszarze. Bez wyjątku.

3. Przepisy prawne i terminy

Numery artykułów, paragrafy, terminy przejściowe. Szczególnie niebezpieczne, bo brzmią fachowo i w praktyce wyzwalają decyzje.

Znak rozpoznawczy: precyzyjny numer bez podania wersji i daty.

4. Szczegóły produktowe i ceny

Zakres funkcji, granice taryf, ceny dostawców. Zmieniają się często i leżą często za barierą logowania.

Znak rozpoznawczy: dokładne kwoty bez daty i bez źródła.

5. Cytaty i dane o osobach

Cytaty dosłowne, nazwy stanowisk, kto kiedy co powiedział. Tu szkoda jest największa, bo prawdziwym ludziom przypisuje się coś, czego nie powiedzieli.

Znak rozpoznawczy: każdy cytat bez sprawdzalnego miejsca pochodzenia.

Czy wiesz, że…?

Ton niczego nie zdradza. Modele formułują wymyślone informacje z tą samą stanowczością co poparte – „prawdopodobnie” albo „być może” nie pojawia się tam, gdzie faktycznie leży niepewność.

To powód, dla którego zwyczajowa metoda sprawdzania zawodzi: ludzie oceniają wiarygodność także po pewności wypowiedzi. Przy modelach tego sygnału nie ma – trzeba sprawdzić samą informację, a nie sposób jej podania.

Co faktycznie pomaga

Zakaz wymyślania w promptcie. Polecenie, by nie używać liczby ani źródła, których nie ma w dołączonych danych – i by nieznane oznaczać jako [brak informacji]. Najskuteczniejsze pojedyncze działanie.
Dołączać materiał zamiast odpytywać. Kto wpisze do promptu własne liczby, nie potrzebuje wymyślonych. Różnica między „napisz coś o X” a „napisz coś o X, oto nasze liczby” to największy pojedynczy skok jakości.
Modele umiejące szukać do spraw bieżących. Gdy model może szukać i podaje źródła, informacje da się sprawdzić. Możliwość sprawdzenia nie znaczy jednak: sprawdzone.
Sprawdzanie jako osobny krok. Kazać wygenerować listę wszystkich sprawdzalnych twierdzeń, a potem sprawdzić samemu. Oddzielone od pisania, inaczej zostanie pominięte.
Liczby z pochodzeniem. Każda liczba w gotowym tekście dostaje informację o pochodzeniu – nawet jeśli brzmi ona „wartość z doświadczenia, nie badanie”.

Uwaga Dopytanie „jesteś pewien?” nie jest sprawdzeniem. Model może wymyśloną informację w tej samej rozmowie potwierdzić albo pod naciskiem zmienić – ani jedno, ani drugie nie mówi nic o poprawności. Sprawdza się u źródła, nie w rozmowie.

Z praktyki

Najdroższym przypadkiem nie jest informacja oczywiście błędna, lecz ta minimalnie obok: termin, który istnieje, ale z inną datą. Przepis, który istnieje, ale reguluje coś innego. Cena dostawcy, która zgadzała się dwa lata temu.

Takie informacje przechodzą każde powierzchowne sprawdzenie, bo dają się potwierdzić – tyle że w innej wersji. Dlatego nie wystarczy sprawdzić, czy źródło istnieje; trzeba sprawdzić, czy mówi to, co stoi w tekście.

Zasada promptu w brzmieniu

Trzy zdania, które należą do każdego promptu, przy którym mogą powstać sprawdzalne informacje:

Element promptu

Zasady dotyczące informacji:
1. Nie używaj liczby, badania, przepisu prawnego ani cytatu,
   których nie ma w materiale przekazanym ci powyżej.
2. Tam, gdzie potrzebujesz informacji, której tam brakuje,
   napisz [brak informacji: jakiej] zamiast coś dopisywać.
3. Oznacz każde stwierdzenie, którego nie możesz poprzeć
   materiałem, na końcu zdania jako [niesprawdzone].

Te trzy zasady mają pierwszeństwo przed wszystkimi innymi
poleceniami w tym promptcie.

Ostatnie zdanie nie jest zbędne: informacje na końcu promptu są uwzględniane pewniej, a wyraźne pierwszeństwo zapobiega temu, by zasady zostały wygrane przeciw życzeniu płynnego tekstu.

Sprawdzanie drugim przebiegiem

Prompt

Sprawdź poniższy tekst pod kątem informacji, które mogą być
wymyślone. Bądź surowy; niczego nie chwal; nie przepisuj tekstu.

Tekst:
[wklej tekst]

Zadania:
1. Wypisz osobno każde sprawdzalne twierdzenie: liczby, wartości
   procentowe, badania, przepisy prawne, daty roczne, dane
   produktowe, ceny, cytaty.
2. Oznacz przy każdym twierdzeniu: możliwe do poparcia z samego
   tekstu / muszę sprawdzić zewnętrznie / sprawia wrażenie
   wymyślonego. Przy „sprawia wrażenie wymyślonego” podaj znak
   rozpoznawczy.
3. Wskaż trzy informacje, których nieprawdziwość wyrządziłaby
   największą szkodę, i uzasadnij.
4. Sformułuj dla każdej niepopartej informacji wersję, która
   obywa się bez niej, a mimo to coś mówi.

Nie wymyślaj źródeł ani dowodów. Jeśli nie umiesz jakiejś
informacji zakwalifikować, napisz to.

Podsumowanie

Wymyślone informacje nie są błędem narzędzia, lecz cechą procedury. Nie znikną, ale da się je ograniczyć: dołączać materiał zamiast odpytywać, zakaz wymyślania w promptcie i sprawdzanie jako osobny etap pracy.

Niewygodna konsekwencja: każda sprawdzalna informacja w opublikowanym tekście musi zostać sprawdzona przez człowieka. To ta część, której nie da się zautomatyzować – i powód, dla którego znajomość rzeczy przy używaniu modeli językowych staje się ważniejsza, a nie mniej ważna.

Częste pytania

Dlaczego modele językowe wymyślają rzeczy?

Bo tworzą prawdopodobną kontynuację tekstu. Na pytanie o badanie prawdopodobną kontynuacją jest informacja o badaniu z instytutem, rokiem i wartością procentową – czy takie badanie istnieje, dla generowania nie jest wielkością. Chodzi o tę samą procedurę, która wydaje również poprawne odpowiedzi.

Które informacje są szczególnie narażone?

Pięć rodzajów: badania i statystyki, wolumeny wyszukiwań i liczby rynkowe, przepisy prawne i terminy, szczegóły produktowe i ceny oraz cytaty i dane o osobach. Wspólne jest im to, że pytanie oczekuje określonej formy odpowiedzi – liczby, numeru przepisu, cytatu.

Czy wymyślone informacje poznaje się po tonie?

Nie. Modele formułują wymyślone informacje z tą samą stanowczością co poparte; zastrzeżenia w rodzaju „prawdopodobnie” nie pojawiają się tam, gdzie faktycznie leży niepewność. Sprawdzić trzeba samą informację, a nie sposób jej podania.

Czy pomaga dopytanie „jesteś pewien?”

Nie. Model może wymyśloną informację w tej samej rozmowie potwierdzić albo pod naciskiem zmienić – ani jedno, ani drugie nie mówi nic o poprawności. Sprawdzenie odbywa się u źródła, nie w rozmowie.

Co pomaga najskuteczniej?

Dołączanie materiału zamiast odpytywania: kto wpisze do promptu własne liczby, nie potrzebuje wymyślonych. Do tego wyraźny zakaz wymyślania z obowiązkiem oznaczania nieznanego – na końcu promptu, z pierwszeństwem przed wszystkimi innymi poleceniami – oraz sprawdzanie jako osobny etap pracy.