Amikor az MI dolgokat talál ki: miről ismerhető fel, és hogyan előzhető meg
A modell nem rosszindulatból talál ki dolgokat, hanem mert egy szöveg valószínű folytatását állítja elő – egy kitalált tanulmány pedig nagyon valószínű folytatás. Teljesen nem lehet megakadályozni, de nagyrészt körülhatárolható.
A lényeg röviden
- A kitalált adatok nem a nehéz kérdéseknél keletkeznek, hanem azoknál, amelyekre van egy elvárt válaszforma – számok, források, jogszabályhelyek.
- Öt fajta érintett különösen: tanulmányok, keresési volumenek, jogszabályi hivatkozások, termékrészletek és idézetek.
- A leghatásosabb intézkedés a promptban szereplő kitalálási tilalom, plusz a jelölési kötelezettség az ismeretlen dolgokra.
- A magabiztos hangnem nem a helyesség jele – a modellek ugyanolyan magabiztosan fogalmazzák meg a kitalált adatokat, mint az alátámasztottakat.
A „hallucináció” kifejezés félrevezető, mert kivételes állapotnak hangzik. Valójában ugyanarról az eljárásról van szó, amely a helyes válaszokat is előállítja: egy szöveg valószínű folytatásáról.
Egy témához tartozó tanulmányra vonatkozó kérdés valószínű folytatása egy tanulmány megnevezése intézettel, évszámmal és százalékos adattal. Az, hogy létezik-e ez a tanulmány, az előállítás szempontjából nem tényező.
Öt adatfajta, amely különösen érintett
1. Tanulmányok és statisztikák
„Egy 2024-es vizsgálat szerint a kkv-k 67 százaléka használ …” – az intézet, az évszám és a százalékos adat együtt nagyon meggyőzően hat, és mindhárom lehet szabadon kitalált.
Felismerési jel: kerek számok, semmi hivatkozás, intézet pontos cím nélkül.
2. Keresési volumenek és piaci számok
Egyetlen modellnek sincs hozzáférése egy kereső lekérdezési adataihoz. Rákérdezésre mégis számok jönnek – mert a kérdés számot vár.
Felismerési jel: minden szám ezen a területen. Kivétel nélkül.
3. Jogszabályi hivatkozások és határidők
Cikkszámok, szakaszok, átmeneti határidők. Különösen veszélyesek, mert szakszerűen hangzanak, és a gyakorlatban döntéseket váltanak ki.
Felismerési jel: pontos szám a hatályos szöveg és a dátum megnevezése nélkül.
4. Termékrészletek és árak
Funkciókör, csomaghatárok, szolgáltatói árak. Gyakran változnak, és sokszor bejelentkezési korlát mögött vannak.
Felismerési jel: pontos összegek dátum és forrás nélkül.
5. Idézetek és személyekre vonatkozó adatok
Szó szerinti idézetek, beosztásmegjelölések, ki mikor mit mondott. Itt a legnagyobb a kár, mert valódi embereknek tulajdonítanak valamit.
Felismerési jel: minden idézet ellenőrizhető lelőhely nélkül.
Tudtad?
A hangnem semmit sem árul el. A modellek ugyanolyan határozottan fogalmazzák meg a kitalált adatokat, mint az alátámasztottakat – a „feltehetően” vagy a „lehetséges, hogy” nem ott bukkan fel, ahol a bizonytalanság ténylegesen van.
Ezért mond csődöt a szokásos ellenőrzési módszer: az emberek a hitelességet a fellépés magabiztossága alapján is megítélik. A modelleknél ez a jelzés nincs jelen – magát az adatot kell ellenőrizni, nem az előadását.
Mi segít ténylegesen
- Kitalálási tilalom a promptban. Az az utasítás, hogy ne használjon olyan számot és olyan forrást, amely nem szerepel a mellékelt anyagban – az ismeretlent pedig
[hiányzó adat]jelöléssel lássa el. A leghatásosabb egyetlen intézkedés. - Anyagot adni, nem lekérdezni. Aki a saját számait beírja a promptba, annak nem kell kitaláltakkal dolgoznia. A különbség az „írj valamit X-ről” és az „írj valamit X-ről, itt vannak hozzá a számaink” között a legnagyobb egyetlen minőségi ugrás.
- Keresésre képes modellek az aktuális dolgokhoz. Ha a modell tud keresni, és megnevezi a forrásokat, az adatok utólag ellenőrizhetők. Az ellenőrizhető azonban nem jelenti azt, hogy ellenőrzött.
- Az ellenőrzés önálló lépésként. Készíttessetek listát az összes ellenőrizhető állításról, aztán magatok ellenőrizzétek. Az írástól elválasztva, különben átugorják.
- Számok eredettel. A kész szövegben minden szám kap egy eredetmegjelölést – akkor is, ha ez így szól: „tapasztalati érték, nem felmérés”.
A legdrágább eset nem a nyilvánvalóan hamis adat, hanem az éppen csak mellétaláló: egy határidő, amely létezik, de más dátummal. Egy szakasz, amely létezik, de mást szabályoz. Egy szolgáltatói ár, amely két éve volt igaz.
Az ilyen adatok minden felületes ellenőrzést kiállnak, mert megerősíthetők – csak épp egy másik változatban. Ezért nem elég azt ellenőrizni, hogy létezik-e a forrás; azt kell ellenőrizni, hogy azt mondja-e, ami a szövegben áll.
A promptszabály szó szerint
Három mondat, amely minden olyan promptba beletartozik, amelynél ellenőrizhető adatok keletkezhetnek:
Szabályok az adatokra: 1. Ne használj olyan számot, tanulmányt, jogszabályi hivatkozást és idézetet, amely nem szerepel abban az anyagban, amelyet fent átadtam neked. 2. Ahol olyan adatra van szükséged, amely onnan hiányzik, azt írd, hogy [hiányzó adat: melyik], ahelyett hogy pótolnád. 3. Jelölj meg minden olyan állítást, amelyet nem tudsz az anyagból alátámasztani, a mondat végén [ellenőrizetlen] jelöléssel. Ez a három szabály elsőbbséget élvez a promptban szereplő minden más utasítással szemben.
Az utolsó mondat nem fölösleges: a prompt végén szereplő megadásokat megbízhatóbban veszik figyelembe, és a kifejezett elsőbbség megakadályozza, hogy a szabályokat kijátsszák a gördülékeny szöveg iránti igénnyel szemben.
Ellenőrzés egy második menetben
Vizsgáld meg a következő szöveget olyan adatok szempontjából, amelyek esetleg kitaláltak. Légy szigorú; ne dicsérj semmit; ne írd át a szöveget. Szöveg: [szöveg beillesztése] Feladatok: 1. Sorolj fel egyesével minden ellenőrizhető állítást: számok, százalékos értékek, tanulmányok, jogszabályi hivatkozások, évszámok, termékadatok, árak, idézetek. 2. Jelöld meg állításonként: magából a szövegből alátámasztható / külsőleg kell ellenőriznem / kitaláltnak hat. A „kitaláltnak hat” esetben nevezd meg a felismerési jelet. 3. Nevezd meg azt a három adatot, amelynek a valótlansága a legnagyobb kárt okozná, és indokold meg. 4. Fogalmazz minden alá nem támasztott adathoz egy változatot, amely meglesz nélküle, és mégis mond valamit. Ne találj ki forrásmegjelöléseket és bizonyítékokat. Ha egy adatot nem tudsz besorolni, írd meg.
Összegzés
A kitalált adatok nem az eszköz hibái, hanem az eljárás tulajdonságai. Nem tűnnek el, de körülhatárolhatók: anyagot adni lekérdezés helyett, kitalálási tilalom a promptba, és az ellenőrzés önálló munkalépésként.
A kényelmetlen következmény: egy közzétett szövegben minden ellenőrizhető adatot embernek kell ellenőriznie. Ez az a rész, amelyet nem lehet automatizálni – és ez az oka annak, hogy a nyelvi modellek használatánál a szaktudás fontosabbá válik, nem kevésbé fontossá.
Gyakori kérdések
Miért találnak ki dolgokat a nyelvi modellek?
Mert egy szöveg valószínű folytatását állítják elő. Egy tanulmányra vonatkozó kérdésnél a valószínű folytatás egy tanulmány megnevezése intézettel, évszámmal és százalékos adattal – az, hogy létezik-e ez a tanulmány, az előállítás szempontjából nem tényező. Ugyanarról az eljárásról van szó, amely a helyes válaszokat is előhozza.
Mely adatok érintettek különösen?
Öt fajta: tanulmányok és statisztikák, keresési volumenek és piaci számok, jogszabályi hivatkozások és határidők, termékrészletek és árak, valamint idézetek és személyekre vonatkozó adatok. Közös bennük, hogy a kérdés egy meghatározott válaszformát vár – egy számot, egy szakaszszámot, egy idézetet.
Felismerhetők a kitalált adatok a hangnemről?
Nem. A modellek ugyanolyan határozottan fogalmazzák meg a kitalált adatokat, mint az alátámasztottakat; az olyan megszorítások, mint a „feltehetően”, nem ott bukkannak fel, ahol a bizonytalanság ténylegesen van. Magát az adatot kell ellenőrizni, nem az előadását.
Segít a „Biztos vagy benne?” visszakérdezés?
Nem. Egy modell ugyanabban a beszélgetésben megerősítheti a kitalált adatot, vagy nyomásra megváltoztathatja – egyik sem mond semmit a helyességről. Az ellenőrzés a forrásnál történik, nem a beszélgetésben.
Mi segít a leghatásosabban ellene?
Anyagot adni lekérdezés helyett: aki a saját számait beírja a promptba, annak nem kell kitaláltakkal dolgoznia. Ehhez jön egy kifejezett kitalálási tilalom, az ismeretlen dolgokra vonatkozó jelölési kötelezettséggel – a prompt végén, minden más utasítással szembeni elsőbbséggel – és az ellenőrzés önálló munkalépésként.
Marketing, amely magát állítja be
A Studio Engine bétája nyitva áll. Foglalj helyet, és alakítsd az elejétől fogva.
Csatlakozom a bétához →