Når KI-en finner på ting: Hvordan man kjenner det igjen og hindrer det
En modell finner ikke på ting av ondsinnethet, men fordi den lager den sannsynlige fortsettelsen av en tekst – og en oppdiktet studie er en svært sannsynlig fortsettelse. Det lar seg ikke hindre helt, men i stor grad begrense.
Det viktigste kort
- Oppdiktede opplysninger oppstår ikke ved vanskelige spørsmål, men ved dem det finnes en forventet svarform til – tall, kilder, lovbestemmelser.
- Fem typer er særlig utsatt: studier, søkevolumer, lovangivelser, produktdetaljer og sitater.
- Det mest virksomme tiltaket er et oppdiktingsforbud i prompten pluss en plikt til å merke det ukjente.
- Selvsikker tone er ikke noe tegn på riktighet – modeller formulerer oppdiktede opplysninger like suverent som belagte.
Begrepet «hallusinasjon» er villedende, fordi det høres ut som en unntakstilstand. I virkeligheten dreier det seg om den samme framgangsmåten som også lager de riktige svarene: den sannsynlige fortsettelsen av en tekst.
På spørsmålet om en studie om et tema er den sannsynlige fortsettelsen en studieangivelse med institutt, årstall og prosenttall. Om denne studien finnes, er ingen størrelse i produksjonen.
Fem typer opplysninger som er særlig utsatt
1. Studier og statistikk
«Ifølge en undersøkelse fra 2024 bruker 67 prosent av små og mellomstore bedrifter …» – institutt, årstall og prosenttall virker sammen svært overbevisende, og alle tre kan være fritt oppdiktet.
Kjennetegn: runde tall, ingen lenke, institutt uten nøyaktig tittel.
2. Søkevolumer og markedstall
Ingen modell har tilgang til søkedataene til en søkemotor. På forespørsel kommer det likevel tall – fordi spørsmålet forventer et tall.
Kjennetegn: hvert eneste tall på dette området. Uten unntak.
3. Lovangivelser og frister
Artikkelnumre, paragrafer, overgangsfrister. Særlig farlig, fordi de klinger fagelige og i praksis utløser beslutninger.
Kjennetegn: presist nummer uten angivelse av versjon og dato.
4. Produktdetaljer og priser
Funksjonsomfang, prisgrenser, leverandørers priser. Endrer seg ofte og ligger gjerne bak innloggingssperrer.
Kjennetegn: nøyaktige beløp uten dato og uten kilde.
5. Sitater og personopplysninger
Ordrette sitater, stillingsbetegnelser, hvem som sa hva når. Her er skaden størst, fordi virkelige mennesker tillegges noe.
Kjennetegn: ethvert sitat uten et funnsted som lar seg etterprøve.
Visste du at …?
Tonen røper ingenting. Modeller formulerer oppdiktede opplysninger med den samme bestemtheten som belagte – et «trolig» eller «muligens» dukker ikke opp der usikkerheten faktisk ligger.
Det er grunnen til at den vanlige kontrollmetoden svikter: mennesker bedømmer troverdighet også etter sikkerhet i framtoningen. Hos modeller finnes ikke dette signalet – man må kontrollere opplysningen selv, ikke framføringen av den.
Hva som faktisk hjelper
- Oppdiktingsforbud i prompten. Instruksen om ikke å bruke noe tall og ingen kilde som ikke står i det medsendte materialet – og å merke det ukjente som
[opplysning mangler]. Det mest virksomme enkelttiltaket. - Send med materiale i stedet for å spørre. Den som skriver egne tall inn i prompten, trenger ingen oppdiktede. Forskjellen mellom «skriv noe om X» og «skriv noe om X, her er tallene våre om det» er det største enkeltspranget i kvalitet.
- Søkedyktige modeller til det aktuelle. Når modellen kan søke og nevner kildene, lar opplysninger seg etterprøve. Men at det lar seg etterprøve, betyr ikke: kontrollert.
- Kontroll som et eget steg. La den lage en liste over alle påstander som lar seg etterprøve, og kontroller dem så selv. Atskilt fra skrivingen, ellers blir det hoppet over.
- Tall med opphav. Hvert tall i den ferdige teksten får en opphavsangivelse – også når den lyder «erfaringstall, ingen undersøkelse».
Det dyreste tilfellet er ikke den åpenbart gale opplysningen, men den som ligger så vidt ved siden av: en frist som finnes, men med en annen dato. En paragraf som eksisterer, men regulerer noe annet. En leverandørpris som stemte for to år siden.
Slike opplysninger overlever enhver overfladisk kontroll, fordi de lar seg bekrefte – bare i en annen versjon. Derfor holder det ikke å kontrollere om kilden finnes; man må kontrollere om den sier det som står i teksten.
Promptregelen i sin ordlyd
Tre setninger som hører hjemme i enhver prompt der det kan oppstå opplysninger som lar seg etterprøve:
Regler for opplysninger: 1. Ikke bruk noe tall, ingen studie, ingen lovangivelse og ingen sitater som ikke står i materialet jeg har sendt med deg ovenfor. 2. Der du trenger en opplysning som mangler der, skriv [opplysning mangler: hvilken] i stedet for å fylle inn noe. 3. Merk hver påstand du ikke kan belegge fra materialet, med [ukontrollert] på slutten av setningen. Disse tre reglene har forrang framfor alle andre instrukser i denne prompten.
Den siste setningen er ikke overflødig: opplysninger på slutten av en prompt blir tatt hensyn til mer pålitelig, og en uttrykkelig forrang hindrer at reglene spilles ut mot ønsket om en flytende tekst.
Kontrollere med en andre gjennomgang
Kontroller den følgende teksten for opplysninger som muligens er oppdiktet. Vær streng; ikke ros noe; ikke skriv om teksten. Tekst: [sett inn tekst] Oppgaver: 1. List opp hver påstand som lar seg etterprøve, enkeltvis: tall, prosentverdier, studier, lovangivelser, årstall, produktopplysninger, priser, sitater. 2. Merk hver påstand: kan belegges fra teksten selv / må jeg kontrollere eksternt / virker oppdiktet. Ved "virker oppdiktet", nevn kjennetegnet. 3. Nevn de tre opplysningene der en feil ville gjort størst skade, og begrunn. 4. Formuler for hver ubelagt opplysning en versjon som klarer seg uten den opplysningen og likevel sier noe. Ikke finn på kildeangivelser eller belegg. Hvis du ikke kan plassere en opplysning, skriv det.
Konklusjon
Oppdiktede opplysninger er ingen feil ved verktøyet, men en egenskap ved framgangsmåten. De forsvinner ikke, men de lar seg begrense: send med materiale i stedet for å spørre, legg et oppdiktingsforbud inn i prompten, og gjør kontrollen til et eget arbeidssteg.
Den ubehagelige konsekvensen: hver opplysning i en publisert tekst som lar seg etterprøve, må være kontrollert av et menneske. Det er den delen som ikke lar seg automatisere – og grunnen til at fagkunnskap blir viktigere ved bruk av språkmodeller, ikke mindre viktig.
Vanlige spørsmål
Hvorfor finner språkmodeller på ting?
Fordi de lager den sannsynlige fortsettelsen av en tekst. På et spørsmål om en studie er en studieangivelse med institutt, årstall og prosenttall den sannsynlige fortsettelsen – om denne studien finnes, er ingen størrelse i produksjonen. Det dreier seg om den samme framgangsmåten som også frambringer de riktige svarene.
Hvilke opplysninger er særlig utsatt?
Fem typer: studier og statistikk, søkevolumer og markedstall, lovangivelser og frister, produktdetaljer og priser, samt sitater og personopplysninger. Felles for dem er at spørsmålet forventer en bestemt svarform – et tall, et paragrafnummer, et sitat.
Kjenner man igjen oppdiktede opplysninger på tonefallet?
Nei. Modeller formulerer oppdiktede opplysninger med den samme bestemtheten som belagte; forbehold som «trolig» dukker ikke opp der usikkerheten faktisk ligger. Det som må kontrolleres, er opplysningen selv, ikke framføringen av den.
Hjelper oppfølgingsspørsmålet «er du sikker?»
Nei. En modell kan bekrefte en oppdiktet opplysning i den samme samtalen eller endre den under press – begge deler sier ingenting om riktigheten. En kontroll skjer ved kilden, ikke i samtalen.
Hva hjelper mest virksomt mot det?
Å sende med materiale i stedet for å spørre: den som skriver egne tall inn i prompten, trenger ingen oppdiktede. I tillegg et uttrykkelig oppdiktingsforbud med plikt til å merke det ukjente – på slutten av prompten, med forrang framfor alle andre instrukser – og en kontroll som eget arbeidssteg.
Markedsføring som setter seg opp selv
Betaen for Studio Engine er åpen. Sikre deg en plass og bidra fra starten.
Bli med i betaen →