Kun tekoäly keksii asioita: mistä sen tunnistaa ja miten sen estää
Malli ei keksi pahantahtoisuuttaan vaan siksi että se tuottaa tekstin todennäköisen jatkon – ja keksitty tutkimus on hyvin todennäköinen jatko. Sitä ei voi täysin estää, mutta sen voi suurelta osin rajata.
Tärkeimmät kohdat
- Keksityt tiedot eivät synny vaikeista kysymyksistä vaan sellaisista, joihin on odotettavissa oleva vastausmuoto – luvut, lähteet, pykälät.
- Viisi lajia on erityisen alttiita: tutkimukset, hakumäärät, lakiviittaukset, tuotetiedot ja lainaukset.
- Tehokkain toimenpide on keksimiskielto promptissa sekä velvoite merkitä tuntematon.
- Itsevarma sävy ei ole merkki oikeellisuudesta – mallit muotoilevat keksityt tiedot yhtä vakuuttavasti kuin todistetut.
Käsite «hallusinaatio» johtaa harhaan, koska se kuulostaa poikkeustilalta. Todellisuudessa kyse on samasta menettelystä, joka tuottaa myös oikeat vastaukset: tekstin todennäköisestä jatkosta.
Kysymykseen jotakin aihetta koskevasta tutkimuksesta todennäköinen jatko on tutkimusviite instituutteineen, vuosilukuineen ja prosenttilukuineen. Se, onko tätä tutkimusta olemassa, ei ole tuottamisen kannalta mikään suure.
Viisi erityisen alttiina olevaa tietolajia
1. Tutkimukset ja tilastot
«Vuoden 2024 selvityksen mukaan 67 prosenttia pk-yrityksistä käyttää …» – instituutti, vuosi ja prosenttiluku vaikuttavat yhdessä hyvin vakuuttavilta, ja kaikki kolme voivat olla täysin keksittyjä.
Tunnusmerkki: pyöreät luvut, ei linkkiä, instituutti ilman tarkkaa nimeä.
2. Hakumäärät ja markkinaluvut
Yhdelläkään mallilla ei ole pääsyä hakukoneen kyselytietoihin. Kysyttäessä lukuja tulee silti – koska kysymys odottaa lukua.
Tunnusmerkki: jokainen luku tällä alueella. Poikkeuksetta.
3. Lakiviittaukset ja määräajat
Artiklanumerot, pykälät, siirtymäajat. Erityisen vaarallisia, koska ne kuulostavat asiantuntevilta ja laukaisevat käytännössä päätöksiä.
Tunnusmerkki: täsmällinen numero ilman mainintaa versiosta ja päivämäärästä.
4. Tuotetiedot ja hinnat
Ominaisuuksien laajuus, hinnastorajat, toimittajien hinnat. Muuttuvat usein ja ovat usein kirjautumisen takana.
Tunnusmerkki: täsmälliset summat ilman päivämäärää ja ilman lähdettä.
5. Lainaukset ja henkilötiedot
Sanatarkat lainaukset, tehtävänimikkeet, kuka sanoi mitä ja milloin. Tässä vahinko on suurin, koska oikeille ihmisille pannaan jotain suuhun.
Tunnusmerkki: jokainen lainaus ilman tarkistettavaa löytökohtaa.
Tiesitkö?
Sävy ei paljasta mitään. Mallit muotoilevat keksityt tiedot yhtä varmasti kuin todistetut – «luultavasti» tai «mahdollisesti» ei ilmesty sinne, missä epävarmuus todella on.
Juuri siksi tavallinen tarkistustapa pettää: ihmiset arvioivat uskottavuutta myös esiintymisen varmuuden perusteella. Malleilla tätä signaalia ei ole – on tarkistettava itse tieto, ei sen esitystapa.
Mikä todella auttaa
- Keksimiskielto promptissa. Ohje olla käyttämättä yhtään lukua tai lähdettä, jota ei ole mukana annetuissa tiedoissa – ja merkitä tuntematon muotoon
[tieto puuttuu]. Tehokkain yksittäinen toimenpide. - Anna aineisto mukaan sen sijaan että kysyt. Se, joka kirjoittaa omat lukunsa promptiin, ei tarvitse keksittyjä. Ero ilmaisujen «kirjoita jotain X:stä» ja «kirjoita jotain X:stä, tässä ovat lukumme siitä» välillä on suurin yksittäinen laatuloikka.
- Hakukykyiset mallit ajankohtaiseen. Kun malli osaa hakea ja nimeää lähteet, tiedot voi tarkistaa. Se, että voi tarkistaa, ei kuitenkaan tarkoita: tarkistettu.
- Tarkistus omana vaiheenaan. Teetä lista kaikista tarkistettavissa olevista väitteistä ja tarkista sitten itse. Erillään kirjoittamisesta, muuten se ohitetaan.
- Luvut alkuperineen. Jokainen valmiin tekstin luku saa alkuperämerkinnän – vaikka se kuuluisi «kokemusarvo, ei tutkimus».
Kallein tapaus ei ole ilmiselvästi väärä tieto vaan niukasti sivuun osuva: määräaika, joka on olemassa mutta eri päivämäärällä. Pykälä, joka on olemassa mutta säätää jotain muuta. Toimittajan hinta, joka piti paikkansa kaksi vuotta sitten.
Tällaiset tiedot kestävät jokaisen pintapuolisen tarkistuksen, koska ne voi vahvistaa – vain toisessa muodossa. Siksi ei riitä tarkistaa, onko lähde olemassa; on tarkistettava, sanooko se sen mitä tekstissä lukee.
Prompt-sääntö sanatarkasti
Kolme virkettä, jotka kuuluvat jokaiseen promptiin, jossa voi syntyä tarkistettavissa olevia tietoja:
Tietoja koskevat säännöt: 1. Älä käytä yhtään lukua, tutkimusta, lakiviittausta tai lainausta, jota ei ole siinä aineistossa, jonka annoin sinulle yllä. 2. Jos tarvitset tiedon, joka sieltä puuttuu, kirjoita [tieto puuttuu: mikä] sen sijaan että täydentäisit jotain. 3. Merkitse jokainen väite, jota et voi todistaa aineistosta, virkkeen loppuun merkinnällä [tarkistamaton]. Nämä kolme sääntöä ovat etusijalla kaikkiin muihin tämän promptin ohjeisiin nähden.
Viimeinen virke ei ole turha: promptin lopussa olevat tiedot otetaan luotettavammin huomioon, ja nimenomainen etusija estää sen, että säännöt asetetaan sujuvan tekstin toiveen kanssa vastakkain.
Tarkistus toisella kierroksella
Tarkista seuraavasta tekstistä tiedot, jotka voivat olla keksittyjä. Ole tiukka; älä kehu mitään; älä kirjoita tekstiä uusiksi. Teksti: [Liitä teksti] Tehtävät: 1. Luettele jokainen tarkistettavissa oleva väite erikseen: luvut, prosenttiarvot, tutkimukset, lakiviittaukset, vuosiluvut, tuotetiedot, hinnat, lainaukset. 2. Merkitse jokaisesta väitteestä: todistettavissa tekstistä itsestään / minun on tarkistettava ulkopuolelta / vaikuttaa keksityltä. Kohdassa "vaikuttaa keksityltä" nimeä tunnusmerkki. 3. Nimeä ne kolme tietoa, joiden virheellisyys aiheuttaisi suurimman vahingon, ja perustele. 4. Muotoile jokaiselle todistamattomalle tiedolle versio, joka tulee toimeen ilman tätä tietoa ja sanoo silti jotain. Älä keksi lähdeviitteitä äläkä todisteita. Jos et osaa luokitella jotain tietoa, kirjoita se.
Johtopäätös
Keksityt tiedot eivät ole työkalun vika vaan menettelyn ominaisuus. Ne eivät katoa, mutta niitä voi rajata: anna aineisto mukaan sen sijaan että kysyt, keksimiskielto promptiin, ja tarkistus omana työvaiheenaan.
Epämukava seuraus: jokainen julkaistun tekstin tarkistettavissa oleva tieto on oltava ihmisen tarkistama. Se on se osa, jota ei voi automatisoida – ja syy siihen, miksi asiantuntemus tulee kielimalleja käytettäessä tärkeämmäksi eikä vähemmän tärkeäksi.
Usein kysytyt kysymykset
Miksi kielimallit keksivät asioita?
Koska ne tuottavat tekstin todennäköisen jatkon. Tutkimusta koskevaan kysymykseen todennäköinen jatko on tutkimusviite instituutteineen, vuosilukuineen ja prosenttilukuineen – se, onko tätä tutkimusta olemassa, ei ole tuottamisen kannalta mikään suure. Kyse on samasta menettelystä, joka tuottaa myös oikeat vastaukset.
Mitkä tiedot ovat erityisen alttiita?
Viisi lajia: tutkimukset ja tilastot, hakumäärät ja markkinaluvut, lakiviittaukset ja määräajat, tuotetiedot ja hinnat sekä lainaukset ja henkilötiedot. Niille on yhteistä, että kysymys odottaa tiettyä vastausmuotoa – lukua, pykälänumeroa, lainausta.
Tunnistaako keksityt tiedot sävystä?
Ei. Mallit muotoilevat keksityt tiedot yhtä varmasti kuin todistetut; varaukset kuten «luultavasti» eivät ilmesty sinne, missä epävarmuus todella on. Tarkistaa on itse tieto, ei sen esitystapa.
Auttaako kysymys «oletko varma?»
Ei. Malli voi vahvistaa keksityn tiedon samassa keskustelussa tai muuttaa sitä painostettaessa – kumpikaan ei kerro mitään oikeellisuudesta. Tarkistus tapahtuu lähteestä, ei keskustelussa.
Mikä auttaa tehokkaimmin?
Aineiston antaminen mukaan kysymisen sijaan: se, joka kirjoittaa omat lukunsa promptiin, ei tarvitse keksittyjä. Lisäksi nimenomainen keksimiskielto ja velvoite merkitä tuntematon – promptin lopussa, etusijalla kaikkiin muihin ohjeisiin nähden – sekä tarkistus omana työvaiheenaan.
Markkinointi, joka pystyttää itsensä
Studio Enginen beta on auki. Varaa paikkasi ja ole mukana alusta asti.
Osallistu betaan →