Când IA inventează lucruri: după ce se recunoaște și cum se împiedică
Un model nu inventează din rea-voință, ci pentru că produce continuarea probabilă a unui text – iar un studiu inventat este o continuare foarte probabilă. Asta nu se poate împiedica de tot, dar se poate îngrădi în bună măsură.
Pe scurt
- Informațiile inventate nu apar la întrebările grele, ci la acelea pentru care există o formă de răspuns așteptată – cifre, surse, articole de lege.
- Cinci feluri sunt deosebit de expuse: studiile, volumele de căutare, indicațiile legale, detaliile de produs și citatele.
- Măsura cea mai eficientă este o interdicție de a inventa, pusă în prompt, plus obligația de a marca ce nu se știe.
- Tonul sigur pe sine nu este un semn de corectitudine – modelele formulează informațiile inventate la fel de degajat ca pe cele dovedite.
Noțiunea de „halucinație” duce în eroare, pentru că sună a stare de excepție. În realitate este vorba de același procedeu care produce și răspunsurile corecte: continuarea probabilă a unui text.
La întrebarea despre un studiu pe o temă, continuarea probabilă este o indicație de studiu cu institut, an și procent. Dacă acel studiu există sau nu, nu este o mărime pentru procesul de producere.
Cinci feluri de informații deosebit de expuse
1. Studii și statistici
„Potrivit unei cercetări din 2024, 67 de procente dintre IMM-uri folosesc …” – institutul, anul și procentul lucrează împreună foarte convingător, iar toate trei pot fi liber inventate.
Semne de recunoaștere: cifre rotunde, nicio legătură, institut fără titlu exact.
2. Volume de căutare și cifre de piață
Niciun model nu are acces la datele de interogare ale unui motor de căutare. La întrebare vin totuși cifre – pentru că întrebarea așteaptă o cifră.
Semne de recunoaștere: orice cifră din acest domeniu. Fără excepție.
3. Indicații legale și termene
Numere de articole, paragrafe, termene de tranziție. Deosebit de primejdioase, pentru că sună a specialitate și declanșează hotărâri în practică.
Semne de recunoaștere: număr precis, fără numirea versiunii și a datei.
4. Detalii de produs și prețuri
Funcții cuprinse, limitele tarifelor, prețurile furnizorilor. Se schimbă des și stau adesea în spatele unei autentificări.
Semne de recunoaștere: sume exacte, fără dată și fără sursă.
5. Citate și date despre persoane
Citate cuvânt cu cuvânt, denumiri de funcții, cine ce a spus și când. Aici paguba este cea mai mare, pentru că unor oameni reali li se pune ceva în seamă.
Semne de recunoaștere: orice citat fără un loc verificabil.
Știai că…?
Tonul nu trădează nimic. Modelele formulează informațiile inventate cu aceeași hotărâre ca pe cele dovedite – un „probabil” sau „se poate” nu apare acolo unde se află de fapt nesiguranța.
Acesta este motivul pentru care metoda obișnuită de verificare dă greș: oamenii apreciază credibilitatea și după siguranța cu care ceva este spus. La modele, acest semnal nu există – trebuie verificată informația însăși, nu felul în care este înfățișată.
Ce ajută cu adevărat
- Interdicția de a inventa, pusă în prompt. Instrucțiunea de a nu folosi nicio cifră și nicio sursă care nu se află în materialul dat – și de a marca ce nu se știe cu
[informație lipsă]. Măsura cea mai eficientă luată separat. - Dați material, nu întrebați. Cine își scrie propriile cifre în prompt nu are nevoie de unele inventate. Deosebirea dintre „scrie ceva despre X” și „scrie ceva despre X, iată cifrele noastre” este cel mai mare salt de calitate luat separat.
- Modele care pot căuta, pentru lucrurile de actualitate. Dacă modelul poate căuta și numește sursele, informațiile se pot verifica. Dar a putea verifica nu înseamnă: verificat.
- Verificarea ca pas separat. Puneți-l să producă o listă a tuturor afirmațiilor verificabile, apoi verificați-le voi. Despărțit de scris, altfel pasul este sărit.
- Cifre cu proveniență. Fiecare cifră din textul gata primește o indicație de proveniență – chiar dacă ea sună „valoare din experiență, nu un studiu”.
Cazul cel mai costisitor nu este informația vădit falsă, ci cea care cade la mustață alături: un termen care există, dar cu altă dată. Un articol de lege care există, dar reglementează altceva. Un preț de furnizor care era corect acum doi ani.
Astfel de informații trec de orice verificare de suprafață, pentru că se lasă confirmate – doar că într-o altă versiune. De aceea nu ajunge să verificați dacă sursa există; trebuie verificat dacă ea spune ceea ce stă în text.
Regula de prompt, cuvânt cu cuvânt
Trei propoziții care aparțin oricărui prompt din care pot ieși informații verificabile:
Reguli pentru informații: 1. Nu folosi nicio cifră, niciun studiu, nicio indicație legală și niciun citat care nu se află în materialul pe care ți l-am dat mai sus. 2. Acolo unde ai nevoie de o informație care lipsește de acolo, scrie [informație lipsă: care] în loc să completezi ceva. 3. Marchează fiecare afirmație pe care nu o poți dovedi din material, la sfârșitul propoziției, cu [neverificat]. Aceste trei reguli au întâietate față de toate celelalte instrucțiuni din acest prompt.
Ultima propoziție nu este de prisos: informațiile de la sfârșitul unui prompt sunt luate în seamă mai sigur, iar o întâietate spusă limpede împiedică punerea regulilor în cumpănă cu dorința de a avea un text curgător.
Verificarea printr-o a doua trecere
Verifică textul următor pentru informații care ar putea fi inventate. Fii sever; nu lăuda nimic; nu rescrie textul. Textul: [Inserează textul] Sarcini: 1. Enumeră fiecare afirmație verificabilă separat: cifre, valori procentuale, studii, indicații legale, ani, date de produs, prețuri, citate. 2. Marchează fiecare afirmație: se poate dovedi din textul însuși / trebuie să o verific în afară / pare inventată. La "pare inventată", numește semnul de recunoaștere. 3. Numește cele trei informații a căror falsitate ar face paguba cea mai mare, și argumentează. 4. Formulează pentru fiecare informație nedovedită o variantă care se descurcă fără ea și spune totuși ceva. Nu inventa indicații de sursă și nici dovezi. Dacă nu poți încadra o informație, scrie asta.
Concluzie
Informațiile inventate nu sunt o defecțiune a uneltei, ci o însușire a procedeului. Ele nu dispar, dar se lasă îngrădite: dați material în loc să întrebați, puneți interdicția de a inventa în prompt și faceți din verificare un pas de lucru separat.
Urmarea neplăcută: fiecare informație verificabilă dintr-un text publicat trebuie să fi fost verificată de un om. Aceasta este partea care nu se lasă automatizată – și motivul pentru care cunoașterea de specialitate devine mai importantă la folosirea modelelor lingvistice, nu mai puțin importantă.
Întrebări frecvente
De ce inventează modelele lingvistice lucruri?
Pentru că produc continuarea probabilă a unui text. La o întrebare despre un studiu, continuarea probabilă este o indicație de studiu cu institut, an și procent – dacă acel studiu există sau nu, nu este o mărime pentru procesul de producere. Este vorba de același procedeu care scoate și răspunsurile corecte.
Ce informații sunt deosebit de expuse?
Cinci feluri: studiile și statisticile, volumele de căutare și cifrele de piață, indicațiile legale și termenele, detaliile de produs și prețurile, precum și citatele și datele despre persoane. Comun le este faptul că întrebarea așteaptă o anumită formă de răspuns – o cifră, un număr de articol, un citat.
Se recunosc informațiile inventate după ton?
Nu. Modelele formulează informațiile inventate cu aceeași hotărâre ca pe cele dovedite; rezervele de tipul „probabil” nu apar acolo unde se află de fapt nesiguranța. Trebuie verificată informația însăși, nu felul în care este înfățișată.
Ajută întrebarea „Ești sigur?”
Nu. Un model poate să confirme în aceeași discuție o informație inventată sau să o schimbe sub presiune – niciuna dintre cele două nu spune nimic despre corectitudine. Verificarea are loc la sursă, nu în discuție.
Ce ajută cel mai eficient împotrivă?
Să dați material în loc să întrebați: cine își scrie propriile cifre în prompt nu are nevoie de unele inventate. La asta se adaugă o interdicție limpede de a inventa, cu obligația de a marca ce nu se știe – la sfârșitul promptului, cu întâietate față de toate celelalte instrucțiuni – și verificarea ca pas de lucru separat.
Marketing care se configurează singur
Beta Studio Engine este deschisă. Rezervă-ți locul și contribuie de la început.
Participă la beta →