Quando l'IA si inventa le cose

In breve

I dati inventati non nascono sulle domande difficili, ma su quelle che hanno una forma di risposta attesa: numeri, fonti, articoli di legge.
Cinque tipi ne sono particolarmente colpiti: studi, volumi di ricerca, riferimenti normativi, dettagli di prodotto e citazioni.
La misura più efficace è un divieto di invenzione nel prompt più l'obbligo di segnalare ciò che non si conosce.
Un tono sicuro non è segno di correttezza: i modelli formulano i dati inventati con la stessa disinvoltura di quelli documentati.

Il termine «allucinazione» porta fuori strada, perché fa pensare a uno stato d'eccezione. In realtà si tratta dello stesso procedimento che produce anche le risposte giuste: la continuazione probabile di un testo.

Alla domanda su uno studio riguardante un tema, la continuazione probabile è un riferimento a uno studio con istituto, anno e percentuale. Se quello studio esista non è una grandezza rilevante per la generazione.

Cinque tipi di informazione particolarmente colpiti

1. Studi e statistiche

«Secondo un'indagine del 2024 il 67 per cento delle PMI usa…»: istituto, anno e percentuale insieme risultano molto convincenti, e tutti e tre possono essere inventati.

Segnale di riconoscimento: numeri tondi, nessun collegamento, istituto senza titolo preciso.

2. Volumi di ricerca e cifre di mercato

Nessun modello ha accesso ai dati delle query di un motore di ricerca. Se glielo si chiede, i numeri arrivano lo stesso, perché la domanda si aspetta un numero.

Segnale di riconoscimento: qualsiasi numero in questo ambito. Senza eccezioni.

3. Riferimenti normativi e termini

Numeri di articolo, commi, periodi transitori. Particolarmente pericolosi perché suonano tecnici e nella pratica innescano decisioni.

Segnale di riconoscimento: un numero preciso senza indicazione della versione e della data.

4. Dettagli di prodotto e prezzi

Dotazione di funzioni, soglie tariffarie, prezzi dei fornitori. Cambiano spesso e stanno spesso dietro un'area riservata.

Segnale di riconoscimento: importi esatti senza data e senza fonte.

5. Citazioni e dati su persone

Citazioni letterali, denominazioni di ruolo, chi ha detto che cosa e quando. Qui il danno è massimo, perché si attribuisce qualcosa a persone reali.

Segnale di riconoscimento: qualsiasi citazione senza un riscontro verificabile.

Lo sapevi?

Il tono non rivela nulla. I modelli formulano i dati inventati con la stessa fermezza di quelli documentati: un «probabilmente» o «forse» non compare là dove sta davvero l'incertezza.

È per questo che il metodo di verifica abituale fallisce: le persone valutano la credibilità anche dalla sicurezza dell'esposizione. Nei modelli quel segnale non esiste, e bisogna verificare il dato in sé, non il modo in cui viene presentato.

Che cosa aiuta davvero

Divieto di invenzione nel prompt. L'istruzione di non usare numeri o fonti che non stiano nei dati forniti, e di segnare ciò che non si conosce come [dato mancante]. La singola misura più efficace.
Fornire il materiale invece di chiederlo. Chi scrive i propri numeri nel prompt non ha bisogno di numeri inventati. La differenza tra «scrivi qualcosa su X» e «scrivi qualcosa su X, ecco i nostri numeri» è il salto di qualità singolo più grande.
Modelli capaci di cercare per l'attualità. Se il modello può cercare e nomina le fonti, i dati si possono verificare. Ma «verificabile» non significa «verificato».
La verifica come passaggio a sé. Far generare un elenco di tutte le affermazioni verificabili e poi verificarle da soli. Separata dalla scrittura, altrimenti viene saltata.
Numeri con provenienza. Ogni numero nel testo finito riceve un'indicazione di provenienza, anche quando è «valore d'esperienza, non un rilevamento».

Attenzione La domanda «sei sicuro?» non è una verifica. Un modello può confermare un dato inventato nella stessa conversazione o cambiarlo sotto pressione: nessuna delle due cose dice qualcosa sulla correttezza. Si verifica alla fonte, non nella conversazione.

Dalla pratica

Il caso più costoso non è il dato palesemente falso, è quello di poco fuori bersaglio: un termine che esiste, ma con un'altra data. Un articolo che esiste, ma disciplina un'altra cosa. Un prezzo di un fornitore che era giusto due anni fa.

Dati del genere superano qualsiasi verifica superficiale, perché si lasciano confermare, solo in un'altra versione. Per questo non basta verificare che la fonte esista: bisogna verificare che dica ciò che sta nel testo.

La regola nel prompt, alla lettera

Tre frasi che vanno in ogni prompt in cui possano nascere dati verificabili:

Blocco di prompt

Regole per i dati:
1. Non usare numeri, studi, riferimenti normativi o citazioni
   che non stiano nel materiale che ti ho fornito sopra.
2. Dove ti serve un dato che lì manca, scrivi [dato mancante:
   quale] invece di aggiungere qualcosa.
3. Segna ogni affermazione che non puoi documentare dal
   materiale con [non verificato] a fine frase.

Queste tre regole hanno la precedenza su tutte le altre
istruzioni di questo prompt.

L'ultima frase non è superflua: le indicazioni alla fine di un prompt vengono considerate in modo più affidabile, e una precedenza esplicita impedisce che le regole vengano sacrificate al desiderio di un testo scorrevole.

Verificare con un secondo passaggio

Prompt

Esamina il testo seguente cercando dati che potrebbero essere
inventati. Sii severo; non lodare nulla; non riscrivere il testo.

Testo:
[inserire testo]

Compiti:
1. Elenca singolarmente ogni affermazione verificabile: numeri,
   percentuali, studi, riferimenti normativi, annate, dati di
   prodotto, prezzi, citazioni.
2. Segna per ogni affermazione: documentabile dal testo stesso /
   devo verificarla esternamente / sembra inventata. Per
   "sembra inventata" indica il segnale di riconoscimento.
3. Indica i tre dati la cui falsità farebbe il danno maggiore, e
   motiva.
4. Per ogni dato non documentato formula una versione che ne
   faccia a meno e dica comunque qualcosa.

Non inventare indicazioni di fonte né prove. Se non riesci a
collocare un dato, scrivilo.

Conclusione

I dati inventati non sono un difetto dello strumento, sono una proprietà del procedimento. Non spariscono, ma si possono contenere: fornire il materiale invece di chiederlo, mettere il divieto di invenzione nel prompt, e fare della verifica un passaggio di lavoro a sé.

La conseguenza scomoda: ogni dato verificabile in un testo pubblicato deve essere stato verificato da una persona. È la parte che non si può automatizzare, ed è il motivo per cui la competenza tecnica, usando i modelli di linguaggio, diventa più importante e non meno.

Domande frequenti

Perché i modelli di linguaggio inventano le cose?

Perché producono la continuazione probabile di un testo. Alla domanda su uno studio, la continuazione probabile è un riferimento con istituto, anno e percentuale: se quello studio esista non è una grandezza rilevante per la generazione. È lo stesso procedimento che produce anche le risposte giuste.

Quali dati ne sono particolarmente colpiti?

Cinque tipi: studi e statistiche, volumi di ricerca e cifre di mercato, riferimenti normativi e termini, dettagli di prodotto e prezzi, e citazioni e dati su persone. Hanno in comune il fatto che la domanda si aspetta una determinata forma di risposta: un numero, un articolo, una citazione.

I dati inventati si riconoscono dal tono?

No. I modelli formulano i dati inventati con la stessa fermezza di quelli documentati; le riserve come «probabilmente» non compaiono là dove sta davvero l'incertezza. Va verificato il dato in sé, non il modo in cui viene presentato.

Serve chiedere «sei sicuro?»

No. Un modello può confermare un dato inventato nella stessa conversazione o cambiarlo sotto pressione, e nessuna delle due cose dice nulla sulla correttezza. La verifica avviene alla fonte, non nella conversazione.

Che cosa aiuta di più?

Fornire il materiale invece di chiederlo: chi scrive i propri numeri nel prompt non ha bisogno di numeri inventati. In più un divieto esplicito di invenzione con obbligo di segnalare ciò che non si conosce, alla fine del prompt e con precedenza su tutte le altre istruzioni, e una verifica come passaggio di lavoro a sé.