Da mesi l'AI ti dà risposte corrette. È il motivo per cui la prossima risposta sbagliata non la vedrai.

Carichi un contratto di fornitura e chiedi entro quanti giorni scade il preavviso di disdetta. Risponde sessanta giorni, cita la clausola, ti suggerisce di segnarti la data.

In quel contratto il preavviso non c'era. C'era la durata, c'era il rinnovo tacito, quel termine no.

L'affidabilità che abbassa la guardia

Chi usa l'AI da qualche mese ha ragione a dire che i modelli oggi ammettono di non sapere. Lo fanno, e molto più spesso di prima.

Sul benchmark di Vectara, che misura quanto una sintesi resta fedele al testo di partenza, i modelli di punta sono passati da un tasso di errore tra il 3 e l'8% nel 2023 a un valore tra l'1 e il 2,5% nel 2026.

Le prime venti risposte le verifichi tutte. Alla ventunesima leggi la conclusione e passi oltre, e da quel momento il controllo è diventato un'abitudine formale.

Un tasso di errore basso non riduce il danno se elimina la verifica che lo intercettava.

Dove l'errore si concentra

L'errore non si distribuisce a caso, e sapere dove si concentra cambia tutto.

Sale quando il modello lavora sui documenti che gli passi tu, un bilancio o un contratto o un capitolato. Sugli stessi benchmark di fedeltà i modelli di punta si collocano qui tra il 4 e il 9%, contro l'1-2,5% della sintesi semplice.

Il motivo è semplice. Una domanda fuori tema il modello la riconosce e te lo dice. Una domanda pertinente a cui il documento non risponde, no: il testo che ha davanti parla di quell'argomento, usa le stesse parole, affronta la stessa materia, e distinguere "ne parla" da "contiene esattamente quel dato" è un'operazione molto più fine.

È il caso del preavviso di disdetta. Il contratto è pieno di clausole sulla durata, la domanda è del tutto ragionevole, e la risposta plausibile si costruisce da sola.

Il controllo si sposta, non si toglie

Rileggere tutto non ha più senso: il novantacinque per cento di quello che rileggi è corretto, e sprechi l'attenzione dove non serve. Serve sapere quali risposte stanno nella zona di rischio.

Sono quattro, e si riconoscono a colpo d'occhio:

  • Le domande che chiedono un dato singolo e specifico dentro un documento lungo. Una data, un importo, una percentuale, un termine.
  • Le domande legittime a cui il documento potrebbe semplicemente non rispondere. Sono quelle in cui il rifiuto è più difficile e il modello inventa più spesso, che è quello che si chiama allucinazione.
  • Tutto ciò che richiede un calcolo. I modelli restano cattivi calcolatori anche adesso, e somme, percentuali e scadenze vanno fatte fare al foglio di calcolo, lasciando all'AI la frase che commenta il risultato.
  • Le risposte che escono dall'azienda. Un riepilogo interno e un'offerta al cliente non meritano lo stesso livello di verifica.

Su queste quattro la contromisura è una sola e costa dieci secondi: pretendere che ogni dato arrivi accompagnato dal punto esatto da cui esce, articolo o pagina.

Non stai verificando la risposta, stai verificando che il riferimento esista. È un controllo che fai senza rileggere il documento, e sposta la fatica da dove non serve a dove serve.

Quando il riferimento non arriva, o arriva vago, quella è la risposta da aprire e controllare a mano.

Il resto lo leggi normalmente, ed è il guadagno vero di uno strumento diventato affidabile.

L'AI di oggi merita più fiducia di quella di due anni fa, ma chi la usa bene ha smesso di chiedersi se lo strumento sia affidabile e ha iniziato a chiedersi su quali domande non lo è.

Luca Pernini - Script Solutions IT