Dati estratti con l’AI: come verificarli prima di usarli

Intelligenza artificiale · · 5 min di lettura

Una schermata mostra i campi estratti da un documento e tutto sembra coerente. Questo non significa che i dati siano corretti: un codice scambiato, una quantità interpretata male o una voce inventata possono passare inosservati. Prima di usare quei valori nel lavoro serve un confronto con l’originale, campo per campo.

La verifica parte da un insieme di documenti con risposte confermate da una persona. Si definiscono campi critici, trattamento dei mancanti e revisione necessaria. Il criterio non è quanto sia convincente la risposta dell’AI, ma quanto lavoro affidabile resta dopo aver controllato e corretto gli errori.

1. Separare trascrizione e interpretazione

Trascrivere significa riportare un valore presente: codice, data o quantità. Interpretare significa assegnargli un significato, per esempio capire se una data indica consegna prevista oppure emissione. Valutate questi compiti separatamente. Una trascrizione corretta può essere associata al campo sbagliato; una spiegazione plausibile non prova che il documento contenga davvero quel dato.

Il profilo NIST per i rischi dell’AI generativa descrive la confabulazione: contenuti errati presentati con sicurezza. È una risorsa volontaria per gestire rischi, non una certificazione o un obbligo. Il PDF NIST AI 600-1, nella sezione dedicata, aiuta a capire perché una risposta ben formulata non basta come verifica.

2. Preparare un insieme di test con valori confermati

Scegliete documenti che rappresentino il lavoro: formati frequenti, scansioni difficili, pagine multiple e casi con informazioni assenti. Non selezionate soltanto gli esempi più puliti. Una persona competente legge gli originali e registra i valori attesi, indicando i dubbi invece di risolverli a intuito. Per i campi delicati prevedete un secondo controllo dei valori di riferimento.

Separate i documenti usati per preparare lo strumento da quelli usati per valutarlo. Conservate una versione del campione e delle risposte attese, così un cambiamento può essere confrontato con il risultato precedente. Non serve dichiarare un campione universalmente sufficiente: serve spiegare quali casi copre, quali mancano e perché rappresenta o non rappresenta il vostro lavoro.

3. Definire campi critici, mancanti e riferimenti

Per ogni campo annotate formato atteso, conseguenza di un errore e verifica richiesta. Un riferimento documento sbagliato può collegare informazioni alla pratica errata; una descrizione incompleta può essere meno urgente, ma va comunque valutata nel contesto. Non trattate tutti gli errori come equivalenti soltanto perché occupano una cella.

Quando il dato non è presente, il risultato deve rimanere mancante, ad esempio null, accompagnato da un esito comprensibile. Non riempitelo con zero, una data odierna o un valore probabile. Distinguete «assente nell’originale», «non leggibile» e «da interpretare». Ogni proposta deve permettere di aprire il documento e la pagina da cui deriva; quel riferimento va controllato, non accettato perché prodotto dallo stesso modello.

4. Misurare errori per campo e lavoro di revisione

Confrontate proposte e valori attesi per ciascun campo. Registrate valori corretti, errati, mancanti e da interpretare, separando il numero dei casi in cui il campo era realmente presente. Guardate quali errori si ripetono: separatori decimali, codici simili, righe spezzate o associazioni tra pagine. Un’unica percentuale complessiva può nascondere problemi proprio sui campi più importanti.

Misurate anche il lavoro necessario per aprire l’originale, cercare il punto e correggere. Confrontatelo con il metodo manuale sullo stesso tipo di documenti. Concordate soglie aziendali basate sulle conseguenze degli errori e sul costo di revisione, senza presentarle come benchmark universali. La sicurezza dichiarata dal modello non è una misura di accuratezza verificata né un’autorizzazione ad agire.

Esempio illustrativo: una scheda tecnica ricevuta in PDF

Prova ipotetica, senza dati reali, clienti o percentuali di accuratezza promesse.

Un ufficio vuole riportare codice prodotto, dimensione e quantità da schede tecniche. Una persona prepara valori confermati per documenti fittizi di diversi formati. In uno il codice è leggibile, ma la dimensione manca: il risultato atteso lascia il campo nullo. In un altro una cifra è ambigua: il caso resta da verificare, invece di scegliere il numero più plausibile.

Lo strumento propone i valori con un riferimento alla pagina. Il revisore apre l’originale, conferma il codice e corregge una quantità associata alla riga sbagliata. La correzione viene registrata insieme al tipo di errore. Nessun dato entra automaticamente in un ordine o in un pagamento: la prova serve a valutare l’assistenza alla lettura, non ad autorizzare conseguenze economiche.

5. Tenere revisione umana e accessi separati

Separate proposta, conferma e uso del dato. Il sistema operativo deve ricevere valori confermati, con indicazione di chi li ha controllati. Limitate l’accesso agli originali e alle estrazioni secondo le responsabilità effettive: una persona non autorizzata al documento non dovrebbe riceverne i contenuti tramite una ricerca o un riepilogo.

Concordate dove vengono elaborati i documenti e quali informazioni possono essere condivise nel test. Non estendete questo primo progetto a pagamenti automatici o fatturazione fiscale. Se la revisione costa quanto la trascrizione, o gli errori critici rimangono difficili da individuare, fermarsi è una scelta valida. Anche un modello aggiornato va ricontrollato sul campione, senza presumere risultati migliori.

Checklist finale prima di usare le estrazioni

  • Compito definito: trascrivere un valore oppure interpretarne il significato.
  • Campione rappresentativo con valori attesi confermati da una persona.
  • Campi critici, mancanti e riferimenti alla pagina trattati esplicitamente.
  • Errori per campo e lavoro di revisione confrontati con il metodo attuale.
  • Revisione umana, accessi separati e criteri aziendali per interrompere la prova.

Per il quadro generale leggete i casi d’uso AI nelle PMI; per preparare dati strutturati, la guida su Excel prima della migrazione. L’analisi iniziale è gratuita: descrivete il tipo di documento, i campi da estrarre e il controllo che svolgete oggi.

Fonti