Un assessment fotografa un momento. Il sistema, invece, continua a cambiare.
Dopo la consegna del fascicolo possono cambiare la versione del modello, le soglie configurate, la qualità dei dati, il software con cui il sistema è integrato, la popolazione trattata, i protocolli, il workflow, gli operatori, le modalità di supervisione e il contesto organizzativo. Nessuna di queste variazioni richiede un guasto tecnico per prodursi, e diverse di esse non lasciano traccia in nessun indicatore di accuratezza.
Per questo il Perimetro di Validità non può essere interpretato come una dichiarazione priva di limiti temporali.
EPSS, Evidence-based Perimeter for Safe Systems, definisce le condizioni entro cui uno specifico uso di un sistema di intelligenza artificiale è sostenuto dalle evidenze disponibili, per una determinata struttura, una determinata versione e una determinata fase operativa. Quando cambia una delle condizioni rilevanti, il Perimetro deve essere verificato nuovamente.
Il monitoraggio non è quindi un servizio accessorio. È la prosecuzione dell’assessment.
La validità non è permanente
Un sistema può essere valutato adeguatamente al momento dell’adozione e uscire successivamente dal proprio Perimetro di Validità.
Può accadere perché viene installata una nuova versione, perché cambia la soglia che genera l’allerta, perché un dato non viene più registrato con la stessa frequenza, perché cambia il protocollo clinico, perché il personale utilizza l’output in un modo diverso da quello osservato in fase di valutazione, perché aumenta il numero di alert, perché la popolazione si modifica o emerge un sottogruppo non rappresentato, perché vengono osservati incidenti o near miss, oppure perché il modello perde calibrazione nel tempo.
Qui si colloca la differenza rispetto agli strumenti di monitoraggio dei modelli in produzione. Quegli strumenti rilevano il degrado dopo che si è verificato e in forma aggregata: segnalano che il sistema si comporta diversamente, non per quali usi e per quali pazienti abbia smesso di essere giustificato. Un criterio scritto per un uso specifico, invece, può risultare violato mentre le metriche aggregate restano stabili. La differenza non è di accuratezza, è di oggetto.
Il monitoraggio EPSS deve rendere visibili proprio queste variazioni.
Che cosa significa monitorare
Monitorare non significa osservare genericamente se il modello funziona. Significa rieseguire periodicamente controlli definiti in anticipo e verificare se le condizioni che sostengono il Perimetro continuano a essere rispettate.
Ogni piano di monitoraggio dovrebbe specificare, per ciascuna condizione:
- la condizione da verificare;
- l’indicatore utilizzato;
- la fonte del dato;
- la frequenza del controllo;
- la soglia di attenzione;
- il responsabile della raccolta;
- la modalità di comunicazione dell’esito;
- l’evento che impone una rivalutazione;
- la conseguenza operativa della condizione non soddisfatta.
Il piano va quindi costruito a partire dal Perimetro di Validità, non aggiunto in seguito come pacchetto standard indistinto. Se il monitoraggio non è derivato dalle condizioni che sostengono un uso determinato, non verifica quell’uso: verifica qualcos’altro.
La baseline iniziale
La prima attività consiste nella definizione di una baseline, che descrive le condizioni presenti nel momento in cui il Perimetro viene approvato: versione del sistema, soglie, feature disponibili, qualità e completezza dei dati, workflow, catena delle responsabilità, modalità di override, protocolli, popolazione, metriche nei sottogruppi, frequenza degli alert, comportamento osservato degli operatori.
Le verifiche successive confrontano la situazione osservata con questa configurazione iniziale. Senza baseline non è possibile distinguere fra stabilità, miglioramento e deriva, e ogni scostamento resta interpretabile a piacere.
Monitoraggio programmato e monitoraggio per evento
Le due modalità sono complementari.
Il monitoraggio programmato riesegue i controlli con frequenza prestabilita, mensile, trimestrale, semestrale o annuale a seconda del rischio e della disponibilità dei dati.
Il monitoraggio attivato da un evento avvia la rivalutazione quando si verifica una circostanza determinata: aggiornamento del sistema, modifica di una soglia, cambiamento del protocollo, nuova integrazione informatica, incidente, near miss, aumento anomalo degli alert, riduzione della completezza dei dati, introduzione di una nuova popolazione, cambiamento rilevante del workflow.
La seconda modalità serve a impedire che una modifica sostanziale resti invisibile fino alla verifica periodica successiva. Gli eventi che la attivano vanno elencati nel contratto, insieme al soggetto tenuto a comunicarli.
Il comportamento del professionista come dato
Una parte essenziale del monitoraggio riguarda l’interazione fra operatore e sistema. La qualità dell’output non determina da sola la qualità della decisione: conta anche il modo in cui l’output viene interpretato.
Le variabili osservabili includono la decisione formulata prima e dopo la consultazione del sistema, il tempo di latenza, la frequenza dell’override, la presenza di una verifica indipendente, l’interpretazione dell’assenza di segnale, la pressione temporale, la frequenza di accettazione automatica e le differenze fra turni.
L’obiettivo non è stabilire quale decisione clinica debba essere assunta, né valutare i singoli professionisti. È documentare come il sistema modifica il processo decisionale e in quali condizioni aumenta il rischio di eccessivo affidamento o, all’opposto, di sistematico mancato utilizzo. Perché l’osservazione sia praticabile, il perimetro di ciò che viene raccolto e il livello di aggregazione dei dati vanno concordati con la struttura prima dell’avvio.
Che cosa contiene il report periodico
Il report di monitoraggio dovrebbe essere breve, comparabile fra un ciclo e il successivo e orientato alla decisione. Una struttura possibile comprende versione e configurazione osservate, condizioni rieseguite, indicatori e fonti utilizzati, differenze rispetto alla baseline, condizioni ancora soddisfatte, condizioni divenute non accertate, condizioni non più soddisfatte, incidenti e near miss registrati, modifiche del workflow e necessità di aggiornare il Perimetro.
Il report non deve limitarsi a esporre dashboard. Deve dire quali variazioni incidono sulla validità di quello specifico uso, e quali no.
Che cosa il monitoraggio non è
Il perimetro del servizio va dichiarato con la stessa precisione del perimetro del sistema valutato.
Il monitoraggio consiste nella riesecuzione di controlli definiti, a frequenza pattuita, su dati forniti dalla struttura. Non è sorveglianza continua e non produce segnalazioni fra un’esecuzione e l’altra. L’obbligo assunto è di eseguire i controlli e comunicarne l’esito entro un termine, non di garantire la rilevazione di qualunque evento.
EPSS non dispone del potere di sospendere l’utilizzo del sistema. Restano in capo alla struttura la fornitura dei dati, il protocollo di escalation, la valutazione della condotta clinica, la decisione di sospendere o modificare l’uso del sistema e la gestione degli eventi fra una verifica e la successiva. Gli obblighi di sorveglianza che gravano su chi impiega il sistema non sono trasferibili a chi lo valuta.
Il protocollo di escalation va scritto prima dell’avvio del monitoraggio, come condizione del contratto e non come allegato successivo. La distinzione è operativa e insieme di responsabilità.
Il valore del monitoraggio nel modello di business
Dal punto di vista economico, il monitoraggio converte una parte dei ricavi da progettuali a ricorrenti. Il vantaggio, però, non è soltanto la prevedibilità del fatturato.
Un rapporto continuativo consente di osservare il comportamento reale del sistema nel tempo, verificare la stabilità dei criteri già formalizzati, arricchire la libreria, individuare nuove classi d’uso, riconoscere failure mode ricorrenti, ridurre il costo delle rivalutazioni successive e costruire una base evidenziale più solida, nei limiti dei diritti sui dati concordati con il cliente.
Il monitoraggio è quindi contemporaneamente un prodotto, una fonte di ricavo ricorrente e il principale meccanismo di apprendimento metodologico.
Un servizio modulare, non un canone indistinto
Il servizio può essere articolato su livelli differenti, così da adattare frequenza e profondità al rischio effettivo del sistema.
Il monitoraggio documentale verifica versione, soglie, protocolli, aggiornamenti e documentazione del produttore. Il monitoraggio dei dati controlla completezza, distribuzione, drift, performance e comportamento nei sottogruppi. Il monitoraggio del workflow osserva periodicamente le condizioni d’uso, gli override, i tempi e l’interazione con il professionista. La rivalutazione straordinaria è un nuovo assessment attivato da un aggiornamento, da un incidente o da una modifica sostanziale.
Gli indicatori con cui misurare il servizio
L’efficacia del monitoraggio andrebbe misurata con indicatori propri: percentuale di clienti che lo attivano; tasso di rinnovo annuale; tempo medio di riesecuzione dei controlli; numero di condizioni rivalutate per ciclo; modifiche rilevate prima che si producesse un incidente; incidenti e near miss esaminati; variazioni di versione intercettate; condizioni divenute non accertate; quota di ricavi ricorrenti; costo diretto per ciclo di monitoraggio.
Servono a rispondere a due domande distinte: se il servizio produce valore per la struttura, e se la componente ricorrente del modello economico è sostenibile.
Il Perimetro come configurazione controllata
Il Perimetro di Validità non è un documento statico da archiviare. È più utile leggerlo come una configurazione controllata: vale per una versione, per un uso, per una popolazione, per un workflow e per un periodo, e dipende da condizioni verificabili.
Il monitoraggio verifica se quella configurazione continua a esistere. In questo modo EPSS accompagna l’intero ciclo di vita dell’utilizzo dell’AI: valutazione iniziale, adozione, esercizio, aggiornamento e rivalutazione.
Conclusione
Il valore di un assessment non termina con la consegna del fascicolo. Con la consegna inizia una fase diversa, che consiste nel verificare se le condizioni sulle quali il Perimetro è stato costruito continuano a essere rispettate.
Il monitoraggio permette a EPSS di passare da una fotografia iniziale a una relazione continuativa con la struttura, senza trasformarsi in sorveglianza permanente e senza sostituirsi alle responsabilità cliniche e organizzative del cliente.
È questo passaggio a convertire l’assurance dell’AI da prestazione occasionale a infrastruttura stabile di governo.
EPSS è sviluppato da LOGICA, dedicata all’assurance indipendente dei sistemi di intelligenza artificiale nei contesti decisionali ad alto impatto.
Lascia un commento