EPSS oltre il Pronto Soccorso: una roadmap verticale per l’assurance dell’AI nei contesti ad alto impatto

Crescere senza perdere il rigore del metodo

EPSS, Evidence-based Perimeter for Safe Systems, è il framework di assurance sviluppato da LOGICA per definire a quali condizioni l’uso di un sistema di intelligenza artificiale è sostenuto dalle evidenze disponibili nel contesto reale.

La distinzione tra i due nomi è precisa: EPSS identifica il metodo, il servizio e i relativi deliverable; LOGICA è la società che li sviluppa e li porta sul mercato.

EPSS non valuta un modello AI soltanto attraverso metriche aggregate di accuratezza. Analizza l’intero sistema decisionale nel quale l’output viene utilizzato: popolazione, dati locali, workflow, configurazione, versione del modello, soglie operative, supervisione umana, pressione temporale e conseguenze dell’errore.

L’output centrale è il Perimetro di Validità, cioè una dichiarazione verificabile che stabilisce per quali usi, popolazioni e condizioni operative l’impiego del sistema risulta sostenuto dalle evidenze disponibili.

La roadmap iniziale prevede tre verticali principali:

1. Pronto Soccorso;
2. Cardiologia;
3. Medicina Interna.

Questa sequenza rappresenta il percorso operativo consolidato. Le ulteriori aree descritte nell’articolo costituiscono possibili estensioni future, da attivare soltanto dopo la validazione commerciale del primo verticale e in presenza di partner, dati e sistemi concretamente disponibili.

Una crescita per cerchi concentrici

L’espansione di EPSS non dovrebbe partire dall’ingresso simultaneo in molti settori differenti. La strategia più efficiente consiste nel procedere per cerchi concentrici:

• valutare un primo sistema in un reparto;
• applicare il metodo a un secondo sistema nella stessa struttura;
• estendere l’assessment a un reparto clinicamente e organizzativamente vicino;
• sviluppare moduli trasversali utilizzabili in più reparti;
• entrare successivamente in settori esterni ma metodologicamente affini.

Questa traiettoria consente di riutilizzare una parte rilevante del lavoro già svolto.

Il primo assessment costruisce infatti lo strato struttura: popolazione trattata, sistemi informativi, flussi operativi, responsabilità, procedure, qualità dei dati e controlli organizzativi. Nei successivi incarichi presso lo stesso ospedale, questa conoscenza viene aggiornata, non ricostruita integralmente.

Allo stesso modo, i criteri formalizzati entrano nella libreria EPSS e possono essere riutilizzati su nuovi casi d’uso.

Ciò che viene riutilizzato è però il criterio, non il risultato. Un sistema ritenuto utilizzabile in una struttura non è automaticamente utilizzabile in un’altra. Ogni conclusione deve essere nuovamente verificata sui dati, sul workflow e sulla configurazione locale.

Il punto di partenza: il Pronto Soccorso

Il primo verticale di EPSS è il Pronto Soccorso, con particolare attenzione ai sistemi di supporto al triage e alla prioritizzazione.

È uno degli ambienti più complessi per l’utilizzo dell’intelligenza artificiale. Le decisioni devono essere prese rapidamente, le informazioni disponibili possono essere incomplete e la popolazione trattata è estremamente eterogenea.

In questo contesto, l’effettiva utilità dell’output può dipendere da fattori che non compaiono nelle metriche generali del modello:

• completezza dei parametri registrati;
• momento nel quale i dati diventano disponibili;
• caratteristiche dei pazienti fragili;
• soglie configurate localmente;
• sovraffollamento;
• tempi di rivalutazione;
• modalità di presentazione dell’allerta;
• livello di fiducia dell’operatore;
• rischio di automation bias o alarm fatigue.

La Proof of Concept ha già mostrato l’applicazione del metodo a due sistemi reali: NEWS2, basato su regole fisse e specifica pubblica, ed Epic Sepsis Model, modello appreso proprietario.

In entrambi i casi, il punto centrale non è stato stabilire se lo strumento fosse genericamente “buono” o “cattivo”, ma verificare se uno specifico uso dell’output fosse sostenuto dalle evidenze disponibili.

Il Pronto Soccorso permette quindi di costruire i primi criteri ad alto valore riutilizzabile: assenza di allerta, completezza dei dati, corrispondenza delle soglie, tempi di decisione, conseguenze del falso negativo e condizioni reali di utilizzo.

L’estensione naturale all’Acute Care

Una possibile estensione operativa, soprattutto se disponibile presso la stessa struttura del primo cliente, riguarda l’Acute Care: reparti di degenza, gestione del deterioramento, sepsi, rapid response e terapia intensiva.

Questa linea non deve necessariamente sostituire la Cardiologia nella roadmap ufficiale. Può rappresentare un’estensione opportunistica del primo verticale quando l’accesso al reparto, ai dati e ai sistemi sia già disponibile.

I possibili casi d’uso comprendono:

• early warning;
• previsione del deterioramento;
• allerta per sepsi;
• rischio di trasferimento in terapia intensiva;
• supporto all’escalation;
• gestione degli alert;
• identificazione dei pazienti da rivalutare prioritariamente.

Molti criteri sviluppati nel Pronto Soccorso possono essere riutilizzati direttamente: qualità temporale dei dati, assenza di segnale, falsi negativi, soglie, alarm fatigue, supervisione umana e differenza tra ambiente di validazione e ambiente di produzione.

L’Acute Care potrebbe quindi diventare il primo esempio concreto di scalabilità della libreria EPSS.

Cardiologia: il secondo verticale strutturale

La Cardiologia rappresenta il secondo verticale previsto dalla roadmap.

È particolarmente adatta a EPSS perché molti sistemi producono output strutturati e collegati a decisioni chiaramente identificabili:

• interpretazione automatica dell’ECG;
• rilevazione delle aritmie;
• classificazione delle immagini;
• stratificazione del rischio;
• previsione di eventi cardiovascolari;
• prioritizzazione diagnostica;
• supporto al monitoraggio remoto.

In questo ambito, il Perimetro di Validità dovrebbe specificare con precisione la funzione attribuita all’output.

Un sistema può produrre una segnalazione, una classificazione preliminare, una probabilità, un’indicazione di priorità o un suggerimento diagnostico. Questi output non sono equivalenti e non sostengono automaticamente la stessa decisione.

Un ulteriore elemento centrale riguarda l’interpretazione da parte del medico.

Per esempio:

• come viene interpretata una probabilità dell’80%?
• quanto cambia la decisione rispetto alla valutazione formulata prima di vedere l’output?
• l’assenza di un segnale viene considerata rassicurante?
• il medico verifica comunque il caso?
• quale livello di fiducia viene attribuito al sistema?
• pressione temporale e carico cognitivo modificano il grado di affidamento?

Queste variabili possono diventare parte di un modulo osservazionale dedicato all’interazione tra professionista e AI.

Medicina Interna: complessità, multimorbidità e percorsi longitudinali

Il terzo verticale previsto è la Medicina Interna.

Qui la complessità aumenta perché il sistema non opera necessariamente su una singola decisione o su una finestra temporale breve. I pazienti presentano spesso multimorbidità, politerapia, fragilità e percorsi longitudinali.

I possibili casi d’uso comprendono:

• supporto decisionale;
• previsione del rischio di riospedalizzazione;
• identificazione del deterioramento;
• supporto alla gestione della politerapia;
• classificazione dei pazienti complessi;
• pianificazione della dimissione;
• priorità di follow-up;
• sintesi della documentazione clinica.

In questo contesto diventano particolarmente importanti la rappresentatività della popolazione, la stabilità temporale del modello, la completezza della storia clinica e la capacità del sistema di gestire presentazioni atipiche o condizioni concorrenti.

La Medicina Interna permetterebbe a EPSS di dimostrare la propria applicabilità non soltanto alle decisioni rapide, ma anche ai processi clinici distribuiti nel tempo.

Un futuro macro-verticale per l’AI diagnostica

Dopo il consolidamento dei primi tre verticali, EPSS potrebbe sviluppare una linea dedicata all’AI diagnostica, comprendente Radiologia e, successivamente, Patologia digitale.

I casi d’uso potrebbero includere:

• detection di anomalie;
• segmentazione;
• classificazione delle lesioni;
• prioritizzazione degli esami;
• supporto alla refertazione;
• referti preliminari;
• sistemi multimodali;
• confronto con esami precedenti.

In questo ambito è essenziale distinguere tra detection e diagnosi.

Un sistema può individuare un’area sospetta senza sostenere automaticamente una conclusione diagnostica. Allo stesso modo, una buona performance aggregata può non essere sufficiente quando cambiano apparecchiature, protocolli di acquisizione, qualità delle immagini, prevalenza o caratteristiche della popolazione.

La presentazione grafica dell’output può inoltre influenzare il comportamento del medico: evidenziazioni, ordine delle immagini, soglie e livelli di confidenza possono modificare l’attenzione anche indipendentemente dalla qualità statistica del sistema.

AI generativa clinica: un modulo trasversale

L’AI generativa non dovrebbe essere confinata a un singolo reparto. Potrebbe diventare un modulo trasversale denominato, per esempio, Clinical Generative AI Assurance.

Le applicazioni includono:

• sintesi della cartella clinica;
• lettere di dimissione;
• note cliniche;
• referti preliminari;
• risposte informative ai pazienti;
• recupero di informazioni;
• codifica;
• documentazione amministrativa.

In questi casi la qualità linguistica del testo non è sufficiente.

EPSS dovrebbe verificare:

• presenza di informazioni non sostenute dalle fonti;
• omissioni;
• provenienza delle affermazioni;
• qualità e completezza dei documenti utilizzati;
• modalità di revisione umana;
• modifiche effettuate dal professionista;
• tempo necessario per il controllo;
• rischio di accettazione automatica;
• conseguenze dell’errore documentale.

Questo modulo potrebbe essere applicato in Pronto Soccorso, Cardiologia, Medicina Interna e in molti altri reparti, generando un’elevata possibilità di riuso.

Farmacia e sicurezza terapeutica

Un’altra estensione coerente riguarda i sistemi di supporto alla prescrizione e alla sicurezza dei farmaci.

I possibili casi d’uso comprendono:

• interazioni farmacologiche;
• dosaggio personalizzato;
• riconciliazione terapeutica;
• identificazione di prescrizioni inappropriate;
• previsione di eventi avversi;
• antimicrobial stewardship;
• supporto alle terapie complesse.

L’inferenza da valutare potrebbe essere formulata in modo preciso:

A quali condizioni il suggerimento del sistema giustifica una modifica della prescrizione, del dosaggio o della priorità di intervento?

Questo verticale richiederebbe il coinvolgimento di farmacologi clinici o farmacisti ospedalieri, ma presenta il vantaggio di collegare ogni output a un’azione chiaramente identificabile e monitorabile.

AI organizzativa e amministrativa in sanità

EPSS potrebbe inoltre estendersi ai sistemi che non formulano direttamente una diagnosi, ma incidono sull’accesso alle cure e sull’allocazione delle risorse.

Esempi:

• gestione delle liste d’attesa;
• assegnazione degli appuntamenti;
• previsione dei ricoveri;
• gestione dei posti letto;
• dimissioni;
• organizzazione dei flussi;
• priorità operative;
• rischio di mancata presentazione;
• selezione dei casi da sottoporre a verifica.

Queste applicazioni possono produrre conseguenze rilevanti anche quando vengono definite “amministrative”. Un errore può comportare un ritardo, una priorità inadeguata o una distribuzione non equa delle risorse.

EPSS potrebbe sviluppare, in questo ambito, un modulo di Data and Deployment Assurance, dedicato alla qualità dei dati, alla provenienza delle informazioni, alla configurazione del sistema e alla corrispondenza tra dataset di sviluppo e impiego reale.

Il posizionamento dovrebbe però restare circoscritto: assurance dell’uso del sistema, non consulenza generica sulla conformità o sulla riorganizzazione aziendale.

Il primo settore esterno alla sanità: assicurazioni salute e vita

Dopo aver consolidato alcuni casi sanitari reali, il settore esterno più vicino potrebbe essere quello delle assicurazioni salute e vita.

I sistemi AI possono essere utilizzati per:

• classificazione del rischio;
• pricing;
• gestione dei sinistri;
• individuazione delle frodi;
• priorità delle verifiche;
• supporto alla liquidazione;
• segmentazione del portafoglio.

In questo caso l’assicuratore sarebbe cliente di EPSS quando utilizza direttamente il sistema da valutare.

Resterebbe invece esclusa la possibilità che l’assicuratore commissioni l’assessment sull’uso dell’AI svolto da una specifica struttura sanitaria assicurata. La distinzione tra cliente, soggetto valutato e lettore autorizzato deve rimanere rigorosa per preservare l’indipendenza del servizio.

Una futura estensione alla pubblica amministrazione e al welfare

In una fase più avanzata, il framework potrebbe essere applicato anche a sistemi utilizzati nella pubblica amministrazione per decisioni ad alto impatto:

• accesso a benefici;
• servizi sociali;
• graduatorie;
• classificazione delle domande;
• attribuzione di priorità;
• controlli;
• individuazione di situazioni di rischio;
• gestione di servizi essenziali.

In questi contesti, il Perimetro di Validità dovrebbe considerare non soltanto performance e dati, ma anche uguaglianza di trattamento, possibilità di contestazione, comprensibilità dell’output, supervisione umana e conseguenze dell’errore sulla persona.

L’ingresso in questo settore richiederebbe però competenze aggiuntive in diritto amministrativo, servizi pubblici e discriminazione algoritmica.

La roadmap proposta

La traiettoria complessiva può essere sintetizzata in questo modo:

Le prime tre fasi rappresentano la roadmap strutturale. Le successive sono opzioni di sviluppo da selezionare in base alle opportunità realmente disponibili.

Quando aprire un nuovo verticale

EPSS dovrebbe entrare in un nuovo settore soltanto quando siano soddisfatte alcune condizioni minime:

1. esiste un cliente o partner concretamente accessibile;
2. è identificabile una specifica decisione supportata dall’AI;
3. sono disponibili documentazione, dati o log sufficienti;
4. una parte della libreria può essere riutilizzata;
5. è disponibile un advisor competente nel dominio;
6. responsabilità e copertura assicurativa sono state verificate;
7. il nuovo verticale non sottrae risorse alla validazione commerciale in corso.

La domanda strategica non dovrebbe quindi essere:

In quanti settori può entrare EPSS?

La domanda corretta è:

In quale nuovo settore EPSS può riutilizzare più conoscenza, produrre un risultato verificabile e ridurre contemporaneamente il rischio metodologico e commerciale?

Dalla specializzazione alla generalizzazione

L’obiettivo non è trasformare immediatamente EPSS in un servizio capace di valutare qualsiasi sistema di intelligenza artificiale.

La traiettoria più credibile è opposta:

partire da un contesto difficile e determinato, dimostrare che il metodo funziona, estenderlo a decisioni vicine e generalizzarlo soltanto dopo aver accumulato criteri, casi e competenze.

Il Pronto Soccorso rappresenta il punto di partenza. Cardiologia e Medicina Interna costituiscono la prima espansione. L’intero ospedale può diventare il primo spazio di consolidamento. Assicurazioni e servizi pubblici potranno rappresentare una fase successiva.

In questo modo EPSS può ampliare il proprio mercato senza perdere ciò che lo rende distintivo: la capacità di dichiarare, in forma tracciabile e verificabile, dove termina l’evidenza e dove inizia l’incertezza.

EPSS è sviluppato da LOGICA, società dedicata all’assurance indipendente dei sistemi di intelligenza artificiale nei contesti decisionali ad alto impatto.