L’accuratezza del modello non basta

Le metriche aggregate possono indicare quanto un sistema AI abbia funzionato durante lo sviluppo o la validazione, ma non stabiliscono automaticamente se il suo output sia affidabile per uno specifico paziente, reparto, workflow o contesto operativo.

Uno stesso sistema può essere utilizzato in modi diversi, da professionisti diversi e per decisioni differenti. La qualità dell’uso dipende anche dai dati disponibili, dalla configurazione locale, dalla versione del modello, dalle soglie impostate, dalla pressione temporale e dal modo in cui il professionista interpreta l’output.

Per una struttura sanitaria, la domanda decisiva non è soltanto:

“Quanto è accurato il modello?”

“A quali condizioni possiamo utilizzare il suo output per questa specifica decisione clinica?”

1 – La soluzione EPSS di Logica

Valutiamo l’uso dell’AI, non soltanto il modello

EPSS analizza il sistema di intelligenza artificiale all’interno del contesto in cui viene realmente impiegato.

La valutazione considera:
– specifico uso dell’output;
– la popolazione clinica interessata;
– il reparto e il workflow operativo;
– la qualità e completezza dei dati locali;
– la versione del sistema e le soglie configurate;
– la corrispondenza tra ambiente di sviluppo e produzione;
– l’interazione tra professionista e software;
– i controlli organizzativi;
– le conseguenze degli errori;
– le condizioni da monitorare nel tempo.

Il risultato non è un punteggio generico e non è una dichiarazione assoluta di sicurezza. È una valutazione condizionale, tracciabile e riferita a uno specifico utilizzo.

2 – Il Perimetro di Validità
Dove l’uso dell’AI è sostenuto dalle evidenze

L’output centrale di EPSS è il Perimetro di Validità.

Il documento stabilisce per quali usi, popolazioni, contesti, versioni e condizioni operative gli output del sistema risultano sostenuti dalle evidenze disponibili.

Ogni condizione viene classificata in uno dei seguenti stati:

Soddisfatta
Le evidenze disponibili sostengono la condizione per lo specifico uso analizzato.

Non soddisfatta
Esiste un’evidenza pertinente che contraddice la condizione.

Non accertata
Le informazioni disponibili non consentono di concludere né a favore né contro.

L’assenza di evidenza non viene trasformata in rassicurazione: rimane visibile come elemento da verificare.

3 – Cosa consegnamo
Il Perimetro di Validità è accompagnato da un insieme strutturato di deliverable che documentano il processo di valutazione.

Perimetro di Validità
Definisce i confini entro cui lo specifico uso del sistema AI è sostenuto dalle evidenze disponibili.

Clinical Assurance Dossier
Raccoglie il processo di assessment, i controlli eseguiti, le conclusioni, i limiti e le azioni necessarie per ridurre le condizioni non accertate.

Evidence Matrix
Collega ogni conclusione ai documenti, ai dati, ai test, ai log e alle osservazioni che la sostengono.

Clinical Workflow Map
Rappresenta i punti nei quali il sistema AI entra nel processo decisionale, le modalità di supervisione e i possibili percorsi di propagazione dell’errore.

Control & Monitoring Plan
Definisce condizioni da mantenere, indicatori, frequenze di verifica, soglie di attenzione e circostanze che richiedono una nuova valutazione.

Executive Risk Profile
Fornisce alla direzione una sintesi del rischio residuo, delle incertezze e delle condizioni necessarie per l’utilizzo del sistema.

4 – Come Funziona

Il processo di assessment

Definizione dell’uso: Identifichiamo chi utilizza l’output, quale decisione deve assumere, su quale popolazione e in quale contesto.
Raccolta delle evidenze: Analizziamo documentazione tecnica, studi di validazione, procedure interne, configurazioni, dati locali, log, incidenti e near miss.
Analisi del workflow: Osserviamo come il sistema entra nel processo clinico, come viene interpretato, quando può essere ignorato o sovrastimato e quali responsabilità intervengono.
Formalizzazione delle condizioni: Traduciamo le condizioni di affidabilità in criteri verificabili e rieseguibili.
Verifica: Eseguiamo i controlli sulle evidenze disponibili e registriamo anche le condizioni non soddisfatte o non accertate.
Perimetro e monitoraggio: Consegniamo il Perimetro di Validità, il fascicolo di assurance e il piano di monitoraggio nel tempo.

5 – Primo verticale clinico
Pronto Soccorso: il primo ambito di applicazione

EPSS parte dal Pronto Soccorso, con particolare attenzione ai sistemi di supporto al triage e alla prioritizzazione.

È un contesto nel quale le decisioni devono essere assunte rapidamente, le informazioni possono essere incomplete e la popolazione reale può differire significativamente dalle coorti utilizzate per sviluppare o validare il sistema.

In questo ambiente, versione del modello, soglie, qualità dei dati, presentazioni cliniche atipiche, pressione temporale e interpretazione dell’output possono modificare concretamente il valore del supporto algoritmico.

La roadmap prevede successivamente l’estensione alla Cardiologia, con applicazioni su ECG e imaging, e alla Medicina Interna, per percorsi longitudinali, multipatologia e supporto decisionale complesso.

6 – Proof of Concept

Il metodo

Il framework EPSS è stato eseguito in una Proof of Concept documentale su due sistemi reali:

NEWS2, sistema a regole fisse e specifica pubblica;
Epic Sepsis Model, modello appreso proprietario.

Per ciascun caso sono stati definiti uno specifico utilizzo, le relative condizioni di validità, le evidenze disponibili e il perimetro risultante.

La Proof of Concept mostra che il metodo può essere applicato sia a sistemi trasparenti sia a modelli proprietari, distinguendo ciò che è sostenuto, ciò che è contraddetto e ciò che resta non accertato.

Avvertenza

La Proof of Concept è basata su evidenze pubblicate, non contiene dati di strutture sanitarie e non costituisce una validazione clinica, una certificazione o una raccomandazione terapeutica.

Per ciascun caso sono stati definiti uno specifico utilizzo, le relative condizioni di validità, le evidenze disponibili e il perimetro risultante.

7 – A chi ci rivolgiamo

Servizi distinti per soggetti distinti

Strutture sanitarie

Sono i clienti principali del Perimetro di Validità e del Clinical Assurance Dossier. EPSS supporta direzioni sanitarie, risk management, responsabili clinici e innovation manager nel governo dell’uso dell’AI.

Produttori AI e MedTech

Possono accedere al Readiness Scan, un’analisi della documentazione disponibile e delle evidenze che potrebbero essere richieste dalle strutture sanitarie prima dell’adozione.

Assicuratori e broker

Possono accedere a prodotti distinti per la definizione di criteri di evidenza, loss prevention e comprensione del rischio a livello di portafoglio.

Principio di indipendenza

Il produttore o l’assicuratore non finanziano il Perimetro di Validità relativo all’uso clinico svolto da una struttura sanitaria. Ogni prodotto mantiene un oggetto, un cliente e una responsabilità distinti.

8 – Chi siamo

EPSS by LOGICA

LOGICA è un progetto multidisciplinare dedicato all’assurance indipendente dei sistemi di intelligenza artificiale utilizzati in ambito clinico.

Il team integra competenze in:

AI e model risk;
logica formale;
economia e analisi dei dati;
human-centered AI;
assurance e controllo;
medicina e verifica delle fonti cliniche;
metodologia scientifica;
diritto e regolazione;
monitoraggio e gestione del rischio.

Le attività che richiedono abilitazioni professionali o specifica esperienza clinica sono affidate a consulenti legali, clinical advisor, revisori scientifici e professionisti attuariali esterni.

State adottando o utilizzando un sistema AI in ambito clinico?

Possiamo aiutarvi a identificare gli usi da valutare, le evidenze disponibili, le condizioni non accertate e i dati necessari per definire un Perimetro di Validità.

Presentaci il caso d’uso: Il primo confronto è finalizzato a comprendere il sistema, l’utilizzo previsto o reale e la disponibilità delle evidenze necessarie.

FAQ

EPSS certifica i sistemi AI?

No. EPSS produce una valutazione indipendente, un Perimetro di Validità e un fascicolo di assurance. Non sostituisce una certificazione regolamentare o una valutazione di conformità.

EPSS stabilisce quale decisione clinica debba assumere il medico?

No. EPSS valuta le condizioni nelle quali l’output del sistema può essere utilizzato come supporto. La decisione clinica resta di competenza del professionista sanitario.

Un sistema validato in un ospedale è automaticamente valido in un altro?

No. Ogni valutazione dipende dalla struttura, dalla popolazione, dal workflow, dalla versione, dalle soglie e dalle condizioni operative locali.

È possibile valutare un modello proprietario?

Sì. Anche senza accesso completo al modello è possibile definire un perimetro sulla base delle evidenze disponibili. Le condizioni non verificabili vengono dichiarate come non accertate, indicando quali dati o documenti sarebbero necessari.

Il servizio può essere svolto prima dell’adozione?

Sì. EPSS distingue tra assessment ex ante e assessment di un sistema già in esercizio. Il documento specifica sempre la base evidenziale e i limiti della valutazione.

Cosa accade quando il sistema viene aggiornato?

Un cambio di versione, soglia, dati, workflow o popolazione può modificare il Perimetro di Validità. Il piano di monitoraggio stabilisce quando rieseguire i controlli.

Avvertenza istituzionale

EPSS e LOGICA non svolgono attività medica, non formulano raccomandazioni terapeutiche e non sostituiscono il giudizio del professionista sanitario. Il servizio non costituisce certificazione regolamentare del sistema valutato. Ogni assessment è riferito allo specifico uso, alla struttura, alla popolazione, alla versione e al periodo espressamente indicati nel documento.

EPSS — Evidence-based Perimeter for Safe Systems
by LOGICA