Quando emerge un problema nuovo, le organizzazioni lo descrivono con le categorie che già possiedono. Nel caso dell’intelligenza artificiale clinica si parla di validazione, conformità, certificazione, audit, monitoraggio, sicurezza, governance, valutazione del rischio.
Sono tutti concetti utili. Nessuno di essi, però, formula la domanda a cui EPSS risponde: a quali condizioni uno specifico output di un sistema AI può essere utilizzato per una determinata decisione, in una determinata struttura, su una determinata popolazione e per una determinata versione.
EPSS, Evidence-based Perimeter for Safe Systems, non ha quindi soltanto il problema di vendere un servizio nuovo. Ha il problema, più difficile, di rendere nominabile un oggetto che oggi non ha nome: il Perimetro di Validità dell’uso dell’AI.
Perché le categorie esistenti non bastano
La certificazione verifica la conformità a requisiti definiti. Non stabilisce se un utilizzo determinato di quel sistema sia sostenuto dalle evidenze in un reparto specifico.
La validazione tecnica misura le prestazioni del modello rispetto a un dataset e a un esito. Non descrive la decisione che un professionista assumerà a partire dall’output, che è la cosa che produce conseguenze sul paziente.
Il model monitoring rileva variazioni nelle prestazioni, nei dati e nella distribuzione, dopo che si sono prodotte e in forma aggregata. Non verifica se l’evidenza citata a sostegno del sistema riguardi la stessa quantità utilizzata nella decisione. È una differenza meno teorica di quanto sembri: può accadere che i valori di accuratezza più elevati si riferiscano al punteggio massimo registrato nell’intero episodio, mentre la decisione al triage poggia sul singolo punteggio rilevato in ingresso. La metrica è corretta e il suo oggetto è un altro. Nessuno strumento di monitoraggio può rilevarlo, perché il disallineamento sta nella documentazione dell’evidenza e non nel comportamento del sistema.
La consulenza organizzativa aiuta a progettare processi e controlli, ma non è un assessment indipendente e genera conflitto quando lo stesso soggetto valuta la soluzione che ha progettato.
Il risk scoring riduce molte informazioni a un valore sintetico. Un punteggio calcolato su dati incompleti resta un numero e viene letto come rassicurazione, mentre le condizioni non accertate scompaiono dentro la media.
Una nuova unità di valutazione
La categoria si costruisce intorno a un principio: non si valuta l’AI in astratto, si valuta l’uso specifico del suo output.
La formulazione sposta l’attenzione dal modello alla decisione, dall’accuratezza aggregata alla popolazione concreta, dalla documentazione del produttore al workflow reale, dall’output alla sua interpretazione, dalla conformità generale alle condizioni locali, dal giudizio binario a una valutazione a tre stati.
Il Perimetro di Validità è il documento che tiene insieme questi elementi e li rende verificabili uno per uno.
La promessa della categoria
Una categoria deve stare in una frase.
Per EPSS può essere: definiamo dove l’uso dell’AI è sostenuto dalle evidenze e dove non lo è. Oppure, in forma più breve: dalla performance del modello alla validità della decisione.
La promessa non può essere rendere l’AI sicura, perché è troppo ampia e non corrisponde a ciò che il servizio produce. Non può essere certificare l’AI, perché assurance e certificazione sono cose distinte e confonderle è il modo più rapido per esporsi a una contestazione.
La promessa corretta riguarda la delimitazione: per quali usi, su quali popolazioni, in quale contesto, con quali dati, per quale versione e sotto quali condizioni.
Le parole costruiscono il mercato
Una categoria nuova richiede disciplina terminologica. Gli stessi termini vanno usati nello stesso modo sul sito, nei contratti, nei materiali commerciali, nei case study e nei documenti di delivery.
EPSS è il framework e il servizio. LOGICA è la società che lo sviluppa. Il Perimetro di Validità è la dichiarazione delle condizioni che sostengono uno specifico uso. Il Clinical Assurance Dossier è il fascicolo che documenta evidenze, metodo, verifiche, limiti e controlli. Il monitoraggio è la riesecuzione periodica dei controlli che sostengono il Perimetro.
Gli stati di valutazione sono tre, e la loro definizione va tenuta ferma. Una condizione è soddisfatta quando l’evidenza disponibile la sostiene per la popolazione e il contesto esaminati. È non soddisfatta quando esiste evidenza diretta contraria. È non accertata quando l’evidenza pertinente non è disponibile, il che non equivale a evidenza contraria e non consente di concludere né a favore né contro.
Il terzo stato è la parte più difficile da comunicare e la più importante da difendere. È ciò che distingue il metodo da qualunque strumento che restituisca un punteggio.
Educare prima di vendere
Quando una categoria è nuova, il cliente non cerca il nome del prodotto. Una direzione sanitaria cerca come valutare un sistema AI, responsabilità nell’uso dell’AI clinica, validazione locale, supervisione umana, monitoraggio degli algoritmi, rischio AI in ospedale, affidabilità dei modelli clinici, AI nel triage.
La strategia editoriale deve quindi partire dai problemi già riconosciuti e condurre gradualmente al concetto di Perimetro di Validità. Un contenuto efficace non comincia proponendo di acquistare EPSS. Comincia da una constatazione che il lettore può verificare da solo: la buona performance di un modello non dimostra che il suo uso sia giustificato nel suo reparto.
La categoria viene accettata quando il lettore riconosce il problema prima di conoscere la soluzione.
I pilastri editoriali
Sei aree di contenuto sostengono la costruzione della categoria.
Il metodo, con articoli su inferenza specifica, condizioni di validità, evidenza, soglie, versioni e sottogruppi. I casi, cioè applicazioni documentali o reali che mostrino come il Perimetro viene costruito. Il workflow, con l’analisi dell’interazione fra professionista, sistema e processo decisionale. Il monitoraggio, con drift, aggiornamenti, baseline, incidenti e rivalutazione. L’indipendenza, con la distinzione fra struttura, produttore, assicuratore, assessment e rimedio. La strategia, con verticali, productizzazione, lighthouse partner e scalabilità.
Il sito di EPSS può diventare progressivamente una fonte di riferimento sulla validità contestuale dell’AI, che è una posizione oggi non occupata da nessuno in italiano.
Pubblicare il metodo senza pubblicare la libreria
Rendere visibile il metodo è necessario alla credibilità. Non equivale a pubblicare l’asset.
Possono essere pubblicati il concetto di Perimetro, gli stati di valutazione, l’anatomia dell’inferenza, esempi di condizioni, case study anonimizzati, limiti metodologici e linee guida interpretative.
Non vanno pubblicati integralmente la libreria, le formulazioni operative complete dei criteri, i parametri interni, le procedure di istanziazione, i template di delivery e i benchmark proprietari.
La distinzione regge per una ragione precisa: la difendibilità non risiede nel concetto, che è imitabile in una settimana, ma nel corpo di criteri formalizzati, verificati su casi reali e sottoposti a revisione indipendente, che richiede anni di lavoro accumulato e non è acquistabile. Pubblicare il concetto accelera la categoria senza intaccare l’asset.
La gerarchia delle prove
Una categoria non si costruisce con il marketing. Si costruisce accumulando prove, in un ordine che non è arbitrario.
- Proof of concept. Dimostra che il metodo può essere eseguito. È il livello già raggiunto: il metodo è stato applicato a due sistemi in uso corrente, con un perimetro enunciato per ciascuno, su sola evidenza pubblicata.
- Revisione indipendente. Dimostra che i criteri reggono a un controllo esterno.
- Primo cliente pagante. Dimostra che il problema ha valore economico.
- Fascicolo accettato. Dimostra che il deliverable è utilizzabile dalla struttura, che è cosa diversa dall’essere stato pagato.
- Monitoraggio attivato. Dimostra che il Perimetro può essere mantenuto nel tempo.
- Seconda commessa. Dimostra che il modello è replicabile.
- Riconoscimento esterno. Il fascicolo viene letto e usato da assicuratori, advisor, università o altri soggetti qualificati.
Ogni livello va comunicato per quello che è. Presentare il primo come se fosse il quarto è il modo più efficace per perdere la credibilità appena costruita.
Evitare la sovrapromessa
La pressione a emergere spinge verso formule ampie. Sono esattamente quelle da non usare: certifichiamo la sicurezza dell’AI, garantiamo decisioni corrette, eliminiamo il rischio clinico, validiamo qualsiasi modello, rendiamo l’AI conforme.
Le formulazioni coerenti con il prodotto sono altre: definiamo le condizioni d’uso sostenute dalle evidenze, rendiamo visibili limiti e condizioni non accertate, colleghiamo ogni conclusione alle evidenze disponibili, rieseguiamo i controlli quando cambia il contesto, valutiamo lo specifico uso nel contesto reale.
Qui la precisione del linguaggio non è stile, è prodotto. Un servizio che vende la distinzione fra ciò che è accertato e ciò che non lo è non può descriversi in modo non accertato.
EPSS è il framework, non la categoria
Conviene tenere separati i due livelli. EPSS identifica il framework proprietario sviluppato da LOGICA. Il concetto più ampio da diffondere è il Perimetro di Validità, o in inglese use specific AI assurance.
Una categoria proprietaria troppo chiusa è difficile da diffondere, perché nessuno adotta il vocabolario di un concorrente. Una categoria completamente generica può invece essere occupata da altri, e chi l’ha introdotta resta senza nulla.
La soluzione è associare costantemente i due livelli: EPSS, il framework per costruire il Perimetro di Validità dell’uso dell’AI.
Come misurare la creazione della categoria
Ricerche organiche sul termine, citazioni esterne del concetto, download della prova di concetto, tempo di lettura degli articoli metodologici, richieste di assessment, inviti a workshop e convegni, link da università e strutture, uso del termine da parte dei partner, richieste di chiarimento sul metodo, conversione da contenuto a incontro.
Le page view servono a poco. La metrica decisiva è un’altra: quanti interlocutori qualificati adottano spontaneamente il linguaggio di EPSS per descrivere il proprio problema. Quando un risk manager scrive che vuole capire per quali usi il sistema è sostenuto dalle evidenze, la categoria ha iniziato a esistere.
Conclusione
EPSS non entra in un mercato in cui qualcuno sta già cercando un Perimetro di Validità. Deve rendere visibile il bisogno, dare un nome al problema e proporre un linguaggio per affrontarlo.
La strategia non consiste soltanto nel vendere assessment. Consiste nel far emergere una distinzione: un modello può avere buone metriche e, nello stesso tempo, non sostenere uno specifico uso nel contesto reale.
Quando quella distinzione diventa condivisa, il Perimetro di Validità smette di essere un deliverable nuovo e diventa una componente ordinaria del governo dell’intelligenza artificiale.
EPSS è sviluppato da LOGICA, dedicata all’assurance indipendente dei sistemi di intelligenza artificiale nei contesti decisionali ad alto impatto.
Lascia un commento