Validità esterna dei modelli prognostici

1. La validazione esterna dei
modelli prognostici
Cosa è?
Che tipi di
validazione
esterna ci sono?
Perché è cruciale per
l’implementazione
clinica di modelli
predittivi accurati?
Come si conduce
correttamente uno
studio di validazione
esterna?
Quando è appropriato
validare esternamente
un modello?
Quali fattori
dovrebbero essere
considerati nel
selezionare una
popolazione di
validazione adatta?

2. La validazione interna usa i soggetti della popolazione usata per lo sviluppo
del modello.
Le forme di validazione interna più usate sono:
🔹Split-sample
🔹Cross-validation
🔹Bootstrapping
La validazione temporale consiste nella divisione temporale di una singola
coorte.
La validazione esterna è l’atto di testare il modello predittivo su un set di
nuovi soggetti per determinare se il modello funziona ad un livello
soddisfacente. I soggetti devono differire strutturalmente da quelli della
coorte iniziale (regione o paese diverso, setting di cura diverso ecc.).
🔴
🔴
🟦
🔴

4. La formula della predizione è
cucita sui dati per lo sviluppo del
modello
Un modello può essere
scarsamente predittivo
in una coorte esterna
I modelli predittivi possono
accidentalmente essere adattati
ad idiosincrasie del dataset o
corrispondervi troppo da vicino
(overfitting).
È importante testare la
riproducibilità e la
generalizzabilità dei
modelli predittivi
Riproducibilità: La formula della
predizione è valida per nuovi
individui che sono simili alla
popolazione iniziale?
Generalizzabilità: Lo strumento di
predizione è trasportabile a una
popolazione separata con caratteristiche
degli individui diverse?

5. 🔴 Riproducibilità
🔹 Validazione interna, validazione temporale e
validazione geografica
🔹 In un dataset grande abbastanza, la
validazione interna può dare un’indicazione della
performance esterna del modello.
🔴 Generalizzabilità
🔹 Validazione esterna
🔹 Devono essere effettuate validazioni esterne
indipendenti per ogni popolazione se esse differiscono
molto nel setting, nelle misure alla baseline o
nell’incidenza degli outcome.

6. 🔴 Due elementi chiave per valutare la performance
predittiva dei modelli sono la calibrazione e la
discriminazione.
🔴 I modelli predittivi, per poter essere esternamente
validati, dovrebbero:
🔹Esplicitare l’intera formula di predizione, per
permettere di calcolare il rischio assoluto
🔹Avere un basso rischio di bias, per evitare stime del
rischio sistematicamente distorte
🔴 Differenze nelle distribuzioni dei predittori tra la coorte
usata in fase di sviluppo del modello e la coorte di
validazione possono influenzare la performance del
modello.

7. Calibrazione
🔴 La calibrazione determina se i rischi assoluti predetti sono simili ai
rischi osservati.
🟦Tipi di calibrazione
🔹 Calibrazione in-the-large: il rischio predetto medio nell’intera
popolazione di validazione comparato al rischio osservato
medio.
🔹 Plot di calibrazione: il rischio predetto comparato al rischio
osservato all’interno di sottogruppi di pazienti, sulla base di
probabilità predette.
🔹 Pendenza di calibrazione: essa è calcolata stimando un
nuovo modello con il PI come unico predittore nel dataset di
validazione.
🔴 La ricalibrazione consiste nel cambiare parte della formula
affinché si adatti meglio alla popolazione esterna.
🟦Elementi che possono portare ad un’errata calibrazione:
🔹 Eterogeneità degli effetti dei predittori al variare della
popolazione
🔹 Differenze nell’incidenza degli outcome

8. Discriminazione
🔴 La discriminazione è una misura relativa di quanto bene un modello sa
distinguere tra pazienti con e senza l’evento di interesse.
🔺 Il C-index (Concordance Index) misura se i pazienti che sperimentano
l’outcome hanno un rischio predetto più alto rispetto ai pazienti che non lo
sperimentano.
🔺 La discriminazione può essere anche valutata attraverso il PI o il punteggio
di rischio.
🔴 Un’ampia variazione nei valori dei predittori renderà più semplice al modello
discriminare tra i pazienti che sperimentano l’outcome e quelli che non lo
sperimentano.

9. Campioni
🔴 Alcuni studi di simulazione hanno mostrato che nella
validazione un minimo di 100 eventi (e 100 non-eventi)
sono necessari e >200 eventi sono preferiti.
🔴 Le popolazioni sperimentali di controllo randomizzate
non sono adatte perché sono spesso più in salute della
maggior parte dei pazienti incontrati nella pratica clinica e i
predittori potrebbero essere misurati differentemente
rispetto alla pratica standard.

10. 🔴 I modelli dovrebbero essere validati ogni pochi anni, dato che la pratica standard cambia nel
tempo.
🔴 La validazione esterna dovrebbe essere seguita da una ricerca che valuti l’impatto clinico del
modello. Ciò può essere fatto randomizzando l’uso di un modello di predizione tra i medici e
valutando se l’uso migliora gli outcome dei pazienti.