Approccio statistico alla stadiazione mediastinica nel NSCLC. Risultati dello studio MESSia| Rassegna di Patologia dell'Apparato Respiratorio

Abstract

L’esclusione dell’interessamento linfonodale mediastinico nel tumore polmonare non a piccole cellule (NSCLC) rimane un obiettivo centrale per la formulazione di un giudizio prognostico e per le decisioni sulla operabilità. Abbiamo sviluppato un software chiamato MESSia (Mediastinal Evaluation with Statistical Support; instant approach), che permette di calcolare la probabilità residua di interessamento linfonodale mediastinico dopo l’esecuzione dei comuni esami stadiativi. Tale approccio è stato applicato ad una casistica di 320 pazienti sottoposti ad accertamenti per NSCLC accertato o sospetto e potenzialmente candidati ad un intervento chirurgico. La valutazione dei risultati è stata possibile su 264 di questi pazienti, operati e quindi in possesso di una stadiazione patologica, o esclusi dall’intervento per la presenza di localizzazioni mediastiniche dimostrate cito-istologicamente. L’approccio statistico proposto ha mostrato una moderata efficienza: sensibilità, specificità, valore predittivo positivo (VPP) e valore predittivo negativo (VPN) rispettivamente 0,71, 0,58, 0,17, 0,94; il ricalcolo dei risultati dopo adozione dei valori di sensibilità e specificità dei test emersi dallo studio ha permesso un sensibile guadagno nella efficienza complessiva del sistema: sensibilità, specificità, VPP e VPN rispettivamente 0,85, 0,80, 0,59, 0,94. Il modello bayesiano applicato alla stadiazione mediastinica si dimostra un sistema semplice e promettente e un valido ausilio nella scelta della condotta più appropriata. I dati ottenuti necessitano di conferme attraverso uno studio clinico più ampio, che tenga conto delle criticità e delle indicazioni emerse dal presente.

Introduzione

La stadiazione mediastinica si propone di identificare, con la più alta probabilità possibile, la presenza di localizzazioni linfonodali secondarie. Ogni risultato dovrebbe essere interpretato sulla base del valore predittivo del test usato, condizionato dai dati di performance (sensibilità e specificità) e dalla prevalenza della malattia nel campione ^1-3.

Noi abbiamo proposto un approccio probabilistico alla stadiazione mediastinica, per i dettagli sul quale rimandiamo ai lavori pubblicati ^4-6. Abbiamo elaborato un calcolatore bayesiano (MESSia) che considera alcuni parametri radiologico-laboratoristici (sede della neoplasia, dimensioni, contatto pleurico, istologia, valore del CEA, presenza o meno di cN1) e l’esito degli esami stadiativi (TC, PET, EBUS/EUS o TBNA), e genera sulla base di questi un valore di probabilità di presenza di metastasi mediastiniche (ProbMESSia), suggerendo il ricorso a metodiche chirurgiche invasive per probabilità > 7%. Il valore finale è in realtà il frutto di un sistema di calcolo bayesiano parziale, nel quale la probabilità a priori espressa per le variabili radiologico-laboratoristiche viene integrata in un sistema bayesiano applicato ai test stadiativi eseguiti. La descrizione del progetto e il calcolatore sono stati pubblicati in un sito web dedicato ().

Pazienti e metodi

A partire dal 21/01/2019 è stato avviato uno studio multicentrico osservazionale promosso dall’Associazione Italiana Pneumologi Ospedalieri (AIPO), coordinato da AIPO Centro Studi e coinvolgente 27 Centri Pneumologici Italiani; di questi, solo 19 hanno completato l’arruolamento dei pazienti, durato un anno. I dati relativi a posizione della neoplasia, dimensioni, contatto pleurico, istotipo, valore di CEA, cN1, stato dei linfonodi mediastinici dopo TC, PET ed eventuale citologia ottenuta con tecnica endoscopica, venivano inseriti nel calcolatore e quindi salvati in un database online al quale tutti i Centri potevano accedere solo per la parte relativa alla propria casistica. Il protocollo precisava che le scelte degli esami da eseguire non dovessero basarsi sulle indicazioni fornite dal calcolatore, ma seguire i criteri dettati dalle linee guida correnti e adottati da ogni singolo Centro. Sono stati considerati veri positivi (VP) i pazienti con N2 mediastinico alla verifica chirurgica e quelli risultati positivi ai prelievi endoscopici o alla mediastinoscopia; veri negativi (VN) quelli con conferma chirurgica di assenza di localizzazioni mediastiniche.

Analisi statistica

A) EDA (Exploratory Data Analysis)

Il dataset originale (320 casi) è stato integrato con i dati anagrafici dei pazienti (sesso ed età), per verificare eventuali effetti non attesi come covariate rispetto ai dati clinici; si è tenuto conto, a seconda dello strumento statistico adottato, della mancanza di alcuni valori (missing values), senza ricorrere a tecniche di sostituzione (Tab. I). Sul dataset utilizzato nello studio e costituito solo dai 264 casi nei quali era definito cito-istologicamente lo stato dei linfonodi mediastinici (Nm) sono state fatte le seguenti analisi:

1. Determinazione dei valori di sensibilità, specificità e relativi likelihood ratios (LR), in modo da poter applicare la regola di Bayes partendo da una probabilità a priori (prevalenza) del 10%; la variabile dimensioni è stata riclassificata con solo 2 valori (≤3 o > 3 cm).
2. Valutazione preliminare degli odds ratios (OR) delle variabili considerate predittive per individuare in maniera semplice l’effetto di ciascuna sulla determinazione dello stadio N2 vs N0-1: il confronto tra N2 ed N0-1 è stato fatto usando il test di Fisher esatto per le variabili di tipo categoriale e ANOVA per quelle continue (Tab. II).
3. Utilizzo dell’indice di Spearman, dopo binarizzazione delle variabili, per valutare l’importanza di ciascuna nel predire lo stadio (Fig. 1).

Modelli a confronto

1. 1.1 Analisi decisionale (Fast-and-Frugal Trees, FFTs) FFTs sono modelli decisionali che impiegano una struttura grafica semplice per categorizzare oggetti o per prendere decisioni attraverso risposte sequenziali sì/no. Costituiscono un tipo di metodo euristico, cioè non perfetto ma sufficiente per raggiungere un risultato accettabile quando la decisione deve essere immediata (Fig. 2).
2. 1.2 Regressione logistica univariata, per individuare le variabili associate con la variabile outcome (Nm) usando tutte o in parte le variabili originali; tenuto conto del fatto che alcune variabili hanno un numero eccessivo di missing values, il dataset effettivo si ridurrebbe a poco più di 30 casi, rendendo del tutto inutilizzabile la procedura; per questo motivo è stato realizzato un primo modello con le sole variabili posizione, dimensioni, contatto, cN1, TC, PET-TC e un secondo modello usando solo contatto, TC e PET-TC, senza perdere in capacità predittiva vista la significatività statistica di queste ultime variabili. Dato l’impianto bayesiano adottato dal progetto MESSia, è stato rianalizzato il secondo modello indicato sopra con una procedura rigorosamente bayesiana, al fine di verificare con maggiore affidabilità il valore dei coefficienti dell’equazione logistica.
3. 1.3 Impiego di algoritmi di reti neurali, per verificare la capacità predittiva dell’outcome, usando come sopra solo le variabili significative; lo scopo è quello di ottenere una confusion matrix, dalla quale ricavare dati di sensibilità e specificità da mettere a confronto con la più intuitiva curva ROC. Per utilizzare questo metodo, si usa la variabile staging (corrispondente in forma binaria di Nm: 0 = N0-1 e 1 = N2); non è stato necessario normalizzare i dati, come indicato per ragioni di efficienza dell’algoritmo, in quanto le variabili predittive sono già espresse in forma binaria 0,1; il dataset è stato suddiviso in un train set (2/3) e test set (1/3); i parametri usati sono i seguenti: 5 neuroni nel primo livello e 3 nel secondo strato. Trattandosi di un problema di classificazione il parametro linear output è posto a FALSE.
4. 1.4 Utilizzo direttamente della variabile ProbMESSia (e delle analoghe probabilità alternative). Valutazione preliminare della distribuzione della probabilità rispetto ai due valori di outcome, N2 e N0-1 (Fig. 3), costruzione della curva ROC con calcolo del corrispondente AUC confrontando i risultati in termini di AUC e di altre metriche (Fig. 4), e curva TOC (Fig. 5), indispensabili per determinare il cut-off ottimale in funzione dell’utilizzo clinico. Tutte le elaborazioni e analisi statistiche sono state effettuate usando il software R versione 4.2.3 e il tool RStudio.
5. 1.5 DCA (Decision Curve Analysis) ^7,8. DCA costituisce un tentativo di valutare la fruibilità di un modello o test nella pratica clinica incorporando le conseguenze cliniche nell’uso di modelli, etc. Un concetto chiave nella DCA è l’idea di un trade-off tra differenti endpoint. La determinazione del net benefit (equazione = TPR-FPR*(p(1-p)), dove p è il threshold) mette a disposizione un ulteriore strumento di confronto tra i diversi modelli analizzati in precedenza.

Risultati

La numerosità del campione è risultata molto inferiore all’atteso, il che ha comportato una limitazione nella interpretazione dei dati finali. I Centri Pneumologici attivati per lo studio sono stati 27; di questi solo 19 hanno completato il reclutamento dei pazienti. Il numero totale dei pazienti inseriti nello studio è stato di 320; 221 pazienti sono stati sottoposti a intervento chirurgico e hanno potuto disporre dei dati patologici della stadiazione, mentre altri 43 sono stati esclusi dall’intervento stesso in seguito ad una diagnosi cito-istologica di coinvolgimento dei linfonodi mediastinici.

In totale quindi, rispetto al dataset originale di 320 casi (Tab. I), sono stati utilizzati per la valutazione del progetto solo 264 casi (Tab. II a,b), comprendenti i pazienti operati (dotati quindi di stadiazione patologica) e quelli esclusi dall’intervento per un riscontro citologico o istologico di coinvolgimento N2. Tra questi 264 casi, in 6 mancano i dati anagrafici (sesso, età alla data di registrazione); per valutare la eventuale dipendenza della probabilità di stadiazione N2 vs N0-1 dalle due variabili anagrafiche, il campione utilizzato nei modelli di regressione logistica è quindi relativo a 258 casi (92 femmine e 166 maschi, di età media 69,9 anni) (Tab. IIa).

Il prelievo citologico ecoendoscopico (EBUS/EUS) è stato eseguito in circa la metà dei casi totali (165/320), mentre il ricorso alla mediastinoscopia è avvenuto solo 6 volte. Metastasi mediastiniche sono state dimostrate in 65/264 pazienti (25%) di cui 37 maschi e 28 femmine, con uguale prevalenza nelle diverse fasce di età. I dati anagrafici non hanno mostrato alcuna influenza sulla stadiazione, così come il valore di CEA; modestissima correlazione hanno evidenziato posizione, dimensioni, contatto pleurico. Il parametro più correlato è quello delle metodiche ecoendoscopiche (EBUS/EUS) (specificità 100%) seguite da ProbMESSia, che è altamente correlato positivamente sopra il valore di 20; seguono PET-TC e TC, sovrapponibili come indice di correlazione (Fig. 1).

In 129/221 (58%) casi operati e in 173/264 (66%) casi operati + casi con citologia maligna, MESSia ha fornito un dato coerente con il risultato chirurgico; in particolare, i VP sono stati 58, i VN 114, i falsi positivi (FP) 84, i falsi negativi (FN) 8. Sensibilità, specificità, VPP e VPN sono risultati rispettivamente 0,71, 0,58, 0,17, 0,94. Si sono osservati 44 FP e 13 FN della PET. I FP e i FN della TC sono stati 51 e 10.

L’analisi dei risultati ottenuti ha permesso di rideterminare il peso delle variabili assunte e delle performance dei test impiegati (sensibilità, specificità, VPP, VPN) (Tab. III). Sono emersi in particolare una sovrastima del parametro T, specie per tumori di grosse dimensioni, e della sensibilità della PET per linfonodi < 1 cm, risultata 0,36; i valori di sensibilità e specificità delle tecniche ecoendoscopiche (EBUS/EUS) sono stati invece sostanzialmente confermati (rispettivamente 0,88 e 1).

Dopo adozione dei valori emersi dallo studio i risultati coerenti con la stadiazione chirurgica finale sono stati 214/264 (81%); in particolare, i VP sono 56, i VN 161, i FP 39, i FN 10. Sensibilità, specificità, VPP e VPN sono risultati rispettivamente: 0,85, 0,80, 0,59, 0,94. Va precisato che 25 casi FP sono stati operati senza aver eseguito EBUS nonostante una probabilità > 7%; in 7 di questi l’EBUS sarebbe stato indicato, da linee guida, per una positività di TC, PET o di entrambe, e in altri 4 casi per il carattere centrale della neoplasia ^3,9. Se l’EBUS fosse stato eseguito in tutti i soggetti sopra la soglia del 7%, i risultati dello studio sarebbero stati sensibilmente migliori.

Nessuna differenza significativa è emersa provando a estendere il metodo Bayesiano anche alle variabili clinico-radiologiche presenti sul lato sinistro del calcolatore: sede, dimensioni, istologia, CEA, cN1 (curve ROC con AUC rispettivamente 0,92 e 0,93) (Fig. 4a).

Il cut-off scelto nello studio per il giudizio di positività era 8; aumentando il livello di cut-off diminuisce la sensibilità mentre aumenta la specificità. Appare ragionevole la scelta di un cut-off che assicuri un basso numero di falsi negativi, minimizzando il numero di interventi “impropri”, senza nel contempo aumentare eccessivamente i falsi positivi, che richiedono ulteriori accertamenti e costi (cut-off intorno a 8-10, v. Fig. 4b). L’impiego di una curva decisionale evidenzia come, per valori di probabilità > 8-9%, l’utilizzo di ProbMESSia permetta un net benefit e una riduzione di interventi non necessari superiore sia rispetto alla regressione logistica che alla rete neurale che ai singoli esami diagnostici, indipendentemente dal valore di soglia scelto (Fig. 6).

Discussione

Lo studio MESSia si proponeva di verificare la validità di un approccio statistico Bayesiano alla stadiazione mediastinica nel NSCLC. I dati raccolti, limitati a causa di un reclutamento inferiore al previsto anche per la coincidenza dello studio con la pandemia COVID, hanno dimostrato una moderata efficienza del sistema, con una accuratezza del 66%.

La verifica retroattiva dei valori probabilistici pre-test e delle performance dei test eseguiti ha reso necessario la modifica di alcuni dei valori assunti all’inizio dello studio. Sono emersi in particolare una sovrastima: del parametro T, specie per tumori di grosse dimensioni, nei quali la frequenza di N2 si riduce (dato già segnalato in letteratura) ¹⁰; della sensibilità della PET sui linfonodi di piccole dimensioni e della specificità della PET sui linfonodi di diametro aumentato. Il ricalcolo delle probabilità con i nuovi valori ha permesso di migliorare sensibilmente la resa del sistema (accuratezza 82%). Il confronto tra diversi modelli di analisi, Bayes, regressione logistica, reti neurali, ha mostrato una superiorità del primo (curve ROC con AUC rispettivamente 0,93, 0,83 e 0,83). Anche spostando il confronto sul piano della fruibilità di diversi sistemi, quello bayesiano mostra una superiorità sugli altri in quanto in grado di usare i dati realmente a disposizione, anche se parziali, mentre regressione logistica e reti neurali hanno necessità di disporre di tutte le variabili; gli alberi decisionali hanno un approccio in base al quale vengono privilegiate le variabili maggiormente discriminanti, spesso incompatibile con il percorso clinico concreto, mentre nel progetto MESSia viene sfruttata l’informazione di tutte le variabili disponibili.

Limiti e criticità emersi:

1. Scarsità del campione. A causa soprattutto della coincidenza dello studio con l’emergenza pandemica dovuta al SARS-CoV-2 la numerosità del campione è risultata molto inferiore all’atteso (320 vs 1.000-1.500 casi previsti).
2. Necessità di criteri più stringenti per il giudizio 1) di positività della PET; 2) di posizione centrale o periferica di T[10], 3) di cN1; 4) di contatto pleurico. Quest’ultimo andrebbe probabilmente considerato fattore di rischio di N2 solo per l’istotipo ADK.
3. Uso insufficiente di EBUS/EUS in casi con stima di probabilità pre-test > 7.

Pur con i limiti evidenziati, il metodo statistico usato mostra una sufficiente efficienza nella valutazione dell’impegno linfonodale mediastinico nel NSCLC.

Conclusioni

L’applicazione di un metodo statistico alla valutazione delle probabilità che un NSCLC abbia prodotto metastasi mediastiniche si dimostra un approccio promettente. Per la sua semplicità, adattabilità a diversi percorsi diagnostico-stadiativi, nonché affidabilità, dimostratasi superiore rispetto ad altri modelli previsionali, l’uso del calcolo bayesiano rappresenta uno strumento di supporto all’attività clinica, alla quale può fornire dati numerici oggettivi utili nella guida alle scelte più appropriate in termini sia clinici che economici. È di fondamentale importanza, ai fini di un corretto giudizio, poter disporre di dati precisi sul peso relativo delle variabili inserite nel calcolo e sulle performance dei test diagnostici utilizzati. Pur nella limitatezza numerica del campione, il nostro studio ha svelato numerose imprecisioni sia nei valori probabilistici pre-test adottati che nella valutazione dei test impiegati; la correzione di tali imprecisioni ha permesso di raggiungere risultati più interessanti, in linea con gli obiettivi del progetto. I dati ottenuti necessitano di conferme attraverso uno studio clinico possibilmente più ampio, che tenga conto delle criticità e delle indicazioni emerse dal presente.

Ringraziamenti

Lo studio MESSia è stato promosso dall’Associazione Italiana Pneumologi Ospedalieri (AIPO) e coordinato da AIPO Centro Studi, grazie al supporto amministrativo e tecnico di AIPO Ricerche.

Si ringraziano i Centri Pneumologici che hanno partecipato allo studio: Osp. dell’Angelo Mestre, dove il progetto è nato ed è stato sviluppato; AO Ospedali Riuniti Palermo; Arcispedale S. Maria Nuova Reggio Emilia; Osp. della Versilia Camaiore; Osp. S. Luigi Gonzaga Orbassano; AORN Cardarelli Napoli; Osp. Ca’ Foncello Treviso; Osp. Sandro Pertini Roma; Osp. San Gerardo Monza; Osp. G. da Saliceto Piacenza; Osp. S. Maria degli Angeli Pordenone; Osp. Villa Scassi Sampierdarena; AOU Parma; AOPN Monaldi Napoli; Università Magna Grecia Catanzaro; AOU Careggi Firenze; Policlinico Università Modena; AOU Alessandria; Osp. Policlinico S. Martino Genova.

Un grazie particolare al dott. Simone Perandini, che ha prodotto il software MESSia e ci ha assisiti durante tutte le fasi di elaborazione del progetto.

History

Ricevuto/Received: 10/01/205

Accettato/Accepted: 23/01/2025

Figure e tabelle

Figura 1.Valutazione preliminare dell’importanza di ogni variabile considerata predittiva della stadiazione N2 vs N0-1 (R-correlation funnel). Si vede che CEA, sesso, età sono decisamente non correlate; sono molto correlate EBUS/EUS (specie quando è positiva: elevata specificità, minore sensibilità. I casi missing sono localizzati nella condizione di stadio N0-1, dato spiegabile con la strategia adottata in fase di applicazione delle linee guida); TC e PET-TC hanno indici di correlazione simili, significativi ma non elevati. Per quanto riguarda la variabile fondamentale dello studio, ProbMESSia, l’algoritmo usato effettua una divisione in classi ³ per ottimizzare il calcolo dell’indice in base alla distribuzione dei valori; la classe da 20 in su è correlata positivamente (0,80 circa) con N2; quella < 2,5 è correlata negativamente (-0,5); tra 2,5 e 20 la correlazione è sempre negativa (-0,17) ma con minor grado di certezza.

Figura 2.Albero decisionale utilizzando tutte le variabili compresa EBUS/EUS (R-FFTrees). Nella parte superiore è rappresentato l’albero delle decisioni di tipo binario (è questo il significato del termine Fast Frugal Tree): se EBUS/EUS è positiva la classificazione è senza incertezze N2; se negativa e non valorizzata, si procede con PET-TC: se questa è negativa o non valorizzata si classifica come N0-1, con 13 casi = missing (Falsi negativi); se PET-TC è positiva si passa a valutare TC: se negativa o non valorizzata si classifica come N0-1, altrimenti si valuta cN1: se uguale a sì allora si conclude la classificazione come N2, altrimenti come N0-1. Nella parte inferiore, confusion matrix e curva ROC.

Figura 3.Distribuzione di frequenza di ProbMESSia, separata tra N2 ed N0-1: importanza di EBUS/EUS nella corretta classificazione (R-g grain). La distribuzione dei casi con EBUS/EUS positiva visualizza una specificità elevata (100%) e una sensibilità più ridotta (88%), con presenza di casi N2 pur con EBUS/EUS negativa.

Figura 4.a) Curva ROC (Receiver Operating Characteristic) della probabilità calcolata per MESSia, Bayes e regressione logistica (R-p ROC); b) Curve Sensibilità e Specificità in base alla ProbMESSia. È possibile individuare i valori di cut-off (8-10) che minimizzano la differenza tra sensibilità e specificità. La linea verticale è tracciata in corrispondenza del cut-off usato nello studio.

Figura 5.Curva TOC (Total operating characteristic) della probabilità calcolata ProbMESSia (R-TOC). Hits = Veri positivi, Misses = Falsi negativi. Nella visualizzazione della curva TOC la coordinata sull’asse orizzontale indica la somma dei casi classificati N2, VP+FP, per ogni possibile cut-off, mentre l’asse verticale indica il numero dei casi classificati correttamente come N2. I numeri (triangoli rossi lungo la curva) rappresentano i valori di cut-off corrispondenti ai valori di VP e VP+FP sugli assi verticale ed orizzontale. Il classificatore ideale è posizionato nel punto di intersezione tra l’asse orizzontale (verde, Hits+Misses) e la retta obliqua (maximum) in cui FP e FN risultano pari a zero, con sensibilità e specificità pari al 100%: il cut-off ideale è quello che si avvicina di più al punto di intersezione (segmento azzurro).

Figura 6.NeT Benefit e riduzione di interventi non necessari. 6a e 6c) confronto di curve di Net Benefit usando ProbMESSia rispetto ad altri modelli previsionali e alle singole indagini diagnostiche; Net Benefit consente una immediata interpretazione clinica: il valore di 0,18 in corrispondenza della probabilità dell’8% (threshold o cut-off) corrisponde all’individuazione preoperatoria di 18 pazienti su 100 in stadio N2. 6b e 6d) riduzione netta degli interventi non necessari: il valore di 0,15 per il cut-off di 8% indica una riduzione del 15% di interventi non necessari (riscontro di N2 alla chirurgia) senza che alcun caso venga perso (nessun caso N0-1 escluso dalla chirurgia). Adottando la strategia decisionale proposta a MESSia si ottiene il miglior risultato in termini di outcome rispetto alle altre strategie analizzate (regressione logistica, etc.) per tutti i valori di probabilità > 8-9% (cut-off). Prob. glm: probabilità calcolata con un modello di regressione logistica, utilizzando la funzione glm (generalized linear models).

Riferimenti bibliografici

1. Coulthard MG. Quantifying how tests reduce diagnostic uncertainty. Arch Dis Child. 2007; 92:404-408. DOI
2. Vilmann P, Clementsen PF, Colella S. Combined endobronchial and esophageal endosonography for the diagnosis and staging of lung cancer: European Society of Gastrointestinal Endoscopy (ESGE) Guideline, in cooperation with the European Respiratory Society (ERS) and the European Society of Thoracic Surgeons (ESTS). Endoscopy. 2015; 47:545-549. DOI
3. Silvestri GA, Gonzalez AV, Jantz MA. Methods for staging non-small cell lung cancer: diagnosis and management of lung cancer, 3rd ed: American College of Chest Physicians evidence-based clinical practice guidelines. Chest. 2013; 143:e211S-2050S. DOI
4. Ceron L, Michieletto L, Zamperlin A. Mediastinal staging in lung cancer: a rational approach. Monaldi Arch Chest Dis. 2009; 71:170-175. DOI
5. Galasso T, Corbetta L, Mancino L. Statistical approach to mediastinal staging in NSCLC with M.E.S.S.i.a. software. Preliminary data and multicenter prospective validation study framework. Monaldi Arch Chest Dis. 2019; 89:1068. DOI
6. Ceron L, Mancino L, Michieletto L. Bayesian approach to mediastinal staging of lung cancer: economic analysis. Rassegna di Patologia dell’Apparato Respiratorio. 2013; 28:258-264.
7. Vickers AJ, Elkin EB. Decision curve analysis: a novel method for evaluating prediction models. Med Decis Making. 2006; 26:565-574. DOI
8. Vickers AJ, Calster BV, Steyerberg EW. Net benefit approaches to the evaluation of prediction models, molecular markers, and diagnostic tests. BMJ. 2016; 352:i6. DOI
9. Ettinger DS, Wood DE, Aisner DL. NCCN Guidelines® Insights: non–small cell lung cancer, Version 2.2023. J Natl Compr Canc Netw. 2023; 21:340-350. DOI
10. Shin SH, Jeong DY, Lee KS. Which definition of a central tumour is more predictive of occult mediastinal metastasis in nonsmall cell lung cancer patients with radiological N0 disease?. Eur Respir J. 2019; 53:1801508. DOI