Valutazione della classificazione della retinopatia diabetica in base all’intelligenza artificiale nelle cure primarie

Introduzione

La retinopatia diabetica (DR), se non trattata, porta ad un progressivo deterioramento della vista e ad un’eventuale cecità.¹ L’identificazione tempestiva e il rinvio agli oculisti potrebbe ridurre la cecità e le complicazioni della malattia. Le persone con diabete mal controllato dovrebbero essere sottoposte a screening per la DR almeno una volta all’anno²Tuttavia, solo la metà di questi pazienti viene sottoposta a screening.³ Attualmente lo screening richiede l’intervento di un oculista, e i pazienti non possono visitare lo specialista a causa di barriere logistiche, del costo della visita o della mancanza di un oculista nella loro comunità.

Un metodo per migliorare l’accesso allo screening DR è che le pratiche di cure primarie ottengano immagini a colori del fundus e le inviino agli oculisti o agli optometristi per la lettura.⁴ Mentre tali programmi aumentano i tassi di screening,⁵ ci sono barriere logistiche, costi e ritardi nella lettura delle immagini da parte di oculisti o optometristi.

Queste limitazioni hanno spinto l’interesse per la valutazione computerizzata delle immagini attraverso sistemi di classificazione basati sull’intelligenza artificiale (AI) completamente automatizzati. Un sistema di questo tipo deciderebbe in tempo reale se un paziente ha bisogno di un rinvio e potrebbe essere potenzialmente molto più economico che avere esperti di screening oculistici. Diversi studi hanno utilizzato repository di immagini della retina per testare le prestazioni dei sistemi di classificazione dell’intelligenza artificiale nel rilevamento del DR,^6,7,8,9,10 e nell’aprile 2018 la Food and Drug Administration statunitense ha approvato un algoritmo di IA, sviluppato da IDx, utilizzato con la telecamera Topcon Fundus (Topcon Medical) per l’identificazione del DR.¹¹

Nonostante l’entusiasmo per il potenziale dei sistemi di classificazione basati sull’IA, a nostra conoscenza, non c’è mai stata una valutazione delle prestazioni di un sistema di IA in un ambiente clinico reale. In questo studio pilota, descriviamo le prestazioni di un sistema di IA in uno studio di assistenza primaria.

Metodi

Il progetto dello studio, le informazioni ai pazienti e i moduli di consenso informato per i partecipanti allo studio sono stati approvati dal Comitato Etico per la Ricerca Umana presso l’Università di Notre Dame, Fremantle, Australia, e i pazienti hanno fornito il consenso informato scritto. Abbiamo condotto lo studio secondo le linee guida di segnalazione degli standard per la segnalazione della precisione diagnostica(STARD).

Sistema di classificazione basato su AI per la DR

Il nostro sistema di IA si basa su modelli di apprendimento profondo e basati su regole per la DR. È stato sviluppato e valutato sulla base di patologie delineate manualmente utilizzando immagini a colori del fundus da diversi set di dati di formazione (in totale 30.000 immagini) tra cui DiaRetDB1¹² e Kaggle¹³ (EyePACS) e la nostra banca dati australiana Tele-eye care DR. Il modello è stato rielaborato utilizzando le immagini dei 3 set di dati. Il modello di apprendimento profondo ha adottato un modello di rete neurale convoluzionale profonda. Abbiamo usato gli strati neurali convoluzionali del modello di apprendimento profondo Inception-v3 come modello di base e lo abbiamo collegato al nostro modello di punta personalizzato con diversi strati completamente collegati ai fini della classificazione delle immagini DR. Applicando la tecnologia di transfer-learning, il processo di formazione del modello comprende le seguenti fasi: (1) classificare manualmente i dati delle immagini selezionate in 2 categorie, malattia di DR e nessuna malattia di DR; (2) dividere i dati delle immagini classificate in 2 parti, set di dati di formazione (80% del totale) e set di dati di test (20%) e mantenere l’equilibrio delle 2 categorie in ogni set di dati; (3) normalizzare tutte le immagini e ridimensionarle alla dimensione di 299× 299 pixel; (4) caricare i pesi del modello base preallenato e utilizzare il set di dati di allenamento per allenare inizialmente il modello di punta; (5) utilizzare il set di dati di allenamento per allenare l’intero modello; e (6) monitorare la precisione e la perdita sul set di dati di allenamento e sul set di dati di prova e ottenere il modello migliore. Il modello basato su criteri di selezione basati sulle regole adottato porta a 3 risultati: (1) un’identificazione binaria della malattia o di nessuna malattia per la RD clinicamente significativa, (2) l’identificazione di patologie specifiche (ad esempio, microaneurismi ed essudati) relative alla RD, e (3) la gravità della RD sulla base dei criteri della Scala di Gravità della Retinopatia Diabetica Clinica Internazionale.¹⁴ Il sistema AI è compatibile con la maggior parte delle macchine fotografiche per l’imaging della retina (ad esempio, Canon, Zeiss e DRS).

Il sistema di controllo della qualità delle immagini ha utilizzato tecniche di apprendimento approfondito per verificare la qualità delle immagini. Abbiamo classificato manualmente le immagini selezionate dai set di dati in 2 classi: qualità dell’immagine adeguata per la classificazione DR e qualità dell’immagine inadeguata per la classificazione DR. Poi abbiamo usato le uniche immagini di qualità adeguata per addestrare il modello di rete neurale convoluzionale. Tuttavia, c’erano alcune immagini la cui qualità era ambigua tra adeguata e inadeguata, il che avrebbe dovuto influenzare alcuni risultati.

Impiego in uno studio di cure primarie

Abbiamo utilizzato il sistema di IA per 6 mesi (dal 1° dicembre 2016 al 31 maggio 2017) presso uno studio di assistenza primaria nel Midland, Australia Occidentale, che impiegava 4 medici di base. Il sistema di tele-retinalità e di IA comprende una fotocamera a colori (Canon CR-2 AF), un server di cloud computing e un server di applicazioni web.

Nel corso di circa 1 o 2 settimane abbiamo formato 2 infermieri per utilizzare la fotocamera del fondo e il nostro software di screening del tele-retino. Tutti i pazienti con diabete visti alla clinica di assistenza primaria sono stati invitati a partecipare allo studio. Sono state acquisite immagini centrate su Macula e sono state ammesse da 1 a 3 immagini per occhio a seconda della qualità dell’immagine (confermata dal software di controllo qualità). Dopo aver completato il processo di imaging, il sistema ha inviato le informazioni del paziente e le relative immagini a un server web utilizzando il formato Digital Imaging and Communications in Medicine. Il sistema di classificazione DR ha fornito una malattia binaria o un grado DR senza malattia al medico di base via e-mail. I pazienti con DR moderata o grave sono stati immediatamente indirizzati ad un oculista.

Tutte le immagini sono state anche inviate ad un oculista per la valutazione utilizzando il nostro sistema di tele-retinizzazione. Se la lettura dell’oculista era diversa da quella del sistema di IA, la lettura dell’oculista è stata trasmessa al medico.

Analisi statistica

La lettura binaria (malattia o non malattia) da parte di un oculista è stata utilizzata come gold standard e confrontata con la gradazione ottenuta dal nostro sistema di IA. La sensibilità della classificazione della malattia era vero positivo/(vero positivo + falso negativo), la specificità era vero negativo/(vero negativo + falso positivo), il valore predittivo positivo era vero positivo/(vero positivo + falso positivo) e il valore predittivo negativo era vero negativo/(vero negativo + falso negativo).

Risultati

Durante il periodo di studio, lo studio ha visto 216 pazienti con diabete. Dei 193 pazienti che hanno accettato di sottoporsi allo screening per il diabete rosso, 93 (48%) erano donne. L’età media (SD) era di 55 (17) anni con un range di 18 – 87 anni.

L’infermiera ha impiegato circa 10-15 minuti per ottenere immagini per entrambi gli occhi e il sistema di IA ha fornito risultati di lettura in meno di 3 minuti. Sono state esaminate trecentottantasei immagini.

In base alla classificazione da parte di un oculista, dei 193 pazienti, 183 non presentavano segni di retinopatia, 8 avevano una lieve DR non proliferativa, e 2 avevano una DR clinicamente significativa (1 con moderata DR non proliferativa, 1 con grave DR non proliferativa). I 2 pazienti con malattia moderata o grave hanno dovuto rivolgersi ad un oculista(Tabella 1).

Il nostro sistema di IA ha classificato 17 pazienti con DR clinicamente significativo e 176 senza malattia. Il sistema ha classificato i 2 pazienti con una vera e propria DR moderata e grave come affetti da malattia, indicando che dovrebbero essere indirizzati agli oculisti. Ha anche identificato correttamente tutti e 8 i casi di DR lieve. Dei 17 pazienti classificati come clinicamente significativi, 15 erano falsi positivi. Ciò ha portato a una specificità del 92% (95% di IC, 87%-96%) e a un valore predittivo positivo del 12% (95% di IC, 8%-18%)(Tabella 2).

Ci sono stati diversi fattori che hanno portato ai 15 risultati falsi positivi. Sei avevano drusen che erano simili in apparenza agli essudati. Altri falsi positivi sono stati determinati da riflessi di lenti sporche o da un’esposizione non uniforme della luce sul bordo delle immagini che il nostro processo di controllo della qualità dell’immagine non è stato in grado di identificare completamente. Il sistema di Intelligenza Artificiale ha identificato anche gli essudati che erano riflessi di lucentezza intorno al disco ottico, all’area papillomacolare e alla macula.

Discussione

Abbiamo valutato le prestazioni di un sistema di IA che legge le immagini della retina per identificare il DR in un contesto clinico reale. Il sistema è stato implementato con successo e ha rilevato 2 pazienti con grave DR che richiedevano un rinvio. Sebbene la dimensione del campione fosse limitata, il sistema di IA è stato efficace nell’escludere la malattia. Tuttavia, il sistema aveva un alto tasso di falsi positivi con una specificità del 92% e un valore predittivo positivo di appena il 12%.

La specificità del sistema implementato (92%) è simile alla nostra precedente validazione utilizzando un database di immagini della retinopatia (93%) e simile ad altri sistemi di IA per la lettura delle immagini della retinopatia (93,4%).^9,10 L’alto tasso di falsi positivi è stato determinato dalla bassa incidenza di malattia (2 su 193 [1%]). Le precedenti convalide dei sistemi di IA per l’identificazione dei DR hanno utilizzato dati provenienti da banche dati di immagini retiniche, e le immagini sono state preselezionate in modo tale che l’incidenza della malattia fosse molto più alta (circa 1 su 3). In media, quando l’incidenza della malattia è più bassa, anche il valore predittivo positivo sarà inferiore. Questo è coerente con altri programmi di screening in cui i falsi positivi sono comuni, come le mammografie.¹⁵ Il basso tasso di incidenza di DR che abbiamo osservato nel nostro studio è la norma nelle cure primarie; pertanto, i falsi positivi sono probabilmente un problema, a meno che la specificità del nostro sistema o di altri sistemi non sia molto più alta. Data questa limitazione, riteniamo che le immagini della retinopatia identificate come malattie da un sistema di IA debbano essere esaminate da un oculista prima di essere sottoposte ad un esame.

Nonostante queste limitazioni, riteniamo che il sistema di IA abbia il potenziale per migliorare l’efficienza dello screening per la DR nelle cure primarie. Circa il 92% di tutti i pazienti è stato immediatamente informato presso il proprio studio di cure primarie che non aveva alcuna RD e quindi non era necessario alcun rinvio. In questo caso, il numero di pazienti che avrebbero dovuto essere esaminati da un oculista era inferiore al 10%. La capacità di fornire uno screening oculistico in tempo reale presso gli studi medici di medicina di base ha molti vantaggi pratici, tra cui la gestione completa delle malattie croniche in un’unica sede per i pazienti affetti da diabete. C’è anche il potenziale per migliorare il sistema di IA. L’ulteriore formazione del sistema di IA per differenziare il drusen, la lucentezza dei riflessi e gli essudati può migliorare la specificità.

Limitazioni

Ci sono stati 2 limiti chiave di questo studio. Il primo è la piccola dimensione del campione e il fatto che solo 2 dei pazienti sottoposti a screening avevano una malattia clinicamente significativa. Il secondo è la generalizzabilità. Il nostro studio si è limitato a 1 studio di assistenza primaria in Australia occidentale e ha utilizzato un unico sistema di IA.

Conclusioni

La nostra valutazione dimostra sia la promessa che le sfide dell’utilizzo di sistemi di IA per identificare la DR nella pratica clinica. Le valutazioni dei sistemi di IA dovrebbero essere condotte nella pratica clinica reale prima di essere diffuse su larga scala.

References

1. Prevalence of diabetic retinopathy in the United States, 2005-2008. JAMA. 2010; 304(6)DOI | PubMed
2. Telemedicine screening for eye disease. JAMA. 2015; 313(16):1666-1667. DOI | PubMed
3. Non-adherence to eye care in people with diabetes. BMJ Open Diabetes Res Care. 2017; 5(1):e000333. DOI | PubMed
4. Screening for diabetic retinopathy. N Engl J Med. 2017; 376(16):1587-1588. DOI | PubMed
5. Improving diabetic retinopathy screening ratios using telemedicine-based digital retinal imaging technology: the Vine Hill study. Diabetes Care. 2007; 30(3):574-578. DOI | PubMed
6. Automated early detection of diabetic retinopathy. Ophthalmology. 2010; 117(6):1147-1154. DOI | PubMed
7. Algorithms for the automated detection of diabetic retinopathy using digital fundus images: a review. J Med Syst. 2012; 36(1):145-157. DOI | PubMed
8. Telemedicine and diabetic retinopathy: review of published screening programs. J Endocrinol Diabetes. 2015; 2(4):1-10. DOI | PubMed
9. Development and validation of a deep learning algorithm for detection of diabetic retinopathy in retinal fundus photographs. JAMA. 2016; 316(22):2402-2410. DOI | PubMed
10. Deep learning for automatic detection and classification of microaneurysms, hard and soft exudates, and hemorrhages for diabetic retinopathy diagnosis. Invest Ophthalmol Vis Sci. 2016; 57(12):5962.
11. Publisher Full Text
12. Publisher Full Text
13. Publisher Full Text
14. Proposed international clinical diabetic retinopathy and diabetic macular edema disease severity scales. Ophthalmology. 2003; 110(9):1677-1682. DOI | PubMed
15. Sensitivity and specificity of mammographic screening as practised in Vermont and Norway. Br J Radiol. 2012; 85(1020):e1226-e1232. DOI | PubMed