Prestatie van AI versus mensen voor de detectie van coronaire stenose

In een post-hocanalyse van de Nederlandse PACIFIC-1-studie presteerde een nieuw AI-algoritme beter dan artsen in de detectie van obstructieve stenose op CT-angiografie, met name bij patiënten met uitgebreid coronairlijden.

Deze samenvatting is gebaseerd op de publicatie van Bernardo R, Nurmohamed NS, Bom MJ, et al. - Diagnostic accuracy in coronary CT angiography analysis: artificial intelligence versus human assessment. Open Heart. 2025 Jan 11;12(1):e003115. doi: 10.1136/openhrt-2024-003115.

Introductie en methoden

Achtergrond

Visuele beoordeling van coronaire CT-angiografie (CCTA) is tijdrovend, sterk afhankelijk van de ervaring van de lezer en gevoelig voor interbeoordelaarsvariabiliteit [1,2]. Aangezien dit kan leiden tot overschatting van coronaire stenose en onnodige interventies [2,3], is er behoefte aan grotere nauwkeurigheid en betere reproduceerbaarheid van CCTA-analyse.

Atherosclerosis imaging quantitative CT (AI-QCT) is een nieuw, door kunstmatige intelligentie (AI) gestuurd algoritme voor de beoordeling van coronaire stenose dat een grote nauwkeurigheid heeft laten zien ten opzichte van invasieve kwantitatieve coronaire angiografie (quantitative coronary angiography, QCA) en andere modaliteiten [3-6]. De prestatie van AI-QCT is echter niet rechtstreeks vergeleken met die van menselijke CCTA-lezers met verschillende ervaringsniveaus.

Doel van de studie

Het doel van de studie was om de diagnostische nauwkeurigheid te evalueren van AI-QCT en visuele beoordeling door artsen voor de detectie van coronaire stenose.

Methoden

Dit was een post-hocanalyse van de eerder gepubliceerde PACIFIC-1-studie (Prospective Comparison of Cardiac PET/CT, SPECT/CT Perfusion Imaging and CT Coronary Angiography With Invasive Coronary Angiography), een prospectieve, observationele, gecontroleerde, klinische studie die werd uitgevoerd in de Amsterdam Universitair Medische Centra in Amsterdam in de periode januari 2012-2014 [7]. In deze studie ondergingen 208 opeenvolgende patiënten met nieuw ontstane stabiele pijn op de borst en aanwijzingen voor coronairlijden CCTA en invasieve QCA.

De CCTA-beelden werden onafhankelijk geïnterpreteerd door een lezer van niveau 3 (d.w.z.: een ervaren radioloog met meer dan 5 jaar werkervaring in de klinische beoordeling van CT-scans) en twee lezers van niveau 2 (d.w.z.: cardiologen in opleiding), die allen blind waren voor elkaars interpretaties, de patiëntkenmerken en de QCA-resultaten. Voor elk groot epicardiaal vat werden de percentuele stenose en stenosecategorie gescoord volgens de expertconsensus van het Coronary Artery Disease Reporting and Data System (CAD-RADS) [8].

De externe prestaties van AI-QCT en klinische lezers voor het voorspellen van obstructief coronairlijden werden vergeleken met die van geblindeerde QCA die werd uitgevoerd door een hoofdlaboratorium (met stenose ≥50% en ≥70% als referentiestandaarden) met behulp van een analyse van de oppervlakte onder de curve (area under the curve, AUC).

Belangrijkste resultaten

• Voor de detectie van stenose ≥50% op patiëntniveau behaalde AI-QCT een AUC van 0,91 (95%BI: 0,87-0,95), wat hoger was dan de niveau 3-lezer (0,77; 95%BI: 0,70-0,83; P<0,001) en beide niveau 2-lezers (0,79; 95%BI: 0,72-0,85 en 0,76; 95%BI: 0,69-0,83, respectievelijk; beide P<0,001).
• Vergelijkbare resultaten werden gevonden voor de detectie van stenose ≥70%.
• Op vaatniveau lieten AI-QCT (AUC: 0,86; 95%BI: 0,82-0,89) en de niveau 3-lezer (AUC: 0,82; 95%BI: 0,79-0,86; P=0,098) een vergelijkbare prestatie zien voor de detectie van stenose ≥50% op QCA, terwijl de niveau 2-lezers dezelfde, maar well lagere AUC behaalden (0,69; 95%BI: 0,65-0,74; P<0,001).
• Interbeoordelaars-correlatieanalyse van CAD-RADS scores gaf aan dat AI-QCT de hoogste concordantie had met QCA (98/206; 48%), gevolgd door de niveau 3-lezer (30%) en de twee niveau 2-lezers (respectievelijk 19% en 24%).
• Bij patiënten met een totaal plaquevolume boven de mediaan (d.w.z.: relatief uitgebreid coronairlijden) bereikte AI-QCT een AUC van 0,88 (95%BI: 0,82-0,94) voor de detectie van stenose ≥50%, wat hoger was dan die van de niveau 3-lezer (0,77; 95%BI: 0,68-0,86; P=0,015) en van beide niveau 2-lezers (0,72; 95%BI: 0,62-0,82; P=0,007 en 0,72; 95%BI 0,62-0,83; P=0,004).

Conclusie

In deze post-hocanalyse van de monocentrische PACIFIC-1-studie had AI-QCT de hoogste concordantie met de referentiestandaard invasieve QCA voor de detectie van obstructieve stenose. Visuele beoordeling door ervaren radiologen liet een vergelijkbare prestatie zien als AI-QCT, maar cardiologen in opleiding presteerden minder goed, vooral bij patiënten met uitgebreid coronairlijden. De auteurs concluderen dat “het duidelijkste voordeel van de implementatie van AI-QCT door middel van een gestandaardiseerde benadering van CCTA-analyse mogelijk is weggelegd voor centra die niet beschikken over zeer ervaren lezers”.

Vind dit artikel online op Open Heart.

Referenties

1. Jonas RA, Weerakoon S, Fisher R, et al. Interobserver variability among expert readers quantifying plaque volume and plaque characteristics on coronary CT angiography: a CLARIFY trial sub-study. Clin Imaging 2022;91:19–25.
2. Lu MT, Meyersohn NM, Mayrhofer T, et al. Central Core Laboratory versus Site Interpretation of Coronary CT Angiography: Agreement and Association with Cardiovascular Events in the PROMISE Trial. Radiology 2018;287:87–95.
3. Griffin WF, Choi AD, Riess JS, et al. AI Evaluation of Stenosis on Coronary CTA, Comparison With Quantitative Coronary Angiography and Fractional Flow Reserve: A CREDENCE Trial Substudy. JACC Cardiovasc Imaging 2023;16:193–205.
4. Choi AD, Marques H, Kumar V, et al. CT Evaluation by Artificial Intelligence for Atherosclerosis, Stenosis and Vascular Morphology (CLARIFY): A Multi-center, international study. J Cardiovasc Comput Tomogr 2021;15:470–6.
5. Lipkin I, Telluri A, Kim Y, et al. Coronary CTA With AI-QCT Interpretation: Comparison With Myocardial Perfusion Imaging for Detection of Obstructive Stenosis Using Invasive Angiography as Reference Standard. AJR Am J Roentgenol 2022;219:407–19.
6. Kim Y, Choi AD, Telluri A, et al. Atherosclerosis Imaging Quantitative Computed Tomography (AI-QCT) to guide referral to invasive coronary angiography in the randomized controlled CONSERVE trial. Clin Cardiol 2023;46:477–83.
7. Danad I, Raijmakers PG, Driessen RS, et al. Comparison of Coronary CT Angiography, SPECT, PET, and Hybrid Imaging for Diagnosis of Ischemic Heart Disease Determined by Fractional Flow Reserve. JAMA Cardiol 2017;2:1100–7.
8. Cury RC, Leipsic J, Abbara S, et al. CAD-RADSTM 2.0 - 2022 Coronary Artery Disease-Reporting and Data System: An Expert Consensus Document of the Society of Cardiovascular Computed Tomography (SCCT). J Cardiovasc Comput Tomogr 2022;16:536–57.