2019年的今天，使用影像AI進(jìn)行輔助診斷已成為越來(lái)越多放射科醫(yī)生的常規(guī)操作。據(jù)不完全統(tǒng)計(jì)，國(guó)內(nèi)涉足智能影像診斷的AI企業(yè)已高達(dá)200余家，肺部結(jié)節(jié)AI更是達(dá)到了20余家，成為醫(yī)療AI競(jìng)爭(zhēng)最為火熱的領(lǐng)域之一。
然而結(jié)節(jié)AI的火爆也引發(fā)了諸多爭(zhēng)議，AI的結(jié)節(jié)檢出性能到底如何？金標(biāo)準(zhǔn)如何選定？走出高質(zhì)量的研發(fā)數(shù)據(jù)集之后，面對(duì)復(fù)雜多變的臨床環(huán)境，AI的性能能否保持穩(wěn)定？眾多公司都依然停留在小樣本數(shù)據(jù)的概念驗(yàn)證階段時(shí)，AI的真實(shí)臨床價(jià)值如何才能被驗(yàn)證？
最重要的是，AI到底能在多大程度上輔助臨床醫(yī)生？
近期，由華中科技大學(xué)同濟(jì)醫(yī)學(xué)院附屬協(xié)和醫(yī)院與國(guó)內(nèi)醫(yī)療AI獨(dú)角獸依圖醫(yī)療聯(lián)合完成的care.ai?胸部CT智能4D影像系統(tǒng)臨床性能驗(yàn)證試驗(yàn)數(shù)據(jù)公布，管窺一豹，為我們揭開(kāi)了影像AI在真實(shí)臨床環(huán)境中的性能表現(xiàn)。
問(wèn)題一： AI檢出率到底如何？
結(jié)節(jié)是肺癌的重要表現(xiàn)之一，如何精準(zhǔn)的檢出結(jié)節(jié)，既能夠高敏感防漏，又能確保優(yōu)異的特異性，避免過(guò)度檢出給醫(yī)生帶來(lái)額外負(fù)擔(dān)？
本次性能驗(yàn)證試驗(yàn)中，共納入薄層胸部CT片（掃描層厚≤2mm）100余份，男女比例分別為69%、31%，平均年齡48歲，排除嚴(yán)重呼吸偽影、圖片讀取不完整，以及單個(gè)病人結(jié)節(jié)＞10個(gè)的情況，以2名高年資醫(yī)生盲標(biāo)交集為金標(biāo)準(zhǔn)，研究在真實(shí)臨床環(huán)境中， AI性能與高年資醫(yī)生的差異，從而探討影像科醫(yī)生如何使用AI，以及AI的真實(shí)臨床價(jià)值。
最終結(jié)果如圖所示：
以“AI+醫(yī)生”的檢出為結(jié)果，并以第三方兩位高年資醫(yī)生分別做確認(rèn)，“AI+醫(yī)生”的結(jié)節(jié)檢出率達(dá)到了95.78%，而其漏檢率卻僅有4.22%。在擁有較高靈敏度的同時(shí)，也達(dá)到了優(yōu)異的特異性。
問(wèn)題二：檢出結(jié)果一致性？
高質(zhì)量的影像數(shù)據(jù)一直號(hào)稱影像AI的“糧食”，研發(fā)過(guò)程中，各路研發(fā)團(tuán)隊(duì)“八仙過(guò)?！鲍@取的高質(zhì)量研發(fā)數(shù)據(jù)集質(zhì)量極高，遠(yuǎn)超真實(shí)臨床環(huán)境。問(wèn)題來(lái)了，在脫離高質(zhì)量的研發(fā)數(shù)據(jù)集后， AI在復(fù)雜多變的真實(shí)臨床環(huán)境下表現(xiàn)又如何呢？
而此次試驗(yàn)數(shù)據(jù)回答了這一疑問(wèn)：醫(yī)生和AI針對(duì)同一組影像檢出的結(jié)節(jié)中，其判斷有著極高的一致性。
1、對(duì)結(jié)節(jié)大小的判斷：醫(yī)生組結(jié)節(jié)平均長(zhǎng)度為3.1±1.51毫米，AI組結(jié)節(jié)長(zhǎng)度為3.4±1.72毫米，差異無(wú)統(tǒng)計(jì)學(xué)意義(p=0.18) 。
采取結(jié)節(jié)長(zhǎng)徑來(lái)計(jì)算時(shí)，獲得同樣結(jié)果——醫(yī)生組最長(zhǎng)徑為3.5±1.86毫米，AI組為3.8±2.15毫米，差異無(wú)統(tǒng)計(jì)學(xué)意義（p=0.21）。雙方對(duì)于結(jié)節(jié)大小的定義無(wú)顯著差異。
2、對(duì)結(jié)節(jié)密度的分析（實(shí)性、鈣化、純磨玻璃和混合磨玻璃），醫(yī)師和AI的判定也幾乎一致，Kappa系數(shù)達(dá)到0.90。
綜上所述：care.ai?胸部CT智能4D影像系統(tǒng)能夠幫助醫(yī)生提供多維、高價(jià)值的病灶信息，輔助臨床結(jié)節(jié)檢出?！癆I+醫(yī)生”的閱片模式也能夠有效提高診斷效率和診斷精度。
問(wèn)題三：結(jié)構(gòu)化報(bào)告采納率？
盡管試驗(yàn)結(jié)果證實(shí)： AI能夠以極高的質(zhì)量、極快的速度完成結(jié)節(jié)檢出，但在醫(yī)生書寫完成的影像報(bào)告中，有41份僅提及了1個(gè)主要結(jié)節(jié)，為什么會(huì)出現(xiàn)這種情況？
通過(guò)AI檢出結(jié)節(jié)數(shù)量與醫(yī)生最終報(bào)告結(jié)節(jié)數(shù)量的對(duì)比可以發(fā)現(xiàn)：AI檢出了絕大部分結(jié)節(jié)，包括微小結(jié)節(jié)，而醫(yī)生則會(huì)根據(jù)臨床經(jīng)驗(yàn)選擇性的最有臨床價(jià)值的結(jié)節(jié)，報(bào)告更簡(jiǎn)潔，書寫工作量更少。
為滿足臨床需求，依托依圖醫(yī)療雄厚的自然文本處理技術(shù)，care.ai?胸部CT智能4D影像系統(tǒng)實(shí)現(xiàn)了結(jié)構(gòu)化報(bào)告的秒級(jí)自動(dòng)生成，既可提示所有結(jié)節(jié)，亦可按照醫(yī)生需求選擇性提及重要結(jié)節(jié)，滿足多種臨床需求，實(shí)際臨床工作中，由AI系統(tǒng)出具的結(jié)構(gòu)化報(bào)告采納率超過(guò)92%?！?/p>
問(wèn)題四：哪些結(jié)節(jié)會(huì)有爭(zhēng)議？
此外，在疑難位置，也依然存在部分AI檢出而醫(yī)生未檢出，醫(yī)生檢出而AI未檢出的情況，需要以“AI+醫(yī)生”的形式進(jìn)行互補(bǔ)。
如血管旁結(jié)節(jié)
胸膜上淺淡磨玻璃
從質(zhì)疑到信賴 聽(tīng)聽(tīng)醫(yī)生怎么說(shuō)
“作為湖北省首家試用醫(yī)療AI產(chǎn)品的單位，一開(kāi)始，我們對(duì)于AI的性能和作用確實(shí)是有懷疑的，” 華中科技大學(xué)同濟(jì)醫(yī)學(xué)院附屬協(xié)和醫(yī)院放射科前任主任韓萍教授表示，“AI輔助影像診斷肯定是未來(lái)，但必須經(jīng)受臨床的嚴(yán)苛考驗(yàn)?！?/p>
在韓萍教授的大力支持下，依圖醫(yī)療團(tuán)隊(duì)與協(xié)和醫(yī)院專家組多次溝通、反饋，就醫(yī)療AI的應(yīng)用細(xì)節(jié)展開(kāi)深入探討，在原則及流程確認(rèn)后，啟動(dòng)了AI與臨床工作流的深度融合，通過(guò)培訓(xùn)科室骨干人員，聽(tīng)取反饋意見(jiàn)，不斷完善軟件，最終逐漸擴(kuò)展到科室全部醫(yī)生。
而隨著影像數(shù)據(jù)的增多與培訓(xùn)的進(jìn)行，AI系統(tǒng)強(qiáng)大的學(xué)習(xí)能力，以及良好的敏感性、特異性指標(biāo)迅速得到了科室醫(yī)生的喜愛(ài)，“AI+醫(yī)生”的工作模式也得到越來(lái)越多的專家認(rèn)可。
截至2019年3月，協(xié)和醫(yī)院的本部、腫瘤中心、西院放射科共安裝AI系統(tǒng)客戶端100余個(gè)，供放射科全科醫(yī)生使用。
韓萍教授認(rèn)為，能夠深入理解臨床痛點(diǎn)，減輕臨床醫(yī)師壓力，質(zhì)量穩(wěn)定可靠是AI系統(tǒng)廣泛落地的基礎(chǔ)。她透露，在協(xié)和醫(yī)院，由于診療量巨大，即便夜晚放射科醫(yī)生也很難得到休息，2位醫(yī)生同時(shí)出報(bào)告依然壓力巨大，而隨著AI技術(shù)的進(jìn)步，臨床醫(yī)生對(duì)于AI的信任度越來(lái)越高，每月參與診療案例近萬(wàn)例，從“嘗試AI”到“離不開(kāi)AI”，AI已經(jīng)真正成為臨床醫(yī)生的好幫手。
全部位影像AI時(shí)代來(lái)臨！
值得注意的是，目前各大結(jié)節(jié)AI廠商在技術(shù)路徑選擇上也各有不同，作為武漢協(xié)和的深度合作伙伴，依圖醫(yī)療的care.ai?胸部CT智能4D影像診斷系統(tǒng)已經(jīng)在業(yè)內(nèi)率先完成從“點(diǎn)狀任務(wù)”階段向“單病種、單科室解決方案”階段的能力進(jìn)階。該系統(tǒng)在業(yè)內(nèi)首次突破結(jié)節(jié)檢測(cè)，病灶檢出能力涵蓋結(jié)節(jié)、斑片影、條索影、囊狀影以及縱膈淋巴結(jié)、胸腔積液等絕大部分胸部CT影像所見(jiàn)，在全球尚屬首次。
聯(lián)系客服
