騰訊天衍實驗室在AI電子陰道鏡輔助診斷系統(tǒng)的研究中提出了新的深度學習框架
近日，騰訊天衍實驗室圍繞AI輔助篩查宮頸癌的研究論文，相繼在《BMC Medicine》、《IEEE Transactions On Medical Imaging》、《Medical Image Analysis》及MICCAI等多個醫(yī)學頂級期刊及會議發(fā)表和收錄。
從技術(shù)層面來看，AI電子陰道鏡輔助診斷系統(tǒng)重點突破了醫(yī)生利用陰道鏡診斷宮頸癌與癌前病變時的幾大關(guān)鍵難題，包括宮頸病變區(qū)域進行精確分割、對不同嚴重程度CIN的精準分離、為陰道鏡醫(yī)師準確定位活檢部位提供指導等多項技術(shù)瓶頸，顯著提升了電子陰道鏡診斷效率和準確率。
由于子宮頸表面的光反射等成像條件有一定困難，醫(yī)師在檢查過程中需要準確對病變區(qū)域進行分割，為病理檢驗進行準確的標本取材。但病變區(qū)域分割以往比較依賴醫(yī)生經(jīng)驗，如果醫(yī)生出現(xiàn)誤判，那么病理檢驗階段極有可能出現(xiàn)假陰性（指實際有病但檢查未發(fā)現(xiàn)），假陽性的誤診、漏診、過度活檢等現(xiàn)象的發(fā)生，貽誤病情。為此，如何提升基層醫(yī)院陰道鏡醫(yī)師專業(yè)能力，精準分割宮頸病變區(qū)域等能力，也成為加速消滅宮頸癌待解決的問題之一。
· 提出全局注意機制特征庫，輔助陰道鏡醫(yī)師對圖像進行多尺度視角進行病變區(qū)域分割
在臨床實踐中，陰道鏡醫(yī)師經(jīng)常需要放大潛在病變區(qū)域，以便更清晰地觀察，如圖1（a）和（b）所示。在這些圖像中，病變區(qū)域大小千差萬別，這就對CAD系統(tǒng)進行精確地宮頸病變分割提出了多尺度特征提取的高要求。雖然一些解決方案紛紛出臺，如U-Net、PSPNet和DeepLab，但仍有改進的空間。
圖1:宮頸變分割數(shù)據(jù)集中的示例鏡圖像。宮頸上皮內(nèi)瘤變(CIN)和宮頸癌的病變區(qū)域分別用綠色和藍色輪廓標注。
基于此，AI電子陰道鏡輔助診斷系統(tǒng)提出了一種新的全局注意機制，即特征圖書館（feature library）。該機制將整個骨干網(wǎng)絡(luò)視為一個特征庫，收集不同階段的所有特征，全局性地選擇有意義的特征來構(gòu)成穩(wěn)健的宮頸病變分割表征，并自適應地選擇不同尺度上的特征來重新校準最具信息量的表征，輔助陰道鏡醫(yī)師的臨床決策，而且可以為活檢部位的定位提供指導。
為了更好地訓練和評估該深度學習網(wǎng)絡(luò)，騰訊天衍實驗室構(gòu)建了一個大規(guī)模的宮頸病變分割數(shù)據(jù)集（CINEMA dataset）。該特征庫中的數(shù)據(jù)集包含了來自近萬個病例的數(shù)萬張圖像，宮頸病變可分為宮頸上皮內(nèi)瘤變（CIN）和癌癥，由經(jīng)驗豐富的鏡醫(yī)師對其進行注釋。用于深度學習網(wǎng)絡(luò)的訓練和評估。實驗結(jié)果表明，該特征庫對宮頸病變區(qū)域具有較好的分割效果。特征庫是一個插件式模塊，可以很容易地集成到任何CNN中。
· 通過融合多時隙圖像排查低度鱗狀上皮內(nèi)病變或更嚴重的病變（LSIL+型，由CIN1/2/3和癌癥組合）區(qū)域，準確識別需要陰道鏡活檢的患者
醋酸目視檢查法(VIA)是常用的陰道鏡檢查方法之一。典型VIA的過程可以概括為: 首先，在宮頸上應用5%的醋酸，可將發(fā)育不良的上皮轉(zhuǎn)變?yōu)榘咨珔^(qū)域(醋白色)。然后，陰道鏡醫(yī)師在VIA期間的不同時間點捕獲不同數(shù)量的醋酸后圖像。
宮頸區(qū)域在醋酸作用下逐漸變白，并且在施用醋酸120s左右變白最為明顯。VIA(150秒)結(jié)束后，非癌患者的白色區(qū)域可能會消退，而LSIL+患者將會維持白色區(qū)域。白色區(qū)域的特征(白色程度、紋理等)被視為LSIL+診斷的一個指標。LSIL+識別的另一個重要臨床指標是白色區(qū)域的持續(xù)時間。
當前，宮頸癌自動診斷系統(tǒng)針對VIA實驗多采用單時隙圖像，即僅使用一幅醋酸陰道鏡后的圖像進行診斷，宮頸發(fā)育不良分類的準確度高度依賴于醋酸后圖像的質(zhì)量，而醋酸后圖像對噪聲的魯棒性不強，例如，鑷子等偽影可能會遮擋病變區(qū)域。此外，使用單一醋酸后圖像的框架不能利用VIA試驗過程中包含的有價值的信息，如白色區(qū)域的維持時間。
為此，AI電子陰道鏡輔助診斷系統(tǒng)提出了一種采用延時陰道鏡圖像來進行LSIL+(包括CIN和宮頸癌)識別的深度學習框架，擬用框架包括關(guān)鍵幀特征編碼網(wǎng)絡(luò)和特征融合網(wǎng)絡(luò)兩個部分。該框架首先采用子宮頸檢測網(wǎng)絡(luò)從整個圖像中檢測出子宮頸區(qū)域。然后，利用分離特征編碼網(wǎng)絡(luò)對不同時隙的子宮頸區(qū)域進行特征提取（對醋酸試驗中大約在第60、90、120、150秒捕獲的的原始(醋酸前)圖像和陰道鏡圖像進行特征編碼）。最后，提取的特征通過基于節(jié)點和邊緣特征的可解釋性圖卷積網(wǎng)絡(luò)(E-GCN)進行融合，識別出需要活檢的患者。
· 基于細粒度病變描述建立陰道鏡數(shù)據(jù)集，提升CIN分級準確率
早期發(fā)現(xiàn)宮頸上皮內(nèi)瘤變(CIN)（可能是宮頸表面鱗狀細胞的癌前改變和異常生長）可以明顯提高患者存活率。WHO將CIN分為三個等級，CIN1(輕度)、CIN2(中度)和CIN3(重度)。不同的CIN（宮頸上皮內(nèi)瘤樣病變）分級的治療方法不同。盡管現(xiàn)有的研究提出了計算機輔助診斷(CAD)系統(tǒng)用于宮頸癌診斷，但是由于在陰道鏡下，CIN1和CIN2/3有很大相似性，但都未能實現(xiàn)精準分離CIN1和CIN2/3。
圖 2：GRAND數(shù)據(jù)集中的陰道鏡圖像樣本。CIN1患者(a)的圖像外觀可能與陰道鏡下的CIN2/3 (b)相似。CIN準確分級存在一些困難，如正常宮頸表面光反射引起的假病變區(qū)域(c)和偽影引起的閉塞(d)。
AI電子陰道鏡輔助診斷系統(tǒng)中，研究人員構(gòu)建了一個陰道鏡圖像數(shù)據(jù)集（GRAND），用于采用細微病變描述對宮頸上皮內(nèi)瘤樣病變分級。陰道鏡專家主要是通過觀察120s時陰道鏡圖像上顯示的宮頸醋白上皮質(zhì)地(TAE)和血管外觀(ABV)來進行CIN分級。
對于每名患者，研究人員記錄下施用醋酸后120s的圖像，并邀請經(jīng)驗豐富的陰道鏡醫(yī)師對兩個臨床有用的線索宮頸醋白上皮質(zhì)地(TAE)和血管的外觀(ABV)進行相應標注，為深度學習網(wǎng)絡(luò)系統(tǒng)提供了額外信息并提高其CIN分級的準確率。
針對該數(shù)據(jù)集，研究人員建立了一個多評估者介導模型。提出的框架包含有幾個通過分別對比學習來利用細微病變特征TAE和ABV的子網(wǎng)絡(luò)系統(tǒng)(評估者)，以及一個從陰道鏡圖像中提取全部信息的骨干網(wǎng)絡(luò)。對GRAND數(shù)據(jù)集進行了一項綜合試驗。試驗結(jié)果證明了使用附加病變描述(TAE和ABV)的獲益，可將CIN分級準確率提高10%以上。此外，通過邀請陰道鏡醫(yī)師與AI電子陰道鏡輔助診斷系統(tǒng)競賽，評測出所推出的基準框架的CIN分級準確率與陰道鏡專家相當。
除此外，由于陰道鏡醫(yī)生在陰道鏡檢查時會分析圖像和非圖像信息(子宮頸細胞學檢查TCT和HPV狀態(tài))，AI電子陰道鏡輔助診斷系統(tǒng)也盡可能準確地模擬陰道鏡專家的診斷，該輔助系統(tǒng)由兩個基于深度學習的模塊組成，分別用于對陰道鏡提示的分級和引導活檢。簡而言之，擬用AI電子陰道鏡輔助診斷系統(tǒng)首先檢測圖像的宮頸區(qū)域，以便后續(xù)特征提取，然后利用圖形卷積網(wǎng)絡(luò)來融合所提取的特征，最后將非圖像信息與圖像的融合特征連結(jié)起來，得出分級提示的結(jié)果，預測疑似病變區(qū)域，限制引導活檢部位的范圍。
通過十幾萬份陰道鏡圖像的培訓和驗證，AI電子陰道鏡輔助診斷系統(tǒng)與病理學結(jié)果作為黃金標準的一致性達到了82.2%的高水平，并且高于陰道鏡專家65.9%的原始陰道鏡解釋。上述研究表明，通過AI電子陰道鏡輔助診斷系統(tǒng)可有效協(xié)助基層醫(yī)院陰道鏡師，提升陰道鏡師診療水準，縮小三級醫(yī)院與基層醫(yī)院之間的診斷能力差距，提高宮頸癌篩查質(zhì)量。
讓AI下沉基層
尖端技術(shù)的突破依賴于與醫(yī)療頂級專家合作，但醫(yī)療AI最廣泛的應用場景仍在基層。服務基層醫(yī)療機構(gòu)，助力普惠醫(yī)療、服務分級診療、推進早癌篩查等也是醫(yī)療AI的主場景。
AI電子陰道鏡輔診系統(tǒng)有望為“兩癌篩查”提供助力，輔助宮頸癌篩查全面落地應用和推廣，高效提升宮頸癌篩查服務覆蓋人群范圍與服務效率，并有效緩解基層醫(yī)療服務能力和水平不足的現(xiàn)狀，助推衛(wèi)生資源欠發(fā)達地區(qū)打通宮頸癌篩查鏈條的“最后一公里”，讓早期宮頸癌檢查可以在基層大范圍普及，幫助適齡婦女人群，尤其廣大農(nóng)村女性從中獲益，最大化釋放醫(yī)療普惠價值，助推我國醫(yī)療資源均衡化發(fā)展。
科技改變生活，伴隨著互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能等前沿技術(shù)的爆發(fā)，科技正在推動基層醫(yī)院數(shù)字化升級，改善基層醫(yī)療服務質(zhì)量與水平，幫助患者在基層得到更優(yōu)質(zhì)的就醫(yī)體驗以及更精準的診療，為改變中國醫(yī)療難題發(fā)揮科技價值。
附：相關(guān)發(fā)表論文題目與作者
