期刊Transactions on Medical Imaging年份2020英文名字Discriminative Regularized Auto-Encoder for Early Detection of Knee OsteoArthritis: Data from the Osteoarthritis Initiative中文譯為用于膝骨關(guān)節(jié)炎早期檢測(cè)的判別正則化自編碼器基于 OAI 數(shù)據(jù)一、摘要膝骨關(guān)節(jié)炎的 X 光視覺診斷存在較強(qiáng)主觀性而早期 OA 的影像變化尤其細(xì)微。雖然深度學(xué)習(xí)能夠自動(dòng)學(xué)習(xí)影像特征但對(duì)于KL0, KL1, KL2這些早期階段不同類別的 X 光紋理非常相似普通 Auto-Encoder 學(xué)到的特征雖然能夠描述圖像卻不一定具有足夠的分類判別能力。因此作者提出DRAE。傳統(tǒng) Auto-Encoder 只要求輸入圖像→編碼特征→重建原圖即主要優(yōu)化重建誤差。DRAE 在此基礎(chǔ)上加入Discriminative Loss顯式要求 同類特征更接近不同類特征更遠(yuǎn)?從而使隱藏空間中的特征更適合早期 OA 分類。最終提取的 DRAE 特征再輸入傳統(tǒng)分類器進(jìn)行健康與早期 OA 判別。二、創(chuàng)新點(diǎn)1 提出判別正則化自編碼器 DRAE普通 AE 關(guān)注能否重建圖像?DRAE進(jìn)一步關(guān)注 學(xué)到的特征能否區(qū)分OA和正常?因此作者在 AE 損失中加入判別約束使隱藏特征類內(nèi)距離減小類間距離增大。2 將 Fisher 判別思想引入 Auto-Encoder作者借鑒 Fisher Linear Discriminant Analysis 的思想設(shè)計(jì)其中μ1?,μ2?兩個(gè)類別特征均值σ12?,σ22?兩個(gè)類別特征方差。最小化該損失相當(dāng)于 減小類內(nèi)方差增大類間均值距離?從而直接提升潛在空間的可分性。3 關(guān)注脛骨軟骨下骨微結(jié)構(gòu)的早期改變論文沒有直接把整張膝關(guān)節(jié) X 光輸入網(wǎng)絡(luò)而是在脛骨平臺(tái)下方提取 5 個(gè) 32×32 ROI。這些區(qū)域覆蓋內(nèi)側(cè)中央外側(cè)脛骨松質(zhì)骨。作者認(rèn)為早期 OA 發(fā)生時(shí)軟骨下骨微結(jié)構(gòu)可能已經(jīng)出現(xiàn)肉眼難以察覺的紋理變化因此專門對(duì)這些區(qū)域進(jìn)行特征學(xué)習(xí)。三、方法為解決這一問題我們提出了一種名為判別正則化自編碼器DRAE的新型AE架構(gòu)如圖2所示。除了標(biāo)準(zhǔn)的重建目標(biāo)外DRAE還要求網(wǎng)絡(luò)捕捉能夠最大化特征類別之間距離的判別性特征。DRAE有兩個(gè)主要目標(biāo)一是使網(wǎng)絡(luò)捕捉到能i最小化類內(nèi)距離、ii最大化類間距離的判別性特征。為此在初始成本函數(shù)中增加了一個(gè)稱為判別懲罰項(xiàng)的額外項(xiàng)。本研究最終將總體目標(biāo)函數(shù)定義為三個(gè)項(xiàng)的組合重建誤差、判別懲罰項(xiàng)以及一個(gè)L2正則化項(xiàng)Reconstruction Loss JAE? 保證隱藏特征能夠保存原始影像的重要信息。Discriminative LossΩdisc?約束 同類聚集同時(shí) 異類分離這是 DRAE 與普通 AE 最大的區(qū)別。L2 RegularizationΩweights?限制網(wǎng)絡(luò)參數(shù)過大減少過擬合提高模型穩(wěn)定性。因此整體思想可以概括為 重建圖像判別類別防止過擬合?四、試驗(yàn)4.1 數(shù)據(jù)集使用公開OAI?即Osteoarthritis Initiative。共選擇 3900張膝關(guān)節(jié) X 光。其中KL01300張KL11300張KL21300張。這樣三個(gè)等級(jí)的數(shù)據(jù)量完全平衡。論文主要首先測(cè)試 KL0 vs. KL2然后進(jìn)一步測(cè)試 KL0 vs. KL1和 KL1 vs. KL24.2 結(jié)果作者還比較ResNet-101DenseNet-121Siamese CNNDRAE。其中ResNet-101Accuracy59.25%DenseNet-121 Accuracy61.30%Siamese方法 Accuracy≈79.65%DRAE Accuracy82.53%?作者認(rèn)為原因在于該任務(wù)關(guān)鍵并不是明顯的形態(tài)變化而是非常細(xì)微的骨小梁紋理變化DRAE針對(duì) ROI 的紋理表征更適合這個(gè)任務(wù)。五、結(jié)論這篇論文的核心思想可以概括為傳統(tǒng) Auto-Encoder只要求“能重建”?DRAE 既要“能重建”又要“能區(qū)分類別”?作者通過在 AE 潛在特征空間中加入判別約束使正常膝特征更加聚集?正常與早期OA特征更加分離?然后利用 SVM 對(duì)這些紋理特征進(jìn)行分類。實(shí)驗(yàn)表明 DRAE 優(yōu)于傳統(tǒng) AE、Sparse AE 以及文中比較的 CNN 方法并發(fā)現(xiàn)脛骨內(nèi)側(cè)軟骨下骨區(qū)域的紋理具有更強(qiáng)的早期 OA 判別能力。