摘要：淋巴細(xì)胞是白細(xì)胞的一個(gè)亞種，在免疫系統(tǒng)中很重要?；疾』蛴挟愇锏膮^(qū)域淋巴細(xì)胞數(shù)量會(huì)極大增加，所以通過(guò)確認(rèn)和定量淋巴細(xì)胞的密度和位置有助于評(píng)估疾病。本節(jié)目標(biāo)是確定淋巴細(xì)胞的中心，是一個(gè)檢測(cè)任務(wù)。常見(jiàn)的假陽(yáng)性和真實(shí)正例見(jiàn)圖。

Deep learning for digital pathology image analysis: A comprehensive tutorial with selected use cases
Andrew Janowczyk, Anant Madabhushi

本文共考察了7個(gè)數(shù)字病理學(xué)的實(shí)例，具體見(jiàn)表1。

Challenge
淋巴細(xì)胞是白細(xì)胞的一個(gè)亞種，在免疫系統(tǒng)中很重要?；疾』蛴挟愇锏膮^(qū)域淋巴細(xì)胞數(shù)量會(huì)極大增加，所以通過(guò)確認(rèn)和定量淋巴細(xì)胞的密度和位置有助于評(píng)估疾病。
淋巴細(xì)胞在吸收了著色劑后呈淡藍(lán)色，在色調(diào)上與細(xì)胞核相近，所以在某些情況下難以區(qū)分。但是淋巴細(xì)胞一般要更小，分布更密集，形狀也偏圓形。本節(jié)目標(biāo)是確定淋巴細(xì)胞的中心，是一個(gè)檢測(cè)任務(wù)。
Patch selection technique
放大倍率40的圖像中淋巴細(xì)胞約10x10像素，遠(yuǎn)小于32x32的出入尺寸，這樣樣本中90%都是無(wú)效區(qū)域，會(huì)影響模型性能，所以將圖像再放大4倍，使淋巴細(xì)胞幾乎占滿輸入圖像。
選取以淋巴細(xì)胞中心位置3x3的鄰域?yàn)橹行牡膮^(qū)域?yàn)檎龢颖緟^(qū)域；負(fù)樣本的選取如下：(a)隨機(jī)選取1000個(gè)像素點(diǎn)，訓(xùn)練一個(gè)樸素貝葉斯分類器，計(jì)算該圖像所有像素點(diǎn)的后驗(yàn)概率(b)計(jì)算所有假陽(yáng)性像素點(diǎn)和距離它最近的真實(shí)正樣本像素點(diǎn)的距離(c)選擇距離最大的部分像素點(diǎn)為中心的區(qū)域?yàn)樨?fù)樣本。正樣本的數(shù)量較少，加入額外的旋轉(zhuǎn)樣本來(lái)擴(kuò)充訓(xùn)練集。
測(cè)試階段，計(jì)算測(cè)試圖像中所有像素點(diǎn)的后驗(yàn)概率，然后使用環(huán)狀核（disk kernel）卷積操作篩選出概率最大的區(qū)域，選取概率最高的點(diǎn)為中心點(diǎn)，并去除周邊對(duì)中心點(diǎn)的預(yù)測(cè)位置，一般淋巴細(xì)胞的尺寸基本一致，這樣可以避免在同一個(gè)淋巴細(xì)胞中預(yù)測(cè)多個(gè)中心點(diǎn)。
Results and Discussion
5折交叉驗(yàn)證集，每折包含約80張訓(xùn)練圖像和21張測(cè)試圖像，正負(fù)樣本數(shù)量比例1:1，包含一些旋轉(zhuǎn)處理（180、270）的正樣本，共700k個(gè)訓(xùn)練圖像塊。使用其中的1折來(lái)確定各種參數(shù)（如清除的半徑、卷積操作的尺寸、閾值等），然后應(yīng)用于其他折數(shù)據(jù)上。最終結(jié)果為平均F-score=0.90±0.01，平均TPR=0.93±0.01，PPV=0.87±0.02，圖8顯示了該方法可以檢測(cè)大部分的淋巴細(xì)胞，但位于邊界的細(xì)胞無(wú)法檢測(cè)。

Challenge
每個(gè)高倍視野中有絲分裂的數(shù)量對(duì)于乳腺癌等級(jí)非常重要。一般來(lái)說(shuō)，癌癥越具有侵略性則細(xì)胞分裂更快，可以通過(guò)統(tǒng)計(jì)組織切片中的有絲分裂來(lái)進(jìn)行估計(jì)。當(dāng)前的定級(jí)策略分三級(jí)，在每10個(gè)高倍視野中發(fā)現(xiàn)(i)小于7個(gè)有絲分裂(ii)8-14個(gè)(iii)大于等于15個(gè)。
在實(shí)際中病理學(xué)家是通過(guò)改變光學(xué)顯微鏡的焦距來(lái)觀察有絲分裂的三維結(jié)構(gòu)，這樣可以排除假陽(yáng)性的判斷，所以在二維數(shù)字病理圖像上對(duì)有絲分裂進(jìn)行準(zhǔn)確判定是很有挑戰(zhàn)性的。
Patch selection technique
調(diào)整放大倍數(shù)，確保一個(gè)圖像塊中就包含完整的有絲分裂圖像，這樣可以提供足夠的環(huán)境信息。這對(duì)后期或末期的有絲分裂尤為重要，另外基準(zhǔn)點(diǎn)的坐標(biāo)實(shí)際是位于兩個(gè)新細(xì)胞的中間位置。
選取以基準(zhǔn)點(diǎn)鄰域4x4為中心的區(qū)域作為正樣本圖像塊，并增加多角度旋轉(zhuǎn)操作（0、45、90、135、180、215、270）來(lái)擴(kuò)充正樣本規(guī)模。blue-ratio分割方法可以突出有絲分裂區(qū)域（如圖9a），在此基礎(chǔ)上使用膨脹操作（如圖9b），在這些區(qū)域中選取負(fù)樣本，可以去除不重要的樣本。選取比正樣本多2.5倍的負(fù)樣本并旋轉(zhuǎn)（0、90、190、270）度，這樣可以包含更多不同的區(qū)塊。
先構(gòu)建一個(gè)如文獻(xiàn)[8]中的模型，使用樸素貝葉斯計(jì)算訓(xùn)練集中樣本的概率掩碼，然后新建一個(gè)模型，過(guò)采樣第一個(gè)模型判斷的假陽(yáng)性樣本為訓(xùn)練集，這樣就可以更多的聚焦于分類更困難的樣本。特別的，對(duì)于基準(zhǔn)點(diǎn)會(huì)增加15度間隔的旋轉(zhuǎn)正樣本。對(duì)于負(fù)類只考慮它們位于blue ratio生成的掩碼中的概率，并按照它們的權(quán)重進(jìn)行采樣，這樣可以得到那些被錯(cuò)誤的判定為有絲分裂的負(fù)樣本。這個(gè)方法最終得到約600k圖像塊用于第一階段的訓(xùn)練，4百萬(wàn)圖像塊用于第二階段的訓(xùn)練。為了最終定位細(xì)胞有絲分裂，使用環(huán)形核卷積操作并設(shè)定閾值來(lái)判定。

Results and Discussion
數(shù)據(jù)分5折，使用第一階段模型平均F-score=0.37±0.2，加上第二階段模型后平均F-score=0.54±0.1，說(shuō)明使用連續(xù)的網(wǎng)絡(luò)可以極大提高性能，其中第二個(gè)模型的訓(xùn)練集是第一個(gè)模型預(yù)測(cè)的假陽(yáng)性樣本。本文的結(jié)果只比最佳的文獻(xiàn)[8]稍低，但是[8]是在放大倍率40圖像塊101x101上進(jìn)行，要比本文有更強(qiáng)的分類能力。當(dāng)使用交叉驗(yàn)證時(shí)不同折的閾值變換很大，那么評(píng)估訓(xùn)練模型時(shí)需要一個(gè)獨(dú)立的驗(yàn)證集。常見(jiàn)的假陽(yáng)性和真實(shí)正例見(jiàn)圖10。

Challenge
淋巴瘤的三個(gè)子類型：chronic lymphocytic leukemia (CLL)、follicular lymphoma (FL)、mantle cell lymphoma (MCL)。該數(shù)據(jù)集可反映真實(shí)狀況，包含了不同位置并由不同病理學(xué)家預(yù)處理的樣本，額外選取了一些樣本使得樣本集中著色差異更大，樣本示例見(jiàn)圖11。

Patch selection technique
生成訓(xùn)練集時(shí)，先將圖像拆解為36x36的圖像塊，然后利用Caffe在訓(xùn)練時(shí)隨機(jī)剪切32x32。在測(cè)試階段使用相同的方法，并使用投票的方法決定最終結(jié)果，得到最高票的類別就是整張圖像的預(yù)測(cè)類別。
Results and Discussion
5折交叉驗(yàn)證集，每折包含約300張訓(xùn)練圖像和75張測(cè)試圖像，共825k個(gè)訓(xùn)練圖像塊。平均準(zhǔn)確率96.58%±0.01%，這比wnd-chrm軟件提高了10%，這兩個(gè)方法使用了相同的數(shù)據(jù)集，并且都沒(méi)有參考專業(yè)領(lǐng)域知識(shí)。
誤分類的情況一般都是因?yàn)閳D像質(zhì)量差，如圖12所示，這張圖像預(yù)測(cè)投票CLL814票，F(xiàn)L562票，MCL0票，這也顯示了最終判斷的不確定性。正常的正確分類預(yù)測(cè)結(jié)果相差會(huì)很大，例如{5,1357,14}，這說(shuō)明如果投票不呈現(xiàn)一家獨(dú)大的情況時(shí)應(yīng)該人工確認(rèn)。

從本文的實(shí)驗(yàn)中可以看出以下幾點(diǎn)：
（一）dropout在這些實(shí)驗(yàn)中并沒(méi)有性能提升，可能是因?yàn)槭褂玫臄?shù)據(jù)集規(guī)模都比較大，有足夠的樣本避免了過(guò)擬合；
（二）最重要的就是對(duì)于不同的任務(wù)選擇合適的放大倍率，一般的原則就是保證病理學(xué)家可以在剪切的圖像塊中有足夠的環(huán)境信息來(lái)做出正確的判斷；
（三）本文主要工作就是探索簡(jiǎn)單但魯棒的方法來(lái)確定選取具有挑戰(zhàn)性的訓(xùn)練樣本，這些樣本包含更多信息。隨機(jī)選取的樣本中有很多不重要的，并不能提升網(wǎng)絡(luò)的學(xué)習(xí)能力。另一個(gè)技術(shù)就是使用連續(xù)兩個(gè)分類階段來(lái)確定重要樣本，過(guò)采樣第一階段的假陽(yáng)/陰性樣本用于訓(xùn)練第二階段的分類器。
（四）深度學(xué)習(xí)由數(shù)據(jù)驅(qū)動(dòng)，一般人工標(biāo)注并不會(huì)精細(xì)到像素級(jí)，如果提高標(biāo)記信息的精度則可以提升網(wǎng)絡(luò)性能，人工標(biāo)注與DL預(yù)測(cè)的差異見(jiàn)圖5?？梢韵仁褂肈L產(chǎn)生高質(zhì)量的基準(zhǔn)標(biāo)注，然后領(lǐng)域?qū)＜以诖嘶A(chǔ)上進(jìn)行修正。
（五）醫(yī)療領(lǐng)域的數(shù)據(jù)集復(fù)雜度很高，所以衡量模型性能應(yīng)該針對(duì)同一數(shù)據(jù)集。

本文展示了使用深度學(xué)習(xí)算法處理數(shù)字病理學(xué)中多種圖像分析任務(wù)，提出一些網(wǎng)絡(luò)架構(gòu)、數(shù)據(jù)處理等指導(dǎo)意見(jiàn)，并在七個(gè)實(shí)例中進(jìn)行分析。
本文指南也存在一些限制。平均同一個(gè)圖像塊不同旋轉(zhuǎn)角度的預(yù)測(cè)可以減小輸出結(jié)果的方差。融合多個(gè)網(wǎng)絡(luò)（如不同架構(gòu)、不同初始化等）可提高性能。
本文的方法沒(méi)有參考領(lǐng)域相關(guān)的先驗(yàn)知識(shí)，但是同時(shí)使用領(lǐng)域相關(guān)設(shè)計(jì)的特征和深度學(xué)習(xí)算法應(yīng)該可以提升模型性能。
計(jì)算效率也是需要考慮的問(wèn)題。另外blue-ratio分割和color deconvolution可以作為深度學(xué)習(xí)處理數(shù)字病理學(xué)圖像的預(yù)處理方法。
本文所使用的方法并不是最優(yōu)的，可以根據(jù)實(shí)際任務(wù)調(diào)整各種設(shè)置。

注：對(duì)于文中醫(yī)學(xué)相關(guān)的名詞翻譯可能不準(zhǔn)確，如有異議請(qǐng)指正。