2024年醫(yī)院新興技術(shù)創(chuàng)新應(yīng)用典型案例征集活動(dòng)經(jīng)行業(yè)專(zhuān)家背靠背盲審以及終審，共選出20篇典型案例，將陸續(xù)刊登出來(lái)，以饗讀者。

1 項(xiàng)目簡(jiǎn)介

　　新疆醫(yī)科大學(xué)附屬腫瘤醫(yī)院通過(guò)“超聲影像實(shí)時(shí)智能乳腺腫瘤早篩及精準(zhǔn)量化療效評(píng)估系統(tǒng)”這一項(xiàng)目的推廣，利用超聲影像，針對(duì)女性乳腺腫瘤的篩查、輔助診斷、新輔助化療療效評(píng)估及預(yù)后判斷，實(shí)現(xiàn)乳腺腫瘤患者全周期管理。系統(tǒng)與B超機(jī)連接，內(nèi)置數(shù)據(jù)管理系統(tǒng)，可進(jìn)行DICOM影像存儲(chǔ)、格式轉(zhuǎn)換及臨床標(biāo)簽錄入;在診斷環(huán)節(jié)，實(shí)時(shí)分析超聲影像，利用人工智能技術(shù)標(biāo)注腫瘤，自動(dòng)識(shí)別良惡性，并即時(shí)高效出具分析報(bào)告;在新輔助化療評(píng)估環(huán)節(jié)，利用深度學(xué)習(xí)自動(dòng)匹配患者前期超聲影像，自動(dòng)測(cè)量評(píng)估病灶大小變化，Delta影像組學(xué)實(shí)時(shí)比對(duì)治療前后差異，精準(zhǔn)評(píng)估療效;在預(yù)后預(yù)判環(huán)節(jié)，利用前期訓(xùn)練生成的影像組學(xué)模型，預(yù)測(cè)乳腺癌的分子病理分型、腫瘤分期、復(fù)發(fā)風(fēng)險(xiǎn)以及生存期評(píng)估，從而預(yù)測(cè)生存率和預(yù)后相關(guān)情況;在地州推廣應(yīng)用環(huán)節(jié)，實(shí)現(xiàn)跨院模型共享，高度匹配并適用各種超聲儀器。

2 建設(shè)與開(kāi)發(fā)

　　新疆醫(yī)科大學(xué)附屬腫瘤醫(yī)院研發(fā)的《超聲影像實(shí)時(shí)智能乳腺腫瘤早篩及精準(zhǔn)量化療效評(píng)估系統(tǒng)》，對(duì)超聲聯(lián)合深度學(xué)習(xí)及影像組學(xué)技術(shù)在乳腺癌新輔助化療的療效，進(jìn)行精準(zhǔn)量化智能評(píng)估，屬于精準(zhǔn)醫(yī)學(xué)、智能醫(yī)學(xué)的新醫(yī)科范疇，與新疆工程學(xué)院合作完成，根據(jù)當(dāng)前乳腺腫瘤診治的難點(diǎn)、迫切需要解決的問(wèn)題入手，重點(diǎn)解決乳腺腫瘤的早篩、分型以及新輔助化療療效評(píng)估的關(guān)鍵問(wèn)題。

　　本項(xiàng)目分為5個(gè)課題，如圖1所示。數(shù)據(jù)清洗、圖像預(yù)處理以及圖像增強(qiáng)是開(kāi)展研究的首要步驟，規(guī)整的數(shù)據(jù)是后續(xù)研究的基礎(chǔ);影像病灶的精準(zhǔn)標(biāo)注是深度學(xué)習(xí)、組學(xué)分析關(guān)鍵環(huán)節(jié);本項(xiàng)目擬研究的人工智能輔助診斷技術(shù)、影像組學(xué)分析技術(shù)以及新輔助化療療效評(píng)估方法等核心技術(shù)，是實(shí)現(xiàn)系統(tǒng)功能的關(guān)鍵途徑;程序開(kāi)發(fā)、可視化以及系統(tǒng)集成，是將技術(shù)轉(zhuǎn)化為落地產(chǎn)品的重要手段。

圖1 關(guān)鍵技術(shù)研究

　　具體研究方案(包括研究思路和解決問(wèn)題的思路)如圖2所示。針對(duì)乳腺腫瘤診治的難點(diǎn)及需求，重點(diǎn)解決乳腺腫瘤的篩查、分型以及新輔助化療療效評(píng)估的關(guān)鍵問(wèn)題，最終開(kāi)發(fā)落地產(chǎn)品。重點(diǎn)研究人工智能輔助診斷、影像組學(xué)分析以及新輔助化療療效評(píng)估3個(gè)方面的核心技術(shù)問(wèn)題。具體的技術(shù)路線(xiàn)如下：

圖2 總體研究方案

　　(1)以提高乳腺超聲影像腫瘤分割的準(zhǔn)確率為目標(biāo)，提出了一種基于U-Net算法的乳腺超聲影像腫瘤分割模型(CSE-U-Net)。為了增強(qiáng)模型特征提取能力，在下采樣階段添加ECA注意力機(jī)制，為了加強(qiáng)模型對(duì)空間信息和上下文信息的學(xué)習(xí)能力，提出了多尺度上下文通道空間信息提取模塊。實(shí)驗(yàn)證明，提出的模型能夠有效提升腫瘤分割精度。

　　(2)針對(duì)乳腺X線(xiàn)影像征象檢測(cè)問(wèn)題，提出了一種基于YOLOV5算法的乳腺X線(xiàn)影像征象檢測(cè)模型(YOLOV5-EA)。為了提升模型對(duì)X線(xiàn)影像征象特征提取的能力，YOLOV5-EA模型在主干特征提取網(wǎng)絡(luò)中增加高效注意力機(jī)制和非對(duì)稱(chēng)卷積結(jié)構(gòu)，為防止模型陷入局部最優(yōu)解，使用One Cycle學(xué)習(xí)率調(diào)整策略周期性改變學(xué)習(xí)率，保證目標(biāo)檢測(cè)的精確率。實(shí)驗(yàn)證明，提出的模型能提升乳腺X線(xiàn)影像中惡性腫瘤、良性腫瘤及鈣化灶的檢測(cè)精度。

　　(3)為了解決通過(guò)乳腺超聲影像鑒別三陰性乳腺癌的問(wèn)題，提出了一種基于超聲影像組學(xué)的三陰性與非三陰性乳腺癌分類(lèi)方法。首先，利用影像組學(xué)技術(shù)對(duì)乳腺癌超聲影像進(jìn)行特征提取，并對(duì)特征數(shù)據(jù)進(jìn)行歸一化處理;其次，使用LASSO算子和T檢驗(yàn)進(jìn)行組學(xué)特征篩選與降維;最后，利用機(jī)器學(xué)習(xí)算法進(jìn)行分類(lèi)，其準(zhǔn)確率達(dá)到82.22%。

　　(4)《中國(guó)女性乳腺癌篩查指南(2022年版)》推薦乳腺超聲為中國(guó)女性乳腺癌的首選篩查手段，而本項(xiàng)目創(chuàng)新性的利用超聲影像研發(fā)從智能診斷、新輔助化療評(píng)估到預(yù)后精準(zhǔn)預(yù)測(cè)的全過(guò)程的一體化系統(tǒng)，重要意義體現(xiàn)在：

　　1)實(shí)現(xiàn)乳腺癌早期篩查的同質(zhì)化水平，服務(wù)民生，節(jié)省醫(yī)療資源和醫(yī)保成本。

　　2)系統(tǒng)可快速輻射到全疆15家醫(yī)院，實(shí)現(xiàn)大規(guī)模、高效全自動(dòng)乳腺腫瘤篩查，1秒以?xún)?nèi)即可完成1張超聲影像分析, 15分鐘內(nèi)即可完成1000個(gè)病例的超聲影像分析。

　　3)首次在新疆建立乳腺超聲影像的人工智能數(shù)據(jù)庫(kù)、影像組學(xué)信息庫(kù)以及臨床病例數(shù)據(jù)庫(kù)，對(duì)臨床醫(yī)生決策、科學(xué)研究以及教學(xué)有重要意義。

　　4)對(duì)乳腺癌新輔助化療療效實(shí)現(xiàn)智能化精準(zhǔn)評(píng)估。

3 關(guān)鍵技術(shù)或產(chǎn)品描述

　　(1)數(shù)據(jù)庫(kù)的獨(dú)特性

　　訓(xùn)練的數(shù)據(jù)庫(kù)是深度學(xué)習(xí)模型識(shí)別準(zhǔn)確率的決定因素，本項(xiàng)目主要針對(duì)新疆地區(qū)乳腺腫瘤的特點(diǎn)建立深度學(xué)習(xí)數(shù)據(jù)庫(kù)，對(duì)于識(shí)別新疆地區(qū)明顯特征的富脂肪型乳腺(腫塊大、不規(guī)則、分期晚以及炎性特征等)具有重要意義，創(chuàng)新開(kāi)發(fā)的《超聲影像實(shí)時(shí)智能乳腺腫瘤早篩及精準(zhǔn)量化療效評(píng)估系統(tǒng)》在國(guó)內(nèi)具有領(lǐng)先地位。本項(xiàng)目建立的影像、臨床數(shù)據(jù)庫(kù)將為后續(xù)開(kāi)展臨床研究、教學(xué)等奠定重要基礎(chǔ)。

　　(2)建立輔助診斷、穿刺到療效精準(zhǔn)評(píng)估的全流程的一體化精準(zhǔn)診療系統(tǒng)

　　國(guó)內(nèi)外關(guān)于乳腺超聲人工智能的專(zhuān)利及成果均為醫(yī)學(xué)影像分類(lèi)模型等智能輔助診斷技術(shù)，主要實(shí)現(xiàn)病灶的自動(dòng)分割、腫瘤良惡性預(yù)判以及掃描預(yù)警等功能，但還沒(méi)有聯(lián)合自動(dòng)影像組學(xué)進(jìn)行更精準(zhǔn)評(píng)估的平臺(tái)。本項(xiàng)目擬開(kāi)發(fā)的平臺(tái)融合了智能影像處理、深度學(xué)習(xí)、數(shù)據(jù)挖掘及自動(dòng)影像組學(xué)等技術(shù)，通過(guò)精準(zhǔn)量化智能評(píng)估乳腺癌新輔助化療療效。

　　(3)多維度評(píng)估新輔助化療療效

　　國(guó)內(nèi)外關(guān)于乳腺超聲人工智能的研究成果，如論文、專(zhuān)利等，主要都是與醫(yī)學(xué)影像分類(lèi)模型相關(guān)的智能輔助診斷技術(shù)，實(shí)現(xiàn)病灶自動(dòng)分割、腫瘤良惡性預(yù)判和掃描預(yù)警等功能，但還沒(méi)有結(jié)合影像組學(xué)(包括：Delta Radiomics影像組學(xué)技術(shù))自動(dòng)精準(zhǔn)評(píng)估的系統(tǒng)，而本項(xiàng)目擬研究的人工智能系統(tǒng)，從多模態(tài)、影像組學(xué)以及深度學(xué)習(xí)多個(gè)維度評(píng)估新輔助化療療效，具有較高價(jià)值。

　　(4)引入注意力機(jī)制的目標(biāo)檢測(cè)模型

　　當(dāng)前主流的目標(biāo)檢測(cè)模型對(duì)旋轉(zhuǎn)和翻轉(zhuǎn)目標(biāo)特征提取能力有限，尤其是新疆地區(qū)脂肪型乳腺特征明顯，并且腫塊大且不規(guī)則、分期晚，本項(xiàng)目創(chuàng)新性的在YoloV5模型主干網(wǎng)絡(luò)引入注意力機(jī)制，并在Conv模塊中引入非對(duì)稱(chēng)卷積結(jié)構(gòu)，通過(guò)增加一個(gè)縱向卷積核和一個(gè)橫向卷積核，從而增強(qiáng)模型的特征提取能力。

　　(5)融合多尺度通道和空間感知的語(yǔ)義分割模型

　　新疆地區(qū)女性乳腺腺體富含脂肪，脂肪型乳腺癌常見(jiàn)，往往帶有炎性特征，當(dāng)前主流的語(yǔ)義分割算法，不能準(zhǔn)確挖掘病灶。基于U-Net模型，本項(xiàng)目創(chuàng)新性的計(jì)劃做如下改進(jìn)：第一階段，在U-Net主干網(wǎng)絡(luò)特征提取部分添加ECA通道注意力機(jī)制，增強(qiáng)模型的魯棒性;第二階段，將多尺度通道注意模塊和多尺度空間感知模塊相結(jié)合，有利于解碼器提取圖像的特征信息。

　　項(xiàng)目組前期的研究成果見(jiàn)圖3A-3C、圖4A-4B、圖5A-5C、圖6A-6D和圖7A-7B。

　　圖3A-3C為乳腺超聲腫瘤自動(dòng)篩查效果，紅框?yàn)樽詣?dòng)標(biāo)記的腫瘤，標(biāo)簽為良惡性。針對(duì)確診的1200多例乳腺癌超聲影像分析，準(zhǔn)確率達(dá)85%。

圖3A 自動(dòng)篩查到1個(gè)病灶，惡性概率為98%

圖3B 自動(dòng)篩查到兩個(gè)病灶，惡性概率分別為90.8%和54.9%

圖3C 自動(dòng)篩查到兩個(gè)病灶，良性概率為：91.3%和87.9%

　　圖4A-4B為利用深度學(xué)習(xí)技術(shù)自動(dòng)計(jì)算新輔助化療不同周期的腫瘤面積和多普勒超聲血流信號(hào)變化情況。其中，橫坐標(biāo)為時(shí)間，即不同化療周期的時(shí)間節(jié)點(diǎn)，縱坐標(biāo)為像素面積。

圖4A 不同NAC周期的腫瘤面積和血流信號(hào)變化(曲線(xiàn)圖)

圖4B 不同NAC周期的腫瘤面積和血流信號(hào)變化(柱狀圖)

　　圖5A-5C為人工智能技術(shù)智能分割腫瘤，智能分析八大征象，并自動(dòng)出具分析報(bào)告。

圖5A 原超聲影像

圖5B 人工智能技術(shù)智能分割的腫瘤區(qū)域

圖5C 自動(dòng)出具分析報(bào)告

　　圖6A-6D為自動(dòng)影像組學(xué)技術(shù)分析LuminalA型和LuminalB型乳腺癌特征。通過(guò)對(duì)良惡性、化療前后、LuminalA型、LuminalB型、Her-2陽(yáng)性型及三陰性型不同分類(lèi)的影像組學(xué)特征比較，系統(tǒng)分類(lèi)的平均準(zhǔn)確率可達(dá)80%以上。

圖6A 自動(dòng)提取200個(gè)病例的影像組學(xué)特征

圖6B LuminalA型和LuminalB型分型的AUC值為81.13%

圖6C 影像組學(xué)數(shù)據(jù)在訓(xùn)練(A)和驗(yàn)證(B)隊(duì)列中的方差分析結(jié)果

圖6D 12個(gè)特征的自相關(guān)熱圖

　　圖7A-7B為深度學(xué)習(xí)及影像分析技術(shù)自動(dòng)在腫瘤區(qū)域分析適合穿刺區(qū)域。

圖7A 上傳超聲影像自動(dòng)在腫瘤區(qū)域分析適合穿刺區(qū)域

圖7B 最右邊二維超聲影像的白色區(qū)域?yàn)榇┐虆^(qū)域

4 應(yīng)用效果

　　本案例完成了以下科學(xué)、技術(shù)、產(chǎn)業(yè)預(yù)期指標(biāo)，并產(chǎn)生了良好的社會(huì)、經(jīng)濟(jì)效益。

　　(1)當(dāng)前市面上尚沒(méi)有此類(lèi)成熟的產(chǎn)品，尤其是大規(guī)模、高效開(kāi)展乳腺癌早篩、結(jié)合影像組學(xué)智能評(píng)估新輔助化療療效的平臺(tái)更是空白，該產(chǎn)品對(duì)醫(yī)療資源缺乏的地區(qū)尤其適用，此項(xiàng)目將助力新疆乳腺腫瘤事業(yè)高水平發(fā)展。

　　(2)3年內(nèi)，在新疆15家醫(yī)院部署了《超聲影像實(shí)時(shí)智能乳腺腫瘤早篩及精準(zhǔn)量化療效評(píng)估系統(tǒng)》，實(shí)現(xiàn)乳腺超聲影像100%分析，并自動(dòng)篩查乳腺良惡性腫瘤，培訓(xùn)相關(guān)超聲醫(yī)生50余名。

　　(3)開(kāi)展的新醫(yī)科、影像組學(xué)分析、大數(shù)據(jù)分析以及人工智能等技術(shù)方面的講座、授課200余學(xué)時(shí)。

　　(4)系統(tǒng)與超聲機(jī)連接，實(shí)時(shí)分析，在部署本系統(tǒng)的醫(yī)院，實(shí)現(xiàn)所有的乳腺超聲檢查患者同步檢測(cè)，腫瘤篩查全覆蓋。

　　(5)本項(xiàng)目開(kāi)發(fā)的深度學(xué)習(xí)及影像組學(xué)分析模塊，同時(shí)又是科學(xué)研究的工具，計(jì)劃和部署本系統(tǒng)的醫(yī)院已發(fā)表高質(zhì)量論文10篇。

　　(6)培養(yǎng)新醫(yī)科方向的研究生10余名。

　　(7)項(xiàng)目的社會(huì)效益

　　1)實(shí)現(xiàn)乳腺癌早期篩查，服務(wù)民生，節(jié)省醫(yī)療資源和醫(yī)保成本。

　　2)系統(tǒng)可快速輻射到全疆各大醫(yī)院，實(shí)現(xiàn)大規(guī)模、高效全自動(dòng)乳腺腫瘤良惡性篩查，可實(shí)現(xiàn)1秒以?xún)?nèi)完成1張超聲影像分析, 15分鐘內(nèi)即可完成1000個(gè)病例的超聲影像分析，且能提供同質(zhì)化診斷水平。

　　3)首次在新疆建立乳腺超聲影像的人工智能數(shù)據(jù)庫(kù)、影像組學(xué)信息庫(kù)以及臨床病例數(shù)據(jù)庫(kù)，對(duì)臨床醫(yī)生決策、科學(xué)研究以及教學(xué)有重要意義。

　　4)為人工智能結(jié)合影像組學(xué)評(píng)估乳腺癌新輔助化療療效提供新路徑。

　　5)醫(yī)療機(jī)構(gòu)可以獲得更多技術(shù)支持及資源共享，系統(tǒng)性降低成本;大數(shù)據(jù)助力科學(xué)研究;腫瘤病灶信息量化，有助于提高乳腺癌新輔助化療預(yù)測(cè)準(zhǔn)確率;為臨床醫(yī)生提供決策依據(jù)，實(shí)現(xiàn)精準(zhǔn)治療。

　　6)解決不同超聲醫(yī)生對(duì)乳腺腫瘤診斷認(rèn)知的同質(zhì)化需求。

5 總結(jié)

　　超聲影像實(shí)時(shí)智能乳腺腫瘤早篩及精準(zhǔn)量化療效評(píng)估系統(tǒng)在新疆醫(yī)科大學(xué)附屬腫瘤醫(yī)院的應(yīng)用，屬于精準(zhǔn)醫(yī)學(xué)、智能醫(yī)學(xué)的新醫(yī)科范疇，聚焦于《中國(guó)女性乳腺癌篩查指南(2022年版)》中提出的“女性高發(fā)腫瘤的篩查、診斷、發(fā)生轉(zhuǎn)移機(jī)制和精準(zhǔn)診斷治療中的瓶頸問(wèn)題”，重點(diǎn)攻關(guān)“人工智能輔助識(shí)別、基于機(jī)器學(xué)習(xí)的影像組學(xué)分析、風(fēng)險(xiǎn)預(yù)警監(jiān)測(cè)以及臨床決策支持”的關(guān)鍵技術(shù)問(wèn)題，開(kāi)發(fā)了出能落地應(yīng)用的產(chǎn)品，并推廣至新疆15家醫(yī)療機(jī)構(gòu)。

　　本項(xiàng)目研究的人工智能輔助診斷技術(shù)、影像組學(xué)分析技術(shù)以及新輔助化療療效評(píng)估方法，對(duì)乳腺癌診療指南提出的“為構(gòu)建一體化精準(zhǔn)診療體系和創(chuàng)新網(wǎng)絡(luò)，為加快女性特高發(fā)惡性腫瘤防診治技術(shù)”有重要意義。

　　申報(bào)單位

　　新疆醫(yī)科大學(xué)附屬腫瘤醫(yī)院

　　案例賽道

　　應(yīng)用場(chǎng)景與技術(shù)創(chuàng)新

　　案例業(yè)務(wù)領(lǐng)域

　　臨床應(yīng)用