浙江大學醫學院附屬婦產科醫院:基于AI與互聯網+的乳腺癌超聲篩查網絡平臺
2023年醫院新興技術創新應用典型案例征集活動正在進行中,歡迎各醫療機構踴躍提交案例。CHIMA將組織專家對案例進行評選,入選典型案例將在CHIMA 2023大會路演并獲頒證書。
1項目簡介
浙江大學醫學院附屬婦產科醫院(簡稱“浙大婦院”)于2021年8月著手開展超聲AI輔助檢查創新應用,通過應用乳腺超聲機器人與AI技術進行乳腺癌篩查。2022年帶動浙江省內紹興市上虞婦幼保健院、紹興市越城區富盛鎮衛生院、嵊州市鹿山街道社區衛生服務中心等機構開展基層群體性乳腺癌篩查,突破基層超聲醫生匱乏的困境,為基層診療、分級診療、兩癌篩查工作賦能,實現高數量級的乳腺癌群體篩查,助力國家兩癌篩查國策。
2建設與開發
(1)應用模式
以乳腺癌篩查作為全民乳腺防治的入口,針對超聲醫生匱乏的困境,融合乳腺癌分級診療體系,為基層診療、分級診療、兩癌篩查工作賦能。乳腺超聲機器人群體性乳腺癌篩查應用場景在遵從國家篩查指南的前提下,借助高速的5G傳輸系統和AI診斷系統,在整個篩查解決方案中建立健全的個人信息登記系統、排號叫號系統、智能掃查系統、智能閱片系統、智能診斷系統、自動報告打印系統等。如圖1所示。
圖1 智能乳腺超聲機器人群體性乳腺癌篩查平臺應用
(2)系統設計
基于AI與互聯網+的乳腺癌超聲篩查網絡平臺融合了人工智能、超聲、計算機視覺、機器人與5G等技術,通過乳腺超聲全自動掃查,輸出標準化影像數據后通過人工智能進行初步的分類判斷,實現全生命周期的自動化、標準化、智能化體表貼合作業,以及健康數據的采集、存儲、管理和分析診斷。系統架構如圖2所示。
圖2 智能乳腺超聲機器人群體性乳腺癌篩查平臺系統架構
系統主要實現兩個目標:
1)實現醫技分離,解決基層超聲醫生短缺問題
采用全自主乳腺超聲機器人融合機器人、人工智能、大數據、物聯網、超聲等技術,實現乳腺超聲全自動掃查。采用智能乳腺超聲機器人進行乳腺癌篩查圖像采集并云端上傳,實現醫技分離,解決基層超聲醫生短缺問題。掃查現場僅需一名技師負責簡單操作,不需要超聲醫生現場掃查即可輸出標準化影像數據,掃查時采集的超聲影像通過寬帶或5G網絡傳輸到浙大婦院遠程閱片系統平臺。該模式醫技分離,篩查全周期的自動化、標準化、智能化體表貼合作業,可根據人群分布情況,實行基層社區醫院定點檢查與乳腺癌篩查車流動體檢模式結合,實現大范圍全覆蓋的乳腺癌群體篩查。
2)采用AI輔助閱片提高醫生篩查工作效率及診斷準確率
系統采用智能輔助+云閱片系統實現高效及高質量的遠程超聲診療新模式。通過智能輔助結合遠程閱片系統,提高醫生篩查工作效率及診斷準確率,保證了數據的高質量有效管理。浙大婦院遠程閱片系統平臺接收到影像數據后,通過內置的AI輔助功能完成對可疑病灶的推薦,展示原始采集視頻及AI判斷視頻。AI判斷視頻是所有超聲視頻中AI判斷出來有乳腺結節的視頻片段,醫生復核AI視頻,評估AI對乳腺結節初步篩查結果,進一步驗證篩查的結果形成最終報告。
3關鍵技術或產品描述
(1)全自動智能乳腺超聲機器人
平臺通過全自動智能乳腺超聲機器人(如圖3所示)實時采集乳腺超聲影像,將其傳輸到云端,再由云端服務將影像數據分發到對應的遠程終端,醫生可遠程結合AI診斷為患者診查評估風險。實現乳腺篩查全數據可追溯,現場去醫生化,突破篩查瓶頸。
圖3 全自動智能乳腺超聲機器人
(2)關鍵技術
平臺中醫學影像人工智能針對具體應用場景,區分為自主學習的乳腺超聲輔助診斷和多階段時序跟蹤融合的乳腺超聲篩查關鍵技術,分別對應診斷場景和篩查場景,人工智能產品最終與傳統閱片系統整合形成智能輔助云閱片系統。
系統依托機器人終端物聯網平臺和健康大數據(乳腺)云平臺,從全局感知、局部感知、運動規劃、控制與決策和醫學影像人工智能的信息技術,實現自動化、標準化、智能化的乳腺癌超聲篩查網絡平臺。技術路線如圖4所示。
圖4 智能乳腺超聲機器人技術路線
系統通過全局感知實現對人體的三維重建、感興趣區域檢測分割、呼吸檢測等;基于全局感知結果,可通過復雜曲面自適應路徑規劃算法規劃出機器人的全局作業軌跡。同時由于人體的柔性變形、微弱運動、舒適性安全性要求,超聲機器人可根據不同任務場景要求,在局部感知技術(視觸覺感知、融合超聲圖像的貼合反饋、柔性軟體感知)的反饋下控制、調整、決策其路線。
系統采用的關鍵技術有:
1)全自動多自由度雙乳同時掃查超聲掃查技術
采用一種3個正交平動軸和兩個正交旋轉軸的五自由度乳腺超聲掃查機械臂,使機械臂兼具大范圍工作空間、結構緊湊、無奇異構型、耦合性小、控制簡單、效率高以及冗余安全的特點,結合超聲掃描檢查的掃描運動系統,實現全自動雙乳同時掃查超聲掃查;并且基于旋量理論建立多自由度機機械臂的誤差補償模型,實現了對人體貼合作業的機器人由于加工誤差進行了誤差補償。
2)智能全方位形態(乳腺)感知及復雜曲面自適應高效路徑規劃
采用多模態人體狀態和貼合狀態感知方法,引入基于深度神經網絡的從超聲圖像到貼合壓實程度映射,并融合力傳感器進行全方位形態感知;通過深度學習算法,自動化的識別出感興趣區域,實現多視角點云感興趣區域自動獲取與分割;采用基于網格曲面參數化的復雜曲面高效路徑規劃方法,對不同人群、不同形態的乳房進行自適應路徑規劃,并結合軟組織力學特性及柔順控制等,實現復雜曲面自適應高效路徑規劃。
3)全乳超聲影像信息保留儲存
采用計算機視覺的交互式人工智能構建顯控系統,采用自然語言處理技術構建遠程閱片系統和大數據系統,實現掃查獲取影像信息全乳保留及儲存。自動登記病史信息、歷年超聲影像信息、鉬靶等其它檢查信息的全生命周期健康管理,全數據可追溯,實現健康數據的集中存儲管理,促進信息共享流通。
4)乳腺病灶AI識別及輔助分診
基于機器人標準化掃查和數據采集,堅持人類醫生醫學先驗知識和AI強大的學習抽象能力并重的原則,輸出標準化數據。醫學影像AI針對具體應用場景,區分為自主學習的乳腺超聲輔助診斷和多階段時序跟蹤融合的乳腺超聲篩查關鍵技術,分別對應診斷場景和篩查場景,AI產品最終與傳統閱片系統整合形成智能輔助云閱片系統。高效的處理和分析影像速度,快速給出輔助判斷結果,大大提高醫生篩查診斷效率,也保證了數據的全生命周期管理。
4應用效果
(1)減輕基層醫生工作負擔,顯著提高乳腺癌超聲篩查效率
乳腺超聲機器人平均掃查一名女性乳腺的時間是3-5分鐘,其自動化的操作作業可以通過標準化定位確保掃查的全面高效,并使得采集圖像質量較人工采集更加趨于標準化。
結合乳腺癌篩查車流動體檢模式,可實現大范圍基層婦女乳腺癌群體篩查。
2022年在浙江省共完成篩查人數25391人,其中浙大婦院1956人,紹興市上虞婦幼保健院18671人,紹興市越城區富盛鎮衛生院465人,嵊州市鹿山街道社區衛生服務中心1197人,省內義診3102人。
(2)提高了乳腺癌超聲篩查的診斷效率及準確度
憑借深度學習、計算機視覺等領域領先開發的醫學影像AI,可迅速從海量數據中提取與病灶有關的信息,并輔助醫生進行分析診斷,避免人工閱片產生的主觀性差異,這將進一步解放醫生的腦力,提高篩查效率,減少漏診誤診。目前,AI對乳腺病灶識別檢出率是99.5%。利用AI的輔助分診,醫生完成一例乳腺影像診斷的時間是4分鐘左右。AI的困難數據自動發現模塊和持續進化學習模塊可以讓AI不斷進行完善優化,深度提升對乳腺癌的診斷效率。經過臨床驗證,篩查場景下,乳腺超聲機器人診斷結果可與5-10年經驗的超聲醫生相當,一致性高,可靠度優。
5總結
本案例融合機器人、人工智能、大數據、物聯網、超聲等技術,實現了乳腺超聲全自動掃查,使得采集圖像質量較人工采集更加趨于標準化。醫生通過遠程閱片系統平臺在AI輔助病灶推薦功能下完成診斷和報告,醫技分離。同時,系統通過深度學習、計算機視覺等領域的醫學影像AI,可迅速從海量數據中提取與病灶有關的信息,并輔助醫生進行分析診斷,避免人工閱片產生的主觀性差異,進一步解放醫生的腦力,提高乳腺癌超聲篩查效率,減少漏診誤診。
圖5 基層群體篩查實際應用場景
申報單位:
浙江大學醫學院附屬婦產科醫院
聯合申報單位:
深圳瀚維智能醫療科技有限公司
案例技術方向:
醫學人工智能
案例業務領域:
臨床應用