2023年醫院新興技術創新應用典型案例征集活動經行業專家背靠背盲審以及終審，共選出24篇典型案例，將陸續刊登出來，以饗讀者。

　　1項目簡介

　　近年來，隨著醫學多模態數據的不斷匯聚和人工智能(AI)技術的迅猛發展，基于大數據的臨床研究已成為醫工交叉融合的熱點方向，越來越多的臨床研究趨向于使用人工智能技術對醫學數據進行建模、訓練、分析，形成回顧性結論或前瞻性預判。2019年，科技部印發了《國家新一代人工智能開放創新平臺建設工作指引》的通知，要求開展細分領域的技術創新，把已經形成的標準化、模塊化的模型、算法、中間件及應用軟件進行開放共享服務。對醫療行業而言，如何將大量文本、影像等多模態數據進行關聯性應用，建立符合醫學數據特征的模型構建方法等主要瓶頸問題亟待解決。

　　針對臨床研究與應用的復雜場景，陸軍軍醫大學第一附屬醫院(西南醫院)將數據處理、模型訓練、分析決策等環節的關鍵技術進行流程化、顆粒化、工程化處理，研發醫學AI能力生成服務平臺，形成文本與影像智能搜索、醫學研究模型構建、醫學AI模型應用、統計分析等功能，使臨床醫生擁有屬于自己的數據制備能力、建模訓練能力、知識構建能力、分析決策能力，以滿足其自主化、個性化的臨床研究與應用需求。醫學AI能力生成服務平臺的建設與應用將是AI技術在醫學領域深層次發展的重要方向，對提升臨床研究水平與輔助診斷能力具有積極作用和重要意義。

2關鍵技術或平臺功能描述

　　(1)關鍵技術

　　重點解決文本、影像數據的多維綜合分析處理與跨模態檢索匹配、醫學影像數據自動化標注、醫學研究模型自動化構建與自適應調參三大關鍵技術。

　　1)圖文結合的醫學多模態數據匹配技術

　　基于機器視覺與深度卷積神經網絡技術，并采用特定算法研究病灶的全征象檢出，包括鈣化、腫塊、結構扭曲和不對稱等。對分型、征象全面識別、自動配準等進行圖像的結構化信息提取，并與檢查結論等已進行結構化與標注化的報告信息進行匹配，實現多維綜合分析處理與跨模態檢索匹配。

　　2)醫學影像數據自動化標注技術

　　利用機器學習模型，由影像智能分析引擎自動生成標注信息，實現分層次的卷積神經網絡(CNN)網絡模型生成不同層級的輸出詞匯，算法模型自動對病灶進行檢測，圈定ROI區域，并能夠對檢測的ROI進行分類，甄別病灶ROI及非病灶ROI，并對病灶ROI進行檢測結果及定位輸出。自動化標注技術支持在病灶所在位置畫出ROI后，自動計算結節大小、位置、密度、體積、CT值、風險等級、良惡性概率、相似病例等信息。

　　3)醫學研究模型自動化構建與自適應調參技術

　　采用知識表達、認知計算等算法模型構架。借助機器學習模型算法、影像深度學習模型算法和遷移學習模型算法，研究自適應調參技術，包括機器學習的超參數配置，深度學習的參數優化算法自動化選擇等。

　　(2)平臺主要功能

　　研發構建的醫學AI能力生成服務平臺包含數據層、算法層、工具層和應用層。其中，數據層對多模態數據進行采集、匯聚與治理;算法層提供數據算法包、算法引擎、分析與判讀等功能;工具層集成數據挖掘、分析、服務工具;應用層形成多病種圖文一體數據庫、智能檢索、科研支撐等應用，如圖1所示。

圖1 平臺功能架構圖

　　1)圖文結合的多模態數據庫與搜索引擎

　　結合醫療專業術語的語義結構，實現了醫療語義信息從原始的自然語言表達，擴展分析為結構化的Key-Value模式。對原文使用關鍵詞進行搜索，滿足多個搜索條件間的邏輯關系。對影像數據進行清洗篩選和重采樣，支持影像高維度量化變量提取，將影像特征提取的數據納入數據庫，支持影像tag、影像病灶輪廓信息檢索，如圖2所示。

　　2)醫學AI智能分析算法模型

　　機器學習訓練和評估：集成影像處理算法包，建立影像數據標注、多維度特征提取、特征選擇、模型建立、研究結果分析全流程的醫學模型自建功能。提供了包括邏輯回歸、隨機森林等14種機器學習模型，同時提供AutoML功能，可讓臨床醫生在不了解機器學習的情況下建立自己的臨床診斷模型，并提供多維度的評價指標及圖表評估模型，如圖3所示。

圖3 機器學習效果評估圖

　　深度學習訓練和評估：封裝常規深度學習訓練框架的編程部分，使得臨床醫生可通過簡單的人機交互完成模型訓練、參數調節和評估。提供了包括數據處理、超參數配置、數據增強、模型選擇、模型評價等功能，包含了病灶分類、病灶分割以及病灶檢測等場景，輔助臨床醫生實現對醫學影像圖像的自動智能判讀，如圖4所示。

圖4 深度學習模型訓練圖

　　3)醫學AI模型應用

　　影像智能判讀：對肺結節、血管、乳腺鉬靶、骨齡等多類型影像進行臨床醫學判讀，提示病灶位置、病灶類型、病灶性狀等信息，自動化生成解讀報告，幫助臨床提高病灶定性解讀能力、病灶量化分析能力。可對同一個患者的多次同類型檢查進行病灶配準，對病灶變化進行信息提取，也可通過臨床醫生自建的模型進行影像數據判讀，如圖5所示。

圖5 肝臟病灶識別診斷圖

　　臨床Web應用：利用生成的臨床模型，生成Web臨床應用，可支持醫生使用新患者的數據，進行表單的錄入，以實現對病人的預測及分析，輸出診斷結果及具體概率。

　　API接口調用：提供API調用的方式進行應用場景支持，在PACS業務系統中，可通過API形式調用影像判讀模型進行影像判讀與結果分析;在診療過程中，通過門診、住院醫生站調用API，傳入現病史、檢查檢驗結果等數據，可獲取到臨床診療模型的疾病預測結果。

　　4)統計分析

　　集成現有SAS、R、Python等編程分析工具，可對特定醫學科研場景提供全流程統計分析設計與報告，包括數據預處理、統計描述、結果輸出及統計報告生成。提供描述性統計、數據分布探索及組間比較、相關性分析、危險因素分析等30余種分析方法，內嵌設計好的語句，智能化根據數據類型進行相應統計分析，自動輸出中英文統計分析報告，如圖6所示。

圖6 統計分析方法圖

3應用效果

　　經過兩年的項目建設，醫學AI能力生成服務平臺已完成我院自1999年以來的1千余萬名患者、5千余萬份病歷、30余萬份影像序列的數據治理，形成臨床結構化條目近萬個。近3個月，已為全院臨床科室提供了近5000次數據搜索服務，基于該平臺共建立了121個項目研究隊列，為臨床研究提供了數據與工具支撐。形成了乳腺癌、肝癌兩大病種的圖文一體庫，影像結構化條目212個，基于圖文一體庫共建立了42個回顧性研究隊列，13個前瞻性研究隊列。同時，平臺提供了肺分割模型、肝臟分割模型等28個影像模型，14個臨床模型，30余種統計學分析方法，如圖7所示。

圖7 應用效果圖

　　醫學AI能力開放與應用服務平臺形成了從數據采集、模型建立、統計分析于一體的顆粒化、流程化功能模塊，使醫生可以在無需編程能力的情況下進行AI算法的構建和訓練，進一步打破了AI應用在臨床問題研究上的技術和工程阻礙，提升了臨床研究流程的效率和產出。同時，臨床醫生可以將訓練好的AI模型根據特定目標組裝成臨床數據處理流，并可分享給其他臨床醫生使用，通過上傳所需分析的臨床數據，即可獲得模型預測結果，從而實現科研到應用的快速轉化。

4總結展望

　　醫學AI能力生成服務平臺聚焦臨床研究與診療場景，依托大數據與人工智能相關技術，探索了流程化、自主化的服務模式，重點解決了“數據制備—數據標注—建模訓練—統計分析—知識構建—應用服務”全鏈條的關鍵技術集成，最終實現產品化與臨床應用。接下來，將重點從功能建設、應用評估兩個角度重點評價平臺的性能指標和應用效果，形成循環反饋與改進機制，促進迭代優化。

　　平臺應用還可結合臨床專家經驗，在診療標準建設、診斷治療評價等方面發揮AI算法優勢，提升診斷、治療、預后等環節的規范化和同質化服務能力。同時，平臺所建立的預測、分類、推理等技術能力，可在病歷質控、危急值預警、DRG預測等方面進行深度拓展，實現AI技術輔助醫療管理的目標。

　　申報單位：陸軍軍醫大學第一附屬醫院(西南醫院)

　　聯合申報單位：北京深睿博聯科技有限責任公司

　　技術方向：大數據、醫學人工智能

　　業務領域：臨床應用、醫學科研