隨著信息技術(shù)的發(fā)展，人工智能在多個領(lǐng)域得到應(yīng)用，如能源、醫(yī)療、制造業(yè)、金融業(yè)和商業(yè)等，人工智能賦能產(chǎn)業(yè)發(fā)展已經(jīng)成為主流趨勢。由于醫(yī)療行業(yè)是一個非常復(fù)雜的行業(yè)，涉及的知識面廣，有非常多專業(yè)，還有子方向，因此每位醫(yī)生真正掌握的醫(yī)學(xué)知識是有限的，這給醫(yī)學(xué)人工智能帶來了很好的發(fā)展機遇。“不過，AI也存在一定風(fēng)險，包括倫理、數(shù)據(jù)安全、個人隱私保護等。隨著AI在醫(yī)療行業(yè)應(yīng)用的深入，這些問題不斷出現(xiàn)，也會不斷得到溝通和解決。隨著上述挑戰(zhàn)的不斷解決，AI在醫(yī)療行業(yè)的應(yīng)用會逐步加深。”在CHIMA 2023大會發(fā)表主題演講時，廣東省中醫(yī)院信息管理辦公室主任傅昊陽指出。

　　我國非常重視人工智能的發(fā)展，習(xí)近平總書記指出：“把新一代人工智能作為推動科技跨越發(fā)展、產(chǎn)業(yè)優(yōu)化升級、生產(chǎn)力整體躍升的驅(qū)動力量，努力實現(xiàn)高質(zhì)量發(fā)展。”自2017年至今，《國務(wù)院關(guān)于印發(fā)新一代人工智能發(fā)展規(guī)劃的通知》《國務(wù)院辦公廳關(guān)于促進“互聯(lián)網(wǎng)+醫(yī)療健康”發(fā)展的意見》《國家新一代人工智能標準體系建設(shè)指南》《中華人民共和國國民經(jīng)濟和社會發(fā)展第十四個五年規(guī)劃和2035年遠景目標綱要》《“十四五”生物經(jīng)濟發(fā)展規(guī)劃》等相關(guān)政策的出臺，為醫(yī)學(xué)人工智能的發(fā)展提供了政策支持。傅昊陽強調(diào)：“目前，我國有關(guān)人工智能的標準和指南，以及未來對大數(shù)據(jù)、云計算以及AI在關(guān)鍵領(lǐng)域應(yīng)用的相關(guān)要求都在不斷完善。”

　　人工智能賦能醫(yī)療主要應(yīng)用于以下領(lǐng)域：檢查，包括AI+PACS、AI+病理、AI+病案等;診斷，包括臨床決策支持、智慧病案等;治療，包括處方推薦、手術(shù)方案規(guī)劃、AI醫(yī)療機器人等;科研，包括數(shù)據(jù)分析、數(shù)據(jù)挖掘、新藥研發(fā)等。其中，在醫(yī)療人工智能應(yīng)用中，AI影像發(fā)展較早，技術(shù)較為成熟，已成為醫(yī)療AI的代表性應(yīng)用。對此，傅昊陽指出：“得益于算法的創(chuàng)新和圖像的標準化，AI影像目前應(yīng)用較為成熟，有很多標準圖像，讓AI施展拳腳。”

　　他表示，目前人工智能在醫(yī)療行業(yè)的應(yīng)用多基于單一模態(tài)的數(shù)據(jù)，例如在肺結(jié)節(jié)檢出與良惡性診斷中，常采用影像組學(xué)方法或深度學(xué)習(xí)方法，根據(jù)輸入的肺部CT影像圖片進行分析后輸出結(jié)果。實際上，真實世界的診療是醫(yī)生綜合多模態(tài)的數(shù)據(jù)，如同時結(jié)合CT影像、超聲檢查和檢驗報告等，進行綜合判斷。“當AI發(fā)展到一定程度后，多模態(tài)的數(shù)據(jù)分析就顯得非常重要。”他強調(diào)，“臨床醫(yī)療業(yè)務(wù)產(chǎn)生的大量數(shù)據(jù)以不同模態(tài)存儲于數(shù)據(jù)庫中，對它們整理、清洗后，再經(jīng)過預(yù)處理進行多模態(tài)融合。多模態(tài)融合可以有機整合不同的信息，相比單模態(tài)信息更加全面。”

　　傅昊陽進一步指出，多模態(tài)融合方法共有兩種：與模型無關(guān)的融合方法，主要有特征融合和決策融合;基于模型的融合方法，主要是神經(jīng)網(wǎng)絡(luò)方法，包括多核學(xué)習(xí)方法和圖像模型方法。

　　傅昊陽介紹，基于多模態(tài)數(shù)據(jù)的醫(yī)療智能應(yīng)用主要體現(xiàn)在多模態(tài)醫(yī)療知識圖譜、智能臨床決策支持系統(tǒng)和智能醫(yī)療檢索系統(tǒng)：

　　1.多模態(tài)醫(yī)療知識圖譜。在廣東省中醫(yī)院，多模態(tài)醫(yī)療知識圖譜的應(yīng)用體現(xiàn)為建立名老中醫(yī)知識庫。通過對名老中醫(yī)知識庫的挖掘，建立名老中醫(yī)經(jīng)方與各種疾病、癥候的關(guān)聯(lián)關(guān)系，建立中醫(yī)癥候-經(jīng)方知識庫，將名老中醫(yī)專家知識、經(jīng)驗進行傳承。為豐富名老中醫(yī)知識庫，醫(yī)院除了文本資料外，加入圖片、音頻和視頻資料，利用自然語言處理、神經(jīng)網(wǎng)絡(luò)和機器學(xué)習(xí)的方法構(gòu)建多模態(tài)名老中醫(yī)知識庫。基于多模態(tài)數(shù)據(jù)的名老中醫(yī)知識庫，在原來文本數(shù)據(jù)的基礎(chǔ)上，擴充相關(guān)音視頻資料，如在癥狀中加入舌診和面診信息、在治療方法中加入了名老中醫(yī)診療音視頻等;

　　2.智能臨床決策支持系統(tǒng)。在基于多模態(tài)數(shù)據(jù)的醫(yī)療場景下，AI賦能臨床決策支持系統(tǒng)，可提供更加準確的輔助診斷、更有效的治療方案和更精準的疾病預(yù)測功能。廣東省中醫(yī)院建設(shè)了失眠專病輔助決策系統(tǒng)，通過輸入患者的癥狀，智能推薦中藥處方。醫(yī)院基于多模態(tài)數(shù)據(jù)的失眠專病輔助決策系統(tǒng)，在原有只能輸入癥狀信息(文本)的基礎(chǔ)上，增加圖像信息的輸入;對接中醫(yī)智能四診儀，采集舌象圖片、面診圖像和脈診信息，對多模態(tài)數(shù)據(jù)進行融合處理;根據(jù)采集的信息和在名老中醫(yī)知識庫查找處方，對多位名老中醫(yī)的處方進行綜合，輸出最終的中醫(yī)處方結(jié)果;

　　3.智能醫(yī)療檢索系統(tǒng)。智能醫(yī)療檢索系統(tǒng)是醫(yī)療與自然語言處理相結(jié)合的新一代信息檢索技術(shù)，其將信息檢索從基于關(guān)鍵詞的層面提升至基于知識/概念的層面，是語義檢索、多模態(tài)檢索和個性化檢索三者的有機結(jié)合。多模態(tài)融合檢索可以對文本和圖片進行特征提取，然后進行特征融合，最終輸出結(jié)果，包括病歷、處方、檢查圖像和檢驗檢查結(jié)果。

　　傅昊陽認為，多模態(tài)智能醫(yī)療在應(yīng)用中面臨以下挑戰(zhàn)：

　　1.異構(gòu)數(shù)據(jù)的語義鴻溝。不同模態(tài)數(shù)據(jù)在計算機中的表示與人類認知系統(tǒng)的描述之間存在差異。此外，醫(yī)療數(shù)據(jù)由不同的設(shè)備生成，各設(shè)備生成的數(shù)據(jù)格式、編碼方式、數(shù)據(jù)粒度大小等也存在很大不同，如何跨越語義鴻溝實現(xiàn)各模態(tài)數(shù)據(jù)間的對齊是一個難點;

　　2.隱私與數(shù)據(jù)安全問題。隱私和數(shù)據(jù)安全問題向來是醫(yī)療信息安全的重點。數(shù)據(jù)模態(tài)多樣、數(shù)據(jù)量大等因素將導(dǎo)致加密解密和傳輸?shù)睦щy。另外，當需要使用來自多家醫(yī)療機構(gòu)的患者數(shù)據(jù)時，會存在很多限制條件。以上都將給基于多模態(tài)數(shù)據(jù)的醫(yī)療智能應(yīng)用帶來挑戰(zhàn);

　　3.多模態(tài)數(shù)據(jù)的復(fù)雜性。主要體現(xiàn)為部分醫(yī)學(xué)圖像無相關(guān)標準，如何快速、準確識別出動態(tài)和靜態(tài)圖像中的關(guān)鍵內(nèi)容等。

　　“在實踐中，促進多模態(tài)數(shù)據(jù)的深度應(yīng)用，能有效減輕醫(yī)務(wù)人員的工作強度，提高診療效率和準確率。充分挖掘人工智能技術(shù)在中醫(yī)藥領(lǐng)域的潛能也有助于中醫(yī)藥的傳承與創(chuàng)新。提升多模態(tài)數(shù)據(jù)治理能力，可為多模態(tài)數(shù)據(jù)醫(yī)療研究與應(yīng)用提供強有力支撐。建設(shè)完善人工智能人才儲備梯隊，一方面保障了基本的運維層面需求，另一方面也為醫(yī)學(xué)發(fā)展提供了人才基礎(chǔ)，以應(yīng)對未來信息技術(shù)的快速發(fā)展。”傅昊陽總結(jié)，“未來通過我們共同努力，讓AI成為醫(yī)生的得力助手，可對未來醫(yī)療行業(yè)產(chǎn)生更深遠的影響。”