南通大學附屬醫院:挖潛5G“智”力 建設數智手術室及多媒體手術病歷系統
2023年醫院新興技術創新應用典型案例征集活動正在進行中,歡迎各醫療機構踴躍提交案例。CHIMA將組織專家對案例進行評選,入選典型案例將在CHIMA 2023大會路演并獲頒證書。
1項目簡介
南通大學附屬醫院共有凈化手術室20余間,2019年購置的達芬奇手術機器人安裝后操作空間狹小,亟待擴建;手術視頻用移動硬盤錄制,手術信息收集不全;患者影像、用藥等不可集中展示;示教限于現場觀摩,效率低下;手術病歷缺少詳實手術過程與流程記錄。
2021年,醫院開始構建基于5G的智慧化手術室及多媒體手術病歷系統SMARS(Surgery Multimedia Achieves & Records System,SMARS),實現對手麻、HIS、PACS等系統及DSA、監護儀等設備的整合,術中可獲取患者各種資料,手術過程與關鍵圖片、音視頻和文字描述能保留進SMARS,實現了手術全過程的數字化管理。手術病歷完成后可上傳至醫院數據中心供臨床醫生調研,亦可通過SMARS中集成的360視圖查看患者臨床數據。
該項目對手術室軟硬件實現一體化整合,運用5G+VR技術,實現4K信號無線傳輸,打造VR沉浸式教學;通過5G+APP得到專家的遠程指導;構建了多媒體手術病歷系統SMARS,對手術的質控從流程控制上升到內容控制,建立了集醫療、教學、科研于一體的信息共享科研大數據平臺。
2建設與開發
(1)建設目標
通過對醫院、手術室、信息化建設等方面的調查情況,經過整合得到建設內容:
第一,構建手術室軟件及設備一體化集中控制系統;
第二,構建院內光纖直播系統、基于5G+4K+VR的手術直播示教及APP遠程指導系統;
第三,構建多媒體手術病歷系統SMARS;
第四,構建集醫療、教學、科研等領域于一體的信息共享科研大數據平臺。
(2)總體步驟
第一,成立智慧化手術室建設小組;
第二,構建基于5G的智慧化手術室及多媒體手術病歷系統SMARS;
第三,功能測試、人員培訓并投入使用。
(3)開發
2021年,醫院開始建設基于5G的智慧化手術室及多媒體手術病歷系統SMARS,在達芬奇手術機器人室配置1臺4K VR全景攝像機,1臺4K術野攝像機,2臺32寸4K醫用顯示屏,1臺智能控制系統、1塊65寸4K顯示屏,1套吸頂音箱及耳麥等。
達芬奇手術機器人手術室
一體化智能控制系統將HIS、PACS、手麻等系統及手術室內的全景、術野攝像機,機器人、DSA、監護儀等信號和術者語音信號進行數字化集成和顯示,實現了基于相同時間軸多畫面處理的功能。術中可獲取并展示患者各種資料,同時患者的手術過程與術中關鍵圖片、音視頻和文字描述能保留進SMARS,實現了手術全過程的數字化管理。手術病歷完成后可上傳醫院數據中心,亦可通過SMARS中集成的患者360視圖查看患者臨床數據,給臨床病歷書寫和展示帶來方便,并運用5G+VR技術,實現4K高清視頻信號無線傳輸。
患者各種資料的集中展示
示教室的視音頻信號可調入到手術室內,也可將手術室內的機器人、術野等影像路由到示教室,實現4K影像實時傳輸和雙向互動,還可以將患者的各種病歷資料、實時生命體征數據輸出至觀摩端。通過佩戴VR眼鏡,提供了全景沉浸式手術觀看體驗,提升了用戶參與感,擴充了手術視野。
手術示教
SMARS集成患者360視圖,方便醫護人員全面了解患者基本信息,在觀看手術過程畫面的基礎上可以同時了解患者在術中的關鍵事件、用藥情況以及影像數據。
手術電子病歷集成患者360視圖
一體化智能控制系統將術中關鍵圖片、音視頻整合形成了多媒體手術病歷數據庫,與我院信息平臺進行數據交互,手術病歷完成后上傳至數據中心。
醫生工作站病歷文書調閱手術電子病歷
另外,在醫生工作站集成多媒體手術電子病歷(SMARS)單點登錄功能,實現一鍵調閱和編輯患者的手術病歷,此功能為手術信息管理探索出新思路,可為醫院信息系統升級提供參考。
醫生工作站集成多媒體手術病歷系統
3關鍵技術或產品描述
(1)技術架構
第一,5G+4K+VR方面:
5G+4K+VR直播架構
整個5G+4K+VR直播架構主要分為手術室采集端、服務器云端和示教端。4K全景相機安裝在手術室,實現固定機位在復雜場景下的實時全景采集,并通過5G傳輸設備,將全景視頻傳輸到云端,實現所有設備組網、狀態反饋、實時直播、遠程管理和遠程操控等功能,云端多媒體服務器實現對相機推流視頻進行分發、編解碼功能。4K全景視頻機內實時拼接,把全景視頻推流至云端流媒體服務器上,實現每一路全景視頻的多路并發處理,滿足同一臺4K全景相機直播,多個用戶多種不同終端同時在線觀看,在示教端安裝VR眼鏡,實現VR全景手術直播、遠程手術指導服務,實現4K、全景視頻穩定傳輸,打造VR沉浸式教學,使數據采集效率更高,數據傳輸更可靠,實現了優質醫療資源下沉。
第二,多媒體病歷系統SMARS方面:
整體架構采用前后端分離的設計模式,前端主要采用聲明式的、組件化的JavaScript編程框架vue,完成頁面開發;后端主要采用spring boot + shiro,完成基于角色的接口開發。
(2)關鍵設備:一體化智能控制系統
第一,產品體積小,集成度高,安裝方便,直接安裝于手術室吊塔上,施工周期短,安裝布線方便。
第二,內置全高清視頻路由:采用全高清4K(1080P)無壓縮編輯與轉播。獨有全新板載PCIE圖像路由,實現高清圖像非矩陣路由,在大量節約資源的同時又提高了圖像數據利用效率。
一體化智能控制系統
第三,將HIS、PACS等及手術室內的全景、術野攝像機、機器人、DSA、監護儀等的信號和術者語音信號等進行數字化集成和顯示,實現了基于相同時間軸多畫面處理的功能。
4應用效果
(1)有形成果
第一,構建了基于5G的智慧化手術室及多媒體手術病歷系統SMARS;
多媒體手術病歷系統編輯界面
多媒體電子病歷
第二,構建手術室軟件及設備一體化集中控制系統,術中關鍵圖片、視音頻保留進電子病歷中,將手術記錄從文字描述,提升到多媒體手術病歷時代;
一體化智能控制系統
第三,構建了院內光纖直播系統;
光纖+直播示教
第四,構建了5G+4K+VR手術直播示教系統及APP遠程指導系統;
5G+直播示教
效果集中展示
5G+4K+VR直播示教
第五,與HIS系統實現深度集成,可對手術的質控從流程控制上升到內容控制。
醫生工作站病歷文書調閱手術電子病歷
(2)附加成果
第一,申報了南通市科技局課題1項;
第二,發表論文2篇。
5總結
南通大學附屬醫院建設的基于5G智慧化手術室及多媒體手術病歷系統SMARS于2022年通過整體驗收,該系統對醫療設備與信息系統進行一體化整合,實現了患者診療信息的集中展示、傳輸與存儲,利用5G結合VR、云計算等技術手段,將多路信號同步實時輸出,雙向語音對話,為目標醫生提供教學、培訓等,創新生成的多媒體手術病歷系統SMARS,與HIS系統深度集成,保證患者手術資料完整保存,通過權限分級,實現全院調用。
項目實施后,取得了較好的社會效益,2021年9月26日,肝膽外科王鵬醫生通過該系統在網上連續直播11臺單孔腹腔鏡疝切除手術,并和國內疝和腹壁外科領域專家在線進行科普宣講,超過70萬人次觀看。2021年10月11日,通大附院首屆手術直播周活動,來自神經外科、普外科、心胸外科等21個科室的60多名外科專家通過該系統為全國行業內人員提供為期一周的高質量手術直播,展現通大附院卓越的手術技藝,與兄弟醫院專家在云端進行交流互動。2022年6月25日,“匠心強技 喜迎二十大”公眾開放日啟動儀式暨首場達芬奇機器人手術專場活動在通大附院舉辦,通過公眾開放日,向媒體及社會大眾展示達芬奇手術機器人這一世界先進的微創手術平臺,讓廣大百姓切實增強對醫院、對高精醫療技術的認知與理解,從而進一步提升就醫獲得感。活動通過該系統向騰訊新聞、濠視頻、蝶代及醫院新媒體平臺同步直播,觀看總人數超過40萬。2022年9月26日到30日,第二屆手術直播周活動實現了80個手術團隊總計10萬次直播觀摩,以及1900小時瀏覽時長共計111臺手術的展示,從關鍵核心技術、高新技術、特色技術等方面多維度地展現了通大附院的醫療技術能力。
項目實施后,使南通大學附屬醫院的手術室智慧化水平達到國內領先水平。隨著遠程教學、互動直播的需求越來越大,對視頻傳輸質量、速度、延遲的要求越來越高,通過5G遠程直播示教及APP手術指導,不受地域限制,解決手術室場地狹小、聚集增加感染風險等不足,對于醫學生的教育培訓工作具有現實意義。
申報單位:
南通大學附屬醫院
聯合申報單位:
中國移動通訊集團江蘇有限公司南通分公司
案例技術方向:
智慧醫院
案例業務領域:
臨床應用