CARES Copilot 1.0多模態(tài)手術(shù)大模型昨日舉行發(fā)布會，左起為馮銘教授、劉宏斌教授、陳達(dá)明醫(yī)生及康軍教授在現(xiàn)場接受傳媒采訪。香港文匯報(bào)記者涂穴 攝

　　工智能（AI）技術(shù)的快速進(jìn)步，同時亦擴(kuò)大了在醫(yī)療健康領(lǐng)域的應(yīng)用。中國科學(xué)院香港創(chuàng)新院 AI 中心昨發(fā)布“CARES Copilot 1.0 多模態(tài)手術(shù)大模型”，該系統(tǒng)能夠與智能醫(yī)療設(shè)備高度集成，并可快速精確地提取手術(shù)教材、專家指南、醫(yī)學(xué)論文等專業(yè)文檔的信息，并保持高達(dá)95%的準(zhǔn)確率，就像一個手術(shù)導(dǎo)航一樣，為術(shù)者提供實(shí)時解剖定位信息，并輔助前線醫(yī)護(hù)面對突發(fā)狀況，督導(dǎo)、預(yù)警、防止手術(shù)步驟危險。而未來，更可指揮智能醫(yī)療機(jī)器人執(zhí)行如肺癌等復(fù)雜手術(shù)。

　　香港中文大學(xué)外科學(xué)系神經(jīng)外科組主任陳達(dá)明與北京協(xié)和醫(yī)院神經(jīng)外科主任醫(yī)師、研究生導(dǎo)師馮銘昨在香港科學(xué)園現(xiàn)場演示了 CARES Copilot 1.0 系統(tǒng)，全方位展示了其功能和實(shí)用性。據(jù)介紹，CARES Copilot 系統(tǒng)是一款專為醫(yī)療領(lǐng)域設(shè)計(jì)的大型模型系統(tǒng)，能夠與智能醫(yī)療設(shè)備高度集成，系統(tǒng)實(shí)現(xiàn)了圖像、文本、語音、視頻、MRI、CT、超聲等多模態(tài)的手術(shù)數(shù)據(jù)理解。

　　檢索數(shù)百萬級數(shù)據(jù) 只需一秒鐘

　　通過系統(tǒng)的深度檢索功能，前線醫(yī)護(hù)能快速精確地提取手術(shù)教材、專家指南、醫(yī)學(xué)論文等專業(yè)文檔的信息，并確保提供的答案具有高度的可信度和可追溯性。系統(tǒng)具備長達(dá)100K上下文的長窗口理解與分析能力，能夠處理超過3,000頁的復(fù)雜手術(shù)教材，對于年輕醫(yī)生的培訓(xùn)和教學(xué)具有極高的實(shí)用價值。經(jīng)測試，系統(tǒng)能在一秒鐘內(nèi)完成百萬級數(shù)據(jù)的快速檢索，并保持高達(dá)95%的準(zhǔn)確率。

　　據(jù)介紹，該系統(tǒng)在醫(yī)學(xué)多場景、多任務(wù)的理解與處理方面取得了顯著的進(jìn)展，可有效支持包括手術(shù)階段識別、器械與解剖結(jié)構(gòu)分割、器械檢測與計(jì)數(shù)、MRI 高分辨率圖像生成等功能。系統(tǒng)并已在多家醫(yī)院的不同科室進(jìn)行了實(shí)地內(nèi)部測試和持續(xù)優(yōu)化。

　　未來趨勢 機(jī)器人執(zhí)行復(fù)雜手術(shù)

　　AI技術(shù)與手術(shù)機(jī)器人技術(shù)相結(jié)合，無疑會給外科手術(shù)的發(fā)展帶來巨大變革，包括手術(shù)方式、理念、器械、設(shè)備等各方面。中國科學(xué)院香港創(chuàng)新院 AI中心執(zhí)行主任、中國科學(xué)院自動化研究所研究員、博士生導(dǎo)師劉宏斌表示，AI在醫(yī)療領(lǐng)域絕對是不可逆轉(zhuǎn)的趨勢，盡管可能存在一些政策上的問題，但實(shí)際上在許多醫(yī)院的一些研究團(tuán)隊(duì)，都已經(jīng)開始應(yīng)用AI來處理多項(xiàng)工作。未來的發(fā)展方向是由機(jī)器人來執(zhí)行復(fù)雜的手術(shù)，“例如肺癌手術(shù)，雖然目前仍存在一些挑戰(zhàn)，但將目前的數(shù)據(jù)基礎(chǔ)做好準(zhǔn)備，以朝著這個方向前進(jìn)。 ”

　　陳達(dá)明認(rèn)為，開放式AI已經(jīng)在改變?nèi)澜缛祟惖纳睿卺t(yī)療上肯定也會做出更大的改變。而專為神經(jīng)科學(xué)研發(fā)的大模型，可以超越一般教學(xué)的要求，能夠配合手術(shù)、影像導(dǎo)航及機(jī)器人的大模型應(yīng)用在臨床、手術(shù)室及研究院，直接輔助前線醫(yī)護(hù)面對突發(fā)狀況，督導(dǎo)、預(yù)警、防止手術(shù)步驟危險，推進(jìn)神經(jīng)科學(xué)的疆界。馮銘則指，手術(shù)大模型和手術(shù)導(dǎo)航結(jié)合起來，可以為術(shù)者提供實(shí)時的解剖定位信息，提高手術(shù)安全性。

　　港澳具國際視野 內(nèi)地罕見病例多

　　中國科學(xué)院香港創(chuàng)新研究院是中國科學(xué)院在境外設(shè)立的首個國家級新型研發(fā)機(jī)構(gòu)，展望未來，馮銘相信，內(nèi)地與港澳地區(qū)的合作將持續(xù)深化，科技部和國家衛(wèi)健委都有一些專門支持內(nèi)地與港澳合作的課題。在技術(shù)和理念方面， 香港和澳門更具有國際視野，而內(nèi)地則擁有更多病人以及經(jīng)驗(yàn)，特別是在處理一些罕見疾病和疑難病例方面。 醫(yī)院亦設(shè)有專門的罕見病診療服務(wù)，可與港澳的醫(yī)療資源實(shí)現(xiàn)良好互補(bǔ)。

　　多模態(tài)手術(shù)大模型

　　研發(fā)目標(biāo)

　　◆開發(fā)前沿的手術(shù)領(lǐng)域多模態(tài)手術(shù)大模型，圍繞手術(shù)實(shí)現(xiàn)多模態(tài)數(shù)據(jù)理解，以及多任務(wù)統(tǒng)一處理，顯著降低初級外科醫(yī)師學(xué)習(xí)曲線，增強(qiáng)手術(shù)流程監(jiān)管，提高手術(shù)服務(wù)品質(zhì)，并與智能醫(yī)療器械緊密集成。

　　六大核心技術(shù)

　　◆手術(shù)全模態(tài)感知

　　◆知識連續(xù)自主學(xué)習(xí)

　　◆可追溯可解釋回答

　　◆多模態(tài)專家知識增強(qiáng)

　　◆超長輸入窗口

　　◆多平臺部署

　　近期成果

　　◆可信賴且可解釋

　　◆旨在提高操作安全性和效率

　　◆在香港及大灣區(qū)多家醫(yī)院進(jìn)行測試

　　◆在JCAI-2023組織醫(yī)學(xué)大模型研討會

　　◆3月正式向香港神經(jīng)外科醫(yī)生發(fā)布