清華新聞網11月11日電 近日，清華大學軟件學院徐楓副教授團隊在醫療人工智能方向取得重要進展，提出面向呼吸系統疾病診療需求的多模態基礎模型MedMPT。該模型基于154274例胸部CT影像及其對應放射學報告開展多模態自監督學習，能夠處理臨床中多源異構數據，支持多類典型臨床任務，在肺部疾病診斷、放射學報告生成和用藥推薦等多個應用場景中取得領先性能，為通用醫療人工智能在真實臨床環境中的落地提供了新的技術路徑。
呼吸系統疾病是全球范圍內的重要公共衛生問題，相關診療工作通常涉及影像檢查、實驗室檢驗及臨床隨訪等多個環節。隨著醫學影像與信息化技術的快速發展，醫療場景中產生的數據類型與規模不斷增長，對臨床醫師提出了更高的信息整合與決策支持需求。然而，現有醫療人工智能系統多聚焦于單一數據模態或局部診療步驟，難以適配真實臨床工作流程中多模態協同和連續性決策的場景，限制了其推廣應用和臨床可解釋性。構建能夠理解多源醫療信息并支持多類臨床任務的通用模型，已成為推動智慧醫療發展的關鍵方向。
圖1.多模態臨床數據在呼吸系統疾病診療中的協同應用
針對這一需求，研究團隊提出面向呼吸系統疾病的多模態基礎模型MedMPT。通過多尺度、多模態自監督學習框架，在無需額外人工標注的前提下，從大規模胸部影像及文本報告中自動提取醫學語義關聯特征。進一步融合實驗室檢測指標、臨床文本信息及藥物關系網絡等多類醫療數據，該模型能夠為不同臨床任務提供統一表示基礎，并支持根據臨床場景進行靈活調優。
圖2.MedMPT多模態自監督預訓練框架與多種臨床任務微調策略
在臨床應用層面，MedMPT能夠在統一模型框架下處理影像、文本、檢驗結果及藥物先驗關系等多源醫學信息，輔助醫師完成疾病識別、影像分析、初步診斷意見形成及用藥方案制定等多個診療環節。通過整合多源信息，模型可提供清晰一致的決策支持，助力提升整體診斷效率。在藥物推薦環節，得益于大規模真實臨床用藥數據中潛在模式與關聯的融合，模型能夠為藥物選擇和方案制定提供具有實踐參考價值的建議。同時，模型具備可解釋性可視化能力，能夠為其分析結果提供相應依據，有助于增強醫師對模型決策過程的理解與信任。
圖3.MedMPT在多模態臨床任務中實現綜合性能提升
此外，團隊與臨床專家開展了合作評估。MedMPT可在影像報告撰寫過程中提供結構化、連貫、專業的影像描述，幫助醫生快速聚焦病灶信息，提升報告撰寫效率。同時，模型輸出具備較高的醫學專業性和信息完整度，有助于減少報告內容遺漏，特別是在經驗相對不足的醫生群體中，對提升報告規范性和一致性作用明顯。結果顯示，MedMPT能夠與臨床專家形成良好協同，在保持醫生的專業判斷主體地位的同時，有效優化日常工作流程，展現出良好的臨床應用潛力。
圖4.MedMPT通過人機協同顯著提升醫學影像報告撰寫的效率和報告質量
這一工作為多模態醫療人工智能在真實臨床場景中的應用提供了可行路徑與實踐依據。未來，團隊將進一步推進多中心驗證與拓展應用場景，持續推動人機協同在臨床診療中的深度融合。
研究成果以“面向呼吸系統疾病多場景臨床應用的視覺–語言預訓練模型”（ A vision–language pretrained transformer for versatile clinical respiratory disease applications）為題，于11月6日發表于《自然·生物醫學工程》（Nature Biomedical Engineering）。
清華大學軟件學院2021級博士生馬靚笛為論文第一作者，清華大學軟件學院副教授徐楓、信息國家研究中心副研究員郭雨晨，廣州醫科大學附屬第一醫院教授何建行、醫生梁恒瑞為論文共同通訊作者。研究由清華大學軟件學院、信息國家研究中心、腦與認知科學研究院、廣州醫科大學附屬第一醫院、北京天壇醫院、貴州省人民醫院等單位合作完成。研究得到國家自然科學基金、國家重點研發計劃等項目的支持。
論文鏈接：
https://www.nature.com/articles/s41551-025-01544-z
供稿：軟件學院
編輯：李華山
審核：郭玲
