隨著全球老齡化加劇，腔鏡手術量年增長率超18%，外科醫生面臨巨大操作負擔。現有手術機器人（如da Vinci）雖能輔助手術，但任務自動化局限于特定場景（如預編程動作），缺乏跨場景泛化能力。而近期重磅發表于《Science Robotics》（最新影響因子為27.5，五年影響因子達32.9）的一項名為“Surgical embodied intelligence for generalized task autonomy in laparoscopic robot-assisted surgery”的研究中提出了基于具身智能的腹腔鏡手術機器人通用任務自主性研究，旨在突破傳統手術自動化方法對額外傳感器輸入或基于人工預定義規則與模型依賴的局限性，通過視覺基礎大模型，具身智能控制策略學習，首次實現多任務、跨場景的自主操作。研究團隊構建了包含視覺解析（Visual Parsing）、感知回歸器（Perceptual Regressor）、策略學習（Policy Learning）與視覺伺服控制（Visual Servoing Controller）的全新VPPV范式，依托團隊自研的開源仿真平臺SurRoL，實現了通用手術機器人的自主操作，并在商業平臺Sentire思騰?腔鏡手術機器人（以下簡稱“Sentire思騰?”）上完成活體動物體內驗證1。

研究亮點總結

全球首例臨床場景下自主手術活體動物驗證：在外科醫生監督自主模式下完成活體豬模型3類任務。

純視覺人工智能方案，無需任何額外傳感器：自主操作僅需手術機器人視覺系統輸入，可無縫部署至真實臨床場景。

通用性：數據驅動的解決方案，可應用于多種自主操作任務。

開源仿真平臺SurRoL的生態價值：100%自研具身智能平臺，涵蓋手術機器人交互環境，多種手術任務仿真，強化學習訓練引擎。

自動化“第三只手”，解鎖人機協作新范式：機器人自動完成多種輔助操作，有望提升外科醫生手術效率。

方法論創新與技術架構

VPPV全流程范式

關鍵創新：基于視覺基礎大模型實現穩健場景理解，強化學習范式實現通用的多任務策略學習，AI策略與傳統控制的分層融合架構提升自動化的穩定性，模塊化的設計更利于算法的更新與迭代。

實驗驗證與關鍵結果分析

手術訓練任務的自動化

在SurRoL仿真平臺上，VPPV完成了7項常見的機器人腹腔鏡手術基礎訓練任務的學習和自動化，包括到達針抓取點 （NeedleReach），針拾取（NeedlePick）、紗布拾取（GauzeRetrieve）、拾取與放置（PickAndPlace）、樁轉移（PegTransfer）、板匹配（MatchBoard）和針重新抓取（NeedleRegrasp）。令人印象深刻的是，系統在虛擬環境中的表現出色——例如針頭拾取、紗布拾取的任務成功率達到100%，樁轉移任務成功率為98%。更關鍵的是，當這些在"虛擬世界"中訓練的AI技能被應用到真實的手術機器人上時，依然保持了良好的表現。在達芬奇研究平臺(dVRK)的真機測試中，紗布拾取達到96%，而對于針頭拾取任務雖有更好的精度要求，仍能達到成功率84%，而對于進階手術訓練任務樁轉移，能達到86%的成功率，證明了VPPV方法良好的仿真-現實遷移能力。

離體組織實驗（Sentire思騰?）

為了更接近真實手術環境，研究團隊在離體豬胃組織（保留胃網膜動靜脈）上進行了嚴格的驗證實驗，采用國產的Sentire思騰?腔鏡手術機器人完成5類輔助任務自動化驗證，總成功率接近90%。實驗設置嚴格模擬真實手術場景：組織隨機旋轉（±180°）、平移（±5cm），并引入光照變化、模擬煙霧及呼吸運動干擾。其中三項關鍵技術指標表現尤為突出：

內窺鏡自主操控：該任務目標為自動調整內窺鏡的姿態，使得手術器械位于視野中央。通過視覺解析實時定位器械尖端，DDPG策略驅動內窺鏡調整位姿，使器械穩定居中于術野，成功率達95%（圖1）；這項技術可以解放醫生對手術工具和腹腔鏡的操作切換及對視野的頻繁控制，讓醫生專注于手術操作本身。

自動紗布精準拾取：該任務目標為自動拾取紗布并且放置于出血點進行止血，該任務通常為助手醫生完成。FastSAM分割結合IGEV深度估計，定位紗布中心點；RL策略控制器械跡接近目標，視覺伺服執行抓取后覆蓋出血點，成功率達91%（圖2）；

自動軟組織牽引：在腹腔鏡手術中，經常需要牽拉組織以獲得更好的手術視野。MPM軟體仿真訓練的策略驅動器械抓取目標組織，機械臂自主牽拉組織暴露術野，在器械多構型（針持、雙極鉗）及煙霧干擾下保持魯棒性，成功率達91%（圖3），實驗結果表明該算法學會了如何有效地抓取和牽拉軟組織，為主刀醫生創造理想的操作空間，并成功實現人機協作下的軟組織切割。

圖1 離體實驗中，真實世界場景的不同設置對內窺鏡操控的影響

圖2 離體實驗中，真實世界場景的不同設置對紗布拾取的影響

圖3 離體實驗中，真實世界場景的不同設置對軟組織牽引的影響

實驗結果證明：

平臺兼容性：VPPV框架無縫適配Sentire思騰?應用程序編程接口（API），控制延遲低于25ms；

環境魯棒性：在煙霧、光照變化、器械多構型下保持高成功率；

操作高效性：（圖4）統計了機器人執行軌跡的長度，展示極小的冗余動作。

圖4 基于運動學數據記錄的各任務機器人執行軌跡長度結果

活體動物驗證（Sentire思騰?+監督自主性）

研究團隊在約30公斤活體豬模型上進行了最具挑戰性的驗證實驗。實驗同樣采用了國產Sentire思騰?腔鏡手術機器人，這項實驗采用了創新的"監督自主性（supervised autonomy）"安全模式：由資深胃腸外科醫生首先在腹腔鏡視野下標記安全操作區域，隨后在醫生密切監督下自主執行任務，醫生可隨時接管控制權，確保手術安全。實驗在香港中文大學醫療機械人創新技術中心的混合手術室內進行，模擬真實的機器人輔助胃部游離手術環境。（圖5）：

紗布拾取成功率83%：這看似簡單的任務在活體環境中面臨前所未有的挑戰。血染紗布與周圍軟組織的顏色差異極小，傳統的顏色識別方法完全失效。VPPV方法創新性地采用視覺基礎模型，不再依賴單純的顏色特征，而是通過形狀、紋理、空間和語義的綜合分析來識別目標，實現了紗布中心的定位和自動抓取和，展示算法在動態復雜環境中的適應能力；

軟組織牽引成功率 77%：在活體環境中，軟組織的物理特性與離體組織存在顯著差異——場景更加復雜多變。研究團隊成功驗證了革命性的人機協作模式：AI控制的"第三只機械手"專門負責組織牽拉，為手術視野創造理想空間，而主刀醫生可以專注于操控其他兩只機械臂進行精細的腸系膜解剖。這種協作模式顯著提升了手術效率，減輕了醫生的操作負擔。

血管夾閉成功率67%：這是技術難度最高的任務，需要在直徑僅5毫米的豬右胃網膜動脈上精確放置止血夾。而10毫米寬的夾閉器要求控制精度達到2.5毫米級別。當夾閉器接近血管時，精密的視覺伺服控制器自動激活，通過圖像反饋進行精準的血管定位。實現了成功夾取，代表了毫米級精度自動化的技術突破。

圖5 在監督自主性模式下進行的活體動物試驗驗證：（A）活體實驗裝置；（B）自動化手術任務示意圖，包含紗布拾取、軟組織牽引和血管夾閉。每個任務展示兩個示例場景，包含內窺鏡圖像（頂部）、估計的深度圖（左下方）和目標物體分割（右下方）

本研究通過VPPV范式首次實現手術機器人多任務零樣本仿真-現實遷移，其成功源于三層創新架構：視覺解析層（FastSAM+IGEV處理真實手術噪聲）、策略抽象層（感知回歸器輸出物理可解釋的9D狀態向量）、執行優化層（DDPG規劃與視覺伺服閉環控制）。這一框架在Sentire思騰?腔鏡手術機器人上的驗證具有里程碑意義，其本質在于康諾思騰憑借全棧自研與垂直整合戰略構建的技術平臺——通過底層機電系統（軌跡誤差<3.3mm）、實時控制固件（API延遲25ms）與立體視覺模塊[1080p/60fps雙互補金屬氧化物半導體（CMOS）+現場可編程門陣列（FPGA）加速]的深度耦合，形成獨特的AI就緒且AI 友好架構。該平臺不僅承載離體組織5類輔助任務全流程自動化（內窺鏡操控/紗布拾取/軟組織牽引等），更支撐全球首例活體血管夾閉AI自主操作，其開放性接口使VPPV算法與硬件無縫協同，MPM軟體仿真參數反向校準機械臂力控模塊（交互力誤差<0.3N），完整實現從算法到系統的優化閉環。而"監督自主性"范式（醫生標記安全區域+實時接管）依托多臂協同特性，在第三機械臂自主牽引時解放外科醫生雙手，同時模塊化設計預留語音中斷等擴展接口——這種跨平臺部署能力（dVRK與Sentire思騰?雙驗證）推動手術自主性從概念邁向臨床，彰顯垂直整合技術生態的產業化潛力。

技術泛化性方面，SurRoL開源仿真平臺（集成dVRK數字孿生、MPM物理引擎、RL/IL算法庫）已形成社區生態，加速算法迭代；而VPPV的模塊化設計支持持續升級，例如視覺解析層可嵌入分割一切模型（SAM）等大模型提升分割精度，策略層可融合大型語言模型(LLM)生成高階手術計劃。面向未來，需攻克活體動態補償（如呼吸運動建模）、長時程任務鏈（如吻合術）及跨平臺適配等挑戰，而Sentire思騰?的開放式API將在此進程中發揮核心樞紐作用——其已證明的臨床兼容性與安全性，為手術自主性從L2（工具輔助）向L3（任務自主）演進鋪設了產業化通路。

研究團隊