研究人员提出了手术动作三胞胎识别的新模型

中国科学院深圳先进技术研究院贾福仓教授课题组提出了一种多任务细粒度时空模型，可以有效识别腹腔镜胆囊切除手术视频中的动作三联体。

该研究于 7 月 27 日发表在IEEE Journal of Biomedical and Health Informatics上。

在腹腔镜手术视频中，单个帧可能包含由手术器械、手术动作、手术目标组成的多个三元组。这些三元组在不同类别中表现出时间依赖性和高度相似性，对深度学习模型的识别提出了重大挑战。

在这项研究中，研究人员开发了一种用于手术动作三联体识别的新模型。该模型由两个关键组件组成：能够在手术视频中同时处理多个任务的框架，以及为多个相似标签设计的损失函数。“我们的框架考虑了手术视频中的空间和时间特征，这与之前主要只关注空间特征的方法不同，”贾教授说。

所提出的模型优于现有方法，包括 Triplet、Attention Triplet 和 Rendezvous 方法。与最先进的 Rendezvous 方法相比，该模型在仪器、动作和器官识别任务中平均精度提高了 4.6%、4.0% 和 7.8%，分别达到 82.1%、51.5% 和 45.5%，分别。在整体三胞胎识别任务中，该模型的平均精度也提高了3.1%，达到35.8%。他们通过消融实验进一步证明了不同模块的有效性。

标签：