英伟达物理人工智能解决医疗机器人数据挑战

英伟达新推出的 医学物理模拟框架 这代表着医疗机器人发展领域的一次范式转变,将医疗机器人视为 物理人工智能系统 需要的是实践经验,而不是传统的编程方法。
🤖 了解医疗机器人中的物理人工智能
物理人工智能 是术语 英伟达 更广泛的机器人行业也用这个词来描述通过以下方式获取知识的机器: 物理相互作用 — 联系、力量和后果 — 而不是仅仅处理文本或图像。
语言模型通过文本数据学习,而物理人工智能系统则通过现实世界的场景来发展理解能力: 导管与血管壁的相互作用、机械臂对软组织的压力以及其他触觉体验这种学习传统上要么需要在真实环境中进行实际操作,要么需要能够复制物理现实的高度详细的模拟。
对于医疗机器人而言,实际参与医疗程序的实体数量稀少、监管严格,不足以生成机器人需要掌握的各种场景。
💡 医学物理模拟:计算具身体验
医学物理模拟是英伟达针对以下问题提供的解决方案: 制造具身经验的计算宣布作为公司开源项目的一部分 Isaac 医疗保健平台该框架能够生成手术或诊断机器人原本需要多年临床实践才能遇到的物理交互:
- 🔹导丝卡在钙化的血管壁上
- 🔹 肾结石位置异常
- 🔹 罕见手术场景中发生的软组织反应
这些 极端情况 不会按预期出现在手术室。 仿真技术使开发人员能够按需生成它们。显著加快训练进程。
⚙️ 双模型架构:经典物理学与生成式人工智能的融合
该框架结合了 两种互补的建模方法 用于模拟设备在人体内的行为:
1. 经典物理模拟 — 能够处理众所周知的机械规则:导管弯曲动力学、血管壁阻力以及器械在组织中穿行时的联系力变化。
2. 生成式人工智能 — 通过一个名为“管理从程序数据中学习到的复杂视觉场景动态”的组件来管理这些动态。 宇宙-H 梦想解决了手工编码难以解决的问题。
这种组合体现了 物理人工智能提案经典仿真提供了机器人必须遵守的物理约束,而生成式仿真提供了泛化所需的解剖学和视觉变化。
⚡ 性能基准测试: Nvidia报告称正在运行 8,192 个并行环境 利用 Nvidia 的 Warp 和 Newton 库进行 GPU 加速,将训练时间从五个多小时缩短到不到两分钟。
重要注意事项:此基准测试展示了吞吐量能力,但并未考虑临床可靠性或在成像不完整、传感器读数延迟或超出模拟参数的解剖结构变化的情况下的实际性能。
⚠️ 语言模型的极端情况失效会导致错误答案。而物理人工智能系统的极端情况失效则发生在患者体内——这凸显了两者之间至关重要的利害关系差异。
🏥早期采用者和实施方法
英伟达认定的早期采用者组织正在应用物理人工智能方法。 不同程度的整合:
📊 数据贡献者:CMR Surgical 和 Cambridge Consultants
CMR 外科 和 剑桥咨询公司 (凯捷旗下公司)做出了最实质性的数据贡献。CMR提供了近 500 小时的匿名临床数据 从其 Versius 手术机器人系统到 Open-H 具身数据集,涵盖:
- ✓ 胆囊切除术
- ✓ 前列腺切除术
- ✓ 疝气修补
- ✓ 子宫切除术
他们共同利用 Cosmos-H Dreams 来实现这一目标。 建立软组织相互作用物理模型并生成患者特异性模拟。
“开源模式使我们能够基于共享知识进行构建,加速负责任的创新,并最终使我们能够为全球患者提供更一致的医疗服务和更好的治疗效果。” CMR Surgical 的首席技术官 Chris Fryer
🔬 平台特定应用程序
强生医疗科技 正在利用该框架以及基于 Cosmos 的基础模型来开发 数字孪生 其腔内 MONARCH 平台专注于泌尿外科的肾结石治疗。
XCath 将其应用于 血管内自主政策培训让系统在没有人工操作控制的情况下学习血管导航的物理动力学。
内在逻辑 生成用于设备机械验证的合成数据,并表明生产意图 计算机模拟证据 虽然目前还没有公开确认此类提交,但已提交给监管机构。
美敦力结构性心脏 目前处于探索阶段,研究模拟 X 射线传感在导管导航研究中的应用。
⚠️ 当前状态: 每个都代表一个 训练练习或数据集贡献目前还没有任何已部署的系统使用通过此框架学习到的策略来治疗患者。
📋 开源治理优势
医疗机器人面临 治理要求 超过了大多数物理人工智能应用,包括工业机器人和仓储机器人。 监管机构和临床审查委员会 需要对系统如何发展其行为的过程保持透明,而不仅仅是确认可接受的测试结果。
开源框架为开发者提供以下功能:
- 🔍 检查物理假设 在模拟中
- 🔍 复现结果 跨越不同解剖结构
- 🔍 建立证据链 适用于向FDA或同等监管机构提交申请
这呈现出一种 支持物理人工智能开放性的更有力论据 与大多数软件类别相比,封闭的供应商渠道掩盖了团队原本需要在监管机构面前捍卫的假设。
开放代码使外部审阅者能够检查模型逻辑,但并不能确认模型的物理行为是否与实际的身体反应相符——验证仍然需要参与公司尚未公布的测试。
🚀 加速发展的基础设施
英伟达已构建了能够实现以下功能的基础设施: 缩短硬件前期阶段 物理人工智能在外科手术和诊断机器人领域的应用。在如此大规模的并行环境下进行训练,与为每个工作流程重建自定义仿真场景相比,意义重大。
欲了解更多相关信息,请访问 物理人工智能博览会。











