Nvidia Physical AI résout le défi des données en robotique médicale

Le nouveau lancement de Nvidia Cadre de simulation de physique médicale représente un changement de paradigme dans le développement de la robotique médicale, considérant les robots médicaux comme systèmes d'IA physiques qui requièrent une expérience incarnée plutôt que les approches de programmation traditionnelles.

🤖 Comprendre l'IA physique en robotique médicale

IA physique est la terminologie Nvidia et l'industrie robotique au sens large utilise ce terme pour décrire les machines qui acquièrent des connaissances par le biais de interactions physiques — contact, force et conséquence — plutôt que de traiter exclusivement du texte ou des images.

Alors que les modèles de langage apprennent à partir de données textuelles, les systèmes d'IA physique développent leur compréhension à travers des scénarios du monde réel : Interactions entre le cathéter et la paroi du vaisseau, pression du bras robotisé sur les tissus mous et autres expériences tactilesCet apprentissage requiert traditionnellement soit une mise en œuvre physique dans des environnements réels, soit des simulations très détaillées capables de reproduire la réalité physique.

Dans le domaine de la robotique médicale, les êtres humains opérant lors de véritables interventions médicales sont rares, soumis à une réglementation stricte et insuffisants pour générer la diversité des scénarios que les robots doivent maîtriser.

💡 Simulation de physique médicale : expérience incarnée computationnelle

La simulation de physique médicale représente la solution de Nvidia pour fabrication de l'expérience incarnée de manière computationnelleAnnoncé comme un ajout open source à la plateforme de l'entreprise Plateforme Isaac pour le secteur de la santéCe cadre génère des interactions physiques que les robots chirurgicaux ou diagnostiques devraient autrement rencontrer après des années d'exposition clinique :

• 🔹 Les fils guides s'accrochent aux parois calcifiées des vaisseaux
• 🔹 Calculs rénaux positionnés selon des angles inhabituels
• 🔹 Réactions des tissus mous survenant dans de rares scénarios procéduraux

Ces cas limites n'apparaissent pas de manière prévisible dans les blocs opératoires. La simulation permet aux développeurs de les générer à la demande, accélérant considérablement le processus de formation.

⚙️ Architecture à double modèle : la physique classique rencontre l’IA générative

Le cadre combine deux approches de modélisation complémentaires pour simuler le comportement du dispositif à l'intérieur du corps humain :

1. Simulation de physique classique — Gère des règles mécaniques bien comprises : dynamique de flexion du cathéter, résistance de la paroi du vaisseau et variations de la force de contact lorsque les instruments naviguent dans les tissus.

2. IA générative — Gère la dynamique complexe des scènes visuelles apprise à partir de données procédurales grâce à un composant appelé Rêves Cosmos-H, en abordant des aspects difficiles à coder manuellement.

Cette combinaison incarne le proposition d'IA physiqueLa simulation classique fournit les contraintes physiques auxquelles les robots doivent obéir, tandis que la simulation générative apporte la variation anatomique et visuelle nécessaire à la généralisation.

Considération importante : ce test de performance démontre la capacité de débit, mais ne tient pas compte de la fiabilité clinique ni des performances réelles face à une imagerie incomplète, des lectures de capteurs retardées ou des variations anatomiques en dehors des paramètres de simulation.

⚠️ Une défaillance ponctuelle d'un modèle de langage produit une réponse incorrecte. Une défaillance ponctuelle d'un système d'IA physique survient à l'intérieur d'un patient, soulignant ainsi la différence cruciale des enjeux.

🏥 Premiers utilisateurs et approches de mise en œuvre

Les organisations identifiées par Nvidia comme pionnières appliquent l'approche de l'IA physique à profondeurs d'intégration variables:

📊 Contributeurs aux données : CMR Surgical et Cambridge Consultants

CMR Chirurgical et Consultants de Cambridge Les sociétés appartenant à Capgemini ont fourni les contributions de données les plus importantes. CMR a fourni près de 500 heures de données cliniques anonymisées de son système robotique chirurgical Versius à l'ensemble de données Open-H Embodiment, couvrant :

• ✓ Interventions de cholécystectomie
• ✓ Interventions de prostatectomie
• ✓ Réparation d'une hernie
• ✓ Interventions d'hystérectomie

Ensemble, ils utilisent Cosmos-H Dreams pour modéliser la physique des interactions des tissus mous et générer des simulations spécifiques au patient.

« Les modèles open source nous permettent de tirer parti des connaissances partagées, d'accélérer l'innovation responsable et, en fin de compte, de nous donner la possibilité d'offrir des soins plus uniformes et de meilleurs résultats aux patients du monde entier. » Chris Fryer, directeur technique chez CMR Surgical

🔬 Applications spécifiques à la plateforme

Johnson & Johnson MedTech exploite ce cadre parallèlement à un modèle de fondation basé sur Cosmos pour développer un jumeau numérique de sa plateforme endoluminale MONARCH, axée sur les cas de calculs rénaux en urologie.

XCath l'applique à formation aux politiques d'autonomie endovasculaire, des systèmes d'enseignement de la dynamique physique de la navigation des vaisseaux sanguins sans intervention humaine.

Logique interne génère des données synthétiques pour la validation de la mécanique du dispositif, indiquant les intentions de production preuves in silico pour les soumissions réglementaires, bien qu'aucune confirmation publique de telles soumissions n'existe encore.

Cœur structurel Medtronic est en phase exploratoire, étudiant la détection par rayons X simulée pour la recherche sur la navigation par cathéter.

📋 L'avantage de la gouvernance open source

La robotique dans le secteur de la santé fait face exigences de gouvernance qui dépassent celles de la plupart des applications d'IA physique, y compris les robots industriels et d'entrepôt. Organismes de réglementation et comités d'examen clinique exiger de la transparence sur la manière dont les systèmes développent leurs comportements, et non pas seulement la confirmation de résultats de tests acceptables.

Un framework open source offre aux développeurs la possibilité de :

• 🔍 Examiner les hypothèses physiques dans les simulations
• 🔍 Reproduire les résultats à travers diverses anatomies
• 🔍 Constituer des pistes de preuves convenant aux soumissions à la FDA ou à des organismes de réglementation équivalents

Cela présente un Argumentaire plus convaincant en faveur de l'ouverture dans l'IA physique comparativement à la plupart des catégories de logiciels, où les processus fermés des fournisseurs dissimulent des hypothèses que les équipes devraient autrement défendre devant les organismes de réglementation.

Le code ouvert permet aux examinateurs externes d'analyser la logique du modèle, mais il ne confirme pas si le comportement physique du modèle correspond aux réponses corporelles réelles — la validation nécessite toujours des tests que les entreprises participantes n'ont pas encore publiés.

🚀 Infrastructures pour un développement accéléré

Nvidia a mis en place une infrastructure capable de raccourcir la phase pré-matérielle du développement de l'IA physique pour les robots chirurgicaux et de diagnostic. L'exécution de l'entraînement à cette échelle dans des environnements parallèles représente une avancée majeure par rapport à la reconstruction de scènes de simulation personnalisées pour chaque flux de travail.

Pour en savoir plus sur ce sujet, consultez le Salon de l'IA physique.