Le wristband à ultrasons du MIT permet de contrôler une main robotique et des objets virtuels par les mouvements de la main

Le wristband à ultrasons du MIT ouvre une nouvelle phase dans le contrôle des robots et des environnements virtuels

L'idée qu'une personne puisse contrôler presque instantanément une main robotique par ses propres mouvements de la main a longtemps appartenu au domaine des démonstrations de laboratoire et des prototypes technologiques qui exigeaient des caméras, un équipement encombrant ou des gants à capteurs. Un nouveau développement du Massachusetts Institute of Technology montre que cette transition du laboratoire vers un usage plus pratique pourrait être plus proche qu'on ne le pensait encore récemment. Des chercheurs du MIT ont développé un wristband à ultrasons, un appareil portable qui suit en temps réel les mouvements de la main en imageant les muscles, les tendons et les ligaments dans la zone du poignet, puis, à l'aide de l'intelligence artificielle, traduit ces données en positions des doigts et de la paume. Le résultat est un système grâce auquel l'utilisateur peut contrôler sans fil une main robotique, mais aussi déplacer des objets dans un environnement virtuel avec un niveau de précision qui n'était jusqu'à présent pas facilement accessible dans un format aussi compact.

L'importance d'une telle avancée se comprend le mieux lorsqu'on prend en compte la complexité biomécanique de la main humaine. Dans les actions quotidiennes, comme faire défiler l'écran d'un smartphone, des dizaines de muscles, d'articulations, de tendons et de ligaments interviennent. C'est précisément pour cela que la robotique et les systèmes de réalité virtuelle cherchent depuis des années un moyen fiable de capter les mouvements fins de la main, non seulement les gestes grossiers mais aussi les transitions entre eux. Selon la description de l'équipe de recherche, le nouvel appareil ne tente pas de deviner l'intention de l'utilisateur uniquement à partir des signaux électriques des muscles, mais « observe » littéralement comment les structures internes du poignet changent au cours du mouvement. Cela lui donne un ensemble d'informations beaucoup plus riche sur ce que fait la main à un moment donné.

Comment l'appareil fonctionne et pourquoi il est différent des approches précédentes

La partie centrale du système est un module à ultrasons intégré dans un bracelet de taille approximativement équivalente à celle d'une montre connectée. Il produit en continu des images des structures internes du poignet pendant que l'utilisateur bouge ses doigts et sa main. Ces images échographiques en noir et blanc ne suffisent pas, à elles seules, pour que le robot sache s'il doit serrer les doigts, pointer avec l'index ou relâcher un objet. C'est pourquoi l'équipe a également développé un modèle d'intelligence artificielle qui apprend à relier les changements observés sur les images échographiques à des positions précises de la main.

Les chercheurs indiquent que le pouce et les doigts sont capables de 22 degrés de liberté, c'est-à-dire d'un grand nombre de directions différentes de flexion, d'extension et de rotation. Dans les images échographiques du poignet, ils ont trouvé des régions pouvant être associées à des mouvements individuels. Certains changements correspondent, par exemple, à l'extension du pouce, d'autres aux mouvements de l'index, et ensemble ils créent une carte à partir de laquelle l'algorithme peut reconstruire la position globale de la main. Pour qu'un tel modèle soit fiable, il a fallu associer les images échographiques à un enregistrement externe des mouvements. Les volontaires ont donc exécuté différents gestes alors qu'ils étaient entourés de caméras, de sorte que le système apprenait à faire correspondre ce qui se passait à l'intérieur du poignet avec ce qui était visible de l'extérieur.

Une telle approche diffère sensiblement des trois solutions les plus courantes jusqu'à présent. Premièrement, il y a les systèmes reposant sur des caméras, qui peuvent être précis, mais fonctionnent difficilement dans tous les espaces, sont sensibles à l'occlusion de la main et nécessitent souvent un équipement installé avec soin. Deuxièmement, il y a les gants munis de capteurs, qui peuvent enregistrer le mouvement, mais limitent en même temps la sensation naturelle et le mouvement de l'utilisateur. Troisièmement, il y a les bracelets ou les électrodes qui lisent les signaux électriques des muscles. De tels systèmes progressent, mais leur problème réside dans le bruit ambiant et une moindre sensibilité aux changements très subtils. L'équipe du MIT estime que l'imagerie ultrasonore du poignet peut offrir une vision plus précise et plus continue de la mécanique du mouvement, précisément parce qu'elle n'enregistre pas seulement le signal de surface, mais la morphologie des tissus en temps réel.

De la démonstration de laboratoire au robot qui joue et marque des paniers

Les démonstrations présentées par le MIT sont volontairement simples, mais très efficaces, car elles montrent clairement ce qui se passe lorsqu'un système numérique « traduit » la main humaine avec suffisamment de fidélité. Dans un cas, un utilisateur portant le bracelet contrôle une main robotique commerciale. Lorsque la personne bouge ses doigts comme si elle jouait sur un clavier, le robot suit ces mouvements presque simultanément et exécute une mélodie simple au piano. Dans une autre démonstration, la même main robotique imite le tapotement des doigts afin d'envoyer une petite balle dans un panier de table. L'intérêt de ces essais ne réside ni dans la musique ni dans le jeu eux-mêmes, mais dans le fait que les mouvements ont été transmis sans fil, de manière intuitive et sans contrôleur manuel classique.

L'application dans un environnement virtuel est tout aussi importante. L'équipe a développé un programme informatique relié au wristband, de sorte que l'utilisateur peut, en pinçant les doigts, en saisissant ou en relâchant, agrandir et réduire un objet virtuel et le déplacer avec fluidité sur l'écran. À une époque où l'industrie de la réalité virtuelle et augmentée recherche des modes de contrôle plus naturels, cette partie de l'histoire est peut-être même la plus intéressante sur le plan commercial. Les contrôleurs classiques offrent de la fiabilité, mais donnent rarement la sensation que l'objet est contrôlé avec sa propre main. Les caméras, encore une fois, souffrent des limites liées à l'espace, à l'éclairage et à l'occlusion. L'ultrason portable s'impose ici comme un compromis possible entre précision, portabilité et sensation naturelle.

Pourquoi la collecte de données est presque aussi importante que l'appareil lui-même

Bien que les démonstrations attirent le plus l'attention, les chercheurs soulignent particulièrement un autre objectif : la constitution d'une grande base de données de mouvements de la main. La phase actuelle du travail comprend la collecte de données auprès d'un plus grand nombre d'utilisateurs ayant des tailles de main différentes, des formes de doigts différentes et des styles d'exécution des gestes différents. C'est essentiel, car aucun système de contrôle ne sera véritablement applicable à grande échelle s'il ne fonctionne bien que sur un petit groupe de personnes à l'anatomie similaire.

L'étude qui vient d'être décrite a impliqué huit volontaires ayant des tailles de mains et de poignets différentes. Ils portaient l'appareil tout en exécutant divers gestes et prises, y compris les signes des 26 lettres de la langue des signes américaine. En outre, ils tenaient des objets tels qu'une balle de tennis, une bouteille en plastique, des ciseaux et un crayon. Dans tous ces cas, le système, selon les auteurs, a suivi avec précision la position de la main. De telles données ont une double valeur. D'une part, elles servent à améliorer le wristband lui-même. D'autre part, elles peuvent devenir un matériau pour l'entraînement de robots humanoïdes nécessitant une dextérité manuelle toujours plus sophistiquée.

C'est précisément ici que ressort l'importance plus large du travail. Si un robot doit accomplir des tâches dans lesquelles le contrôle fin est important, il ne suffit pas de lui apprendre seulement « prends » ou « relâche ». Il faut savoir avec quelle force serrer, sous quel angle placer le pouce, comment coordonner plusieurs doigts et comment adapter la prise à un objet de forme différente. C'est pourquoi l'équipe du MIT estime que de tels wristbands à ultrasons pourraient servir d'outil pour la collecte massive de données sur la dextérité humaine, y compris pour des tâches de haute précision. Dans les déclarations relayées par le MIT, il est notamment mentionné que de tels ensembles de données pourraient un jour aider à entraîner des robots humanoïdes pour des interventions délicates, y compris certaines procédures chirurgicales. De telles affirmations doivent bien sûr être lues comme une direction de développement, et non comme quelque chose de prêt pour une utilisation clinique, mais elles montrent clairement l'ambition du projet.

Ce que ce développement signifie pour la réalité virtuelle, la robotique et la technologie médicale

Xuanhe Zhao, professeur de génie mécanique au MIT et l'un des principaux auteurs de l'article, estime qu'une telle approche pourrait avoir un effet immédiat en remplaçant les techniques existantes de suivi de la main dans la réalité virtuelle et augmentée. Cette évaluation est importante, car elle intervient à un moment où les technologies portables et les interfaces homme-machine se développent rapidement, mais où le marché n'a pas encore reçu de solution à la fois suffisamment précise, suffisamment légère et suffisamment pratique pour un usage quotidien. Au sens large, le wristband à ultrasons s'inscrit dans l'orientation de recherche pluriannuelle du MIT sur le développement de l'ultrason portable. Le même laboratoire a précédemment présenté des « stickers » à ultrasons pour l'imagerie continue des organes internes et le suivi des changements dans les tissus profonds, ce qui montre que cette technologie n'est pas un prototype isolé, mais une partie d'une plateforme plus large.

C'est également important parce que la frontière entre technologie médicale et interfaces de contrôle s'efface de plus en plus. En médecine, l'ultrason est apprécié parce qu'il est non invasif et sûr. En robotique et en réalité virtuelle, son avantage est qu'il peut fournir une vision en profondeur du mouvement des tissus sans nécessiter d'intervention invasive ni de systèmes optiques exigeant une visibilité directe. C'est précisément cette combinaison qui ouvre la voie à diverses applications : de la rééducation et des technologies d'assistance aux jeux vidéo, au contrôle industriel et à la commande à distance de robots dans des environnements sensibles.

Cependant, entre une démonstration convaincante et un produit destiné à un usage large, il subsiste encore de nombreux obstacles. Le matériel doit être encore miniaturisé, les algorithmes doivent être entraînés sur un nombre beaucoup plus grand de mouvements et d'utilisateurs, et le système doit démontrer sa fiabilité en dehors de conditions strictement contrôlées. La question de l'adaptation entre utilisateurs est également importante : dans quelle mesure l'appareil nécessitera un « apprentissage » individuel et dans quelle mesure il fonctionnera bien immédiatement après avoir été mis au poignet. C'est précisément pour cela qu'il est intéressant de voir apparaître, dans le domaine de l'ultrason portable, d'autres recherches qui cherchent à développer des systèmes dits génériques, c'est-à-dire plus facilement transférables entre différents utilisateurs. Cela montre que tout le domaine entre dans une phase où il ne s'agit plus seulement de savoir si la technologie peut fonctionner, mais aussi si elle peut devenir suffisamment robuste pour le monde réel.

Qui est à l'origine de la recherche et où mène la prochaine phase de développement

L'article a été publié dans la revue Nature Electronics, et aux côtés de Xuanhe Zhao et Gengxi Lu, les auteurs comprennent des chercheurs du MIT ainsi que des collaborateurs de l'Université de Californie du Sud. Parmi les coauteurs du MIT cités figurent Xiaoyu Chen, Shucong Li, Bolei Deng, SeongHyeon Kim, Dian Li, Shu Wang, Runze Li et Anantha Chandrakasan, tandis que parmi les collaborateurs externes figurent Yushun Zheng, Junhang Zhang, Baoqiang Liu, Chen Gong et le professeur Qifa Zhou. Un soutien financier a été apporté par le MIT, les National Institutes of Health des États-Unis, la National Science Foundation, le département de la Défense des États-Unis et la Singapore National Research Foundation à travers le programme Singapore-MIT Alliance for Research and Technology.

Une telle liste d'institutions et de financeurs montre que le travail se situe à l'intersection de plusieurs domaines : science fondamentale des matériaux et des ultrasons, apprentissage automatique, robotique et interfaces homme-machine. En ce sens, le wristband n'est pas simplement un gadget de plus, mais un exemple de la manière dont les systèmes portables évoluent vers une « lecture » toujours plus profonde du corps humain. Au lieu que l'ordinateur ou le robot ne s'appuie que sur ce qu'il voit de l'extérieur, il existe de plus en plus de technologies qui tentent d'enregistrer la biomécanique du mouvement de l'intérieur, mais sans intervention chirurgicale. Il s'agit d'un changement conceptuel qui pourrait fortement influencer la conception des interfaces futures au cours des prochaines années.

Si le développement se poursuit dans la direction attendue, l'utilisateur pourrait à l'avenir porter un wristband discret et s'en servir pour contrôler des objets numériques, des outils de travail ou des manipulateurs robotiques d'une manière plus proche du mouvement naturel que de la classique « saisie de commandes ». Pour l'industrie de la réalité virtuelle, cela signifie une interaction plus réaliste. Pour la robotique, cela ouvre la possibilité d'un contrôle à distance plus fin et d'un meilleur entraînement des systèmes humanoïdes. Pour le domaine des technologies d'assistance et de la rééducation, cela pourrait signifier une interface plus intuitive pour les personnes auxquelles les contrôleurs standard ne conviennent pas. Et pour la science de l'ultrason portable, cela représente une nouvelle confirmation qu'une technologie longtemps associée aux appareils hospitaliers et aux cabinets médicaux trouve progressivement sa place sur le corps de l'utilisateur, dans le mouvement quotidien et en dehors de l'environnement médical classique.

Sources :

• MIT News – annonce officielle sur le développement des « stickers » à ultrasons et de l'ultrason portable comme base pour des systèmes plus récents de contrôle et de suivi des tissus (lien)
• MIT News – annonce officielle sur les progrès des stickers à ultrasons du MIT pour surveiller les changements dans les organes profonds, avec des déclarations de l'équipe de recherche (lien)
• Nature – commentaire de Chonghe Wang et Xuanhe Zhao sur l'état et les obstacles du développement de l'ultrason portable (lien)
• Nature Communications – article sur un armband à ultrasons portable comme contrôleur pour la réalité virtuelle, utile pour le contexte technologique plus large du domaine (lien)
• Zhao Lab, MIT – profil du chercheur Gengxi Lu et description de son travail sur les dispositifs ultrasonores bioadhésifs (lien)
• MIT Technology Licensing Office – profil de Xuanhe Zhao et description de l'orientation de recherche du laboratoire à l'intersection de l'humain et de la machine (lien)