MITs Ultraschall-Wristband ermöglicht die Steuerung einer Roboterhand und virtueller Objekte mit Handbewegungen

MITs Ultraschall-Wristband eröffnet eine neue Phase der Steuerung von Robotern und virtuellen Umgebungen

Die Idee, dass ein Mensch mit den eigenen Handbewegungen nahezu augenblicklich eine Roboterhand steuert, gehörte lange in den Bereich von Labordemonstrationen und technologischen Prototypen, die Kameras, sperrige Ausrüstung oder Sensorhandschuhe erforderten. Eine neue Entwicklung des Massachusetts Institute of Technology zeigt, dass dieser Übergang vom Labor zu einer praktischeren Nutzung näher sein könnte, als man bis vor Kurzem dachte. Forschende am MIT haben ein Ultraschall-Wristband entwickelt, ein tragbares Gerät, das Handbewegungen in Echtzeit verfolgt, indem es Muskeln, Sehnen und Bänder im Bereich des Handgelenks abbildet und diese Daten anschließend mithilfe künstlicher Intelligenz in die Positionen von Fingern und Handfläche übersetzt. Das Ergebnis ist ein System, mit dem der Nutzer eine Roboterhand drahtlos steuern, aber auch Objekte in einer virtuellen Umgebung mit einem Maß an Präzision bewegen kann, das bisher in einem derart kompakten Format nicht leicht verfügbar war.

Die Bedeutung eines solchen Fortschritts lässt sich am besten verstehen, wenn man berücksichtigt, wie biomechanisch komplex die menschliche Hand ist. An alltäglichen Handlungen wie dem Scrollen auf dem Display eines Smartphones sind Dutzende Muskeln, Gelenke, Sehnen und Bänder beteiligt. Genau deshalb versuchen Robotik und Virtual-Reality-Systeme seit Jahren, eine verlässliche Methode zu finden, um feine Handbewegungen zu erfassen, nicht nur grobe Gesten, sondern auch die Übergänge zwischen ihnen. Laut der Beschreibung des Forschungsteams versucht das neue Gerät nicht, die Absicht des Nutzers nur über elektrische Signale aus den Muskeln zu erraten, sondern es „beobachtet“ buchstäblich, wie sich die inneren Strukturen des Handgelenks während der Bewegung verändern. Dadurch erhält es einen deutlich reicheren Informationssatz darüber, was die Hand in einem bestimmten Moment tut.

Wie das Gerät funktioniert und warum es sich von bisherigen Ansätzen unterscheidet

Der zentrale Teil des Systems ist ein Ultraschallmodul, das in ein Band eingebaut ist, das ungefähr die Größe einer Smartwatch hat. Es erzeugt fortlaufend Bilder der inneren Strukturen des Handgelenks, während der Nutzer Finger und Hand bewegt. Diese schwarz-weißen Ultraschallaufnahmen reichen für sich genommen nicht aus, damit der Roboter weiß, ob er die Finger zusammenpressen, mit dem Zeigefinger zeigen oder einen Gegenstand loslassen soll. Deshalb entwickelte das Team auch ein Modell künstlicher Intelligenz, das lernt, Veränderungen in den Ultraschallbildern mit konkreten Handpositionen zu verknüpfen.

Die Forschenden geben an, dass Daumen und Finger zu 22 Freiheitsgraden fähig sind, also zu einer großen Zahl unterschiedlicher Richtungen des Beugens, Streckens und Drehens. In den Ultraschallbildern des Handgelenks fanden sie Regionen, die sich mit einzelnen Bewegungen verknüpfen lassen. Manche Veränderungen entsprechen etwa dem Strecken des Daumens, andere den Bewegungen des Zeigefingers, und zusammen erzeugen sie eine Karte, aus der der Algorithmus die gesamte Position der Hand rekonstruieren kann. Damit ein solches Modell zuverlässig ist, mussten Ultraschallbilder mit externer Bewegungserfassung kombiniert werden. Freiwillige führten daher unterschiedliche Gesten aus, während sie von Kameras umgeben waren, sodass das System lernte, das Geschehen im Inneren des Handgelenks mit dem von außen Sichtbaren abzugleichen.

Ein solcher Ansatz unterscheidet sich wesentlich von den drei bisher häufigsten Lösungen. Erstens gibt es kameragestützte Systeme, die zwar präzise sein können, aber nicht in jeder Umgebung gut funktionieren, empfindlich auf verdeckte Hände reagieren und oft sorgfältig aufgebaute Ausrüstung erfordern. Zweitens gibt es Handschuhe mit Sensoren, die Bewegungen aufzeichnen können, zugleich aber das natürliche Gefühl und die Bewegung des Nutzers einschränken. Drittens gibt es Armbänder oder Elektroden, die elektrische Signale der Muskeln auslesen. Solche Systeme machen Fortschritte, doch ihr Problem sind Umgebungsrauschen und eine geringere Empfindlichkeit für sehr subtile Veränderungen. Das MIT-Team ist der Ansicht, dass die Ultraschallbildgebung des Handgelenks einen präziseren und kontinuierlicheren Einblick in die Bewegungsmechanik bieten kann, gerade weil sie nicht nur das Oberflächensignal registriert, sondern die Morphologie des Gewebes in Echtzeit.

Von der Labordemonstration zum Roboter, der spielt und Körbe wirft

Die vom MIT vorgestellten Demonstrationen sind bewusst einfach, aber sehr wirkungsvoll, weil sie klar zeigen, was geschieht, wenn ein digitales System die menschliche Hand ausreichend getreu „übersetzt“. In einem Fall steuert ein Nutzer mit dem Wristband eine kommerzielle Roboterhand. Wenn die Person die Finger bewegt, als würde sie auf einer Tastatur spielen, folgt der Roboter diesen Bewegungen nahezu gleichzeitig und spielt eine einfache Melodie auf dem Klavier. In einer anderen Demonstration imitiert dieselbe Roboterhand das Tippen mit den Fingern, um einen kleinen Ball in einen Tischkorb zu werfen. Der Sinn dieser Versuche liegt nicht in der Musik oder im Spiel selbst, sondern darin, dass die Bewegungen drahtlos, intuitiv und ohne klassischen Handcontroller übertragen wurden.

Ebenso wichtig ist die Anwendung in einer virtuellen Umgebung. Das Team entwickelte ein Computerprogramm, das mit dem Wristband verbunden ist, sodass der Nutzer durch Zusammenkneifen der Finger, Greifen oder Loslassen ein virtuelles Objekt vergrößern und verkleinern sowie es flüssig über den Bildschirm bewegen kann. In einer Zeit, in der die Industrie für virtuelle und erweiterte Realität nach natürlicheren Steuerungsmethoden sucht, ist gerade dieser Teil der Geschichte vielleicht auch kommerziell am interessantesten. Klassische Controller bieten Zuverlässigkeit, vermitteln aber selten das Gefühl, dass ein Objekt mit der eigenen Hand gesteuert wird. Kameras leiden wiederum unter den Begrenzungen von Raum, Beleuchtung und Verdeckung. Tragbarer Ultraschall drängt sich hier als möglicher Kompromiss zwischen Präzision, Tragbarkeit und natürlichem Gefühl auf.

Warum die Datenerfassung fast ebenso wichtig ist wie das Gerät selbst

Obwohl die Demonstrationen die größte Aufmerksamkeit auf sich ziehen, betonen die Forschenden besonders noch ein weiteres Ziel: den Aufbau einer großen Datenbank von Handbewegungen. Die aktuelle Phase der Arbeit umfasst die Datenerhebung bei einer größeren Zahl von Nutzern mit unterschiedlichen Handgrößen, unterschiedlichen Fingerformen und unterschiedlichen Stilen der Gestenausführung. Das ist entscheidend, weil kein Steuerungssystem wirklich breit einsetzbar sein wird, wenn es nur bei einer kleinen Gruppe von Menschen mit ähnlicher Anatomie gut funktioniert.

An der eben beschriebenen Untersuchung nahmen acht Freiwillige mit unterschiedlichen Hand- und Handgelenkgrößen teil. Sie trugen das Gerät, während sie verschiedene Gesten und Griffe ausführten, darunter die Zeichen für alle 26 Buchstaben der amerikanischen Gebärdensprache. Darüber hinaus hielten sie Gegenstände wie einen Tennisball, eine Plastikflasche, eine Schere und einen Bleistift. In all diesen Fällen verfolgte das System laut den Autoren die Position der Hand präzise. Solche Daten haben einen doppelten Wert. Einerseits dienen sie der Verbesserung des Wristbands selbst. Andererseits können sie Material für das Training humanoider Roboter werden, die immer ausgefeiltere manuelle Geschicklichkeit benötigen.

Genau hier zeigt sich die breitere Bedeutung der Arbeit. Wenn ein Roboter Aufgaben ausführen soll, bei denen feine Kontrolle wichtig ist, reicht es nicht aus, ihm nur „greifen“ oder „loslassen“ beizubringen. Es ist notwendig zu wissen, wie stark gedrückt werden muss, in welchem Winkel der Daumen platziert werden soll, wie mehrere Finger koordiniert werden und wie der Griff an einen Gegenstand unterschiedlicher Form angepasst werden soll. Deshalb ist das MIT-Team der Ansicht, dass solche Ultraschall-Wristbands als Werkzeug für die massenhafte Erfassung von Daten über menschliche Geschicklichkeit dienen könnten, einschließlich hochpräziser Aufgaben. In Aussagen, die MIT zitiert, wird insbesondere die Möglichkeit erwähnt, dass solche Datensätze eines Tages beim Training humanoider Roboter für heikle Eingriffe helfen könnten, einschließlich bestimmter chirurgischer Verfahren. Solche Aussagen sollten natürlich als Entwicklungsrichtung gelesen werden und nicht als etwas, das für den klinischen Einsatz bereit ist, aber sie zeigen die Ambition des Projekts klar.

Was diese Entwicklung für virtuelle Realität, Robotik und Medizintechnik bedeutet

Xuanhe Zhao, Professor für Maschinenbau am MIT und einer der führenden Autoren der Arbeit, schätzt ein, dass ein solcher Ansatz unmittelbare Auswirkungen auf den Ersatz bestehender Techniken zur Handverfolgung in virtueller und erweiterter Realität haben könnte. Diese Einschätzung ist wichtig, weil sie zu einem Zeitpunkt kommt, an dem sich tragbare Technologien und Mensch-Maschine-Schnittstellen rasant entwickeln, der Markt aber noch keine Lösung erhalten hat, die gleichzeitig ausreichend präzise, ausreichend leicht und ausreichend praktisch für den täglichen Einsatz ist. Im weiteren Sinne fügt sich das Ultraschall-Wristband in die mehrjährige Forschungsrichtung des MIT zur Entwicklung tragbaren Ultraschalls ein. Dasselbe Labor hat zuvor Ultraschall-„Sticker“ zur kontinuierlichen Bildgebung innerer Organe und zur Überwachung von Veränderungen in tiefen Geweben vorgestellt, was zeigt, dass diese Technologie kein isolierter Prototyp, sondern Teil einer breiteren Plattform ist.

Das ist auch deshalb wichtig, weil die Grenze zwischen Medizintechnik und Steuerungsschnittstellen immer mehr verschwimmt. In der Medizin wird Ultraschall geschätzt, weil er nicht invasiv und sicher ist. In der Robotik und in der virtuellen Realität besteht sein Vorteil darin, dass er tiefe Einblicke in die Gewebebewegung liefern kann, ohne dass ein invasiver Eingriff oder optische Systeme nötig sind, die direkte Sicht erfordern. Gerade diese Kombination eröffnet Raum für unterschiedliche Anwendungen: von Rehabilitation und Assistenztechnologie bis hin zu Videospielen, industrieller Steuerung und Fernbedienung von Robotern in sensiblen Umgebungen.

Dennoch gibt es zwischen einer überzeugenden Demonstration und einem Produkt für den breiten Einsatz weiterhin eine Reihe von Hindernissen. Die Hardware muss weiter verkleinert werden, die Algorithmen müssen an einer deutlich größeren Zahl von Bewegungen und Nutzern trainiert werden, und das System muss seine Zuverlässigkeit außerhalb streng kontrollierter Bedingungen beweisen. Wichtig ist auch die Frage der Anpassung zwischen Nutzern: wie viel individuelles „Training“ das Gerät benötigen wird und wie gut es unmittelbar nach dem Anlegen funktionieren wird. Gerade deshalb ist interessant, dass im Bereich des tragbaren Ultraschalls auch andere Forschungen auftauchen, die sogenannte generische Systeme entwickeln wollen, also solche, die sich leichter zwischen verschiedenen Nutzern übertragen lassen. Das zeigt, dass das gesamte Feld in eine Phase eintritt, in der es nicht mehr nur darum geht, ob die Technologie funktionieren kann, sondern auch darum, ob sie robust genug für die reale Welt werden kann.

Wer hinter der Forschung steht und wohin die nächste Entwicklungsphase führt

Die Arbeit wurde in der Zeitschrift Nature Electronics veröffentlicht, und neben Xuanhe Zhao und Gengxi Lu gehören zu den Autoren auch Forschende vom MIT sowie Mitarbeitende der University of Southern California. Zu den genannten MIT-Koautoren zählen Xiaoyu Chen, Shucong Li, Bolei Deng, SeongHyeon Kim, Dian Li, Shu Wang, Runze Li und Anantha Chandrakasan, während zu den externen Mitarbeitenden Yushun Zheng, Junhang Zhang, Baoqiang Liu, Chen Gong und Professor Qifa Zhou gehören. Finanzielle Unterstützung leisteten das MIT, die amerikanischen National Institutes of Health, die National Science Foundation, das amerikanische Verteidigungsministerium sowie die Singapore National Research Foundation über das Programm Singapore-MIT Alliance for Research and Technology.

Eine solche Liste von Institutionen und Geldgebern zeigt, dass die Arbeit an der Schnittstelle mehrerer Bereiche liegt: Grundlagenwissenschaft zu Materialien und Ultraschall, maschinelles Lernen, Robotik und Mensch-Maschine-Schnittstellen. In diesem Sinne ist das Wristband nicht nur ein weiteres Gadget, sondern ein Beispiel dafür, wie tragbare Systeme sich zu einem immer tieferen „Lesen“ des menschlichen Körpers entwickeln. Anstatt dass sich Computer oder Roboter nur auf das verlassen, was sie von außen sehen, gibt es immer mehr Technologien, die versuchen, die Biomechanik der Bewegung von innen zu erfassen, aber ohne chirurgischen Eingriff. Das ist ein konzeptioneller Wandel, der in den kommenden Jahren das Design zukünftiger Schnittstellen stark beeinflussen könnte.

Wenn die Entwicklung in die erwartete Richtung weitergeht, könnte der Nutzer in Zukunft ein diskretes Wristband tragen und damit digitale Objekte, Arbeitswerkzeuge oder Robotermanipulatoren auf eine Weise steuern, die der natürlichen Bewegung näher ist als der klassischen „Befehlseingabe“. Für die Virtual-Reality-Industrie bedeutet das realistischere Interaktion. Für die Robotik eröffnet es die Möglichkeit einer feineren Fernsteuerung und eines besseren Trainings humanoider Systeme. Für den Bereich der Assistenztechnologie und Rehabilitation könnte es eine intuitivere Schnittstelle für Menschen bedeuten, denen Standardcontroller nicht entsprechen. Und für die Wissenschaft des tragbaren Ultraschalls stellt es eine weitere Bestätigung dar, dass die Technologie, die lange mit Krankenhausgeräten und Arztpraxen verbunden war, nach und nach ihren Platz am Körper des Nutzers, in der alltäglichen Bewegung und außerhalb der klassischen medizinischen Umgebung findet.

Quellen:

• MIT News – offizielle Mitteilung über die Entwicklung von Ultraschall-„Stickern“ und tragbarem Ultraschall als Grundlage für neuere Steuerungssysteme und Gewebeüberwachung (Link)
• MIT News – offizielle Mitteilung über die Fortschritte bei MITs Ultraschall-Stickern zur Überwachung von Veränderungen in tiefen Organen, mit Aussagen des Forschungsteams (Link)
• Nature – Kommentar von Chonghe Wang und Xuanhe Zhao zum Stand und zu den Hürden der Entwicklung tragbaren Ultraschalls (Link)
• Nature Communications – Arbeit über ein tragbares Ultraschall-Armband als Controller für virtuelle Realität, nützlich für den breiteren technologischen Kontext des Feldes (Link)
• Zhao Lab, MIT – Profil des Forschers Gengxi Lu und Beschreibung seiner Arbeit an bioadhäsiven Ultraschallgeräten (Link)
• MIT Technology Licensing Office – Profil von Xuanhe Zhao und Beschreibung des Forschungsschwerpunkts des Labors an der Schnittstelle zwischen Mensch und Maschine (Link)