Ultradźwiękowy wristband MIT otwiera nową fazę sterowania robotami i środowiskami wirtualnymi
Pomysł, że człowiek może własnymi ruchami dłoni niemal natychmiast sterować robotyczną ręką, przez długi czas należał do obszaru laboratoryjnych demonstracji i prototypów technologicznych, które wymagały kamer, nieporęcznego sprzętu lub rękawic z czujnikami. Nowe rozwiązanie z Massachusetts Institute of Technology pokazuje, że to przejście z laboratorium do bardziej praktycznego zastosowania może być bliżej, niż jeszcze niedawno sądzono. Badacze z MIT opracowali ultradźwiękowy wristband, urządzenie noszone, które w czasie rzeczywistym śledzi ruchy dłoni, obrazując mięśnie, ścięgna i więzadła w okolicy nadgarstka, a następnie przy pomocy sztucznej inteligencji tłumaczy te dane na pozycje palców i wnętrza dłoni. Rezultatem jest system, dzięki któremu użytkownik może bezprzewodowo sterować robotyczną ręką, ale także poruszać obiektami w środowisku wirtualnym z poziomem precyzji, który dotąd nie był łatwo dostępny w tak kompaktowym formacie.
Znaczenie takiego przełomu najlepiej zrozumieć, gdy weźmie się pod uwagę, jak biomechanicznie złożona jest ludzka dłoń. W codziennych czynnościach, takich jak przewijanie ekranu smartfona, uczestniczą dziesiątki mięśni, stawów, ścięgien i więzadeł. Właśnie dlatego robotyka i systemy rzeczywistości wirtualnej od lat próbują znaleźć niezawodny sposób uchwycenia drobnych ruchów ręki, nie tylko grubych gestów, lecz także przejść między nimi. Zgodnie z opisem zespołu badawczego nowe urządzenie nie próbuje odgadywać zamiaru użytkownika wyłącznie na podstawie sygnałów elektrycznych z mięśni, lecz dosłownie „obserwuje”, jak wewnętrzne struktury nadgarstka zmieniają się podczas ruchu. Daje mu to znacznie bogatszy zestaw informacji o tym, co dłoń robi w danym momencie.
Jak działa urządzenie i dlaczego różni się od dotychczasowych podejść
Centralną częścią systemu jest moduł ultradźwiękowy wbudowany w opaskę wielkości zbliżonej do smartwatcha. Nieprzerwanie wytwarza on obrazy wewnętrznych struktur nadgarstka, podczas gdy użytkownik porusza palcami i dłonią. Te czarno-białe obrazy ultradźwiękowe same w sobie nie wystarczają, aby robot wiedział, czy powinien zacisnąć palce, wskazać palcem wskazującym czy puścić przedmiot. Dlatego zespół opracował także model sztucznej inteligencji, który uczy się łączyć zmiany na obrazach ultradźwiękowych z konkretnymi pozycjami dłoni.
Badacze podają, że kciuk i palce są zdolne do 22 stopni swobody, czyli do dużej liczby różnych kierunków zginania, prostowania i obracania. Na obrazach ultradźwiękowych nadgarstka znaleźli obszary, które można powiązać z poszczególnymi ruchami. Niektóre zmiany odpowiadają na przykład prostowaniu kciuka, inne ruchom palca wskazującego, a razem tworzą mapę, z której algorytm może odtworzyć całkowite położenie dłoni. Aby taki model był wiarygodny, konieczne było połączenie obrazów ultradźwiękowych z zewnętrznym rejestrowaniem ruchu. Ochotnicy wykonywali więc różne gesty, będąc otoczeni kamerami, dzięki czemu system uczył się dopasowywać to, co dzieje się wewnątrz nadgarstka, do tego, co widać z zewnątrz.
Takie podejście istotnie różni się od trzech najczęstszych dotychczasowych rozwiązań. Po pierwsze, są systemy oparte na kamerach, które mogą być precyzyjne, ale nie działają dobrze w każdej przestrzeni, są wrażliwe na zasłanianie ręki i często wymagają starannie ustawionego sprzętu. Po drugie, są rękawice z czujnikami, które mogą rejestrować ruch, ale jednocześnie ograniczają naturalne odczucia i ruch użytkownika. Po trzecie, są opaski lub elektrody odczytujące sygnały elektryczne mięśni. Takie systemy notują postępy, lecz ich problemem jest szum otoczenia i mniejsza czułość na bardzo subtelne zmiany. Zespół MIT uważa, że ultradźwiękowe obrazowanie nadgarstka może zapewnić dokładniejszy i bardziej ciągły wgląd w mechanikę ruchu, właśnie dlatego, że nie rejestruje tylko sygnału powierzchniowego, lecz morfologię tkanek w czasie rzeczywistym.
Od demonstracji laboratoryjnej do robota, który gra i trafia do kosza
Demonstracje zaprezentowane przez MIT są celowo proste, ale bardzo efektowne, ponieważ wyraźnie pokazują, co dzieje się, gdy system cyfrowy wystarczająco wiernie „tłumaczy” ludzką dłoń. W jednym przypadku użytkownik z opaską steruje komercyjną robotyczną ręką. Kiedy osoba porusza palcami tak, jakby grała na klawiaturze, robot niemal jednocześnie śledzi te ruchy i wykonuje prostą melodię na pianinie. W innej demonstracji ta sama robotyczna ręka imituje stukanie palcami, aby wrzucić małą piłeczkę do stołowego kosza. Sens tych prób nie tkwi w samej muzyce ani zabawie, lecz w tym, że ruchy zostały przeniesione bezprzewodowo, intuicyjnie i bez klasycznego ręcznego kontrolera.
Równie ważne jest zastosowanie w środowisku wirtualnym. Zespół opracował program komputerowy połączony z wristbandem, dzięki czemu użytkownik może poprzez szczypanie palcami, chwytanie lub puszczanie powiększać i zmniejszać obiekt wirtualny oraz płynnie przesuwać go po ekranie. W epoce, w której branża rzeczywistości wirtualnej i rozszerzonej szuka bardziej naturalnych sposobów sterowania, właśnie ta część historii jest być może najbardziej interesująca komercyjnie. Klasyczne kontrolery oferują niezawodność, ale rzadko dają poczucie, że obiektem steruje się własną ręką. Kamery z kolei cierpią z powodu ograniczeń przestrzeni, oświetlenia i zasłaniania. Noszone ultradźwięki jawią się tutaj jako możliwy kompromis między precyzją, przenośnością i naturalnym odczuciem.
Dlaczego gromadzenie danych jest niemal tak samo ważne jak samo urządzenie
Chociaż demonstracje przyciągają największą uwagę, badacze szczególnie podkreślają jeszcze jeden cel: budowę dużej bazy danych ruchów dłoni. Obecna faza prac obejmuje gromadzenie danych od większej liczby użytkowników o różnych rozmiarach dłoni, różnych kształtach palców i różnych stylach wykonywania gestów. Jest to kluczowe, ponieważ żaden system sterowania nie będzie naprawdę szeroko stosowany, jeśli będzie dobrze działał tylko w małej grupie osób o podobnej anatomii.
W właśnie opisanym badaniu uczestniczyło ośmiu ochotników o różnych rozmiarach dłoni i nadgarstków. Nosili urządzenie podczas wykonywania różnych gestów i chwytów, w tym znaków dla wszystkich 26 liter amerykańskiego języka migowego. Ponadto trzymali przedmioty takie jak piłka tenisowa, plastikowa butelka, nożyczki i ołówek. We wszystkich tych przypadkach system, według autorów, precyzyjnie śledził położenie dłoni. Takie dane mają podwójną wartość. Z jednej strony służą udoskonalaniu samego wristbandu. Z drugiej strony mogą stać się materiałem do trenowania humanoidalnych robotów, które potrzebują coraz bardziej zaawansowanej sprawności manualnej.
Właśnie tutaj uwidacznia się szersze znaczenie tej pracy. Jeśli robot ma wykonywać zadania, w których ważna jest precyzyjna kontrola, nie wystarczy nauczyć go tylko „weź” lub „puść”. Trzeba wiedzieć, jak mocno ścisnąć, pod jakim kątem ustawić kciuk, jak koordynować wiele palców i jak dostosować chwyt do przedmiotu o innym kształcie. Dlatego zespół MIT uważa, że takie ultradźwiękowe wristbandy mogłyby służyć jako narzędzie do masowego gromadzenia danych o ludzkiej zręczności, w tym o zadaniach o wysokiej precyzji. W wypowiedziach cytowanych przez MIT szczególnie wspomina się możliwość, że takie zbiory danych mogłyby pewnego dnia pomóc w trenowaniu humanoidalnych robotów do delikatnych zabiegów, w tym określonych procedur chirurgicznych. Takie twierdzenia należy oczywiście odczytywać jako kierunek rozwoju, a nie jako coś gotowego do zastosowania klinicznego, ale wystarczająco jasno pokazują ambicję projektu.
Co ten rozwój oznacza dla rzeczywistości wirtualnej, robotyki i technologii medycznej
Xuanhe Zhao, profesor inżynierii mechanicznej na MIT i jeden z głównych autorów pracy, ocenia, że takie podejście mogłoby mieć bezpośredni wpływ na zastąpienie istniejących technik śledzenia ręki w rzeczywistości wirtualnej i rozszerzonej. Ta ocena jest ważna, ponieważ pojawia się w momencie, gdy technologie noszone i interfejsy człowiek-maszyna rozwijają się szybko, ale rynek wciąż nie otrzymał rozwiązania, które jest jednocześnie wystarczająco precyzyjne, wystarczająco lekkie i wystarczająco praktyczne do codziennego użytku. W szerszym sensie ultradźwiękowy wristband wpisuje się w wieloletni kierunek badań MIT nad rozwojem noszonych ultradźwięków. To samo laboratorium wcześniej przedstawiło ultradźwiękowe „stickery” do ciągłego obrazowania narządów wewnętrznych i monitorowania zmian w głębokich tkankach, co pokazuje, że ta technologia nie jest odosobnionym prototypem, lecz częścią szerszej platformy.
Jest to ważne także dlatego, że granica między technologią medyczną a interfejsami sterowania coraz bardziej się zaciera. W medycynie ultradźwięki są cenione, ponieważ są nieinwazyjne i bezpieczne. W robotyce i rzeczywistości wirtualnej ich zaletą jest to, że mogą zapewnić głęboki wgląd w ruch tkanek bez potrzeby inwazyjnego zabiegu lub systemów optycznych wymagających bezpośredniej widoczności. Właśnie to połączenie otwiera przestrzeń dla różnych zastosowań: od rehabilitacji i technologii wspomagających po gry wideo, sterowanie przemysłowe i zdalną obsługę robotów w wrażliwych środowiskach.
Mimo to między przekonującą demonstracją a produktem do szerokiego użytku nadal istnieje wiele przeszkód. Sprzęt trzeba jeszcze bardziej zmniejszyć, algorytmy trzeba wytrenować na znacznie większej liczbie ruchów i użytkowników, a system musi wykazać niezawodność poza ściśle kontrolowanymi warunkami. Ważna jest także kwestia adaptacji między użytkownikami: ile indywidualnego „uczenia się” będzie potrzebowało urządzenie i jak dobrze będzie działać od razu po założeniu na rękę. Właśnie dlatego interesujące jest to, że w obszarze noszonych ultradźwięków pojawiają się również inne badania, które starają się rozwijać tak zwane systemy generyczne, czyli takie, które łatwiej przenoszą się między różnymi użytkownikami. Pokazuje to, że całe pole wchodzi w fazę, w której nie chodzi już tylko o to, czy technologia może działać, lecz także o to, czy może stać się wystarczająco odporna na warunki świata rzeczywistego.
Kto stoi za badaniem i dokąd prowadzi kolejna faza rozwoju
Praca została opublikowana w czasopiśmie
Nature Electronics, a obok Xuanhe Zhaoa i Gengxiego Lu wśród autorów są także badacze z MIT oraz współpracownicy z University of Southern California. Wśród współautorów z MIT wymienia się Xiaoyu Chena, Shuconga Li, Boleia Denga, SeongHyeona Kima, Dian Li, Shu Wanga, Runze Li i Ananthę Chandrakasana, natomiast wśród zewnętrznych współpracowników są Yushun Zheng, Junhang Zhang, Baoqiang Liu, Chen Gong i profesor Qifa Zhou. Wsparcia finansowego udzieliły MIT, amerykańskie National Institutes of Health, National Science Foundation, amerykański Departament Obrony oraz Singapore National Research Foundation poprzez program Singapore-MIT Alliance for Research and Technology.
Taka lista instytucji i podmiotów finansujących pokazuje, że praca znajduje się na styku kilku dziedzin: podstawowych nauk o materiałach i ultradźwiękach, uczenia maszynowego, robotyki oraz interfejsów człowiek-maszyna. W tym sensie wristband nie jest tylko kolejnym gadżetem, lecz przykładem tego, jak systemy noszone rozwijają się w kierunku coraz głębszego „odczytywania” ludzkiego ciała. Zamiast tego, by komputer lub robot opierały się wyłącznie na tym, co widzą z zewnątrz, pojawia się coraz więcej technologii, które próbują rejestrować biomechanikę ruchu od środka, ale bez interwencji chirurgicznej. To koncepcyjna zmiana, która w kolejnych latach mogłaby silnie wpłynąć na projektowanie przyszłych interfejsów.
Jeśli rozwój będzie postępował w oczekiwanym kierunku, użytkownik mógłby w przyszłości nosić dyskretny wristband i za jego pomocą sterować obiektami cyfrowymi, narzędziami pracy lub manipulatorami robotycznymi w sposób bliższy naturalnemu ruchowi niż klasycznemu „wprowadzaniu poleceń”. Dla branży rzeczywistości wirtualnej oznacza to bardziej realistyczną interakcję. Dla robotyki otwiera możliwość bardziej precyzyjnego zdalnego sterowania i lepszego trenowania systemów humanoidalnych. Dla obszaru technologii wspomagających i rehabilitacji mogłoby to oznaczać bardziej intuicyjny interfejs dla osób, którym standardowe kontrolery nie odpowiadają. A dla nauki o noszonych ultradźwiękach stanowi to kolejne potwierdzenie, że technologia, która przez długi czas była związana ze sprzętem szpitalnym i gabinetami lekarskimi, stopniowo zyskuje miejsce na ciele użytkownika, w codziennym ruchu i poza klasycznym środowiskiem medycznym.
Źródła:- MIT News – oficjalna publikacja o rozwoju ultradźwiękowych „stickerów” i noszonych ultradźwięków jako podstawy dla nowszych systemów sterowania i monitorowania tkanek (link)
- MIT News – oficjalna publikacja o postępach ultradźwiękowych stickerów MIT do monitorowania zmian w głębokich narządach, z wypowiedziami zespołu badawczego (link)
- Nature – komentarz Chonghea Wanga i Xuanhe Zhaoa o stanie i przeszkodach w rozwoju noszonych ultradźwięków (link)
- Nature Communications – praca o przenośnym ultradźwiękowym armbandzie jako kontrolerze do rzeczywistości wirtualnej, przydatna dla szerszego kontekstu technologicznego tej dziedziny (link)
- Zhao Lab, MIT – profil badacza Gengxiego Lu i opis jego pracy nad bioadhezyjnymi urządzeniami ultradźwiękowymi (link)
- MIT Technology Licensing Office – profil Xuanhe Zhaoa i opis badawczego ukierunkowania laboratorium na styku człowieka i maszyny (link)
Czas utworzenia: 2 godzin temu