Nowe możliwości sterowania dla osób z niepełnosprawnościami
Otrzymane wyniki sugerują, że ogólnodostępne zestawy VR mogą zapewnić osobom z ograniczoną sprawnością nowe sposoby interakcji z komputerem. Rozwiązanie to może również rozszerzyć wachlarz opcji bezdotykowego sterowania dla wszystkich użytkowników.
W trakcie badania, które zostanie zaprezentowane w formie publikacji podczas konferencji CHI 2025 pod koniec kwietnia, poproszono 20 zdrowych ochotników o odwzorowanie 53 wyrazów twarzy, które są rozpoznawane przez oprogramowanie zestawu Quest Pro.
Wyrażenia te, znane jako jednostki aktywności mimicznej (Facial Action Units – FAUs), są zwykle rejestrowane przez wbudowane kamery zestawu, co umożliwia odwzorowanie ekspresji twarzy w środowiskach wirtualnych.
Ochotnicy mieli wykonać każdą z ekspresji trzykrotnie, utrzymując ją przez trzy sekundy. Następnie oceniali je pod względem komfortu, łatwości wykonania oraz subiektywnego poczucia skuteczności.
Badanie wykazało, że siedem FAU - otwieranie ust, mrużenie lewego i prawego oka, nadymanie lewego i prawego policzka oraz rozciąganie kącików ust w bok - zapewniało najlepszą równowagę między łatwością rozpoznania przez sprzęt a komfortem użytkownika.
Szansa na inkluzywność w technologiach immersyjnych
Dr Graham Wilson z Wydziału Informatyki Uniwersytetu w Glasgow, współautor publikacji, podkreśla:
- Niektórzy uważają, że technologia VR z natury wyklucza osoby z niepełnosprawnościami, ponieważ często wymaga zręcznych ruchów rąk lub pełnej mobilności ciała. To oznacza, że obecnie istnieją bariery ograniczające dostęp do doświadczeń VR i AR. W ramach tego badania chcieliśmy sprawdzić, czy funkcje komercyjnie dostępnych zestawów VR można dostosować tak, by umożliwić precyzyjne sterowanie wyłącznie za pomocą mimiki. Wyniki są obiecujące i mogą zapoczątkować nowe sposoby wykorzystania tej technologii – nie tylko dla osób z niepełnosprawnościami.
Aby ocenić skuteczność siedmiu wybranych FAU, badacze opracowali własny model sieci neuronowej, który rozpoznawał ekspresje z dokładnością 97%.
Mimiczne sterowanie w praktyce – testy z użytkownikami
Następnie poproszono 10 ochotników o wykonanie dwóch zadań, które symulowały potencjalne zastosowania systemu: sterowanie postacią, wybór opcji i strzelanie w grze VR oraz przewijanie, nawigacja i wybór treści podczas przeglądania stron internetowych w środowisku AR. Dla porównania uczestnicy wykonywali te same czynności również z użyciem tradycyjnych kontrolerów VR.
Uczestnicy zgodnie uznali, że chociaż kontrolery oferowały większą precyzję w grach, sterowanie mimiczne działało zaskakująco dobrze i było wygodne. Doświadczenie przeglądania stron oceniono jako intuicyjne, a chęć dalszego korzystania z mimiki jako interfejsu była wysoka.
Uniwersalne interfejsy przyszłości
Dr Mark McGill, współautor publikacji, zaznacza:
- To niewielkie badanie, przeprowadzone z udziałem osób zdrowych, ale wyraźnie wskazuje, że właśnie te siedem FAU jest najlepiej rozpoznawalnych przez dostępny sprzęt i dobrze przekłada się na typowe zastosowania VR i AR. To dla nas punkt wyjścia. Planujemy kolejne badania z udziałem osób z niepełnosprawnościami – np. z zaburzeniami motorycznymi – by dostarczyć twórcom platform XR nowych inspiracji i pomóc im uwolnić się od ograniczeń sterowania ręcznego.
Naukowcy zwracają też uwagę, że zastosowania nowej metody wykraczają poza kwestie dostępności. Sterowanie mimiką może być przydatne np. przy obsłudze okularów AR w trakcie gotowania, noszenia przedmiotów czy w miejscach publicznych, gdzie dyskretna obsługa urządzenia jest pożądana.
Wsparcie dla rozwoju – otwarte dane dla środowiska badawczego
Zespół udostępnił także swój zbiór danych online, zachęcając innych badaczy do własnych eksperymentów z wykorzystaniem wybranych FAU.
Publikacja zatytułowana „InterFACE: Establishing a Facial Action Unit Input Vocabulary for Hands-Free Extended Reality Interactions, from VR Gaming to AR Web Browsing” zostanie zaprezentowana 28 kwietnia 2025 r. podczas konferencji CHI w Jokohamie (Japonia). Badania zostały sfinansowane przez UK Research & Innovation (UKRI) oraz Europejską Radę ds. Badań Naukowych (ERC).
Źródło: Techxplore
