Sterowanie mimiką twarzy szansą na szerszą dostępność VR i AR

Naukowcy z Uniwersytetu w Glasgow i Uniwersytetu St. Gallen w Szwajcarii opracowali metodę rozpoznawania siedmiu prostych wyrazów twarzy za pomocą gogli VR Meta Quest Pro. To podejście może całkowicie odmienić sposób, w jaki użytkownicy – zwłaszcza osoby z niepełnosprawnościami – wchodzą w interakcję z technologiami AR i VR. Badanie pokazuje potencjał alternatywnych interfejsów w przyszłych aplikacjach elektroniki użytkowej i profesjonalnej.

Posłuchaj
00:00

Nowe możliwości sterowania dla osób z niepełnosprawnościami

Otrzymane wyniki sugerują, że ogólnodostępne zestawy VR mogą zapewnić osobom z ograniczoną sprawnością nowe sposoby interakcji z komputerem. Rozwiązanie to może również rozszerzyć wachlarz opcji bezdotykowego sterowania dla wszystkich użytkowników.

W trakcie badania, które zostanie zaprezentowane w formie publikacji podczas konferencji CHI 2025 pod koniec kwietnia, poproszono 20 zdrowych ochotników o odwzorowanie 53 wyrazów twarzy, które są rozpoznawane przez oprogramowanie zestawu Quest Pro.

Wyrażenia te, znane jako jednostki aktywności mimicznej (Facial Action Units – FAUs), są zwykle rejestrowane przez wbudowane kamery zestawu, co umożliwia odwzorowanie ekspresji twarzy w środowiskach wirtualnych.

Ochotnicy mieli wykonać każdą z ekspresji trzykrotnie, utrzymując ją przez trzy sekundy. Następnie oceniali je pod względem komfortu, łatwości wykonania oraz subiektywnego poczucia skuteczności.

Badanie wykazało, że siedem FAU - otwieranie ust, mrużenie lewego i prawego oka, nadymanie lewego i prawego policzka oraz rozciąganie kącików ust w bok - zapewniało najlepszą równowagę między łatwością rozpoznania przez sprzęt a komfortem użytkownika.

Szansa na inkluzywność w technologiach immersyjnych

Dr Graham Wilson z Wydziału Informatyki Uniwersytetu w Glasgow, współautor publikacji, podkreśla:

- Niektórzy uważają, że technologia VR z natury wyklucza osoby z niepełnosprawnościami, ponieważ często wymaga zręcznych ruchów rąk lub pełnej mobilności ciała. To oznacza, że obecnie istnieją bariery ograniczające dostęp do doświadczeń VR i AR. W ramach tego badania chcieliśmy sprawdzić, czy funkcje komercyjnie dostępnych zestawów VR można dostosować tak, by umożliwić precyzyjne sterowanie wyłącznie za pomocą mimiki. Wyniki są obiecujące i mogą zapoczątkować nowe sposoby wykorzystania tej technologii – nie tylko dla osób z niepełnosprawnościami.

Aby ocenić skuteczność siedmiu wybranych FAU, badacze opracowali własny model sieci neuronowej, który rozpoznawał ekspresje z dokładnością 97%.

Mimiczne sterowanie w praktyce – testy z użytkownikami

Następnie poproszono 10 ochotników o wykonanie dwóch zadań, które symulowały potencjalne zastosowania systemu: sterowanie postacią, wybór opcji i strzelanie w grze VR oraz przewijanie, nawigacja i wybór treści podczas przeglądania stron internetowych w środowisku AR. Dla porównania uczestnicy wykonywali te same czynności również z użyciem tradycyjnych kontrolerów VR.

Uczestnicy zgodnie uznali, że chociaż kontrolery oferowały większą precyzję w grach, sterowanie mimiczne działało zaskakująco dobrze i było wygodne. Doświadczenie przeglądania stron oceniono jako intuicyjne, a chęć dalszego korzystania z mimiki jako interfejsu była wysoka.

Uniwersalne interfejsy przyszłości

Dr Mark McGill, współautor publikacji, zaznacza:

- To niewielkie badanie, przeprowadzone z udziałem osób zdrowych, ale wyraźnie wskazuje, że właśnie te siedem FAU jest najlepiej rozpoznawalnych przez dostępny sprzęt i dobrze przekłada się na typowe zastosowania VR i AR. To dla nas punkt wyjścia. Planujemy kolejne badania z udziałem osób z niepełnosprawnościami – np. z zaburzeniami motorycznymi – by dostarczyć twórcom platform XR nowych inspiracji i pomóc im uwolnić się od ograniczeń sterowania ręcznego.

Naukowcy zwracają też uwagę, że zastosowania nowej metody wykraczają poza kwestie dostępności. Sterowanie mimiką może być przydatne np. przy obsłudze okularów AR w trakcie gotowania, noszenia przedmiotów czy w miejscach publicznych, gdzie dyskretna obsługa urządzenia jest pożądana.

Wsparcie dla rozwoju – otwarte dane dla środowiska badawczego

Zespół udostępnił także swój zbiór danych online, zachęcając innych badaczy do własnych eksperymentów z wykorzystaniem wybranych FAU.

Publikacja zatytułowana „InterFACE: Establishing a Facial Action Unit Input Vocabulary for Hands-Free Extended Reality Interactions, from VR Gaming to AR Web Browsing” zostanie zaprezentowana 28 kwietnia 2025 r. podczas konferencji CHI w Jokohamie (Japonia). Badania zostały sfinansowane przez UK Research & Innovation (UKRI) oraz Europejską Radę ds. Badań Naukowych (ERC).

Źródło: Techxplore

Zobacz więcej w kategorii: Gospodarka
Aktualności
Nowy oddział Würth Elektronik w Republice Południowej Afryki
Komponenty
Sprzęt dla półprzewodników bije rekordy – AI i nowe technologie napędzają globalny rynek do 138 mld USD!
Zasilanie
Trina Storage i Stiemo zbudują w krajach bałtyckich sieć potężnych magazynów energii
Projektowanie i badania
Dania chce mieć najpotężniejszy na świecie komputer kwantowy
Elektromechanika
Dold wzmacnia międzynarodową obecność - tworzy nowy oddział sprzedaży w Polsce
Projektowanie i badania
Tranzystory diamentowe odmienią elektronikę dużej mocy
Zobacz więcej z tagiem: Projektowanie i badania
Gospodarka
Dania chce mieć najpotężniejszy na świecie komputer kwantowy
Gospodarka
Tranzystory diamentowe odmienią elektronikę dużej mocy
Gospodarka
Cyborgi z czułkami – owady sterowane mikrochipem nową nadzieją dla ratownictwa

Komponenty indukcyjne

Podzespoły indukcyjne determinują osiągi urządzeń z zakresu konwersji mocy, a więc dążenie do minimalizacji strat energii, ułatwiają miniaturyzację urządzeń, a także zapewniają zgodność z wymaganiami norm w zakresie EMC. Stąd rozwój elektromobilności, systemów energii odnawialnej, elektroniki użytkowej sprzyja znacząco temu segmentowi rynku. Zapotrzebowanie na komponenty o wysokiej jakości i stabilności płynie ponadto z aplikacji IT, telekomunikacji, energoelektroniki i oczywiście sektorów specjalnych: wojska, lotnictwa. Pozytywnym zauważalnym zjawiskiem w branży jest powolny, ale stały wzrost zainteresowania klientów rodzimą produkcją pomimo wyższych cen niż produktów azjatyckich. Natomiast paradoksalnie negatywnym zjawiskiem jest fakt, że jakość produktów azjatyckich jest coraz lepsza i jeśli stereotyp "chińskiej bylejakości" przestanie być popularny, to rodzima produkcja będzie miała problem z utrzymaniem się na rynku bez znaczących inwestycji w automatyzację i nowe technologie wykonania, kontroli jakości i pomiarów.
Zapytania ofertowe
Unikalny branżowy system komunikacji B2B Znajdź produkty i usługi, których potrzebujesz Katalog ponad 7000 firm i 60 tys. produktów