Śledzenie oczu i gesty ręki w visionOS

VisionOS teraz łączy ciągłe dane śledzenia oczu z częstotliwością 120 Hz z strumieniami pozycji rąk o częstotliwości 90 Hz, używając filtra Kalmana, aby utrzymać opóźnienie poniżej 30 ms. Ta fuzja umożliwia wybór interfejsu zakotwiczonego w spojrzeniu oraz płynne gesty rąk, takie jak szczypanie, przesuwanie i chwytanie. Programiści mogą precyzyjnie dostosowywać progi czasu przytrzymania za pomocą interfejsu GazeInteraction API i definiować dozwolone gesty w ramach frameworka GestureRecognizer. Efektem jest multimodalny interfejs, który dostosowuje się do warunków oświetlenia, zasłaniania i zdolności motorycznych użytkownika, obiecując szybsze i bardziej dostępne interakcje.

Jak VisionOS definiuje śledzenie oczu? Platforma traktuje śledzenie oczu jako ciągłe szacowanie kierunku spojrzenia i rozszerzenia źrenicy pochodzące z czujników podczerwonych wbudowanych w soczewki zestawu słuchawkowego.

Jak visionOS rozumie śledzenie oczu?

Rejestruje odbicia rogówki i pozycje środka źrenicy z wysoką częstotliwością, a następnie oblicza wektor, który przecina płaszczyznę wyświetlacza, aby wywnioskować punkt skupienia użytkownika, co jest kluczowe dla zrozumienia, jak inni nas postrzegają w Vision Pro.

System także rejestruje częstotliwość mrugania i rozmiar źrenicy, które mogą służyć jako wskaźniki uwagi i obciążenia poznawczego.

Dane są znacznikowane czasowo i synchronizowane z pozycją głowy, aby odróżnić ruchy oczu od ruchów głowy, co jest kluczowe dla zrozumienia projektu szklanego interfejsu w visionOS.

Wykorzystując zsynchronizowane strumienie z podczerwonych kamer śledzenia oka i modułów śledzenia ręki o głębi pomiaru, VisionOS łączy wektory spojrzenia z danymi o trójwymiarowej pozie ręki, aby stworzyć jednolity model interakcji.

Łączenie danych z oczu i rąk dla płynnych interakcji

System próbkowuje pozycję oka z częstotliwością 120 Hz, przekształcając odbicia rogówki w znormalizowany wektor spojrzenia. Jednocześnie, trójkamerowa tablica przechwytuje geometrię ręki, rekonstruując kąty stawów i współrzędne przestrzenne przy częstotliwości 90 Hz.

Filtr Kalmana łączy oba strumienie, wygładzając drgania przy zachowaniu opóźnienia poniżej 30 ms. Kotwice spojrzenia są projektowane na elementy interfejsu, a pozycja ręki określa intencję — szczypanie, chwytanie lub przesuwanie — na podstawie predefiniowanych szablonów gestów.

Ważenie kontekstowe dostosowuje się do warunków oświetlenia i zasłonięcia, pozwalając modelowi priorytetyzować dane oczu, gdy widoczność ręki się pogarsza, i odwrotnie. Ten multimodalny potok umożliwia płynną nawigację bez użycia rąk oraz precyzyjną manipulację obiektami bez wyraźnych przycisków.

Włącz wybór oparty na spojrzeniu, tworząc obiekt GazeInteraction, konfigurować jego tryb śledzenia celu i przypisać obsługę, która odbiera elementy UI, na które skierowane jest spojrzenie.

Wybór elementów interfejsu za pomocą spojrzenia

Programista tworzy instancję GazeInteraction, ustawia `targetTrackingMode` na `.continuous` lub `.single` oraz rejestruje wywołanie zwrotne za pomocą `onGazedElementChanged`.

W obrębie obsługi kod sprawdza dostarczony `UIElement` i wywołuje odpowiednią akcję, taką jak podświetlenie lub uruchomienie polecenia.

Aby aktywować system, aplikacja wywołuje `GazeInteraction.start()` po potwierdzeniu, że przyznane zostały uprawnienia do śledzenia oczu.

Framework automatycznie filtruje szumne danych, zapewniając stabilne współrzędne spojrzenia i identyfikatory elementów.

Programiści mogą także dostosować `gazeThreshold`, aby kontrolować czułość, zapewniając, że wybór następuje tylko wtedy, gdy użytkownik utrzymuje skupienie przez określony czas.

Ta konfiguracja zapewnia responsywną, bezdotykową interakcję bez potrzeby dodatkowych gestów.

Rozpoznawanie gestów rąk w visionOS

Kilka gestów — przesuwanie i przytrzymywanie — może być rozpoznawane w visionOS przy użyciu frameworku GestureRecognizer, który abstrakcyjnie przekształca niskopoziomowe dane śledzenia oczu w wysokopoziomowe zdarzenia interakcji.

Programiści tworzą obiekt `GestureRecognizer`, przypisują delegata i włączają żądane typy gestów za pomocą `recognizer.allowedGestures = [.swipe, .pinch]`.

Framework dostarcza wywołania zwrotne `GestureEvent` zawierające współrzędne początkowe i końcowe, prędkość oraz czynniki skali.

W przypadku przesuwania delegat analizuje `event.direction` oraz `event.velocity`, aby wywołać nawigację lub przewijanie treści.

W przypadku przytrzymywania `event.scale` określa stopień przybliżenia, a `event.center` dostarcza punkt ogu.

Rozpoznawanie gestów odbywa się w głównym wątku, ale ciężkie obliczenia mogą być przenoszone na kolejkę w tle.

Właściwe obsłużenie `gestureBegan`, `gestureChanged` i `gestureEnded` zapewnia płynne i responsywne interakcje bez zakłócania jednoczesnego wyboru opartego na spojrzeniu.

Framework rozpoznawania gestów dostarcza surowe wektory śledzenia oka oraz danych położenia dłoni, które można zamapować na elementy na ekranie, definiując strefy trafień skoncentrowane na spojrzeniu oraz strefy aktywacji sterowane ręką.

Projektowanie interakcji: połączenie spojrzenia i gestów

Projektanci najpierw dzielą interfejs na logiczne regiony reagujące na utrzymane spojrzenie w celu wyboru, jednocześnie nakładając warstwy gestów ręką, które wyzwalają akcje takie jak stuknięcie, przeciągnięcie czy naciśnięcie.

Wizualne informacje zwrotne — subtelne podświetlenie, skalowanie lub zmiany obramowania — wskazują, kiedy strefa spojrzenia jest aktywna, a dodatkowy sygnał, jak okrągły falujący efekt, potwierdza aktywację zainicjowaną ręką.

Wzorce interakcji priorytetowo traktują przepływ „spojrzenie‑następnie‑działanie”: użytkownik utrzymuje spojrzenie na celu, krótki timer oczekiwania potwierdza intencję, a gest ręki finalizuje polecenie.

Spójne rozmieszczenie, minimalny rozmiar celu i wyraźne wskazówki zmniejszają przypadkowe wybory i poprawiają ogólną użyteczność.

Optymalizacja wydajności: niska latencja i wysoka precyzja

Minimalizacja opóźnienia przy zachowaniu dokładności wymaga ściwego połączenia potoku śledzenia oczu z silnikiem inferencji pozycji dłoni. Programiści powinni wyrównać częstotliwości klatek, udostępniając znaczniki czasowe czujników w celu synchronizacji strumieni danych.

Obrazy oczu o niskiej rozdzielczości podają się lekkiej sieci CNN, która w ciągu 5 ms generuje wektory spojrzenia, podczas gdy równoległy model pozycji dłoni przetwarza dane głębi przy 30 fps. Kwantyzowane wagi i wyłącznie arytmety całkowita zmniejszają obciążenie obliczeniowe na chipie serii A.

Dynamiczne grupowanie (batching) łączy kolejne klatki, gdy ruch jest poniżej progu, oszczędzając zasoby bez utraty reaktywności. Procedury kalibracji muszą być wykonywane na urządzeniu, aby dostosować się do indywidualnej geometrii oka do kamery, co poprawia błąd prognozy do poniżej 1°.

Na koniec pętla sprzężenia zwrotnego monitoruje drżenie i w czasie rzeczywistym reguluje złożoność modelu, zapewniając płynne doświadczenie użytkownika w różnych warunkach oświetleniowych.

Osiągnięcie niskich opóźnień i wysokiej precyzji śledzenia oczu oraz ręcznych gestów tworzy podstawę do systematycznego testowania na rzeczywistym sprzęcie VisionOS.

Systematyczne testowanie i debugowanie interakcji

Programiści zaczynają od wdrożenia wbudowanego frameworka instrumentacji, który rejestruje surowe wektory spojrzenia, znaczniki czasowe zdarzeń gestów oraz wskaźniki pewności na poziomie klatki.

Zestawy testowe ćwiczą przypadki brzegowe — szybkie saccady, zasłonięte ręce, zmienna oświetlenie — przy czym logi są przesyłane do konsoli Xcode w czasie rzeczywistym w celu natychmiarowej inspekcji.

Rozbieżności między przewidywanymi a obserwowanymi współrzędnymi ujawniają się na statystycznych pulpitach nawigacyjnych, które oznaczają odchylenia poza prog 2‑pikselowy.

Debugowanie wykorzystuje narzędzie nakładki wizualnej, renderujące promienie spojrzenia i szkielet ręki bezpośrednio na ekranie urządzenia, co pozwala inżynierom zweryfikować wyrównanie przestrzenne bez użycia zewnętrznych kamer.

Iteracyjne udoskonalanie polega na dostosowywaniu hiperparametrów modelu, rekompilacji i ponownym uruchamianiu tych samych scenariuszy skryptowych, aż opóźnienie będzie konsekwentnie poniżej 30 ms, a precyzja przekroczy 95 % we wszystkich warunkach testowych.

Dostosowanie interakcji do potrzeb użytkownika

Często programiści muszą dostosować się do użytkowników, których zakres ruchu oczu lub gestów ręką jest ograniczony, dlatego VisionOS zapewnia adaptacyjne warstwy wejściowe, które przekształcają przybliżone punkty spojrzenia i minimalne ruchy ręki w pełnoekranowe polecenia nawigacyjne.

System oferuje konfigurowalne czasy przebywania, pozwalając na dłuższą przerwę przed potwierdzeniem wyboru, co jest korzystne dla użytkowników z wolniejszym lub przerywanym ruchem oczu.

Progi gestów ręką mogą być obniżone, tak aby lekkie podniesienie palców lub drżenie nadgarstka wywoływały te same akcje co świadome gesty.

Programiści mogą także włączyć tryb „jednego stuknięcia”, w którym krótkie utrzymanie spojrzenia zastępuje przesunięcie, redukując potrzebę precyzyjnej artykulacji ręką.

Koordynacja spojrzenia, gestów i dotyku

Spójne doświadczenie w visionOS powstaje, gdy spojrzenie, gesty i dotyk są koordynowane jako komplementarne kanały wejściowe, a nie odrębne alternatywy. Projektanci powinni priorytetowo traktować spojrzenie jako główne narzędzie wyboru, używając krótkiego utrzymania fiksacji do podświetlania elementów interfejsu, pozostawiając gesty ręczne do działań kontekstowych, takich jak przeciąganie, obracanie czy skalowanie. Dotyk pozostaje jako zapasowy sposób precyzyjnych poprawek, szczególnie w gęsto rozmieszczonych kontrolkach.

Aby uniknąć konfliktu, system musi wyłączać rozpoznawanie gestów, gdy spojrzenie jest aktywne, i ponownie je włączać po zakończeniu fiksacji. Wizualna informacja zwrotna — subtelne halo lub zmiany kursora — powinna wskazywać aktywny kanał, wzmacniając pewność użytkownika.

Jednolite progi czasowe we wszystkich modalnościach zapewniają przewidywalne zachowanie, a możliwość dostosowywania czułości uwzględnia różnorodne zdolności motoryczne. To skoordynowane podejście maksymalizuje wydajność, redukuje przypadkowe aktywacje i dostarcza intuicyjny, multimodalny model interakcji.

Dodatkowe możliwości i ograniczenia

Funkcje śledzenia wzroku z okularami i soczewkami kontaktowymi, ponieważ podczerwone sensory systemu wykrywają ruch źrenicy przez soczewki korekcyjne, choć ekstremalna grubość soczewek lub odblaskowe powłoki mogą nieco obniżyć dokładność.

VisionOS umożliwia jednoczesne śledzenie spojrzenia i aktywację głosową, pozwalając użytkownikom patrzeć na element interfejsu, wydając jednocześnie polecenia głosowe, co wspiera jednoczesne interakcje spojrzeniem i głosem w systemie operacyjnym.

Oświetlenie otoczenia wpływa na wykrywanie gestów ręką, zmieniając kontrast i klarowność sylwetki; jasne, bezpośrednie światło może powodować prześwietlenie, podczas gdy niskie, rozproszone oświetlenie może zmniejszać definicję krawędzi, obniżając dokładność algorytmu i zwiększając liczbę fałszywych negatywów.

Tryby oszczędzania energii istnieją dla interakcji opartych na spojrzeniu, zmniejszając częstotliwość odpytywania czujników i obniżając jasność wyświetlacza w okresach bezczynności, co wydłuża czas pracy urządzenia przy jednoczesnym utrzymaniu podstawowej funkcjonalności śledzenia oka dla kluczowych zadań.

Deweloperzy mogą wyodrębniać mapy ciepła spojrzenia za pomocą interfejsów API analityki VisionOS, które zapewniają dane o gęstości fiksacji na sesję w formatach JSON lub CSV, umożliwiając integrację z zewnętrznymi pulpitami nawigacyjnymi i narzędziami statystycznymi do analizy zachowań użytkowników.