Symulowane ruchy oczu pomagają w szkoleniu Metaverse

Inżynierowie komputerowi z Uniwersytetu Duke opracowali wirtualne oczy, które mogą symulować, jak ludzie postrzegają świat. Wirtualne oczy są tak dokładne, że mogą być używane do szkolenia programów rzeczywistości wirtualnej i rozszerzonej. Będą niezwykle przydatne dla deweloperów, którzy chcą tworzyć aplikacje w metaverse.

Wyniki będą przedstawione w dniach 4-6 maja na Międzynarodowej Konferencji ds. Przetwarzania Informacji w Sieciach Czujnikowych (PSN).

Nowe wirtualne oczy nazywają się EyeSyn.

Szkolenie algorytmów do pracy jak oczy

Maria Gorlatova jest asystentem profesora inżynierii elektrycznej i komputerowej na Uniwersytecie Duke.

“Jeśli jesteś zainteresowany wykryciem, czy osoba czyta komiks czy literaturę zaawansowaną, patrząc tylko na jej oczy, możesz to zrobić”, powiedziała Gorlatova.

“Ale szkolenie takiego algorytmu wymaga danych od setek ludzi noszących nakrycia głowy przez godziny”, kontynuowała Gorlatova. “Chcieliśmy opracować oprogramowanie, które nie tylko redukuje problemy związane z prywatnością, ale także pozwala mniejszym firmom, które nie mają takich zasobów, wejść do gry metaverse”.

Ludzkie oczy mogą robić wiele rzeczy, takich jak wskazywanie, czy jesteśmy znudzeni czy podekscytowani, gdzie koncentrujemy się, czy jesteśmy ekspertami w danym zadaniu.

“To, gdzie priorytetowo traktujesz swoje widzenie, mówi wiele o tobie jako osobie”, powiedziała Gorlatova. “Może nieumyślnie ujawnić Twoje preferencje seksualne i rasowe, zainteresowania, których nie chcesz, aby inni wiedzieli, oraz informacje, których nie wiesz nawet o sobie”.

Dane ruchu oczu są niezwykle przydatne dla firm budujących platformy i oprogramowanie w metaverse. Mogą umożliwić deweloperom dostosowanie treści do reakcji zaangażowania lub zmniejszyć rozdzielczość w ich widzeniu obwodowym, co może zaoszczędzić moc obliczeniową.

Zespół naukowców komputerowych, w skład którego wchodzili były stypendysta Guohao Lan i obecny student doktorancki Tim Scargill, postanowił opracować wirtualne oczy, aby naśladować, jak przeciętny człowiek reaguje na różne bodźce dźwiękowe. Aby to zrobić, przyjrzeli się literaturze z dziedziny nauk kognitywnych, która bada, jak ludzie postrzegają świat i przetwarzają informacje wirtualne.

Lan jest teraz asystentem profesora na Uniwersytecie Technicznym w Delft w Holandii.

“Jeśli dasz EyeSyn wiele różnych danych wejściowych i uruchomisz je wystarczająco często, utworzysz zestaw danych syntetycznych ruchów oczu, których można użyć do szkolenia klasyfikatora (uczenia maszynowego) dla nowego programu”, powiedziała Gorlatova.

Testowanie systemu

Naukowcy przetestowali dokładność syntetycznych oczu za pomocą publicznie dostępnych danych. Oczy zostały najpierw użyte do analizy filmów, na których dr Anthony Fauci zwraca się do mediów podczas konferencji prasowych. Zespół porównał je z danymi z ruchu oczu rzeczywistych widzów. Porównali również wirtualny zestaw danych syntetycznych oczu, które spoglądają na sztukę, z rzeczywistymi danymi, które zostały zebrane od ludzi, którzy przeglądali wirtualne muzeum sztuki. Wyniki wykazały, że EyeSyn może ściśle dopasować się do charakterystycznych wzorów sygnałów spojrzenia i symulować różne sposoby, w jakie oczy ludzi reagują.

Gorlatova twierdzi, że te wyniki sugerują, że wirtualne oczy są wystarczająco dobre, aby firmy mogły je używać jako punkt odniesienia do szkolenia nowych platform i oprogramowania metaverse.

“Dane syntetyczne same w sobie nie są idealne, ale stanowią dobrą podstawę”, powiedziała Gorlatova. “Mniejsze firmy mogą je wykorzystać, zamiast poświęcać czas i pieniądze na tworzenie własnych zestawów danych z ludźmi (z uczestnikami). A ponieważ personalizacja algorytmów może być wykonywana na systemach lokalnych, ludzie nie muszą się martwić, że ich prywatne dane ruchu oczu staną się częścią dużej bazy danych”.