Myślenie poza schematami, aby napędzać innowacje w dziedzinie sztucznej inteligencji

Dla wielu z nas, którzy innowują w dziedzinie sztucznej inteligencji, pracujemy w niezbadanym terytorium. Biorąc pod uwagę, jak szybko firmy zajmujące się sztuczną inteligencją rozwijają nowe technologie, można by założyć, że ciężka praca za kulisami jest czymś oczywistym. Ale w dziedzinie takiej jak XR, gdzie misją jest zacieranie granic między światem rzeczywistym a cyfrowym — nie ma obecnie wielu historycznych danych ani badań, na które można by się oprzeć; więc musimy myśleć poza schematami.

Podczas gdy najwygodniejsze jest poleganie na konwencjonalnej mądrości związanej z uczeniem maszynowym i sprawdzonymi praktykami, często nie jest to możliwe (lub pełne rozwiązanie) w dziedzinach powstających. Aby rozwiązać problemy, które nigdy wcześniej nie zostały rozwiązane, należy podejść do nich w nowy sposób.

Jest to wyzwanie, które zmusza do przypomnienia, dlaczego wszedłeś w dziedzinę inżynierii, nauki o danych lub rozwoju produktu: pasja odkrywania. Doświadczam tego każdego dnia w swojej roli w Ultraleap, gdzie rozwijamy oprogramowanie, które może śledzić i reagować na ruchy ludzkiej ręki w środowisku rzeczywistości mieszanej. Tak wiele z tego, co myśleliśmy, że wiemy o trenowaniu modeli uczenia maszynowego, zostaje odwrócone w naszej pracy, ponieważ ludzka ręka — wraz z obiektami i środowiskami, z którymi się zetknie — jest niezwykle nieprzewidywalna.

Oto kilka podejść, które moja drużyna i ja przyjęliśmy, aby wyobrazić sobie eksperymenty i naukę o danych, aby przynieść intuicyjne interakcje do cyfrowego świata, które są dokładne i wydają się tak naturalne, jak w świecie rzeczywistym.

Innowacje w ramach istniejących granic

Podczas innowacji w powstającej dziedzinie często spotykamy się z ograniczeniami, które wydają się sprzeczne ze sobą. Moja drużyna jest odpowiedzialna za uchwycenie złożoności ruchów ręki i palców oraz tego, jak ręce i palce wchodzą w interakcje ze światem wokół nich. To wszystko jest zapakowane w modele śledzenia ręki, które nadal mieszczą się w sprzęcie XR o ograniczonej wydajności obliczeniowej. Oznacza to, że nasze modele — chociaż są zaawansowane i złożone — muszą zajmować znacznie mniej miejsca i zużywać znacznie mniej energii (o 1/100 000) niż ogromne LLM-y, które dominują w nagłówkach. To przedstawia nam ekscytujące wyzwanie, wymagające bezwzględnych eksperymentów i oceny naszych modeli w ich rzeczywistym zastosowaniu.

Ale niezliczone testy i eksperymenty są tego warte: tworzenie potężnego modelu, który nadal dostarcza niskich kosztów inferencji, zużycia energii i opóźnień, jest cudem, który może być stosowany w obliczeniach brzegowych, nawet poza przestrzenią XR.

Ograniczenia, na które natrafiamy podczas eksperymentowania, będą miały wpływ na inne branże. Niektóre firmy będą miały unikalne wyzwania ze względu na subtelności w ich dziedzinach zastosowań, podczas gdy inne mogą mieć ograniczone dane do pracy, ponieważ działają na niszy rynku, której nie dotknęły duże firmy technologiczne.

Chociaż rozwiązania „jednej rozmiaru” mogą wystarczyć dla niektórych zadań, wiele dziedzin zastosowań musi rozwiązać prawdziwe, wymagające problemy specyficzne dla ich zadania. Na przykład linie montażowe w branży motoryzacyjnej wdrażają modele ML do inspekcji wad. Te modele muszą zmierzyć się z bardzo wysoką rozdzielczością obrazu, która jest potrzebna do identyfikacji małych wad na dużej powierzchni samochodu. W tym przypadku aplikacja wymaga wysokiej wydajności, ale problem do rozwiązania polega na tym, jak osiągnąć niską częstotliwość klatek, ale wysoką rozdzielczość modelu.

Ocena architektur modeli w celu napędzania innowacji

Dobry zestaw danych jest siłą napędową za każdym udanym przełomem w dziedzinie sztucznej inteligencji. Ale co sprawia, że zestaw danych jest „dobry” dla określonego celu? A kiedy rozwiązujesz problemy, które nigdy wcześniej nie zostały rozwiązane, jak możesz zaufać, że istniejące dane będą istotne? Nie możemy założyć, że metryki, które są dobre dla niektórych zadań ML, przekładają się na wyniki konkretnego zadania biznesowego. To jest miejsce, w którym musimy iść przeciwko powszechnie przyjętym „prawdom” ML i zamiast tego aktywnie eksplorować, jak etykietujemy, czyścimy i stosujemy zarówno symulowane, jak i rzeczywiste dane.

Ze swej natury nasza dziedzina jest trudna do oceny i wymaga ręcznej kontroli jakości — wykonanej ręcznie. Nie tylko patrzymy na jakość metryk naszych danych. Iterujemy nad naszymi zestawami danych i źródłami danych i oceniamy je na podstawie jakości modeli, które produkują w świecie rzeczywistym. Kiedy ponownie oceniamy, jak oceniamy i klasyfikujemy nasze dane, często znajdujemy zestawy danych lub trendy, których wcześniej nie zauważyliśmy. Teraz, dzięki tym zestawom danych i niezliczonym eksperymentom, które pokazały nam, które dane nie powinny być brane pod uwagę, odblokowaliśmy nową drogę, której wcześniej nie mieliśmy.

Najnowsza platforma śledzenia ręki Ultraleap, Hyperion, jest doskonałym przykładem tego. Postępy w naszych zestawach danych pomogły nam opracować bardziej zaawansowane śledzenie ręki, które może dokładnie śledzić mikrogesty oraz ruchy ręki, nawet gdy użytkownik trzyma obiekt.

 Jeden mały krok do tyłu, jeden wielki skok do przodu

Chociaż tempo innowacji zdaje się nigdy nie zwalnia, my możemy. Jesteśmy w branży eksperymentowania, uczenia się, rozwijania i kiedy mamy czas, aby to zrobić, często tworzymy coś o wiele cenniejszego niż wtedy, gdy postępujemy zgodnie z książką i spieszymy się, aby wydać następną innowację technologiczną. Nie ma substytutu dla przełomów, które występują, gdy eksplorujemy nasze adnotacje danych, kwestionujemy nasze źródła danych i ponownie definiujemy metryki jakości. I jedynym sposobem, aby to zrobić, jest eksperymentowanie w rzeczywistej dziedzinie zastosowania z mierzoną wydajnością modelu wobec zadania. Zamiast widzieć niezwykłe wymagania i ograniczenia jako ograniczające, możemy wziąć te wyzwania i przekształcić je w okazje do innowacji i, ostatecznie, przewagi konkurencyjnej. i jedynym sposobem, aby to zrobić, jest eksperymentowanie w rzeczywistej dziedzinie zastosowania z mierzoną wydajnością modelu wobec zadania. Zamiast widzieć niezwykłe wymagania i ograniczenia jako ograniczające, możemy wziąć te wyzwania i przekształcić je w okazje do innowacji i, ostatecznie, przewagi konkurencyjnej.