Myślenie poza schematami, aby napędzać innowacje w AI

Dla wielu z nas, którzy innowują w dziedzinie AI, pracujemy na niezbadanym terytorium. Biorąc pod uwagę, jak szybko firmy AI rozwijają nowe technologie, można założyć, że ciężka praca w tle jest rzeczą oczywistą. Ale w dziedzinie takiej jak XR, gdzie misją jest zacieranie granic między światem rzeczywistym a cyfrowym — nie ma obecnie zbyt wielu historycznych danych ani badań, na które można by się oprzeć; więc musimy myśleć poza schematami.

Podczas gdy jest to najwygodniejsze, aby polegać na konwencjonalnej mądrym uczeniu maszynowym i sprawdzonymi praktykami, często nie jest to możliwe (lub pełne rozwiązanie) w dziedzinach wschodzących. Aby rozwiązać problemy, które nigdy wcześniej nie zostały rozwiązane, należy podejść do nich w nowy sposób.

To wyzwanie, które zmusza do przypomnienia, dlaczego weszliśmy w dziedzinę inżynierii, nauki o danych lub rozwoju produktu w pierwszej kolejności: pasja do odkryć. Doświadczam tego każdego dnia w mojej roli w Ultraleap, gdzie rozwijamy oprogramowanie, które może śledzić i reagować na ruchy ludzkiej ręki w środowisku rzeczywistości mieszanej. Tyle z tego, co myśleliśmy, że wiemy o szkoleniu modeli uczenia maszynowego, zostaje odwrócone w naszej pracy, ponieważ ludzka ręka — wraz z obiektami i środowiskami, z którymi się spotyka — jest niezwykle nieprzewidywalna.

Oto kilka podejść, które moja drużyna i ja przyjęliśmy, aby wyobrazić sobie eksperymenty i naukę o danych, aby przynieść intuicyjne interakcje do świata cyfrowego, które są dokładne i wydają się tak naturalne, jak w świecie rzeczywistym.

Innowacje w ramach granic

Gdy innowujemy w przestrzeni wschodzącej, często spotykamy się z ograniczeniami, które wydają się sprzeczne ze sobą. Moja drużyna jest zadaniowana do uchwycenia niuansów ruchów ręki i palców, oraz jak ręce i palce wchodzą w interakcje ze światem wokół nich. To wszystko jest zapakowane w modele śledzenia ręki, które nadal mieszczą się w sprzęcie XR na ograniczonym komputingu. Oznacza to, że nasze modele — chociaż wyrafinowane i złożone — muszą zajmować znacznie mniej miejsca i zużywać znacznie mniej energii (w granicach 1/100 000) niż ogromne LLM, które dominują nagłówki. To przedstawia nam ekscytujące wyzwanie, wymagające bezwzględnego eksperymentowania i oceny naszych modeli w ich rzeczywistym zastosowaniu.

Ale niezliczone testy i eksperymenty są warte tego: tworzenie potężnego modelu, który nadal dostarcza niski koszt inferencji, zużycie energii i opóźnienie, jest cudem, który może być zastosowany w obliczeniach krawędziowych, nawet poza przestrzenią XR.

Ograniczenia, na które napotykamy podczas eksperymentowania, będą miały wpływ na inne branże. Niektóre firmy będą miały unikalne wyzwania ze względu na subtelności w ich dziedzinach zastosowań, podczas gdy inne mogą mieć ograniczone dane do pracy ze względu na to, że znajdują się w niszy rynku, którą duzi gracze technologiczni nie dotknęli.

Podczas gdy rozwiązania jednego rozmiaru mogą wystarczyć dla niektórych zadań, wiele dziedzin zastosowań musi rozwiązać prawdziwe, wymagające problemy specyficzne dla ich zadania. Na przykład linie montażowe w przemyśle motoryzacyjnym implementują modele ML do inspekcji wad. Te modele muszą zmagać się z bardzo wysoką rozdzielczością obrazu, która jest potrzebna do identyfikacji małych wad na dużej powierzchni samochodu. W tym przypadku zastosowanie wymaga wysokiej wydajności, ale problem do rozwiązania polega na tym, jak osiągnąć niską częstotliwość klatki, ale wysoką rozdzielczość modelu.

Ocena architektur modeli, aby napędzać innowacje

Dobry zestaw danych jest siłą napędową za każdym udanym przełomem w AI. Ale co sprawia, że zestaw danych jest „dobry” dla określonego celu? A gdy rozwiązujemy problemy, które nigdy wcześniej nie zostały rozwiązane, jak można zaufać, że istniejące dane będą istotne? Nie możemy założyć, że metryki, które są dobre dla niektórych zadań ML, przekładają się na inne specyficzne zadanie biznesowe. To jest miejsce, w którym jesteśmy wezwani do sprzeciwienia się powszechnie przyjętym „prawdom” ML i zamiast tego aktywnie eksplorować, jak etykietujemy, czyścimy i stosujemy zarówno symulowane, jak i rzeczywiste dane.

Z natury nasza dziedzina jest trudna do oceny i wymaga ręcznej kontroli jakości – wykonanej ręcznie. Nie tylko patrzymy na jakość metryk naszych danych. Iterujemy na naszych zestawach danych i źródłach danych i oceniamy je na podstawie jakości modeli, które produkuje w świecie rzeczywistym. Gdy ponownie oceniamy, jak oceniamy i klasyfikujemy nasze dane, często znajdujemy zestawy danych lub trendy, które moglibyśmy inaczej pominąć. Teraz z tymi zestawami danych i niezliczonymi eksperymentami, które pokazały nam, które dane nie należy polegać, odblokowaliśmy nową drogę, której wcześniej nie mieliśmy.

Najnowsza platforma śledzenia ręki Hyperion firmy Ultraleap jest doskonałym przykładem tego. Postępy w naszych zestawach danych pomogły nam opracować bardziej zaawansowane śledzenie ręki, które może dokładnie śledzić mikrogesty oraz ruchy ręki, nawet gdy użytkownik trzyma obiekt.

 Jeden mały krok do tyłu, jeden wielki skok do przodu

Podczas gdy tempo innowacji wydaje się nigdy nie zwalnia, my możemy. Jesteśmy w branży eksperymentowania, uczenia się, rozwijania i gdy mamy czas, aby to zrobić, często tworzymy coś o wiele cenniejszego niż wtedy, gdy idziemy według książki i spieszymy się, aby wprowadzić następną innowację technologiczną. Nie ma zastąpienia dla przełomów, które występują, gdy eksplorujemy nasze adnotacje danych, kwestionujemy nasze źródła danych i ponownie definiujemy metryki jakości. I jedynym sposobem, aby to zrobić, jest eksperymentowanie w rzeczywistej dziedzinie zastosowania z mierzoną wydajnością modelu wobec zadania. Zamiast widzieć niezwykłe wymagania i ograniczenia jako ograniczające, możemy wziąć te wyzwania i przekształcić je w okazje do innowacji i, ostatecznie, przewagi konkurencyjnej.