Stephen Miller, współzałożyciel i wiceprezes ds. inżynierii w Fyusion – seria wywiadów

Stephen Miller jest współzałożycielem i wiceprezesem ds. inżynierii w Fyusion, firmie zajmującej się obrazowaniem 3D i widzeniem komputerowym, należącej do grupy Cox Automotive. Przed założeniem Fyusion był studentem doktoranckim na Uniwersytecie Stanforda, studiującym nauki komputerowe, a podczas studiów licencjackich na Uniwersytecie Kalifornijskim w Berkeley pracował nad robotyką osobistą, taką jak składanie prania i wiązanie węzłów chirurgicznych. Jest stypendystą Google (GOOGL ) Hertz Fellow, SAP Stanford Graduate Fellow i NSF Fellow.

Czy mógłbyś wyjaśnić, co to jest Fyusion i jak umożliwia łatwe przechwytywanie i wizualizację danych 3D?

Fyusion to firma zajmująca się widzeniem komputerowym, która zapewnia klientom doświadczenia 3D napędzane przez sztuczną inteligencję. Umożliwiamy ludziom przechwytywanie obrazów 3D za pomocą prostej aplikacji na smartfonie, która działa na większości urządzeń z systemem Android i iOS. Aplikacja ma przewodnik krok po kroku i jest zaprojektowana tak, aby mogli z niej korzystać wszyscy, niezależnie od umiejętności technicznych. Przechwytywanie obrazu zajmuje minutę lub dwie. Następnie nasz silnik AI, ALIS, może analizować obrazy 3D i przekształcać je w informacje działania. Obecnie koncentrujemy się na wykorzystywaniu obrazów 3D do diagnozowania uszkodzeń zewnętrznych samochodów.

Czy mógłbyś wyjaśnić, jak algorytmy wykorzystują format pliku .fyuse, aby umożliwić smartfonowi z jedną kamerą tworzenie obrazów 3D?

Liczę się z tym, że format .fyuse jest obok zdjęć i filmów. Zdjęcie przechwytuje moment w czasie z ustalonego kąta, a film przechwytuje serię tych momentów w liniowym czasie. W przeciwieństwie do tego obraz .fyuse przechwytuje to, co nazywamy “momentem w przestrzeni”. Oglądający nie jest ograniczony do jednego kąta lub liniowego czasu: może zobaczyć nie tylko jedną stronę czegoś, ale także dookoła.

Aby utworzyć obraz .fyuse, fotograf krąży wokół obiektu w jednym kierunku z aparatem kamery. Alternatywnie, technologia Fyusion jest również kompatybilna z rozwiązaniami obrazowania stacjonarnymi i nietradycyjnymi, takimi jak drony.

Naszy format pliku .fyuse to to, co ożywia te obrazy. Jest lekki i umożliwia złożoną, wielowymiarową interakcję. Jest również całkowicie kompatybilny z laptopami, tabletami i smartfonami, których posiadają użytkownicy.

Czy mógłbyś omówić niektóre zebrane i przeanalizowane dane z Fyusion?

W przypadku samochodów ALIS rozpoznaje każdą część pojazdu, a następnie może określić, gdzie jest uszkodzenie, jego rozmiar i nasilenie, oraz wyeliminować potencjalne fałszywe pozytywy, takie jak brud podrzucony z drogi. Rozwinięta i opatentowana przez nas technologia może rozwiązać inne problemy, ale obecnie koncentrujemy się na tym.

Czy mógłbyś omówić, co to jest AI-based Lightfield Information Suite (ALIS)?

ALIS to silnik napędzający każdy produkt Fyusion. Umożliwia lekkie obrazowanie 3D i głębokie zrozumienie wizualne. Składa się z trzech części: Przechwytywania, Silnika i Widoku. W module Przechwytywania aplikacja mobilna zawiera wbudowane tutoriale i dostosowywalne przepływy pracy, które pozwalają użytkownikom przechwytywać wysokiej jakości obrazy 3D przy użyciu większości smartfonów na rynku. Przechwytywanie obrazu Fyusion obsługuje również aparaty DSLR, drony i wiele innych urządzeń.

W drugim kroku, Silnik, ALIS analizuje obrazy 3D i przekształca je w informacje działania, takie jak rodzaje uszkodzeń wymagane przez naszych klientów. Może również zapewnić wsparcie dla swoich ustaleń, tworząc wysokiej rozdzielczości obrazy 2D uszkodzeń, które znajduje.

Na końcu Widok wyświetla format pliku .fyuse. Format .fyuse jest opatentowany i lekki, zapewniając immersyjne doświadczenie 3D z szybkimi czasami ładowania. Możemy dołączyć różne doświadczenia do formatu .fyuse, w tym dźwięk, wideo i oczywiście obrazy 2D.

Fyusion jest gotowy do AR i VR, jak duże będą te aplikacje w przyszłości?

Rzeczywistość rozszerzona to branża o wartości miliarda dolarów, która staje się coraz bardziej mainstreamowa, a dzięki potężnym nowym urządzeniom mobilnym i niskim opóźnieniom sieciowych jest coraz łatwiej przechwytywać otoczenie w 3D. Gdy te technologie wkraczają do mainstreamu, oczekiwania klientów dotyczące doświadczeń online będą rosły tak szybko, jak tylko twórcy treści będą mogli dotrzymać im tempa.

Szczególnie w branży motoryzacyjnej, gdzie kupowanie samochodów coraz częściej odbywa się online, w ciągu najbliższych kilku lat spodziewamy się wzrostu zainteresowania AR, VR i listami 3D. Celem jest przekształcenie prostej strony szczegółów pojazdu (VDP) w stronę doświadczenia pojazdu (VEP), pomagając dużym i małym dealerom samochodowym w dalszym rozwoju. Może to być wszystko, od dodawania logo 3D i tagów multimediów do list, po umożliwienie klientom wirtualnego umieszczania zestawu kijów golfowych w bagażniku samochodu, aby zobaczyć, jak się tam mieszczą.

Będzie interesujące zobaczyć, jak te aplikacje zaczną przenikać do użycia mainstreamowego. Nie myślę, że będziemy musieli długo czekać.

Czy mógłbyś omówić poprawę wskaźnika klikalności i przychodu, jaki jest widoczny w handlu elektronicznym przy użyciu obrazów 3D zamiast 2D?

Jestem najbardziej zaznajomiony z detaliami i sprzedażą hurtową samochodów. Obrazy 3D stworzyły nowy poziom zaufania dla kupujących online, co jest szczególnie krytyczne w przypadku dużych przedmiotów, takich jak samochody.

Nasze wewnętrzne dane wskazują, że obrazy 3D zwiększają zaangażowanie użytkowników i czas spędzony na stronach szczegółów pojazdu, co z kolei przekłada się na wzrost sprzedaży samochodów. Zapewnienie wiernego doświadczenia 3D pojazdu buduje również pozytywne nastawienie do sprzedawcy, zwiększając zaufanie.

Jedną z opcji w Fyusion jest przetwarzanie danych lokalnie lub w chmurze, czy mógłbyś omówić zalety każdej z nich?

Lokalnie, AI krawędzi zmusza deweloperów do pracy w ramach znacznych ograniczeń, szczególnie w przypadku użycia telefonów komórkowych. Oprócz standardowych problemów dla każdego dewelopera AI – jak zoptymalizowana jest sieć? jak niezawodne są wyniki? – pewne praktyczne problemy wyznaczają wyraźne limity. Presja pamięci, rozładowanie baterii, możliwość przerwania procesu przez użytkownika lub system operacyjny itp. A to zakładając, że porównywalne procesory i karty graficzne są dostępne na krawędzi. Nawet dla urządzeń flagowych jest to rzadko spotykane.

Trzeba planować każdy możliwy przypadek; podczas gdy w chmurze każde rozwiązanie może być monitorowane i dostosowywane.

Ale mówiąc ogólnie, AI krawędzi może być uważany za idealne “autoscalingowe” rozwiązanie: dla każdego nowego użytkownika masz cały nowy komputer do dyspozycji. Jeśli zoptymalizujesz swoją sieć, aby działała całkowicie na krawędzi, możesz równie łatwo obsłużyć dwa, lub dwa miliony klientów.

Pomimo że najpotężniejszy sprzęt zawsze będzie istniał w chmurze, powszechnie uważa się, że dane są królem. Im więcej danych i im bliżej surowych, tym lepiej. AI na krawędzi ma dostęp do nieprzetworzonych, surowych danych wejściowych, bez ograniczeń. Podczas gdy dla rozwiązania AI w chmurze dane wejściowe muszą być przetworzone (skompresowane, częściowe) lub ogromne, w tym przypadku przepustowość staje się poważnym problemem.

Ponieważ jest najbliżej użytkownika, AI krawędzi otwiera szereg możliwości, których nie ma AI w chmurze. Jeśli zoptymalizujesz ją do działania w czasie rzeczywistym, może zapewnić informacje zwrotne w czasie rzeczywistym. Co oznacza, że możesz tworzyć rozwiązania, które nie tylko pobierają dane, ale również zachęcają użytkowników do dostarczania lepszych danych.

Jak 5G umożliwi szybki wzrost w zastosowaniach technologii widzenia komputerowego?

Przy szybszych prędkościach połączenia można przenieść więcej przetwarzania do chmury, co otwiera możliwości dla różnych nowych aplikacji widzenia komputerowego. Jednak w dużej mierze zależy to od aplikacji i jak szeroko będzie ona przyjęta.

5G może mieć fragmentaryczny wpływ i pogłębić dywidendę cyfrową, ponieważ niektóre części świata będą miały szybszą i szybszą łączność, podczas gdy inne obszary będą nadal miały wolną łączność. Aplikacje skierowane do osób z dostępem do 5G będą oczywiście korzystały. Ale szerzej przyjęte aplikacje mogą musieć wybrać między poświęceniem czasu i pieniędzy na to, co w zasadzie stanowi dwie wersje tej samej aplikacji, a pozostaniem przy jednej wersji, która jest mniej rozbudowana, ale może działać na prawie każdym połączeniu.

Co Fyusion robi, aby skorzystać z przyszłego wdrożenia 5G?

Chcę podkreślić, że Fyusion poświęcił sporo czasu, aby upewnić się, że klienci mogą uzyskać dostęp do naszych aplikacji, nawet na starych telefonach z ograniczoną dostępnością pasma. Z Manheim nasza technologia sfotografowała ponad milion samochodów, i nie osiągnęlibyśmy tego bez tego.

Powiem tylko, że jesteśmy bardzo podekscytowani tym, co widzimy obecnie – jest to trifecta zwiększających się prędkości przetwarzania, łączności 5G i niczym nieograniczonej rewolucji w aparatach kamery. Wszystko to razem daje nam nowe możliwości, których niestety nie mogę jeszcze zdradzić.

Czy jest coś jeszcze, co chciałbyś podzielić się na temat Fyusion?

To bardzo ekscytujący czas, aby pracować w dziedzinie widzenia komputerowego – jako dyscyplina wkraczamy do mainstreamu po wielu latach, kiedy była mówiona jako przyszła technologia. Fyusion rozwija się szybko i rekrutujemy naukowców widzenia komputerowego z całego świata. Nasi członkowie zespołu mogą pracować z dowolnego miejsca, ale zawsze są mile widziani w naszych biurach w Potrero Hill.

Dziękuję za wspaniały wywiad, czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić Fyusion.