Radu Rusu, CEO & Co-Founder of Fyusion – Interview Series

Radu Rusu, jest CEO & Co-Founder of Fyusion, firmy, której celem jest budowanie nowych, wizualnie imponujących technologii 3D, które umożliwią rozwiązywanie złożonych problemów wizualnych za pomocą sztucznej inteligencji. Wspólnie opracowali i opatentowali nowy format plików, zwany .fyuse, który pozwala ludziom na robienie imponujących zdjęć 3D za pomocą swoich smartfonów, co wywołało sensację w mediach społecznościowych i przyciągnęło ponad 100 milionów użytkowników za pośrednictwem aplikacji mobilnych dla konsumentów.

Pracowałeś nad technologiami 3D od 2012 roku, obecnie jesteś Prezesem i CEO Open Perception, Inc. Czy mógłbyś podzielić się misją tej organizacji non-profit?

Zacząłem karierę w przetwarzaniu danych 3D na początku lat 2000, podczas studiów podyplomowych, z pomysłem, że sprawię, by roboty lepiej widziały i rozumiały świat z perspektywy wizualnej. To doprowadziło mnie przez około dekadę badań nad robotyką i wizją komputerową, a na początku lat 2010 zorientowałem się, że to, nad czym pracowałem, mogło być zastosowane do znacznie szerszego zakresu problemów. Open Perception zostało utworzone jako spin-off z Willow Garage i kontynuowało rozwój jednego z naszych projektów o otwartym kodzie źródłowym – Point Cloud Library (PCL). Open Perception, Inc. zostało założone w Kalifornii w kwietniu 2012 roku jako niezależna organizacja, której celem jest wspieranie rozwoju, dystrybucji i wdrożenia oprogramowania o otwartym kodzie źródłowym do przetwarzania danych sensorycznych 2D/3D, zastosowań w badaniach, edukacji i rozwoju produktów.

W 2014 roku zostałeś współzałożycielem i CEO Fyusion, Inc. Czy mógłbyś podzielić się historią powstania Fyusion, Inc?

Podczas badań nad robotyką, współzałożyciele Fyusion i ja zorientowaliśmy się, że wąskie gardło nie leżało już w algorytmach, ale w formatach danych. Nauka maszynowa osiągnęła szczyt dokładności w wielu dziedzinach, ponieważ typ danych, których używaliśmy, szczególnie w formatach wizualnych, był dwuwymiarowy (takich jak zdjęcia i filmy), podczas gdy świat jest trójwymiarowy. Czułem, że istnieje potencjał, by przekształcić sposób, w jaki ludzie rozumieją świat, wykorzystując dane 3D w platformach nauki maszynowej.

W 2014 roku postanowiliśmy stworzyć nowy typ danych 3D, wygenerowanych za pomocą oprogramowania komputerowej wizji i nauki maszynowej, łącząc wiele źródeł danych i wykorzystując niezwykle skalowalne sprzęt komputerowy dostępny w naszych kieszeniach, czyli nasze smartfony.

Założyliśmy Fyusion z celem budowania nowych, wizualnie imponujących technologii 3D, które umożliwią każdemu rozwiązywanie złożonych problemów wizualnych za pomocą sztucznej inteligencji.

Wspólnie opracowaliśmy i opatentowali nowy format plików, zwany .fyuse, który pozwala ludziom na robienie imponujących zdjęć 3D za pomocą swoich smartfonów. To natychmiast wywołało sensację w mediach społecznościowych i przyciągnęło ponad 100 milionów użytkowników za pośrednictwem aplikacji mobilnych dla konsumentów.

Co pierwotnie skłoniło Cię do zainteresowania się ideą ponownego zdefiniowania znaczenia 3D dla aplikacji konsumentów?

Po prostu zorientowaliśmy się, że nikt nie rozwiązał tego problemu w skali. To był nierozwiązany problem. Podobnie jak w naszych programach doktoranckich, rzeczy, które intelektualnie nas ekscytują, to naprawdę skomplikowane problemy, które ktoś powiedział, że nie mogą być rozwiązane.

W tym przypadku, w pewnym sensie, mieli rację. Typ algorytmów wymaganych do rozwiązania tego problemu był tylko częściowo przemyślany, a sprzęt niezbędny do ich uruchomienia nie istniał, szczególnie na urządzeniach takich jak smartfony. Musieliśmy czekać, aż iPhone 4S zostanie wydany, abyśmy mogli uruchomić kod wizji komputerowej i robotyki w czasie rzeczywistym na smartfonie, ponieważ przedtem iPhone miał tylko jeden rdzeń procesora. Gdy zaczęliśmy widzieć, co może zrobić sprzęt smartfona, zaczęliśmy się interesować tym, jak możemy wykorzystać nasze doświadczenie w dziedzinie wizji komputerowej i robotyki, aby zobaczyć, co możemy wcisnąć w te małe kamery i procesory. To zajęło trochę czasu, aby wrócić do planszy i przemyśleć, jak wyobrazić i wdrożyć przechwytywanie i przetwarzanie pola światła za pomocą oprogramowania. Gdy zobaczyliśmy, że to działa, Fyusion ruszyło pełną parą.

Mieliśmy zdjęcia 2D w formie analogowej, a potem zostały one zdigitalizowane wraz z wszystkim innym. Jedyną instancją, jaką mieliśmy w świecie 3D w skali, była „siatka trójkątów z teksturowaniem” (np. formaty plików OBJ), które pochodziły z gier komputerowych i grafiki komputerowej i miały reprezentować sztucznie stworzone obiekty w grze. Bardzo zależą one od idealnej geometrii, co jest niemożliwe do uzyskania – jak sfotografować i reprezentować wodę jako siatkę trójkątów z teksturowaniem? Co z przezroczystymi obiektami? Liśćmi? Rzeczami, które są daleko? I tak dalej…

Było jasne, że ktoś musi rozwiązać problem potrzeby przyjaznych konsumentom formatów 3D. To musiało być oparte na zupełnie innym paradygmacie i rozwiązane w sposób „renderowania obrazu 3D” (tj. pola światła), oraz uwzględniać informacje dostępne w momencie przechwytywania (takie jak orientacja kamery za pomocą czujnika żyroskopowego), które zwykle są odrzucane podczas przechwytywania obrazu 2D. A potem, oczywiście, próbujemy ponownie inferować tę odrzuconą informację za pomocą nauki maszynowej.

To była nasza okazja, i to jest to, czego powinny pragnąć startupy: znaleźć naprawdę trudny problem, o którym są pasjonaci, czekać na odpowiedni moment i okazję, i szaleć, próbując go rozwiązać.

Rdzeń technologii pozwala każdemu tworzyć immersyjne, interaktywne obrazy 3D zwane .fyuse, poruszając dowolną kamerą wokół osoby, obiektu lub sceny. Czy mógłbyś omówić proces tworzenia .fyuse za pomocą aplikacji mobilnej?

Jeszcze jesteśmy w początkowej fazie tej technologii, ale istota sprawy jest taka: bierzesz smartphone, który ma aplikację napisaną przez Fyusion lub aplikację partnerską, która wykorzystuje nasze Fyusion ALIS SDK, i otwierasz kamerę. Otrzymujesz instrukcje, co robić, i jeśli je wykonasz, otrzymujesz .fyuse na urządzeniu, który jest obiektem pliku przetworanym za pomocą wizji komputerowej i nauki maszynowej, który możesz wyświetlić na urządzeniu, w sieci lub na dowolnym zestawie AR/VR/MR.

Jakie technologie wizji komputerowej i nauki maszynowej są wykorzystywane do uczynienia tego rzeczywistością?

Nie ma tu srebrnej kuli, ale ogromny koktajl narzędzi wizji komputerowej 3D i nauki maszynowej, które stworzyliśmy do rozwiązania tego problemu. Są to pomysły z fotogrametrii (ponieważ skutecznie tworzymy wirtualną macierz kamer, poruszając jedną kamerą w przestrzeni), robotyki (ogromny problem fuzji sensorów, ponieważ nie mamy już jednej kamery, ale całą gamę sensorów, z których możemy pobrać dane, aby pomóc rozwiązać ten problem), grafiki komputerowej (można zajrzeć do naszej pracy na Siggraph 2019, aby zrozumieć, jak reprezentujemy niektóre z podstawowych struktur), i wiele więcej. Wszystko to musiało być zrobione na urządzeniu i działać w czasie rzeczywistym, co oznacza, że wykorzystujemy compute shadery i piszemy kod w asemblerze. Jak już wspomniano, to jest tylko początek, i im więcej sensorów i mocy obliczeniowej będzie dostępnych, tym więcej będziemy wykorzystywać nasz silnik ALIS, aby poprawić kilka aspektów tej technologii. To jest długoterminowa wizja, i mamy przed sobą kolejną dekadę pracy, aby być w pełni usatysfakcjonowanym, jak wyglądają zdigitalizowane skomplikowane sceny świata rzeczywistego.

Łatwo jest wyobrazić sobie, jak .fyuse będą przełomowe dla aplikacji VR. Czy mógłbyś omówić typy bieżących aplikacji VR, w których .fyuse mogą być wykorzystane?

Uważamy, że KAŻDA aplikacja VR, w której zdigitalizowanie obiektu świata rzeczywistego i następnie wyświetlenie go jest ważne, powinna skorzystać z wykorzystaniem naszego silnika ALIS i .fyuse. Nie ma braku pionów i aplikacji w handlu elektronicznym, opiece zdrowotnej, motoryzacji, edukacji i poza tym, i jesteśmy bardzo podekscytowani tą przyszłością.

Co przewidujesz jako przyszłość aplikacji VR dla Fyuse?

Nie widzimy żadnych ograniczeń dla obecnej technologii, chociaż nasz obecny focus jest bardziej ukierunkowany na małe do średnich scen i obiektów, a nie duże pejzaże miejskie.

Łatwo jest wyobrazić sobie Fyuse wykorzystywane w przyszłych aplikacjach rzeczywistości rozszerzonej (AR) i mieszanej (MR). Czy mógłbyś omówić swoją wizję przyszłości Fyuse w środowisku AR i MR?

Traktujemy wszystkie aplikacje AR/VR/MR tak samo: gdy tylko obiekt 3D zostanie zdigitalizowany za pomocą naszej technologii, może być wyodrębniony ze sceny i umieszczony gdziekolwiek.

Czy twoja drużyna omawiała pomysł stworzenia Fyuse z wirtualnym asystentem lub AI?

Nie zbadaliśmy możliwości stworzenia interaktywnych awatarów wirtualnych dla ludzi. To jest interesująca możliwość, ale staramy się pozostać skupieni na rozwiązywaniu bieżącego zestawu problemów, nad którymi pracujemy.

Czy jest coś jeszcze, co chciałbyś podzielić się na temat Fyuse lub Fyusion, Inc?

To może brzmieć jak pitch, ale… jesteśmy grupą szalonych robotyków i naukowców wizji komputerowej 3D, wymieszanymi z fizykami z CERN, niesamowitymi hakерами i inżynierami, i to tylko opisuje członków naszego rdzenia technicznego. Lubicie różnorodność wszystkich rodzajów, ponieważ to czyni nas mądrzejszymi i silniejszymi jako zespół. Jeśli cokolwiek, nad czym pracujemy, jest interesujące dla kogokolwiek, kto czyta to, nie wahaj się i skontaktuj się z nami. Robimy wszystko, aby odpowiedzieć na każde pytanie, i możesz znaleźć się w sytuacji, w której przyjdziesz do nas na kawę, a potem zostaniesz na dekadę.

Dziękujemy za wspaniałe wywiady, czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić Fyusion.