Radu Rusu, CEO & Co-Founder van Fyusion – Interview Serie

Radu Rusu is de CEO & Co-Founder van Fyusion, een bedrijf dat als doel heeft om nieuwe, visueel spectaculaire 3D-technologieën te ontwikkelen die het mogelijk maken om complexe visuele problemen op te lossen met behulp van kunstmatige intelligentie. Samen hebben ze een nieuw bestandsformaat ontwikkeld en gepatenteerd, genaamd .fyuse, dat het mogelijk maakt om vanaf smartphones prachtige 3D-afbeeldingen te maken, wat een sociale mediasensatie veroorzaakte en meer dan 100 miljoen gebruikers trok via consumentenmobiele applicaties.

U bent sinds 2012 bezig met 3D, u bent momenteel de president en CEO van Open Perception, Inc. Kunt u de missie van deze non-profitorganisatie delen?

Ik begon mijn carrière in 3D-gegevensverwerking in het begin van de jaren 2000 tijdens mijn postdoctorale studie, met het idee dat ik robots wilde laten zien en de wereld beter laten begrijpen vanuit een visueel perspectief. Dit leidde tot een decennium aan onderzoek naar 3D-computervisie en robotica, en in het begin van de jaren 2010 realiseerde ik me dat wat ik deed kon worden toegepast op een veel bredere reeks problemen. Open Perception werd opgericht als een spin-off van Willow Garage en nam een van onze BSD-geлицензieerde, open source-initiatieven – het Point Cloud Library (PCL)-project – en zette de groei ervan voort. Open Perception, Inc. werd in april 2012 opgericht als een onafhankelijke organisatie met als doel de ontwikkeling, distributie en adoptie van open source-software voor 2D/3D-verwerking van sensorgegevens te ondersteunen, met toepassingen in onderzoek, onderwijs en productontwikkeling.

In 2014 werd u medeoprichter en CEO van Fyusion, Inc. Kunt u het verhaal achter Fyusion, Inc. delen?

Terwijl ik nog bezig was met roboticaonderzoek, realiseerden de medeoprichters van Fyusion en ik ons dat de beperkingen niet langer in de algoritmes lagen, maar in de gegevensformaten. Machine learning had rond die tijd in veel domeinen een piek in nauwkeurigheid bereikt, omdat het type gegevens dat we gebruikten, vooral in visuele formaten, tweedimensionaal was (zoals foto’s en video’s), terwijl de wereld driedimensionaal is. We voelden dat er een kans was om de manier waarop mensen de wereld begrijpen te transformeren door 3D-gegevens te gebruiken in machine learning-platforms.

In 2014 besloten we om een nieuw type 3D-gegevens te creëren, gegenereerd door computer vision- en machine learning-software, door meerdere gegevensbronnen samen te voegen en gebruik te maken van extreem schaalbare commodity-hardware die beschikbaar is in onze zakken – dat wil zeggen, onze smartphones.

We richtten Fyusion op met als doel om nieuwe, visueel spectaculaire 3D-technologieën te ontwikkelen die het mogelijk maken om complexe visuele problemen op te lossen met kunstmatige intelligentie.

Samen ontwikkelden we een nieuw bestandsformaat, genaamd .fyuse, dat het mogelijk maakt om vanaf smartphones prachtige 3D-afbeeldingen te maken. Dit veroorzaakte meteen een sociale mediasensatie en trok meer dan 100 miljoen gebruikers via consumentenmobiele applicaties.

Wat trok u aanvankelijk aan bij het idee om de betekenis van 3D voor consumententoepassingen te herdefiniëren?

We realiseerden ons gewoon dat niemand dit op grote schaal had aangepakt. Het was een onopgelost probleem. Net als in onze PhD-programma’s zijn de dingen die ons intellectueel opwinden echt complexe problemen die iemand zei dat ze niet konden worden opgelost.

In dit geval hadden ze gedeeltelijk gelijk. De soort algoritmes die nodig waren om dit op te lossen, waren alleen gedeeltelijk bedacht en de hardware die nodig was om ze uit te voeren, bestond nog niet, vooral niet op randapparaten zoals smartphones. We moesten eigenlijk wachten tot de iPhone 4S uitkwam, zodat we echt 3D-computervisiecode in realtime konden uitvoeren op een smartphone, omdat iPhones voorheen alleen één CPU-core hadden. Zodra we zagen wat smartphone-hardware kon doen, werden we erg geïnteresseerd in het nemen van onze computer vision- en roboticaonderzoeksdeskundigheid en het zien wat we in deze kleine camera’s en CPU’s/GPU’s konden stoppen. Het duurde even voordat we terug naar het begin gingen en opnieuw nadachten over hoe we lichtveldopname en -verwerking allemaal via software konden doen. Zodra we het eenmaal werkend zagen, was Fyusion klaar om van start te gaan.

We hadden vroeger 2D-foto’s in analoge vorm, en toen werden ze alleen gedigitaliseerd met alles wat erbij hoorde. De enige instantiatie die we in de 3D-wereld op grote schaal hadden, was een “driehoeksrooster met een textuur” (bijv. OBJ-achtige bestandsformaten) die afkomstig was van computergames en computergraphics en bedoeld was om kunstmatig gegenereerde objecten in een spel weer te geven. Ze zijn sterk afhankelijk van perfecte geometrie, wat onmogelijk is om te verkrijgen – hoe kun je water weergeven als een driehoeksrooster met een textuur met een camera? Wat dacht je van transparante objecten? Bladeren? Dingen die ver weg zijn? Enzovoort…

Het was duidelijk dat iemand de behoefte aan consumentvriendelijke 3D-formaten moest aanpakken. Het moest gebaseerd zijn op een compleet ander paradigma en opgelost worden op een “3D-afbeeldingweergave”-manier (d.w.z. lichtvelden), en informatie moet bevatten die beschikbaar is op het moment van opname (zoals camera-oriëntatie via een gyroscoop-sensor) die meestal wordt weggegooid wanneer je een 2D-afbeelding maakt. En dan proberen we die weggegooid informatie natuurlijk weer af te leiden via machine learning.

Dit was onze kans, en het is waar startups van dromen: vind een echt moeilijk probleem waar je gepassioneerd over bent, wacht op het juiste moment en de opening, en ga er then crazy aan werken om het op te lossen.

De kern technologie maakt het mogelijk voor iedereen om immersieve, interactieve 3D-afbeeldingen genaamd .fyuses te maken door elke camera rond een persoon, object of scène te bewegen. Kunt u het proces beschrijven voor iemand die een fyuse wil maken met een mobiele app?

We zijn nog in de kinderschoenen van deze technologie, maar het idee is: je pakt een smartphone met een applicatie die door Fyusion is geschreven of een partnerapplicatie die onze Fyusion ALIS SDK gebruikt, en je opent de camera. Je krijgt instructies over wat je moet doen, en als je die volgt, krijg je een .fyuse op je apparaat die een computer vision- en machine learning-verwerkt “bestandobject” is dat je op je apparaat, op het web of op elke AR/VR/MR-bril kunt weergeven.

Wat zijn enkele van de computer vision- en machine learning-technologieën die worden gebruikt om dit een realiteit te maken?

Er is echt geen zilveren kogel hier, maar een uitgebreide cocktail van 3D-computervisie- en machine learning-gereedschap dat we hebben gemaakt om dit probleem op te lossen. Er zijn ideeën uit fotogrammetrie (omdat we effectief een virtuele camera-array creëren door een enkele camera in de ruimte te bewegen), robotica (een enorm sensor-fusieprobleem, omdat we niet langer één camera hebben, maar een heleboel sensoren waarvan we gegevens kunnen halen om dit probleem op te lossen), computergraphics (je kunt onze Siggraph 2019-werk bekijken om te begrijpen hoe we enkele van de onderliggende structuren voorstellen), en veel meer. Alles moest op het apparaat worden gedaan en in realtime worden uitgevoerd, wat betekent dat we compute-shaders gebruiken en code schrijven in assembly. Zoals vermeld, is dit nog maar het begin, en naarmate er meer sensoren en rekenkracht beschikbaar komen, zullen we onze ALIS-gaspedaal gebruiken om verschillende aspecten van de technologie te verbeteren. Dit is een langetermijnvisie, en we hebben nog een decennium of meer werk voor de boeg om volledig tevreden te zijn met de manier waarop gedigitaliseerde complexe scènes eruitzien in de echte wereld.

Het is gemakkelijk om je voor te stellen hoe .fyuses disruptief zullen zijn voor VR-toepassingen. Kunt u bespreken welke huidige VR-toepassingen .fyuses kunnen worden gebruikt?

We denken dat ELKE VR-toepassing waarbij het digitaliseren van een echte wereldobject en het weergeven ervan belangrijk is, moet profiteren van het gebruik van onze ALIS-engine en .fyuses. Er is echt geen tekort aan verticale toepassingen en applicaties in e-commerce, gezondheidszorg, automotive, onderwijs en daarbuiten, en we zijn erg opgewonden over deze toekomst.

Wat voorziet u als de toekomst van VR-toepassingen voor Fyuses?

We zien geen beperkingen voor de huidige technologie, hoewel onze huidige focus meer ligt op kleine tot middelgrote scènes en objecten, en niet op grote stadsgezichten.

Ik kan me gemakkelijk voorstellen dat Fyuses in toekomstige augmented reality (AR) en Mixed Reality (MR) -toepassingen worden gebruikt. Wat is uw visie voor de toekomst van Fyuses in zowel een AR- als een MR-omgeving?

We behandelen alle AR/VR/MR-toepassingen exact hetzelfde: zodra het 3D-object is gedigitaliseerd met onze technologie, kan het uit de scène worden gehaald en overal worden geplaatst.

Heeft uw team het idee besproken om Fyuses te maken met een virtuele assistent of AI?

We hebben de mogelijkheid om interactieve virtuele avatars voor mensen te creëren nog niet onderzocht. Dit is zeker een interessante mogelijkheid, maar we proberen ons te concentreren op het oplossen van de huidige set problemen waar we aan werken.

Is er nog iets anders dat u wilt delen over Fyuses of Fyusion, Inc.?

Dit klinkt misschien als een pitch, maar… we zijn een stelletje gekke roboticisten en 3D-computervisie-wetenschappers, gemengd met CERN-fysici, geweldige hackers en ingenieurs, en dat is alleen al de beschrijving van de leden van het core-technische team. We houden van diversiteit van alle soorten, omdat dat ons slimmer en sterker maakt als team. Als er iets is dat we doen en dat u interessant vindt, aarzel dan niet om contact met ons op te nemen. We doen ons best om iedereen te antwoorden, en u kunt uzelf in een situatie vinden waarin u langskomt voor een kop koffie en dan voor een decennium blijft.

Bedankt voor de geweldige interviews, lezers die meer willen leren, moeten bezoek Fyusion.