Radu Rusu, CEO & Co-Founder von Fyusion – Interview-Serie

Radu Rusu ist CEO & Co-Founder von Fyusion, einem Unternehmen, das das Ziel verfolgt, neue, visuell atemberaubende 3D-Technologien zu entwickeln, um komplexe visuelle Probleme mit künstlicher Intelligenz zu lösen. Zusammen entwickelten und patentierten sie ein neues Dateiformat, das als .fyuse bezeichnet wird, das es ermöglicht, atemberaubende 3D-Bilder mit dem Smartphone zu erfassen, was zu einem sozialen Medien-Phänomen führte und mehr als 100 Millionen Nutzer durch Consumer-Mobilanwendungen anzog.

Sie arbeiten seit 2012 an 3D-Technologien und sind derzeit Präsident und CEO von Open Perception, Inc. Können Sie die Missionserklärung dieser Non-Profit-Organisation mitteilen?

Ich begann meine Karriere im Bereich 3D-Datenverarbeitung Anfang der 2000er Jahre, während meines Postgraduiertenstudiums, mit der Idee, Roboter dazu zu bringen, die Welt besser aus visueller Sicht zu sehen und zu verstehen. Dies führte mich durch etwa ein Jahrzehnt der Forschung im Bereich der robotischen 3D-Computer-Vision und ich erkannte Anfang der 2010er Jahre, dass das, was ich entwickelte, auf ein viel breiteres Spektrum von Problemen angewendet werden konnte. Open Perception wurde als Spin-off von Willow Garage gegründet und übernahm eines unserer BSD-lizenzierten, Open-Source-Initiativen – das Point Cloud Library (PCL)-Projekt – und förderte sein Wachstum. Open Perception, Inc. wurde im April 2012 in Kalifornien als unabhängige Organisation gegründet, um die Entwicklung, Verbreitung und Übernahme von Open-Source-Software für die 2D-/3D-Verarbeitung von Sensordaten zu unterstützen, mit Anwendungen in Forschung, Bildung und Produktentwicklung.

2014 wurden Sie Co-Founder und CEO von Fyusion, Inc. Können Sie die Entstehungsgeschichte von Fyusion, Inc. mitteilen?

Während meiner Forschung im Bereich der Robotik erkannten die Mitgründer von Fyusion und ich, dass die Engpässe nicht mehr in den Algorithmen lagen, sondern in den Datenformaten. Die maschinelle Lernfähigkeit hatte um diese Zeit in vielen Bereichen ihren Höhepunkt erreicht, weil die Art von Daten, die wir verwendeten, insbesondere in visuellen Formaten, zweidimensional war (wie Fotografien und Videos), während die Welt dreidimensional ist. Wir erkannten, dass es möglich war, die Art und Weise, wie Menschen die Welt verstehen, durch die Nutzung von 3D-Daten in maschinellen Lernplattformen zu revolutionieren.

2014 entschieden wir uns, ein neues 3D-Datenformat zu entwickeln, das durch Computer-Vision- und Machine-Learning-Software generiert wird, indem wir mehrere Datenquellen fusionieren und extrem skalierbare Commodity-Hardware verwenden, die in unseren Taschen verfügbar ist – d. h. unsere Smartphones.

Wir gründeten Fyusion mit dem Ziel, neue, visuell atemberaubende 3D-Technologien zu entwickeln, um jedem zu ermöglichen, komplexe visuelle Probleme mit künstlicher Intelligenz zu lösen.

Zusammen entwickelten und patentierten wir ein neues Dateiformat, das als .fyuse bezeichnet wird, das es ermöglicht, atemberaubende 3D-Bilder mit dem Smartphone zu erfassen. Es löste sofort ein soziales Medien-Phänomen aus und zog mehr als 100 Millionen Nutzer durch Consumer-Mobilanwendungen an.

Was hat Sie ursprünglich auf die Idee gebracht, die Bedeutung von 3D für Consumer-Anwendungen neu zu definieren?

Wir erkannten einfach, dass niemand dieses Problem im großen Maßstab angegangen war. Es war ein ungelöstes Problem. Genau wie in unseren PhD-Programmen sind die Dinge, die uns intellektuell begeistern, wirklich komplizierte Probleme, die jemand gesagt hat, nicht gelöst werden können.

In diesem Fall hatten sie teilweise Recht. Die Art von Algorithmen, die erforderlich waren, um dieses Problem zu lösen, waren nur teilweise durchdacht und die erforderliche Hardware existierte nicht, insbesondere auf Edge-Geräten wie Smartphones. Wir mussten tatsächlich warten, bis das iPhone 4S herauskam, damit wir Echtzeit-3D-Computer-Vision-Code auf einem Smartphone ausführen konnten, weil iPhones vorher nur einen CPU-Kern hatten. Als wir sahen, was die Smartphone-Hardware leisten konnte, wurden wir sehr interessiert daran, unsere Computer-Vision- und Robotik-Forschungsexpertise zu nutzen und zu sehen, was wir in diese winzigen Kameras und CPUs/GPUs stecken konnten. Es dauerte eine Weile, bis wir zurück zum Zeichentisch gingen und neu darüber nachdachten, wie wir Lichtfeldaufnahme und -verarbeitung vollständig durch Software umsetzen konnten. Als wir es funktionierend sahen, war Fyusion auf dem Weg.

Wir hatten früher 2D-Fotos in analoger Form und dann wurden sie einfach digitalisiert, wie alles andere auch. Die einzige Umsetzung, die wir in der 3D-Welt im großen Maßstab hatten, war ein “Dreiecksnetz mit einer Textur” (z. B. OBJ-ähnliche Dateiformate), die aus Computer-Spielen und Computer-Grafiken stammten und dazu dienten, künstlich erstellte Objekte in einem Spiel darzustellen. Sie hängen stark von perfekter Geometrie ab, die unmöglich zu erhalten ist – wie kann man Wasser als Dreiecksnetz mit einer Textur mit einer Kamera erfassen? Was ist mit transparenten Objekten? Blattwerk? Dinge, die weit entfernt sind? Und so weiter…

Es war klar, dass jemand die Notwendigkeit von consumerfreundlichen 3D-Formaten angehen musste. Es musste auf einem völlig anderen Paradigma basieren und in einer “3D-Bildrendering”-Weise (d. h. Lichtfelder) gelöst werden und Informationen einbeziehen, die zum Zeitpunkt der Aufnahme verfügbar sind (wie die Kamerorientierung durch einen Gyroskopsensor), die normalerweise verworfen werden, wenn man ein 2D-Bild aufnimmt. Und dann versuchen wir natürlich, diese verworfenen Informationen durch maschinelles Lernen neu zu inferieren.

Dies war unsere Chance und das, worüber Start-ups träumen sollten: Ein wirklich hartes Problem finden, das sie leidenschaftlich angehen, auf die richtige Zeit und Gelegenheit warten und dann verrückt werden, um es zu lösen.

Die Kern-Technologie ermöglicht es jedem, immersive, interaktive 3D-Bilder, die als .fyuses bezeichnet werden, zu erstellen, indem man eine Kamera um eine Person, ein Objekt oder eine Szene bewegt. Können Sie den Prozess für jemanden, der ein .fyuse mit einer Mobil-App erstellen möchte, erläutern?

Wir sind noch in den Kinderschuhen dieser Technologie, aber die Grundidee ist: Man nimmt ein Smartphone, das eine von Fyusion oder einem Partner-Unternehmen entwickelte Anwendung hat, die unsere Fyusion-ALIS-SDK-Unterstützung verwendet, und öffnet die Kamera. Man erhält Anweisungen, was zu tun ist, und wenn man ihnen folgt, erhält man ein .fyuse auf dem Gerät, das ein Computer-Vision- und Machine-Learning-Verarbeitungs-“Datei-Objekt” ist, das auf dem Gerät, im Web oder auf jedem AR/VR/MR-Headset gerendert werden kann.

Welche Computer-Vision- und Machine-Learning-Technologien werden verwendet, um dies zu ermöglichen?

Es gibt hier keinen silbernen Pfeil, sondern ein breites Cocktail von 3D-Computer-Vision- und Machine-Learning-Tools, die wir für die Lösung dieses Problems entwickelt haben. Es gibt Ideen aus der Photogrammetrie (da wir effektiv eine virtuelle Kamera-Array durch Bewegen einer einzelnen Kamera im Raum erstellen), der Robotik (da es ein enormes Sensor-Fusions-Problem gibt, da wir nicht mehr nur eine Kamera haben, sondern eine Vielzahl von Sensoren, von denen wir Daten ziehen können, um dieses Problem zu lösen), der Computer-Grafik (man kann in unsere Siggraph-2019-Arbeit schauen, um zu verstehen, wie wir einige der zugrunde liegenden Strukturen darstellen) und vielen mehr. All dies musste auf dem Gerät und in Echtzeit ausgeführt werden, was bedeutet, dass wir Compute-Shader und Assembler-Code verwenden. Wie erwähnt, ist dies nur der Anfang und je mehr Sensoren und Rechenleistung uns zur Verfügung stehen, desto mehr werden wir unsere ALIS-Bremse verwenden, um mehrere Aspekte der Technologie zu verbessern. Dies ist eine langfristige Vision und wir haben noch ein Jahrzehnt oder mehr Arbeit vor uns, um vollständig zufrieden zu sein, wie digitale komplexe reale Szenen aussehen.

Es ist leicht vorstellbar, wie .fyuses für VR-Anwendungen disruptiv sein werden. Können Sie die Art von aktuellen VR-Anwendungen erläutern, in denen .fyuses verwendet werden können?

Wir denken, dass jede VR-Anwendung, in der die Digitalisierung einer realen Welt und ihre Anzeige wichtig ist, von der Nutzung unserer ALIS-Engine und .fyuses profitieren sollte. Es gibt wirklich keine Grenzen für die Anzahl von Anwendungen in E-Commerce, Gesundheitswesen, Automotive, Bildung und darüber hinaus und wir sind sehr aufgeregt über diese Zukunft.

Was sehen Sie als die Zukunft von VR-Anwendungen für Fyuses?

Wir sehen keine Grenzen für die aktuelle Technologie, obwohl unser Fokus derzeit mehr auf kleine bis mittelgroße Szenen und Objekte gerichtet ist und nicht auf große Stadtlandschaften.

Ich kann mir leicht vorstellen, dass Fyuses in zukünftigen AR- und MR-Anwendungen verwendet werden. Was ist Ihre Vision für die Zukunft von Fyuses in AR- und MR-Umgebungen?

Wir behandeln alle AR/VR/MR-Anwendungen genau gleich: Sobald das 3D-Objekt mithilfe unserer Technologie digitalisiert wurde, kann es aus der Szene extrahiert und überall platziert werden.

Hat Ihr Team die Idee diskutiert, Fyuses mit einem virtuellen Assistenten oder einer künstlichen Intelligenz zu erstellen?

Wir haben die Möglichkeit, interaktive virtuelle Avatare für Menschen zu erstellen, noch nicht erforscht. Dies ist sicherlich eine interessante Möglichkeit, aber wir versuchen, uns auf die Lösung des aktuellen Satzes von Problemen zu konzentrieren, an denen wir arbeiten.

Gibt es noch etwas, das Sie über Fyuses oder Fyusion, Inc. teilen möchten?

Dies klingt vielleicht wie ein Verkaufspitch, aber… wir sind eine Gruppe von verrückten Robotikern und 3D-Computer-Vision-Wissenschaftlern, gemischt mit CERN-Physikern, großartigen Hackern und Ingenieuren und das beschreibt nur die Mitglieder des Kern-Technik-Teams. Wir mögen Vielfalt aller Art, weil das uns intelligenter und stärker als Team macht. Wenn irgendetwas, an dem wir arbeiten, für jemanden, der dies liest, von Interesse ist, zögern Sie bitte nicht, uns zu kontaktieren. Wir tun unser Bestes, um jedem zu antworten und Sie könnten sich in einer Situation wiederfinden, in der Sie zum Kaffee kommen und dann für ein Jahrzehnt bleiben.

Vielen Dank für die großartigen Interviews. Leser, die mehr erfahren möchten, sollten Fyusion besuchen.