Radu Rusu, CEO & Co-Founder von Fyusion – Interview-Reihe

Radu Rusu, ist der CEO & Co-Founder von Fyusion, einem Unternehmen, das das Ziel verfolgt, neue, visuell atemberaubende 3D-Technologien zu entwickeln, um komplexe visuelle Probleme mit künstlicher Intelligenz zu lösen. Zusammen entwickelten und patentierten sie ein neues Dateiformat, das als .fyuse bezeichnet wird, das es ermöglicht, atemberaubende 3D-Bilder mit dem Smartphone zu erfassen, was zu einem sozialen Medien-Phänomen führte und mehr als 100 Millionen Nutzer durch Consumer-Mobilanwendungen anzog.

Sie arbeiten seit 2012 an 3D, Sie sind derzeit Präsident und CEO von Open Perception, Inc. Können Sie die Missionserklärung dieser Non-Profit-Organisation mitteilen?

Ich begann meine Karriere im 3D-Datenverarbeitungsbereich Anfang der 2000er Jahre, während meines Postgraduiertenstudiums, mit der Idee, Roboter sehen und die Welt aus visueller Sicht besser verstehen zu lassen. Das führte mich durch etwa ein Jahrzehnt der Robotics-bezogenen 3D-Computer-Vision-Forschung, und Anfang der 2010er Jahre erkannte ich, dass das, was ich entwickelte, auf eine viel breitere Palette von Problemen angewendet werden konnte. Open Perception wurde als Spin-off von Willow Garage gegründet und übernahm eines unserer BSD-lizenzierten, Open-Source-Initiativen – das Point Cloud Library (PCL)-Projekt – und förderte dessen Wachstum. Open Perception, Inc. wurde im April 2012 als unabhängige Organisation in Kalifornien gegründet, mit dem Zweck, die Entwicklung, Verbreitung und Übernahme von Open-Source-Software für 2D/3D-Verarbeitung von Sensordaten zu unterstützen, mit Anwendungen in Forschung, Bildung und Produktentwicklung.

2014 wurden Sie Co-Founder und CEO von Fyusion, Inc. Können Sie die Genesis-Geschichte von Fyusion, Inc. teilen?

Während meiner Forschung im Bereich Robotik erkannten die Mitgründer von Fyusion und ich, dass die Flaschenhälse nicht mehr in den Algorithmen lagen, sondern in den Datenformaten. Das maschinelle Lernen hatte um diese Zeit in vielen Bereichen einen Höhepunkt an Genauigkeit erreicht, weil die Art von Daten, die wir verwendeten, insbesondere in visuellen Formaten, zweidimensional (wie Fotografien und Videos) war, während die Welt dreidimensional ist. Wir fühlten, dass das Potenzial existierte, die Art und Weise, wie Menschen die Welt verstehen, zu transformieren, indem man 3D-Daten in maschinellen Lernplattformen nutzt.

2014 entschieden wir uns, eine neue Art von 3D-Daten zu erstellen, die durch Computer-Vision- und Machine-Learning-Software generiert wird, indem wir mehrere Datenquellen fusionieren und extrem skalierbare Commodity-Hardware verwenden, die in unseren Taschen verfügbar ist – d. h. unsere Smartphones.

Wir gründeten Fyusion mit dem Ziel, neue, visuell atemberaubende 3D-Technologien zu entwickeln, um jedem zu ermöglichen, komplexe visuelle Probleme mit künstlicher Intelligenz zu lösen.

Zusammen entwickelten und patentierten wir ein neues Dateiformat, das als .fyuse bezeichnet wird, das es ermöglicht, atemberaubende 3D-Bilder mit dem Smartphone zu erfassen. Es löste sofort ein soziales Medien-Phänomen aus und zog mehr als 100 Millionen Nutzer durch Consumer-Mobilanwendungen an.

Was zog Sie ursprünglich zu der Idee, die Bedeutung von 3D für Consumer-Anwendungen neu zu definieren?

Wir erkannten einfach, dass niemand dies im großen Maßstab angegangen war. Es war ein ungelöstes Problem. Genauso wie in unseren PhD-Programmen sind die Dinge, die uns intellektuell begeistern, wirklich komplizierte Probleme, die jemand gesagt hat, nicht gelöst werden können.

In diesem Fall waren sie bis zu einem bestimmten Grad richtig. Die Art von Algorithmen, die erforderlich waren, um dies zu lösen, waren nur teilweise durchdacht und die erforderliche Hardware existierte nicht, insbesondere auf Edge-Geräten wie Smartphones. Wir mussten tatsächlich warten, bis das iPhone 4S herauskam, damit wir Echtzeit-3D-Computer-Vision-Code auf einem Smartphone ausführen konnten, da iPhones vorher nur einen CPU-Kern hatten. Als wir sahen, was Smartphone-Hardware leisten konnte, wurden wir sehr interessiert daran, unsere Computer-Vision- und Robotics-Forschungsexpertise zu nutzen und zu sehen, was wir in diese winzigen Kameras und CPUs/GPUs stecken konnten. Es dauerte eine Weile, bis wir zurück zum Zeichenbrett gingen und überlegten, wie wir Lichtfeldaufnahme und -verarbeitung vollständig durch Software umsetzen konnten. Als wir es funktionierend sahen, war Fyusion auf dem Weg.

Wir hatten früher 2D-Fotos in analoger Form, und dann wurden sie einfach digitalisiert, wie alles andere auch. Die einzige Instanziierung, die wir in der 3D-Welt im großen Maßstab hatten, war ein “Dreiecksnetz mit einer Textur” (z. B. OBJ-ähnliche Dateiformate), die aus Computer-Spielen und Computer-Grafik stammten und dazu dienten, künstlich erstellte Objekte in einem Spiel darzustellen. Sie hängen stark von perfekter Geometrie ab, die unmöglich zu erhalten ist – wie kann man Wasser als Dreiecksnetz mit einer Textur mit einer Kamera erfassen und darstellen? Was ist mit transparenten Objekten? Blättern? Dingen, die weit entfernt sind? Und so weiter…

Es war klar, dass jemand die Notwendigkeit von consumerfreundlichen 3D-Formaten angehen musste. Es musste auf einem völlig anderen Paradigma basieren und auf eine “3D-Bildrendering”-Weise (d. h. Lichtfelder) gelöst werden und Informationen einbeziehen, die zum Zeitpunkt der Aufnahme verfügbar sind (wie die Kamerorientierung durch einen Gyroskopsensor), die normalerweise verworfen werden, wenn man ein 2D-Bild aufnimmt. Und dann versuchen wir natürlich, diese verworfenen Informationen durch maschinelles Lernen neu zu inferieren.

Dies war unsere Chance, und das ist, wovon Start-ups träumen sollten: Ein wirklich hartes Problem finden, das sie leidenschaftlich angehen, auf die richtige Zeit und Gelegenheit warten und dann verrückt werden, um es zu lösen.

Die Kern-Technologie ermöglicht es jedem, immersive, interaktive 3D-Bilder, sogenannte .fyuses, zu erstellen, indem man eine Kamera um eine Person, ein Objekt oder eine Szene bewegt. Können Sie den Prozess für jemanden erläutern, der einen .fyuse mit einer Mobil-App erstellen möchte?

Wir sind noch in den Kinderschuhen dieser Technologie, aber die Grundidee ist: Sie nehmen ein Smartphone, das eine von Fyusion oder einem Partner-Unternehmen entwickelte Anwendung ausführt, die unsere Fyusion ALIS SDK verwendet, und öffnen die Kamera. Sie erhalten Anweisungen, was zu tun ist, und wenn Sie ihnen folgen, erhalten Sie ein .fyuse auf dem Gerät, das ein Computer-Vision- und Machine-Learning-verarbeitetes “Datei-Objekt” ist, das Sie auf dem Gerät, im Web oder auf jedem AR/VR/MR-Headset rendern können.

Welche Computer-Vision- und Machine-Learning-Technologien werden verwendet, um dies zu ermöglichen?

Es gibt wirklich keine silberne Kugel hier, sondern ein riesiges Cocktail von 3D-Computer-Vision- und Machine-Learning-Tools, die wir für die Lösung dieses Problems entwickelt haben. Es gibt Ideen aus der Photogrammetrie (da wir effektiv eine virtuelle Kamera-Array durch Bewegen einer einzelnen Kamera im Raum erstellen), Robotik (riesiges Sensor-Fusions-Problem, da wir nicht mehr nur eine Kamera haben, sondern eine Vielzahl von Sensoren, von denen wir Daten ziehen können, um dieses Problem zu lösen), Computer-Grafik (Sie können in unsere Siggraph-2019-Arbeit schauen, um zu verstehen, wie wir einige der zugrunde liegenden Strukturen darstellen) und viele mehr. All dies musste auf dem Gerät und in Echtzeit durchführbar sein, was bedeutet, dass wir Compute-Shader und Code in Assemblersprache schreiben. Wie erwähnt, ist dies nur der Anfang, und je mehr Sensoren und Rechenleistung uns zur Verfügung stehen, desto mehr werden wir unsere ALIS-Drossel verwenden, um mehrere Aspekte der Technologie zu verbessern. Dies ist eine langfristige Vision, und wir haben noch ein Jahrzehnt oder mehr Arbeit vor uns, um vollständig zufrieden zu sein, wie digitale komplexe reale Szenen aussehen.

Es ist leicht vorstellbar, wie .fyuses für VR-Anwendungen disruptiv sein werden. Können Sie über die Art von aktuellen VR-Anwendungen sprechen, in denen .fyuses verwendet werden können?

Wir denken, dass ANY VR-Anwendung, in der die Digitalisierung eines realen Objekts und dessen Anzeige wichtig ist, von der Nutzung unserer ALIS-Engine und .fyuses profitieren sollte. Es gibt wirklich keine Knappheit an vertikalen und Anwendungen im E-Commerce, Gesundheitswesen, Automotive, Bildung und darüber hinaus, und wir sind sehr aufgeregt über diese Zukunft.

Was sehen Sie als die Zukunft von VR-Anwendungen für Fyuses?

Wir sehen keine Grenzen für die aktuelle Technologie, obwohl unser Fokus derzeit mehr auf kleinen bis mittleren Szenen und Objekten liegt und nicht auf großen Stadtlandschaften.

Ich kann mir leicht vorstellen, dass Fyuses in zukünftigen Augmented-Reality- (AR-) und Mixed-Reality- (MR-) Anwendungen verwendet werden. Was ist Ihre Vision für die Zukunft von Fyuses in AR- und MR- Umgebungen?

Wir behandeln alle AR/VR/MR-Anwendungen genau gleich: Sobald das 3D-Objekt mithilfe unserer Technologie digitalisiert wurde, kann es aus der Szene extrahiert und überall platziert werden.

Hat Ihr Team die Idee diskutiert, Fyuses mit einem virtuellen Assistenten oder KI zu erstellen?

Wir haben die Gelegenheit, interaktive virtuelle Avatare für Menschen zu erstellen, noch nicht erforscht. Dies ist sicherlich eine interessante Möglichkeit, aber wir versuchen, uns auf die Lösung des aktuellen Satzes von Problemen zu konzentrieren, an denen wir arbeiten.

Gibt es noch etwas, das Sie über Fyuses oder Fyusion, Inc. teilen möchten?

Dies klingt vielleicht wie ein Verkaufspitch, aber… wir sind eine Gruppe von verrückten Roboticern und 3D-Computer-Vision-Wissenschaftlern, gemischt mit CERN-Physikern, großartigen Hackern und Ingenieuren, und das beschreibt nur die Mitglieder des Kern-Technik-Teams. Wir mögen Vielfalt aller Art, weil das uns cleverer und stärker als Team macht. Wenn irgendetwas, an dem wir arbeiten, für jemanden, der dies liest, von Interesse ist, zögern Sie bitte nicht, uns zu kontaktieren. Wir tun unser Bestes, um jedem zu antworten, und Sie könnten sich in einer Situation wiederfinden, in der Sie hereinkommen, um Kaffee zu trinken, und dann für ein Jahrzehnt bleiben.

Vielen Dank für das großartige Interview, Leser, die mehr erfahren möchten, sollten Fyusion besuchen.