Stephen Miller, Mitgründer und SVP of Engineering bei Fyusion – Interview-Serie

Stephen Miller ist der Mitgründer und SVP of Engineering bei Fyusion, einem Unternehmen für 3D-Bildverarbeitung und Computer-Vision, das Teil der Cox Automotive-Gruppe ist. Vor der Gründung von Fyusion war er PhD-Student an der Stanford University, wo er Informatik studierte, und arbeitete an persönlichen Robotik-Projekten wie dem Falten von Wäsche und dem Knoten von chirurgischen Instrumenten während seines Bachelor-Studiums an der UC Berkeley. Er ist ein Google (GOOGL ) Hertz Fellow, SAP Stanford Graduate Fellow und NSF Fellow alumnus.

Können Sie erklären, was Fyusion ist und wie es die einfache Erfassung und Visualisierung von 3D-Daten ermöglicht?

Fyusion ist ein Computer-Vision-Unternehmen, das AI-gesteuerte 3D-Kunden Erfahrungen bietet. Wir ermöglichen es Menschen, 3D-Bilder über eine einfache Smartphone-App zu erfassen, die auf den meisten Android- und iOS-Geräten läuft. Die App enthält schrittweise Anleitungen und ist so konzipiert, dass sie von jedem verwendet werden kann, unabhängig von technischen Fähigkeiten. Die Erfassung des Bildes dauert etwa eine Minute. Von dort aus kann unser AI-Engine, ALIS, 3D-Bilder analysieren und diese visuellen Daten in handhabbare Informationen umwandeln. Derzeit konzentrieren wir uns darauf, 3D-Bilder zur Diagnose von Außenschäden an Autos zu verwenden.

Können Sie erklären, wie die Algorithmen das Dateiformat .fyuse verwenden, um es einem Smartphone mit einer einzigen Kamera zu ermöglichen, 3D-Bilder zu erstellen?

Ich finde es hilfreich, das .fyuse-Format neben Fotos und Videos zu betrachten. Ein Foto erfasst einen Moment in der Zeit aus einem festen Winkel, und ein Video erfasst eine Reihe von solchen Momenten in einer linearen Zeitachse. Im Gegensatz dazu erfasst ein .fyuse-Bild, was wir als “einen Moment im Raum” bezeichnen. Der Betrachter ist nicht auf einen einzigen Winkel oder eine lineare Zeitachse beschränkt: Er kann nicht nur eine Seite von etwas sehen, sondern auch darum herum.

Um ein .fyuse-Bild zu erstellen, bewegt der Fotograf sein Objekt in einer Richtung mit einer Handy-Kamera. Alternativ ist die Fyusion-Technologie auch mit festen Bildgebungs-Lösungen und nicht-traditionellen Bildgebungs-Lösungen wie Drohnen kompatibel.

Unser .fyuse-Dateiformat bringt diese Bilder zum Leben. Es ist leicht und ermöglicht komplexe, mehrfach interaktive Funktionen. Es ist auch vollständig kompatibel mit Laptops, Tablets und Smartphones, die der Benutzer bereits besitzt.

Können Sie einige der Daten erläutern, die mit Fyusion erfasst und analysiert werden?

Bei Autos erkennt ALIS jeden Teil des Fahrzeugs und kann dann bestimmen, wo Schäden vorhanden sind, wie groß und schwerwiegend die Schäden sind und potenzielle Falschmeldungen wie Schmutz, der von der Straße aufgewirbelt wird, eliminieren. Die Technologie, die wir entwickelt und patentiert haben, kann andere Probleme lösen, aber dies ist das, worauf wir uns derzeit konzentrieren.

Können Sie das AI-basierte Lightfield-Information-System (ALIS) erläutern?

ALIS ist der Motor hinter jedem Fyusion-Produkt. Es ermöglicht leichtgewichtige 3D-Bildverarbeitung und tiefes visuelles Verständnis. Es gibt drei Teile, die ALIS ausmachen: Capture, Engine und Viewer. Im Capture-Modul enthält die mobile Anwendung integrierte Tutorials und anpassbare Workflows, die es Benutzern ermöglichen, hochwertige 3D-Bilder mit den meisten Smartphones auf dem Markt zu erfassen. Fyusions Bildaufnahme unterstützt auch DSLRs, Drohnen und eine Vielzahl anderer Geräte.

Im zweiten Schritt analysiert ALIS diese 3D-Bilder und wandelt sie in handhabbare Informationen um, wie z.B. die Arten von Schäden, die unsere Kunden benötigen. Es kann auch Belege für seine Ergebnisse erstellen, indem es hochauflösende 2D-Bilder der Schäden erstellt, die es findet.

Zuletzt zeigt der Viewer das .fyuse-Dateiformat an. Das .fyuse ist patentiert und leicht und bietet ein immersives 3D-Erlebnis mit schnellen Ladezeiten. Wir können alle Arten von Erfahrungen mit einem .fyuse hinzufügen, einschließlich Audio, Video und natürlich 2D-Bildern.

Fyusion ist sowohl AR- als auch VR-fähig, wie groß glauben Sie, dass diese Anwendungen in der Zukunft sein werden?

Die erweiterte Realität ist eine Milliardenschwere Branche, die immer mainstream-artiger wird, und es ist dank leistungsstarker neuer mobiler Geräte und niedriglatenter Netzwerke noch einfacher, die Umgebung in 3D zu erfassen. Wenn diese Technologien in den Mainstream eindringen, werden die Erwartungen der Kunden an Online-Erfahrungen so schnell steigen, wie die Inhalte-Schöpfer mithalten können.

Besonders in der Autoindustrie, wo der Autokauf immer mehr online stattfindet, erwarten wir in den nächsten Jahren einen Anstieg des Interesses an AR-, VR- und 3D-Listen. Das Ziel ist es, eine einfache Fahrzeugdetail-Seite (VDP) in eine Fahrzeug-Erfahrungs-Seite (VEP) umzuwandeln, um sowohl großen als auch kleinen Autohändlern zu helfen, weiter zu florieren. Dies kann alles Mögliche umfassen, von der Hinzufügung von 3D-Logos und Rich-Media-Tags zu Listen bis hin zur Möglichkeit für Einkäufer, virtuell einen Satz Golf-Schläger in den Kofferraum eines Autos zu legen, um zu sehen, wie sie hineinpassen.

Es wird spannend sein zu sehen, wie diese Arten von Anwendungen allmählich in den Mainstream eindringen. Ich denke nicht, dass wir lange warten müssen.

Können Sie die Verbesserung der Klickraten und des Umsatzes in E-Commerce durch die Verwendung von 3D- anstelle von 2D-Bildern erläutern?

Ich bin am meisten mit dem Groß- und Einzelhandel für Autos vertraut. 3D-Bilder haben ein neues Vertrauensniveau für Online-Einkäufer geschaffen, was besonders bei teuren Artikeln wie Autos kritisch ist.

Unsere internen Daten zeigen, dass 3D-Bilder die Benutzerbeteiligung und die Zeit, die auf Fahrzeugdetail-Seiten verbracht wird, erhöhen, was wiederum den Autoumsatz erhöht. Die Bereitstellung eines lebensnahen 3D-Erlebnisses des Fahrzeugs schafft auch ein positives Gefühl gegenüber dem Händler, indem es das Vertrauen erhöht.

Eine der Optionen bei Fyusion ist es, Daten lokal oder in der Cloud zu verarbeiten, können Sie die Vorteile jeder Option erläutern?

Lokal, Edge-AI zwingt Entwickler, innerhalb erheblicher Einschränkungen zu arbeiten, insbesondere für den Einsatz von Mobiltelefonen. Neben den Standardbedenken für jeden AI-Entwickler – Wie optimiert ist das Netzwerk? Wie zuverlässig sind die Ergebnisse? – gibt es bestimmte praktische Bedenken, die klare Grenzen setzen. Speicherdruck, Batterie-Entladung, die Möglichkeit, dass Ihr Prozess vom Benutzer oder Betriebssystem im Hintergrund ausgeführt wird usw. Und das geht davon aus, dass vergleichbare CPUs und GPUs auf der Edge verfügbar sind. Selbst für Flaggschiffe ist dies selten der Fall.

Man muss für jeden möglichen Randfall planen; während in der Cloud jede Lösung überwacht und fein abgestimmt werden kann.

Aber kollektiv betrachtet kann Edge-AI als die perfekte “Autoscaling”-Lösung betrachtet werden: Für jeden neuen Benutzer haben Sie eine völlig neue Maschine zur Verfügung. Wenn Sie Ihr Netzwerk so optimiert haben, dass es vollständig auf der Edge läuft, können Sie genauso leicht zwei oder zwei Millionen Kunden bedienen.

Während die leistungsstärkste Hardware immer in der Cloud existiert, ist es allgemein anerkannt, dass Daten der König sind. Je mehr Daten und je näher sie an der Rohform sind, desto besser. AI auf der Edge hat Zugang zu unverarbeiteten, rohen Eingabedaten, ohne Einschränkungen. Während für eine Cloud-AI-Lösung Eingabedaten entweder verarbeitet (komprimiert, teilweise) oder enorm sein müssen, was zu einem ernsthaften Bandbreitenproblem führt.

Weil es dem Benutzer am nächsten ist, öffnet Edge-AI eine Reihe von Möglichkeiten, die Cloud-AI nicht bietet. Wenn es für die Ausführung in Echtzeit optimiert ist, kann es Echtzeit-Feedback liefern. Was bedeutet, dass Sie Lösungen erstellen können, die nicht nur Daten aufnehmen, sondern den Benutzer auch dazu ermutigen, bessere Daten bereitzustellen.

Wie wird 5G das schnelle Wachstum von Computer-Vision-Technologie-Anwendungen ermöglichen?

Bei höheren Verbindungsgeschwindigkeiten kann man mehr Verarbeitung in die Cloud verlagern, was neue Möglichkeiten für Computer-Vision-Anwendungen eröffnet. Es hängt jedoch von der Anwendung und wie weit sie verbreitet wird ab.

5G kann einen fragmentierten Einfluss haben und die digitale Kluft weiter vergrößern, da einige Teile der Welt immer schnellere Verbindungen haben, während andere Bereiche weiterhin langsame Verbindungen haben. Anwendungen, die auf Menschen mit Zugang zu 5G abzielen, werden offensichtlich profitieren. Aber breiter angelegte Anwendungen müssen möglicherweise zwischen der Zeit und dem Geld für das, was im Wesentlichen zwei Versionen der gleichen Anwendung werden, oder bei einer Version bleiben, die weniger leistungsfähig ist, aber auf fast jeder Verbindung laufen kann.

Welche Schritte unternimmt Fyusion, um von der zukünftigen 5G-Verbreitung zu profitieren?

Ich möchte dies vorab sagen, indem ich sage, dass Fyusion viel Zeit damit verbracht hat, sicherzustellen, dass Kunden auf unsere Anwendungen auch auf alten Telefonen mit schlechter Bandbreitenverfügbarkeit zugreifen können. Mit Manheim allein hat unsere Technologie über eine Million Autos abgebildet, und wir hätten dies sonst nicht erreicht.

Wir sind jedoch sehr begeistert von dem, was wir derzeit sehen – es ist ein Trio aus zunehmenden Verarbeitungsgeschwindigkeiten, 5G-Verbindungen und einer Revolution in der Kamera-Technologie. Wenn man all dies zusammenfügt, erhält man einige neue Entwicklungen, die ich leider noch nicht teilen kann.

Gibt es noch etwas, das Sie über Fyusion teilen möchten?

Es ist eine sehr aufregende Zeit, in der Computer-Vision-Branche zu arbeiten – als Disziplin bewegen wir uns in den Mainstream, nach vielen Jahren, in denen sie als zukünftige Technologie diskutiert wurde. Fyusion wächst schnell und wir stellen Computer-Vision-Wissenschaftler aus der ganzen Welt ein. Unsere Teammitglieder können von überall arbeiten, aber sie sind immer willkommen in unseren Büros in Potrero Hill.

Vielen Dank für das großartige Interview, Leser, die mehr erfahren möchten, sollten Fyusion besuchen.