Stephen Miller, Co-Founder & SVP of Engineering at Fyusion – Interview Series

Stephen Miller ist der Co-Founder und SVP of Engineering bei Fyusion, einem 3D-Bildverarbeitungs- und Computer-Vision-Unternehmen, das Teil der Cox Automotive-Gruppe ist. Bevor er Fyusion gründete, war er PhD-Student an der Stanford University, wo er Informatik studierte, und arbeitete an persönlichen Robotik-Projekten wie Falten von Wäsche und chirurgischem Knoten während seines Bachelor-Studiums an der UC Berkeley. Er ist ein Google Hertz Fellow, SAP Stanford Graduate Fellow und NSF Fellow-Alumnus.

Können Sie erklären, was Fyusion ist und wie es die einfache Erfassung und Visualisierung von 3D-Daten ermöglicht?

Fyusion ist ein Computer-Vision-Unternehmen, das kundenorientierte 3D-Erfahrungen mit KI-Technologie bietet. Wir ermöglichen es Menschen, 3D-Bilder über eine einfache Smartphone-App zu erfassen, die auf den meisten Android- und iOS-Geräten läuft. Die App bietet schrittweise Anleitungen und ist so konzipiert, dass sie von jedem verwendet werden kann, unabhängig von technischen Fähigkeiten. Die Erfassung des Bildes dauert etwa eine oder zwei Minuten. Von dort aus kann unser KI-Engine, ALIS, 3D-Bilder analysieren und diese visuellen Daten in handlungsfähige Informationen umwandeln. Derzeit konzentrieren wir uns darauf, 3D-Bilder zur Diagnose von Außenschäden an Autos zu verwenden.

Können Sie erklären, wie die Algorithmen das Dateiformat .fyuse verwenden, um es einem Smartphone mit einer einzigen Kamera zu ermöglichen, 3D-Bilder zu erstellen?

Ich finde es hilfreich, das .fyuse-Format neben Fotos und Videos zu betrachten. Ein Foto erfasst einen Moment in der Zeit aus einem festen Winkel, und ein Video erfasst eine Reihe dieser Momente in einer linearen Zeitachse. Im Gegensatz dazu erfasst ein .fyuse-Bild, was wir gerne als “einen Moment im Raum” bezeichnen. Der Betrachter ist nicht auf einen einzigen Winkel oder eine lineare Zeitachse beschränkt: Er kann nicht nur eine Seite von etwas sehen, sondern auch darum herum.

Um ein .fyuse-Bild zu erstellen, kreist der Fotograf sein Objekt in einer Richtung mit einer Handykamera. Alternativ ist Fyusion-Technologie auch mit festen Bildgebungs-Lösungen und nicht-traditionellen Bildgebungs-Lösungen wie Drohnen kompatibel.

Unser .fyuse-Dateiformat bringt diese Bilder zum Leben. Es ist leicht und ermöglicht komplexe, mehrfach interaktive Funktionen. Es ist auch vollständig kompatibel mit Laptops, Tablets und Smartphones, die der durchschnittliche Benutzer bereits in seinem Arsenal hat.

Können Sie einige der Daten diskutieren, die mit Fyusion erfasst und analysiert werden?

Bei Autos erkennt ALIS jeden Teil des Fahrzeugs und kann dann bestimmen, wo Schäden vorhanden sind, die Größe und Schwere der Schäden und potenzielle Falschpositiven wie Schmutz, der von der Straße aufgewirbelt wird, eliminieren. Die von uns entwickelte und patentierte Technologie kann andere Probleme lösen, aber dies ist das, auf das wir uns derzeit konzentrieren.

Können Sie das KI-basierte Lightfield Information Suite (ALIS) diskutieren?

ALIS ist der Motor hinter jedem Fyusion-Produkt. Es ermöglicht leichte 3D-Bildverarbeitung und tiefes visuelles Verständnis. Es gibt drei Teile, die ALIS ausmachen: Capture, Engine und Viewer. Im Capture-Modul enthält die mobile Anwendung integrierte Tutorials und anpassbare Workflows, die es Benutzern ermöglichen, hochwertige 3D-Bilder mit den meisten Smartphones auf dem Markt zu erfassen. Fyusions Bildaufnahme unterstützt auch DSLRs, Drohnen und eine Vielzahl anderer Geräte.

Im zweiten Schritt, Engine, analysiert ALIS diese 3D-Bilder und wandelt sie in handlungsfähige Informationen um, wie z.B. die Arten von Schäden, die unsere Kunden benötigen. Es kann auch Beweise für seine Ergebnisse liefern, indem es hochauflösende 2D-Bilder der Schäden erstellt, die es findet.

Schließlich zeigt der Viewer das .fyuse-Dateiformat an. Das .fyuse ist patentiert und leicht und bietet ein immersives 3D-Erlebnis mit schnellen Ladezeiten. Wir können alle Arten von Erfahrungen mit einem .fyuse hinzufügen, einschließlich Audio, Video und natürlich 2D-Bilder.

Fyusion ist sowohl AR- als auch VR-fähig, wie groß glauben Sie, dass diese Anwendungen in der Zukunft sein werden?

Augmented Reality ist eine Milliardendollar-Industrie, die immer mainstream-artiger wird, und es ist noch einfacher, die Umgebung in 3D zu erfassen, dank leistungsstarker neuer mobiler Geräte und niedrig verzögerter Netzwerke. Wenn diese Technologien in den Mainstream eindringen, werden die Erwartungen der Kunden an Online-Erfahrungen so schnell steigen, wie es den Content-Erstellern möglich ist, mitzuhalten.

Insbesondere in der Autoindustrie, wo das Autokaufen immer mehr online stattfindet, erwarten wir in den nächsten Jahren einen Anstieg des Interesses an AR-, VR- und 3D-Listen. Das Ziel ist es, eine einfache Fahrzeugdetailseite (VDP) in eine Fahrzeugerfahrungseite (VEP) umzuwandeln, um sowohl großen als auch kleinen Autohändlern zu helfen, weiter zu gedeihen. Dies kann alles Mögliche umfassen, von der Hinzufügung von 3D-Logos und reichen Medientags zu Listen bis hin zur Möglichkeit für Einkäufer, virtuell einen Satz Golf-Schläger in den Kofferraum eines Autos zu legen, um zu sehen, wie sie hineinpassen.

Es wird aufregend sein zu sehen, wie diese Arten von Anwendungen beginnen, in den Mainstream-Einsatz zu gelangen. Ich denke nicht, dass es lange dauern wird.

Können Sie die Verbesserung der Klickraten und des Umsatzes diskutieren, die durch die Verwendung von 3D- anstelle von 2D-Bildern im E-Commerce erzielt werden?

Ich bin am meisten mit dem Groß- und Einzelhandel mit Autos vertraut. 3D-Bilder haben ein neues Maß an Vertrauen für Online-Einkäufer geschaffen, was besonders bei teuren Artikeln wie Autos kritisch ist.

Unsere internen Daten zeigen, dass 3D-Bilder die Benutzerbeteiligung und die Zeit, die auf Fahrzeugdetailseiten verbracht wird, erhöhen, was wiederum zu höheren Autoverkäufen führt. Die Bereitstellung eines lebensechten 3D-Erlebnisses des Fahrzeugs baut auch positives Vertrauen zum Händler auf, indem es Vertrauen erhöht.

Eine der Optionen bei Fyusion ist es, Daten lokal oder in der Cloud zu verarbeiten, können Sie die Vorteile jeder Option diskutieren?

Lokal, Edge-AI zwingt Entwickler, innerhalb erheblicher Einschränkungen zu arbeiten, insbesondere für den Einsatz von Mobiltelefonen. Neben den üblichen Bedenken für jeden AI-Entwickler – Wie optimiert ist das Netzwerk? Wie zuverlässig sind die Ergebnisse? – gibt es bestimmte praktische Bedenken, die klare Grenzen setzen. Speicherdruck, Batterieentladung, die Möglichkeit, dass Ihr Prozess vom Benutzer oder Betriebssystem in den Hintergrund gesetzt wird usw. Und das geht davon aus, dass vergleichbare CPUs und GPUs am Rand verfügbar sind. Selbst für Flaggschiffe ist dies selten der Fall.

Sie müssen für jeden möglichen Randfall planen; während in der Cloud jede Lösung überwacht und fein abgestimmt werden kann.

Aber kollektiv betrachtet kann Edge-AI als die perfekte “Autoskalierung”-Lösung betrachtet werden: Für jeden neuen Benutzer haben Sie eine völlig neue Maschine zur Verfügung. Wenn Sie Ihr Netzwerk so optimiert haben, dass es vollständig am Rand läuft, können Sie genauso leicht zwei oder zwei Millionen Kunden bedienen.

Während die leistungsstärkste Hardware immer in der Cloud existiert, ist es allgemein anerkannt, dass Daten der König sind. Je mehr Daten und je näher sie an rohe Daten herankommen, desto besser. AI am Rand hat Zugang zu unverarbeiteten, rohen Eingabedaten, ohne Einschränkungen. Während für eine Cloud-AI-Lösung Eingabedaten verarbeitet (komprimiert, teilweise) oder enorm sein müssen, woraufhin die Bandbreite zu einer ernsthaften Sorge wird.

Da es dem Benutzer am nächsten ist, öffnet Edge-AI eine Reihe von Möglichkeiten, die Cloud-AI nicht bietet. Wenn es für die Ausführung in Echtzeit optimiert ist, kann es Echtzeit-Feedback liefern. Was bedeutet, dass Sie Lösungen erstellen können, die nicht nur Daten aufnehmen, sondern den Benutzern auch dazu ermutigen, bessere Daten bereitzustellen.

Wie wird 5G das schnelle Wachstum von Computer-Vision-Technologie-Anwendungen ermöglichen?

Bei höheren Verbindungsgeschwindigkeiten können Sie mehr Verarbeitung in die Cloud verlagern, was neue Möglichkeiten für alle Arten von Computer-Vision-Anwendungen eröffnet. Es hängt jedoch von der Anwendung und wie weit sie verbreitet wird ab.

5G kann einen fragmentierten Einfluss haben und die digitale Kluft weiter vergrößern, da einige Teile der Welt immer schnellere und schnellere Verbindungen haben, während andere Bereiche weiterhin langsame Verbindungen haben. Anwendungen, die auf Menschen mit Zugang zu 5G abzielen, werden offensichtlich profitieren. Aber breiter angelegte Anwendungen müssen möglicherweise zwischen der Zeit und dem Geld wählen, die für das, was im Wesentlichen zwei Versionen derselben Anwendung werden, oder bei einer Version bleiben, die weniger leistungsfähig, aber auf fast jeder Verbindung lauffähig ist.

Welche Schritte unternimmt Fyusion, um von der zukünftigen 5G-Ausrollung zu profitieren?

Ich möchte dies mit der Aussage einleiten, dass Fyusion viel Zeit damit verbracht hat, sicherzustellen, dass Kunden auf unsere Anwendungen auch auf alten Telefonen mit schlechter Bandbreiteverfügbarkeit zugreifen können. Mit Manheim allein haben wir über eine Million Autos abgebildet, und wir hätten das nicht erreicht, wenn wir es nicht getan hätten.

Das gesagt, wir sind sehr aufgeregt über das, was wir derzeit sehen – es ist ein Trio aus zunehmenden Verarbeitungsgeschwindigkeiten, 5G-Verbindungen und nichts weniger als einer Revolution in der Kamera-Technologie. Wenn man all dies zusammenfügt, erhält man einige neue Entwicklungen, die ich leider noch nicht mit Ihnen teilen kann.

Gibt es noch etwas, das Sie über Fyusion teilen möchten?

Es ist eine sehr aufregende Zeit, in der Computer-Vision-Branche zu arbeiten – als Disziplin bewegen wir uns in den Mainstream, nach vielen Jahren, in denen wir als zukünftige Technologie diskutiert wurden. Fyusion wächst schnell und wir stellen Computer-Vision-Wissenschaftler aus der ganzen Welt ein. Unsere Teammitglieder können von überall arbeiten, aber sie sind immer in unseren Büros in Potrero Hill willkommen.

Vielen Dank für das großartige Interview, Leser, die mehr erfahren möchten, sollten Fyusion besuchen.