FyusionのCEO兼共同創設者、Radu Rusu – インタビュー・シリーズ

Radu Rusuは、FyusionのCEO兼共同創設者です。Fyusionは、人工知能を使用して複雑な視覚的な問題を解決できる、美しい3D技術を開発することを目的とした会社です。彼らは、スマートフォンから美しい3D画像をキャプチャできる新しいファイル形式である.fyuseを開発し、特許を取得しました。これにより、ソーシャルメディアでセンセーションを巻き起こし、100万を超えるユーザーを集めました。

2012年から3Dを研究してきたRaduさん。現在、Open Perception, Inc.の社長兼CEOです。同社の使命についてお話しください。

私は2000年代初頭、大学院で研究を始めました。当時、ロボットが視覚的に世界を理解することを目指していました。約10年のロボティクス関連の3Dコンピュータビジョン研究を経て、2010年代初頭に私の研究がより広範な問題に適用できることを実感しました。Open Perceptionは、Willow Garageからスピンアウトして設立され、BSDライセンスのオープンソースプロジェクトであるPoint Cloud Library (PCL)プロジェクトを引き継ぎ、成長を支援しました。Open Perception, Inc.は、2012年4月にカリフォルニア州で独立した組織として設立され、2D/3Dのセンシングデータのオープンソースソフトウェアの開発、配布、採用を支援することを目的としています。

2014年、Fyusion, Inc.の共同創設者兼CEOになりました。Fyusion, Inc.の創設ストーリーについてお話しください。

ロボティクス研究中に、Fyusionの共同創設者と私は、ボトルネックがアルゴリズムではなく、データ形式であることを実感しました。機械学習は、特に視覚的な形式のデータを使用する際に、多くのドメインで精度のピークに達していました。世界は3Dですが、当時のデータは2D（写真や動画）でした。私たちは、3Dデータを機械学習プラットフォームで使用することで、世界の理解を変えることができる可能性があると考えました。

2014年、私たちは、新しい3Dデータを生成することを決めました。コンピュータビジョンと機械学習ソフトウェアを使用して、複数のデータソースを統合し、スマートフォンのような極めてスケーラブルなコモディティハードウェアを使用して、3Dデータを生成します。

Fyusionを設立し、美しい3D技術を開発して、人工知能を使用して複雑な視覚的な問題を解決することを目指しました。

私たちは、スマートフォンから美しい3D画像をキャプチャできる新しいファイル形式である.fyuseを開発し、特許を取得しました。これにより、ソーシャルメディアでセンセーションを巻き起こし、100万を超えるユーザーを集めました。

消費者向けの3Dの意味を再定義するアイデアに最初に惹かれたのは何ですか?

誰もがこの問題に取り組んでいないことを実感しました。これは未解決の問題でした。私のPh.D.プログラムでの経験と同様に、複雑な問題に取り組むことが私たちを刺激します。

この場合、ある程度、正しいです。必要なアルゴリズムは部分的にしか考えられていませんでした。ハードウェアも存在しませんでした。特に、スマートフォンのようなエッジデバイスでは、実時間の3Dコンピュータビジョンコードを実行することができませんでした。iPhone 4Sが発売されるまで待ち、スマートフォンのハードウェアが何ができるかを見て、コンピュータビジョンとロボティクス研究の専門知識を活用して、どれだけの機能を実現できるかを見ました。光場のキャプチャと処理をすべてソフトウェアで実現するために、再び設計し直す必要がありました。機能することを確認したら、Fyusionはスタートしました。

アナログ形式の2D写真があり、デジタル化されました。3D世界では、コンピュータゲームとコンピュータグラフィックスから「三角形メッシュとテクスチャ」（OBJのようなファイル形式）があり、人工的に生成されたオブジェクトを表現するために使用されていました。完全な幾何学に依存しており、実現不可能です。水や透明物、葉、遠くの物体などを三角形メッシュとテクスチャで表現することはできないです。

消費者向けの3D形式の必要性は明らかでした。新しいパラダイムに基づいて、光場のレンダリング方式で解決する必要があり、キャプチャ時に利用可能な情報（ジャイロスコープセンサーによるカメラの向きなど）を統合する必要がありました。機械学習で捨てられた情報を再推定することを目指しました。

これが私たちの機会でした。スタートアップが夢見るべきものです。難しい問題を見つけ、適切なタイミングとオープニングを待ち、解決するために全力を尽くします。

Fyusesを作成するプロセスについて、モバイルアプリを使用する場合に説明してください。

まだこの技術の初期段階にありますが、基本的には次の通りです。Fyusionまたはパートナー企業が開発したアプリケーションを使用して、スマートフォンのカメラを開きます。指示に従うと、コンピュータビジョンと機械学習で処理された.fyuseファイルがデバイス上で生成され、デバイス、Web、またはAR/VR/MRヘッドセットでレンダリングできます。

Fyusesを作成するために使用されるコンピュータビジョンと機械学習の技術について説明してください。

銀の弾丸はありませんが、3Dコンピュータビジョンと機械学習ツールの幅広いコレクションを使用して、この問題を解決しています。写真測量法（実質的に、単一のカメラを空間で移動させることで仮想カメラアレイを作成します）、ロボティクス（センサーフュージョンの大きな問題です。単一のカメラではなく、データを取得できる多数のセンサーがあります）、コンピュータグラフィックス（Siggraph 2019の私の研究を参照して、基本的な構造を表現する方法を理解してください）など、多くのアイデアがあります。すべてをデバイス上で実行し、リアルタイムで実行する必要があります。コンピュートシェーダーを利用し、アセンブリ言語でコードを書きます。さらに、センサーと計算能力が利用可能になるにつれ、ALISエンジンを使用して技術のさまざまな側面を改善します。これは長期的なビジョンであり、10年以上の労力を費やす必要があります。

.FyusesはVRアプリケーションにどのように影響するか?

私たちは、.Fyusesを使用することで、実世界のオブジェクトをデジタル化し、表示する必要があるすべてのVRアプリケーションに利益をもたらすと考えています。電子商取引、ヘルスケア、自動車、教育など、多くの分野とアプリケーションがあり、将来を非常に楽しみにしています。

Fyusesの将来についてはどう考えていますか?

現在の技術には限界はありませんが、現在の焦点は小規模から中規模のシーンやオブジェクトにあり、大規模な都市景観ではありません。

ARおよびMRアプリケーションにおけるFyusesの将来についてはどう考えていますか?

AR/VR/MRアプリケーションすべてを同じように扱います。3DオブジェクトをFyusionの技術でデジタル化したら、どこにでも配置できます。

仮想アシスタントまたはAIでFyusesを作成するアイデアについてはどう考えていますか?

私たちは、人々のためのインタラクティブな仮想アバターを作成する機会についてはまだ検討していません。これは確かに面白い可能性ですが、現在の問題に集中することに焦点を当てています。

FyusesまたはFyusion, Inc.についてさらに何かお話しいただけますか?

これはピッチのように聞こえるかもしれませんが… 私たちは、ロボティクスと3Dコンピュータビジョンの科学者、CERNの物理学者、優れたハッカー、エンジニアの混合チームです。多様性を好みます。私たちをより賢く、より強くします。私たちが行っていることに関心がある場合は、遠慮なく私たちに連絡してください。私たちは、すべての質問に答えるように尽力しています。コーヒーを飲みに来て、10年間滞在することになるかもしれません。

素晴らしいインタビュー、詳細についてはFyusionを訪れてください。