Fyusion의 CEO이자 공동 창립자 Radu Rusu – 인터뷰 시리즈

Radu Rusu는 Fyusion의 CEO이자 공동 창립자입니다. Fyusion은 3D 기술을 개발하여 인공지능으로 복잡한 시각 문제를 해결하는 것을 목표로 하는 회사입니다. 함께 새로운 파일 형식인 .fyuse를 개발하여 특허를 받았습니다. 이 파일 형식은 스마트폰에서 3D 이미지를 캡처할 수 있게 해주며, 소셜 미디어에서 큰 센세이션을 일으켜 1억 명 이상의 사용자를 모았습니다.

2012년부터 3D 기술을 연구해 왔으며, 현재 Open Perception, Inc.의 사장 및 CEO입니다. 이 비영리 조직의 사명 선언문을 공유해 주시겠습니까?

나는 2000년대 초에 3D 데이터 처리를 연구하기 시작했으며, 로봇이 시각적으로 세계를 더 잘 이해하도록 하는 아이디어를 가지고 있었습니다. 이것은 10년간의 로봇 관련 3D 컴퓨터 비전 연구로 이어졌습니다. 2010년대 초에 내가 연구하는 것이 더广泛한 문제에 적용될 수 있다는 것을 깨달았습니다. Open Perception은 Willow Garage의 스핀오프로 생성되었으며, BSD 라이선스의 오픈 소스 프로젝트인 Point Cloud Library (PCL) 프로젝트를 계속 발전시켰습니다. Open Perception, Inc.는 2012년 4월에 캘리포니아에서 독립적인 조직으로 설립되어 2D/3D 센서 데이터의 오픈 소스 소프트웨어 개발, 배포, 및 채택을 지원하는 목적으로 설립되었습니다.

2014년에 Fyusion, Inc.의 공동 창립자 및 CEO가 되었습니다. Fyusion, Inc.의 기원 이야기를 공유해 주시겠습니까?

로봇 연구에 참여하는 동안, Fyusion의 공동 창립자와 나는 데이터 형식이 알고리즘이 아닌 병목 현상임을 깨달았습니다. 기계 학습은 2D 데이터(사진 및 비디오)를 사용하여 많은 도메인에서 정확도를 높였습니다. 우리는 3D 데이터를 기계 학습 플랫폼에서 사용하여 세계를 이해하는 방식을変革할 수 있는 잠재력을 느꼈습니다.

2014년에 우리는 새로운 3D 데이터를 생성하기 위해 컴퓨터 비전 및 기계 학습 소프트웨어를 사용하여 다중 데이터 소스를 결합하고 스마트폰과 같은 cựcめて 확장 가능한 하드웨어를 사용하기로 결정했습니다.

우리는 Fyusion을 설립하여 인공지능으로 복잡한 시각 문제를 해결할 수 있는 새로운 3D 기술을 개발하는 것을 목표로 했습니다.

함께 우리는 스마트폰에서 3D 이미지를 캡처할 수 있는 새로운 파일 형식인 .fyuse를 개발하여 특허를 받았습니다. 이것은 즉시 소셜 미디어에서 큰 센세이션을 일으켜 1억 명 이상의 사용자를 모았습니다.

소비자 애플리케이션에서 3D의 의미를 재창조하는 아이디어에 처음으로 관심을 가졌던 것은 무엇입니까?

우리는 단순히 이것이 해결되지 않은 문제라는 것을 깨달았습니다. 이것은 우리가 해결하려고 하는 복잡한 문제입니다. 우리의 박사 과정에서 우리가 흥미를 느끼는 것은 실제로 해결할 수 없는 복잡한 문제입니다.

이 경우, 어느 정도는 옳았습니다. 필요한 알고리즘은 부분적으로만 생각되어 있었으며, 이를 실행하는 하드웨어는 존재하지 않았습니다. 특히 스마트폰과 같은 에지 디바이스에서는 그렇습니다. 우리는 실제로 3D 컴퓨터 비전 코드를 스마트폰에서 실시간으로 실행할 수 있도록 하기 위해 iPhone 4S가 출시될 때까지 기다려야 했습니다. 이전에는 아이폰에 단 하나의 CPU 코어가 있었기 때문입니다. 한번 우리는 스마트폰 하드웨어가 할 수 있는 것을 보았을 때, 우리는 컴퓨터 비전 및 로봇 연구 전문 지식을 사용하여 이러한 작은 카메라 및 CPU/GPU에 무엇을 넣을 수 있는지 보려고 했습니다. 이것은 오랜 시간이 걸렸으며, 우리는 다시 그려보는 것을 재고해야 했습니다. 한 번 우리는 이것이 작동하는 것을 보았을 때, Fyusion은 출발했습니다.

우리는 2D 사진을 아날로그 형식으로 가지고 있었으며, затем 그것들은 디지털화되었습니다. 우리는 3D 세계에서 큰 규모의 인스턴스를 가지고 있지 않았습니다. 컴퓨터 게임 및 컴퓨터 그래픽스에서 나온 “삼각형 메시 với 텍스처” (예: OBJ와 같은 파일 형식)가 있었으며, 이는 인공적으로 생성된 객체를 나타내는 것이었습니다. 이것은 완벽한 기하학에 의존합니다. 이것은 카메라로 물을 어떻게 캡처하고 표현합니까? 투명한 객체는 어떻습니까? 잎은 어떻습니까? 그리고 так weiter…

소비자 친화적인 3D 형식을 필요로 하는 것이 명백했습니다. 이것은 완전히 다른 패러다임에 기반해야 하며, “3D 이미지 렌더링” 방식으로 해결되어야 하며, 캡처 시에 उपलब있는 정보(예: 자이로스코프 센서를 통해 카메라 방향)를 포함해야 합니다. 그리고 나서 물론, 우리는 기계 학습을 통해 그 정보를 재추론하려고 합니다.

이것은 우리의 기회였으며, 이것은 스타트업이 꿈꾸어야 하는 것입니다. 정말 어려운 문제를 찾아내고, 올바른 시기와 기회를 기다리며, 그것을 해결하려고 분주히 노력합니다.

.fyuse를 생성하는 과정에 대해 설명해 주시겠습니까? 모바일 앱을 사용하여 .fyuse를 생성하는 사람에게는 무엇입니까?

우리는 아직 이 기술의 초기 단계에 있습니다. 하지만, 본질적으로는 다음과 같습니다. Fyusion 또는 파트너 애플리케이션이 제공하는 Fyusion ALIS SDK를 사용하여 스마트폰의 카메라를 열면, 지침을 따라야 합니다. 지침을 따라야 합니다. 그렇게 하면, .fyuse를 얻을 수 있습니다. 이것은 컴퓨터 비전 및 기계 학습으로 처리된 “파일 객체”입니다. 이것을 디바이스에서, 웹에서, 또는 AR/VR/MR 헤드셋에서 렌더링할 수 있습니다.

.fyuse를 현실로 만드는 데 사용되는 컴퓨터 비전 및 기계 학습 기술에 대해 설명해 주시겠습니까?

실버 불릿은 없습니다. 하지만, 우리는 3D 컴퓨터 비전 및 기계 학습 도구의 광범위한 칵테일을 만들었습니다. 여기에는 포토그램메트리(우리가 실제로 가상 카메라 어레이를 생성하기 위해 단일 카메라를 공간에서 이동시키기 때문입니다)에서 아이디어가 있습니다. 로봇공학(우리가 단일 카메라가 아닌 다수의 센서에서 데이터를 가져와서 이 문제를 해결하는巨大한 센서 퓨전 문제이기 때문입니다) 및 컴퓨터 그래픽스(우리가 표현하는 기본 구조를 이해하기 위해 Siggraph 2019 작업을 참조하십시오) 등이 있습니다. 모든 것이 디바이스에서 실시간으로 실행되어야 하므로, 우리는 컴퓨팅 셰이더를 사용하고 어셈블리 언어로 코드를 작성합니다. 앞서 언급했듯이, 이것은 시작에 불과합니다. 더 많은 센서와 계산 능력이 우리에게 제공될수록, 우리는 ALIS 엔진을 사용하여 기술의 여러 측면을 개선할 것입니다. 이것은 장기적인 비전이며, 우리는 앞으로 10년 이상의 작업을 통해 디지털화된 복잡한 실제 장면이 보이는 방식에 완전히 만족하기 위해 앞으로 나아갈 것입니다.

.fyuse가 VR 애플리케이션에 미칠 영향에 대해 설명해 주시겠습니까?

우리는 ANY VR 애플리케이션에서 실제 세계의 객체를 디지털화하고 표시하는 것이 중요할 때, 우리의 ALIS 엔진과 .fyuse를 사용하는 것이益处가 있다고 생각합니다. 실제로, 전자 상거래, 헬스케어, 자동차, 교육 등 다양한 분야와 애플리케이션에서 이를 사용할 수 있으며, 우리는 이 미래에 매우 흥奮합니다.

Fyuses를 사용하는 VR 애플리케이션의 미래에 대해 무엇을 예상하십니까?

우리는 현재 기술에 대한 제한을 보지 못합니다. 그러나, 현재 우리의 초점은 작은 장면 및 객체에 있습니다. 우리는 아직 대도시 풍경에는 집중하지 않고 있습니다.

AR 및 MR 애플리케이션에서 Fyuses의 미래에 대한 비전을 공유해 주시겠습니까?

우리는 AR/VR/MR 애플리케이션을 정확히 동일하게 다룹니다. 3D 객체를 디지털화한 후, 우리는 그것을 어디에でも 배치할 수 있습니다.

가상 조력자 또는 AI와 함께 Fyuses를 만들 수 있는 가능성에 대해 논의했습니까?

우리는 아직 가상 아바타를 만들 가능성에 대해 논의하지 않았습니다. 이것은 분명히 흥미로운 가능성입니다. 그러나, 우리는 현재 해결하고 있는 문제에 집중하려고 합니다.

Fyuses 또는 Fyusion, Inc.에 대해 더 공유하고 싶은 것이 있습니까?

이것은 피치처럼 들릴 수 있지만… 우리는 로봇 공학자와 3D 컴퓨터 비전 과학자, CERN 물리학자, 훌륭한 해커 및 엔지니어 등으로 구성된 팀입니다. 우리는 모든 종류의 다양성을 좋아합니다. 왜냐하면 그것은 우리를 더智能하고 더 강력하게 만だから입니다. 만약 우리가 작업하는 것이 읽는 사람에게 관심이 있다면, 절대로 주저하지 말고 우리에게 연락해 주시기 바랍니다. 우리는 모든 사람에게 답변하려고 최선을 다하고 있습니다. 그리고, 여러분은 커피를 마시러 오는 상황에서 10년 동안 머물 수 있습니다.

감사합니다. 더 많은 정보를 원하는 독자는 Fyusion을 방문하십시오.