라두 루수, Fyusion의 CEO & 공동 창립자 – 인터뷰 시리즈

라두 루수는, Fyusion의 CEO 및 공동 창립자로서, 인공지능을 통해 복잡한 시각 문제를 해결할 수 있는 시각적으로惊艶한 3D 기술을 구축하는 것을 목표로 하는 회사입니다. 함께 새로운 파일 형식인 .fyuse를 개발 및 특허받았으며, 이는 스마트폰에서驚艶한 3D 이미지를 캡처할 수 있게 해주며, 소셜 미디어 센세이션을 일으키고 1억 명 이상의 사용자를 모바일 애플리케이션을 통해 끌어모았습니다.

2012년부터 3D를 작업해 왔으며, 현재 Open Perception, Inc.의 사장 및 CEO입니다. 이 비영리 기관의 사명 선언문을 공유해 주실 수 있나요?

저는 2000년대 초에 3D 데이터 처리를 시작했으며, 로봇이 시각적으로 세계를 더 잘 볼 수 있도록 하는 아이디어를 가지고 있었습니다. 이것은 약 10년간의 로봇 관련 3D 컴퓨터 비전 연구를 통해 이어졌으며, 2010년대 초에 제가 작업한 것이 더广い 문제에 적용될 수 있다는 것을 깨달았습니다. Open Perception은 Willow Garage의 스핀오프로 생성되었으며, BSD 라이선스의 오픈 소스 이니셔티브인 Point Cloud Library (PCL) 프로젝트를 가져와서 그 성장을 계속 지원했습니다. Open Perception, Inc.는 2012년 4월에 독립적인 조직으로 캘리포니아에서 설립되었으며, 2D/3D 센서 데이터 처리를 위한 오픈 소스 소프트웨어의 개발, 배포, 및 채택을 지원하는 목적으로 설립되었습니다.

2014년에 Fyusion, Inc.의 공동 창립자 및 CEO가 되셨습니다. Fyusion, Inc.의 기원 이야기를 공유해 주실 수 있나요?

로봇 연구에 참여한 동안, Fyusion의 공동 창립자와 저는 알고리즘이 아니라 데이터 형식이 병목 현상이라는 것을 깨달았습니다. 기계 학습은 많은 도메인에서 정확도의 정점에 도달했지만, 특히 시각적 형식에서 사용하는 데이터 유형이 2차원(사진 및 비디오)인 반면, 세계는 3차원입니다. 우리는 3D 데이터를 기계 학습 플랫폼에서 활용하여 세계를 이해하는 방식을 변혁할 수 있는 잠재력을 느꼈습니다.

2014년에 우리는 컴퓨터 비전 및 기계 학습 소프트웨어를 통해 여러 데이터 소스를 결합하여 새로운 유형의 3D 데이터를 생성하기로 결정했습니다. 우리는 Fyusion을 설립하여 인공지능을 통해 복잡한 시각 문제를 해결할 수 있는 시각적으로惊艶한 3D 기술을 구축하는 것을 목표로 했습니다.

함께 새로운 파일 형식인 .fyuse를 개발 및 특허받았으며, 이는 스마트폰에서驚艶한 3D 이미지를 캡처할 수 있게 해주며, 소셜 미디어 센세이션을 일으키고 1억 명 이상의 사용자를 모바일 애플리케이션을 통해 끌어모았습니다.

소비자 애플리케이션을 위한 3D의 의미를 재창조하는 아이디어에 처음으로 매료된 것은 무엇인가요?

우리는 단순히 никто가 이 문제를 해결하지 않았음을 깨달았습니다. 이는 해결되지 않은 문제였습니다. 우리의 박사 학위 프로그램에서와 같이, 우리를 지적으로 흥奮시키는 것은 정말로 복잡한 문제입니다. 누군가가 이것을 해결할 수 없다고 말했지만, 우리는 부분적으로 그것이 사실이라고 생각했습니다. 이 문제를 해결하는 데 필요한 알고리즘은 부분적으로만 생각되어 있었으며, 특히 스마트폰과 같은 에지 디바이스에서 이것들을 실행할 수 있는 하드웨어는 존재하지 않았습니다. 우리는 실제로 3D 컴퓨터 비전 코드를 스마트폰에서 실행할 수 있도록 iPhone4S가 출시될 때까지 기다려야 했습니다. 그때부터 우리는 컴퓨터 비전 및 로봇 연구 전문 지식을 사용하여 이러한 작은 카메라와 CPU/GPU에 무엇을 넣을 수 있는지 보려고 했습니다. 이것은 시간이 걸렸지만, 일단 이것이 작동하는 것을 보았을 때, Fyusion은 출발했습니다.

우리는 2D 사진을 아날로그 형식으로 가지고 있었으며, затем 이것들은 모든 것과 함께 디지털화되었습니다. 우리는 “삼각형 메시 với 텍스처”를 가진 컴퓨터 게임 및 컴퓨터 그래픽스에서 온 OBJ와 같은 파일 형식을 통해 3D 세계에서 얻은 唯一의 구현을 가지고 있었습니다. 이것들은 인공적으로 생성된 게임 오브젝트를 나타내는 데 사용되었습니다. 이것들은 완벽한 기하학에 크게 의존했으며, 이는 불가능했습니다. 카메라로 물을 어떻게 삼각형 메시로 캡처하고 표현할 수 있나요? 투명한 물체는 어떻습니까? 나무는 어떻습니까? 멀리 있는 것들은 어떻습니까?

소비자 친화적인 3D 형식을 필요로 하는 것이 명백했습니다. 이것은 완전히 다른 패러다임에 기반해야 했으며, “3D 이미지 렌더링” 방식(즉, 라이트 필드)으로 해결되어야 했으며, 캡처 시에 사용할 수 있는 정보(예: 자이로스코프 센서를 통해 카메라 방향)를 포함해야 했습니다. 그리고 물론, 우리는 기계 학습을 통해 버려진 정보를 재추론하려고 했습니다.

이것은 우리의 기회였으며, 이것은 스타트업이 꿈꾸어야 할 것입니다. 정말 어려운 문제를 찾고, 적절한 시기와 기회를 기다린 다음, 그것을 해결하려고 열심히 노력하세요.

코어 기술은 누구나 카메라를 사람, 객체 또는 장면 주변으로 이동시켜서immerssive, 상호작용하는 3D 이미지를 생성할 수 있습니다. 모바일 앱을 사용하여 fyuse를 생성하는 과정을 설명해 주실 수 있나요?

우리는 아직 이 기술의 초기 단계에 있습니다. 하지만, 요약하면 다음과 같습니다. Fyusion이나 파트너 애플리케이션이 작성한 스마트폰 애플리케이션을 열고, 지침에 따라 진행하면, 컴퓨터 비전 및 기계 학습으로 처리된 “파일 객체”인 .fyuse를 디바이스에서 얻을 수 있습니다. 이것은 디바이스, 웹, 또는 AR/VR/MR 헤드셋에서 렌더링할 수 있습니다.

이것을 현실로 만드는 데 사용되는 컴퓨터 비전 및 기계 학습 기술에 대해 논의해 주실 수 있나요?

여기에는 실버 불릿이 없습니다. 하지만, 3D 컴퓨터 비전 및 기계 학습 도구의 광범위한 칵테일을 해결하기 위해 생성했습니다. 여기에는 사진 측량법(우리가 실제로 가상 카메라 배열을 생성하기 위해 단일 카메라를 공간에서 이동시키기 때문입니다), 로봇공학(거대한 센서 퓨전 문제입니다. 우리는 더 이상 단일 카메라를 가지고 있지 않습니다. sondern 많은 센서에서 데이터를 가져와서 이 문제를 해결하는 데 도움이 됩니다), 컴퓨터 그래픽스(우리의 Siggraph 2019 작업을 살펴보면, 우리는 일부 기본 구조를 어떻게 표현하는지 이해할 수 있습니다) 등이 포함됩니다. 모든 것이 디바이스에서 실시간으로 실행될 수 있도록 해야 했으며, 이는 컴퓨팅 셰이더를 사용하고 어셈블리 언어로 코드를 작성하는 것을 의미합니다. 앞으로도 더 많은 센서와 계산 능력이 우리에게 제공될수록, 우리는 ALIS 엔진을 사용하여 기술의 여러 측면을 개선할 것입니다. 이것은 장기적인 비전이며, 우리는 완전히 만족할 수 있도록 복잡한 실제 장면을 디지털화하는 방식으로 10년 이상의 작업을 앞두고 있습니다.

.fyuses는 VR 애플리케이션에 혼란을 일으킬 것입니다. 현재 .fyuses를 사용할 수 있는 VR 애플리케이션 유형에 대해 논의해 주실 수 있나요?

우리는 실제 세계의 객체를 디지털화하고 표시하는 것이 중요한 모든 VR 애플리케이션에서 ALIS 엔진과 .fyuses를 사용하는 것이益である다고 생각합니다. 전자 상거래, 헬스케어, 자동차, 교육 등 다양한 垂直 및 애플리케이션에서 우리는 매우 흥奮합니다.

Fyuses를 위한 VR 애플리케이션의 미래는 무엇이라고 생각하나요?

우리는 현재 기술에 대한 제한을 보지 않습니다. 그러나 현재 우리의 초점은 더 큰 도시 풍경이 아닌 작은 장면 및 객체에 있습니다.

나는 쉽게 Fyuses가 미래의 증강 현실 (AR) 및 混合 현실 (MR) 애플리케이션에서 사용될 수 있을 것이라고 상상할 수 있습니다. AR 및 MR 설정에서 Fyuses의 미래에 대한 ваш의 비전은 무엇인가요?

우리는 AR/VR/MR 애플리케이션을 정확히 동일하게 처리합니다. 3D 객체가 우리의 기술을 사용하여 디지털화되면, 장면에서 추출하여 어디에でも 배치할 수 있습니다.

팀은 가상 어시스턴트 또는 AI와 함께 Fyuses를 생성하는 아이디어를 논의했나요?

우리는 아직 대화형 가상 아바타를 생성하는 기회를 탐색하지 않았습니다. 이것은 확실히 흥미로운 가능성입니다. 그러나 우리는 현재 작업 중인 문제를 해결하는 데 집중하려고 합니다.

Fyuses 또는 Fyusion, Inc.에 대해 공유하고 싶은 것이 있나요?

이것은 피치처럼 들릴 수 있지만… 우리는狂的な 로봇공학자 및 3D 컴퓨터 비전 과학자이며, CERN 물리학자, 훌륭한 해커 및 엔지니어로 구성되어 있습니다. 우리는 모든 종류의 다양성을 좋아하며, 이것은 우리를 더 지혜롭고 강력하게 만듭니다. 우리가 작업 중인 것이 관심을 끌 경우, 누구든지 우리에게 연락해 주시기 바랍니다. 우리는 모두에게 답변하려고 노력하고 있으며, 커피를 마시러 오신 후에 10년 동안 머무를 수도 있습니다.

감사합니다. 더 많은 정보를 배우고 싶은 독자는 Fyusion을 방문하시기 바랍니다.