Radu Rusu, CEO & Co-Founder của Fyusion – Phỏng vấn Series

Radu Rusu, là CEO & Co-Founder của Fyusion, một công ty có mục tiêu xây dựng các công nghệ 3D mới, trực quan tuyệt đẹp để giải quyết các vấn đề phức tạp về hình ảnh với trí tuệ nhân tạo. Cùng nhau, họ đã phát triển và cấp bằng sáng chế một định dạng tệp mới, gọi là .fyuse, cho phép mọi người chụp ảnh 3D tuyệt đẹp từ điện thoại thông minh của mình, gây ra một hiện tượng trên mạng xã hội và thu hút hơn 100 triệu người dùng thông qua các ứng dụng di động của người tiêu dùng.

Bạn đã làm việc về 3D từ năm 2012, hiện tại bạn là Chủ tịch và CEO của Open Perception, Inc. Bạn có thể chia sẻ tuyên bố sứ mệnh của tổ chức phi lợi nhuận này không?

Tôi bắt đầu sự nghiệp của mình trong lĩnh vực xử lý dữ liệu 3D vào đầu những năm 2000, khi tôi đang theo học sau đại học, với ý tưởng trong đầu rằng tôi sẽ giúp các robot nhìn và hiểu thế giới tốt hơn từ góc độ trực quan. Điều đó đã dẫn tôi qua khoảng một thập kỷ nghiên cứu về tầm nhìn máy tính và robot, và vào đầu những năm 2010, tôi nhận ra rằng những gì tôi đang làm có thể được áp dụng cho một loạt các vấn đề rộng lớn hơn. Open Perception được tạo ra như một nhánh của Willow Garage, và đã tiếp tục phát triển dự án Thư viện Đám mây Điểm (PCL) – một trong những sáng kiến mã nguồn mở được cấp phép BSD của chúng tôi. Open Perception, Inc. được thành lập tại California vào tháng 4 năm 2012 như một tổ chức độc lập được tạo ra với mục đích hỗ trợ sự phát triển, phân phối và áp dụng phần mềm mã nguồn mở cho xử lý dữ liệu cảm biến 2D/3D, với các ứng dụng trong nghiên cứu, giáo dục và phát triển sản phẩm.

Vào năm 2014, bạn trở thành Co-Founder và CEO của Fyusion, Inc. Bạn có thể chia sẻ câu chuyện về sự ra đời của Fyusion, Inc không?

Khi tham gia vào nghiên cứu robot, các đồng sáng lập của Fyusion và tôi nhận ra rằng các nút thắt không còn là thuật toán mà là định dạng dữ liệu. Học máy đã đạt đến đỉnh cao về độ chính xác vào thời điểm đó trong nhiều lĩnh vực vì loại dữ liệu chúng tôi đang sử dụng, đặc biệt là trong các định dạng trực quan, là hai chiều (như ảnh và video), trong khi thế giới là ba chiều. Chúng tôi cảm thấy có tiềm năng để biến đổi cách mọi người hiểu thế giới bằng cách tận dụng dữ liệu 3D trong các nền tảng học máy.

Vào năm 2014, chúng tôi quyết định tạo ra một loại dữ liệu 3D mới, được tạo ra thông qua phần mềm tầm nhìn máy tính và học máy, bằng cách kết hợp nhiều nguồn dữ liệu và sử dụng phần cứng hàng hóa có thể mở rộng cực kỳ có sẵn trong túi của chúng tôi – tức là điện thoại thông minh của chúng tôi.

Chúng tôi thành lập Fyusion với mục tiêu xây dựng các công nghệ 3D mới, trực quan tuyệt đẹp để giúp mọi người giải quyết các vấn đề phức tạp về hình ảnh với trí tuệ nhân tạo.

Cùng nhau, chúng tôi đã phát triển và cấp bằng sáng chế một định dạng tệp mới, gọi là .fyuse, cho phép mọi người chụp ảnh 3D tuyệt đẹp từ điện thoại thông minh của mình. Nó đã gây ra một hiện tượng trên mạng xã hội và thu hút hơn 100 triệu người dùng thông qua các ứng dụng di động của người tiêu dùng.

Điều gì đã thu hút bạn đến ý tưởng về việc tái định nghĩa 3D cho các ứng dụng của người tiêu dùng?

Chúng tôi đơn giản nhận ra rằng không ai đã giải quyết vấn đề này ở quy mô lớn. Đó là một vấn đề chưa được giải quyết. Giống như trong chương trình tiến sĩ của chúng tôi, những thứ kích thích chúng tôi về mặt trí tuệ là những vấn đề phức tạp mà ai đó nói rằng không thể giải quyết.

Trong trường hợp này, đến một mức độ nhất định, họ đã đúng. Các thuật toán cần thiết để giải quyết vấn đề này chỉ được suy nghĩ một phần và phần cứng cần thiết để chạy chúng không tồn tại, đặc biệt là trên các thiết bị cạnh như điện thoại thông minh. Chúng tôi thực sự phải chờ đến khi iPhone 4S được phát hành để chúng tôi có thể chạy mã tầm nhìn máy tính 3D thời gian thực trên điện thoại thông minh, vì trước đó, iPhone chỉ có một lõi CPU. Khi chúng tôi bắt đầu thấy những gì phần cứng điện thoại thông minh có thể làm, chúng tôi trở nên rất quan tâm đến việc đưa chuyên môn về tầm nhìn máy tính và nghiên cứu robot của chúng tôi và xem những gì chúng tôi có thể nhét vào những máy ảnh và CPU/GPU nhỏ này. Điều đó đã mất một thời gian để quay lại bảng vẽ và suy nghĩ lại về cách tưởng tượng và thực hiện việc thu thập và xử lý trường ánh sáng hoàn toàn thông qua phần mềm. Khi chúng tôi thấy nó hoạt động, Fyusion đã bắt đầu.

Chúng tôi đã từng có ảnh 2D dưới dạng tương tự, và sau đó chúng chỉ được số hóa với mọi thứ khác. Sự hiện thân duy nhất mà chúng tôi có trong thế giới 3D ở quy mô lớn là “lưới tam giác với kết cấu” (ví dụ: định dạng tệp OBJ) đến từ trò chơi máy tính và đồ họa máy tính và được thiết kế để đại diện cho các đối tượng được tạo ra một cách nhân tạo trong một trò chơi. Chúng phụ thuộc nặng vào hình học hoàn hảo, điều này là không thể đạt được – làm thế nào để bạn chụp và đại diện cho nước như một lưới tam giác với một máy ảnh? Những vật thể trong suốt? Lá cây? Những thứ ở xa? Và như vậy…

Nó rõ ràng là ai đó cần giải quyết nhu cầu về các định dạng 3D thân thiện với người tiêu dùng. Nó phải dựa trên một mô hình hoàn toàn khác và được giải quyết theo cách “tạo hình ảnh 3D” (tức là trường ánh sáng), và kết hợp thông tin có sẵn tại thời điểm chụp (như hướng máy ảnh thông qua cảm biến con quay hồi chuyển) mà thường bị loại bỏ khi bạn chụp một hình ảnh 2D. Và sau đó, tất nhiên, chúng tôi đang cố gắng suy luận lại thông tin bị loại bỏ đó thông qua học máy.

Đây là cơ hội của chúng tôi, và đó là những gì các công ty khởi nghiệp nên mơ ước: tìm một vấn đề thực sự khó mà họ đam mê, chờ đợi đúng thời điểm và cơ hội, và điên cuồng cố gắng giải quyết nó.

Công nghệ lõi cho phép bất kỳ ai tạo ra hình ảnh 3D tương tác, được gọi là .fyuses, bằng cách di chuyển bất kỳ máy ảnh nào xung quanh một người, vật thể hoặc cảnh. Bạn có thể thảo luận về quá trình để tạo ra một .fyuse bằng ứng dụng di động không?

Chúng tôi vẫn còn trong giai đoạn sơ khai của công nghệ này, nhưng bản chất của nó là: Bạn lấy một điện thoại thông minh có ứng dụng được viết bởi Fyusion hoặc một ứng dụng đối tác đang sử dụng SDK ALIS của Fyusion, và bạn mở máy ảnh. Bạn nhận được hướng dẫn về những gì cần làm, và nếu bạn làm theo, bạn sẽ nhận được một .fyuse trên thiết bị là một “đối tượng tệp” được xử lý bởi tầm nhìn máy tính và học máy mà bạn có thể hiển thị trên thiết bị, trên web hoặc trên bất kỳ thiết bị AR/VR/MR nào.

Những công nghệ tầm nhìn máy tính và học máy nào được sử dụng để làm cho điều này trở thành hiện thực?

Thực sự không có một viên đạn bạc ở đây, mà là một hỗn hợp khổng lồ của các công cụ tầm nhìn máy tính 3D và học máy mà chúng tôi đã tạo ra để giải quyết vấn đề này. Có những ý tưởng từ photogrammetry (vì thực chất chúng tôi đang tạo ra một mảng máy ảnh ảo bằng cách di chuyển một máy ảnh đơn trong không gian), robot (một vấn đề kết hợp cảm biến khổng lồ vì chúng tôi không còn một máy ảnh nữa, mà là một loạt các cảm biến mà bạn có thể kéo dữ liệu từ để giúp giải quyết vấn đề này), đồ họa máy tính (bạn có thể xem xét công việc Siggraph 2019 của chúng tôi để hiểu cách chúng tôi đại diện cho một số cấu trúc cơ bản), và nhiều hơn nữa. Tất cả những điều này phải được thực hiện trên thiết bị và có thể chạy trong thời gian thực, điều này có nghĩa là chúng tôi tận dụng các shader tính toán và viết mã trong hội ngữ. Như đã đề cập, đây chỉ là sự bắt đầu, và càng có nhiều cảm biến và sức mạnh tính toán trở nên có sẵn cho chúng tôi, chúng tôi sẽ sử dụng bộ tăng tốc ALIS của mình để cải thiện nhiều khía cạnh của công nghệ. Đây là một tầm nhìn dài hạn, và chúng tôi có một thập kỷ công việc nữa trước mắt để được hoàn toàn hài lòng với cách các cảnh thế giới thực phức tạp được số hóa.

Nó dễ dàng hình dung ra cách .fyuses sẽ gây ra sự gián đoạn cho các ứng dụng VR. Bạn có thể thảo luận về các ứng dụng VR hiện tại mà .fyuses có thể được sử dụng không?

Chúng tôi nghĩ rằng BẤT KỲ ứng dụng VR nào nơi số hóa một đối tượng thế giới thực và sau đó hiển thị nó là quan trọng, nên được hưởng lợi từ việc tận dụng động cơ ALIS và .fyuses của chúng tôi. Thực sự không có sự thiếu hụt về các ứng dụng và lĩnh vực trong thương mại điện tử, chăm sóc sức khỏe, ô tô, giáo dục và hơn thế nữa, và chúng tôi rất hào hứng về tương lai này.

Bạn dự đoán tương lai của các ứng dụng VR cho Fyuses như thế nào?

Chúng tôi không thấy bất kỳ giới hạn nào cho công nghệ hiện tại, mặc dù trọng tâm hiện tại của chúng tôi là nhiều hơn về các cảnh và đối tượng nhỏ đến trung bình, và không phải là các thành phố lớn.

Tôi có thể dễ dàng hình dung Fyuses được sử dụng trong các ứng dụng thực tế ảo (AR) và Thực tế hỗn hợp (MR) trong tương lai. Bạn có tầm nhìn gì về tương lai của Fyuses trong cả môi trường AR và MR?

Chúng tôi đối xử với tất cả các ứng dụng AR/VR/MR theo cùng một cách: Một khi đối tượng 3D đã được số hóa bằng công nghệ của chúng tôi, nó có thể được trích xuất từ cảnh và đặt bất kỳ nơi nào.

Đội ngũ của bạn đã thảo luận về ý tưởng tạo ra Fyuses với một trợ lý ảo hoặc AI chưa?

Chúng tôi đã không khám phá cơ hội để tạo ra các avatar ảo tương tác cho mọi người. Đây là một khả năng thú vị chắc chắn, nhưng chúng tôi đang cố gắng tập trung vào việc giải quyết tập hợp các vấn đề hiện tại mà chúng tôi đang làm việc.

Có gì khác mà bạn muốn chia sẻ về Fyuses hoặc Fyusion, Inc?

Điều này có thể giống như một bài giới thiệu, nhưng… chúng tôi là một nhóm các nhà robotic và nhà khoa học tầm nhìn máy tính 3D điên rồ, kết hợp với các nhà vật lý CERN, các hacker và kỹ sư tuyệt vời, và đó chỉ là mô tả các thành viên của đội kỹ thuật cốt lõi. Chúng tôi thích sự đa dạng của mọi loại, vì điều đó làm cho chúng tôi thông minh và mạnh mẽ hơn như một đội. Nếu bất cứ điều gì chúng tôi đang làm là của interest đến bất kỳ ai đọc điều này, bằng tất cả các cách, xin đừng ngần ngại liên hệ với chúng tôi. Chúng tôi đang cố gắng trả lời mọi người, và bạn có thể tìm thấy mình trong một tình huống mà bạn đến để uống cà phê và sau đó ở lại trong một thập kỷ.

Cảm ơn vì những cuộc phỏng vấn tuyệt vời, những người đọc muốn tìm hiểu thêm nên truy cập Fyusion.