Gil Elbaz, współzałożyciel i CTO Datagen – seria wywiadów

Gil Elbaz jest CTO i współzałożycielem Datagen, z siedzibą w Tel Awiwie. Ukończył studia licencjackie i magisterskie na Technion. Praca dyplomowa Gila była skupiona na 3D Computer Vision i została opublikowana na CVPR, najważniejszej konferencji badawczej w dziedzinie computer vision na świecie. Datagen jest pionierem w nowej dziedzinie Simulated Data, podzbiorze danych syntetycznych, który koncentruje się na fotorealistycznym odtwarzaniu świata wokół nas. Firma wyszła z fazy stealth z ponad 18 milionami dolarów finansowania w marcu 2021 roku i obecnie współpracuje z kilkoma firmami z listy Fortune 100 w dziedzinie rzeczywistości rozszerzonej i wirtualnej, robotyki oraz motoryzacji, w tym z większością czołowych amerykańskich gigantów technologicznych.

Co początkowo skłoniło Cię do zainteresowania się robotyką i uczeniem maszynowym?

Książki science fiction, takie jak seria Fundacja Isaaca Asimova i iRobot, zawsze sprawiały, że myślałem o przyszłości, w której roboty będą integralną częścią naszego codziennego życia. Istnieje wiele nudnych, powtarzalnych zadań, które wykonują ludzie; wiedziałem, że nie chcę ich wykonywać, i nie mogłem wyobrazić sobie, że ktoś inny mógłby chcieć. Biorąc pod uwagę, że robotyka jest technologiczną koniecznością, uznałem, że idąc w tym kierunku, będę miał „przyszłościowe” rozwiązanie kariery.

Zatem, początkowo podejście do tej dziedziny było ukierunkowane na aspekty fizyczne, i ukończyłem studia inżynierskie na kierunku mechanika na Technion w Hajfie, w Izraelu. Pod koniec studiów, zacząłem zagłębiać się w świat narzędzi CAD i ich możliwości. Są to narzędzia, które pozwalają inżynierom mechanicznym projektować struktury i urządzenia mechaniczne (cokolwiek, od mostu po samochód). Zobaczyłem ogromną możliwość wprowadzenia dużych zmian bez konieczności zajmowania się powolnymi iteracjami świata fizycznego. W praktyce, te programy miały bardzo niewielkie, jeśli w ogóle, zdolności machine learning / computer vision, które pomagały inżynierom tworzyć prostsze, tańsze i bardziej stabilne systemy mechaniczne (to było w 2015 roku). Wyruszyłem w kierunku Computer Vision na danych 3D z głębokim uczeniem (bardzo nowym wtedy) z celem tworzenia inteligentniejszych programów CAD. Praca w początkowych dniach nowoczesnego głębokiego uczenia, sprawiła, że czułem się częścią czegoś, co mogło być naprawdę wielkie – podobnie jak internet.

W praktyce, moje badania były pierwszymi, które przyniosły rewolucję Deep Learning do naszej uczelni na Technion. To później przekształciło się w artykuł, który został zaakceptowany na najważniejszej konferencji computer vision na świecie, CVPR, i poleciałem na CVPR 2017 na Hawaje. Prezentowanie mojego artykułu i spotkanie z ludźmi otworzyło mi oczy na skalę społeczności computer vision (która dzisiaj jest co najmniej 10 razy większa), tysiące uczestników wszystkich pracujących z pasją nad badaniami w tej dziedzinie. To wydarzenie praktycznie utwierdziło mnie w moim kierunku, pokazując mi moc computer vision i potencjał, który czeka na odblokowanie.

Czy mógłbyś podzielić się historią powstania Datagen?

Datagen został założony w 2018 roku z misją przekształcenia sposobu, w jaki zespoły uzyskują dane do szkolenia sieci computer vision. Rok wcześniej, zobaczyliśmy demo Oculus Rift, który składał się z gogli VR i urządzenia pilota. Po demonstracji, znaleźliśmy się, zastanawiając się, „z wyrafinowanymi kamerami wbudowanymi w gogle, dlaczego potrzebne było urządzenie pilota, aby połączyć przestrzeń wirtualną z fizyczną (tj. śledzić ruch ręki)?” Sieci neuronowe były już wystarczająco zaawansowane, aby radzić sobie z tym, więc jaki był problem?” I wtedy zapaliła się lampka — Dane! Natychmiast zobaczyliśmy ogromną możliwość rozwiązania wyzwań 3D przestrzennych przy użyciu zaawansowanego computer vision i metadanych 3D. Zamiast koncentrować się wyłącznie na VR/AR, przyjęliśmy bardziej holistyczne podejście, koncentrując się na pozornie nierozwiązywalnym problemie generowania wystarczających (i dokładnych) danych szkoleniowych, aby umożliwić aplikacje 3D AI w świecie rzeczywistym.

Z uwzględnieniem ludzi i interakcji człowiek-środowisko, Datagen jest pionierem w nowej dziedzinie Simulated Data, podzbiorze danych syntetycznych, który koncentruje się na fotorealistycznym odtwarzaniu świata wokół nas. Dziś współpracujemy z najbardziej innowacyjnymi firmami na świecie, aby napędzać i przyspieszać rozwój computer vision i mamy wsparcie niektórych z najbardziej szanowanych inwestorów w tej dziedzinie.

Dla czytelników, którzy nie są zaznajomieni, czy mógłbyś wyjaśnić, co konkretnie są dane syntetyczne?

Dane syntetyczne to wszelkie dane szkoleniowe, które – zamiast być zbierane za pomocą bezpośrednich pomiarów lub obserwacji świata rzeczywistego – są generowane albo algorytmicznie, albo za pomocą symulacji. W kontekście computer vision, dane syntetyczne to generowane komputerowo obrazy z powiązanymi metadanymi potrzebnymi do szkolenia sztucznych inteligencji. Ze względu na kwestie prywatności i bardzo realne ograniczenia fizyczne i ekonomiczne danych z świata rzeczywistego, trudno przecenić znaczenie danych syntetycznych dla machine learning i AI. W niedawnym raporcie, Gartner przewidział, że do 2024 roku większość danych używanych w dziedzinie AI będzie generowana sztucznie z tych powodów.

Jakie są korzyści danych syntetycznych w porównaniu z ręcznym pozyskiwaniem danych?

Krótka odpowiedź brzmi: pomyśl o każdym aspekcie ręcznego pozyskiwania danych, który jest niepożądany, i usuń je z procesu — to są korzyści danych syntetycznych.

Generowanie zróżnicowanych zbiorów danych w skali dla szkolenia computer vision jest kosztownym i czasochłonnym procesem, a zmienność jest bardzo ograniczona samym faktem, że umieszczanie ludzi w określonych lokalizacjach i fotografowanie ich jest skomplikowanym procesem — o wiele bardziej skomplikowanym i kosztownym niż robienie tego w symulowanym środowisku. Kolejną dużą korzyścią jest skuteczne wyeliminowanie potrzeby ręcznego adnotowania, które jest nudne, czasochłonne i podatne na błędy ludzkie.

Datagen odnosi się do danych symulowanych jako podzbioru danych syntetycznych. Czy mógłbyś wyjaśnić, co są dane symulowane?

Dane symulowane to dane syntetyczne, które są generowane za pomocą symulacji. Używamy GAN (oraz niektórych innych najnowocześniejszych metod machine learning) do generowania 3D obiektów i umieszczania ich w wysoko realistycznych symulacjach świata rzeczywistego. To wygląda jak pierwszoosobowy „wirtualny proces robienia zdjęć”, ale działający w systemie foto-realisticznym i opartym na fizyce. Te symulacje produkują dane wizualne (jakby były zebrane w świecie rzeczywistym), wraz z pełnym zakresem adnotacji (fizyka, oświetlenie itp.). Więc dane symulowane to dane syntetyczne, które są foto-realisticzne, kontekstowo generowane, 3D obrazy, zebrane w symulowanym środowisku.

Jak Datagen generuje dostosowane dane symulowane?

Technologia Datagen generuje dane symulowane, które są zarówno łatwo skalowalne, jak i dostosowane do potrzeb każdego klienta. Robimy to, biorąc pod uwagę każdy aspekt każdego projektu — od systemu computer vision, który jest używany, po demograficzny skład regionu, w którym będzie on działał. Niezależnie od tego, czy pracujemy bezpośrednio z naszymi klientami, czy po prostu umożliwiamy ich inżynierom, proces Datagen zaczyna się od ustalenia kluczowych parametrów dla każdego konkretnego przypadku użycia, takich jak specyfikacje obiektywu, oświetlenie, środowisko, demograficzny rozkład itp. Datagen używa GAN i innych najnowocześniejszych narzędzi i technik do generowania ogromnej ilości aktywów, w tym wszystkiego, od głów ludzi z dynamicznymi wyrazami twarzy, aby szkolić AI w analizie emocjonalnej, po wnętrza pojazdów do monitorowania pasażerów w kabinie, i środowiska domowe do aplikacji wideokonferencyjnych, aby wymienić tylko kilka. Dla każdego typu aktywów, Datagen wprowadza zmienność w liczbie dyskretnych osi (od odcienia skóry i wysokości brwi, do rozmiaru, koloru i kształtu mebli domowych), używając parametrów, które są drobno dostosowane do odzwierciedlenia konkretnego zastosowania.

Dzięki tym możliwościom, zestawy danych Datagen nie tylko są duże i wysoko zróżnicowane, ale także zoptymalizowane do celów szkolenia unikalnego systemu do wykonania unikalnego zadania (lub zestawu zadań) w unikalnym środowisku lub ustawieniu, w którym będzie on używany — wszystko to bez kompromisowania zdolności do skalowania. Uwzględniamy również konkretny wymóg adnotacji / metadanych dla każdego zastosowania.

Jakie są przykłady rozwiązań w robotyce, w których używa się danych syntetycznych i/lub symulowanych?

Jedną z największych zalet używania danych symulowanych w robotyce jest możliwość generowania obrazów sprzętu, który jest jeszcze w fazie rozwoju. W ten sposób, mózg robota (AI) i ciało (sprzęt) mogą być rozwijane równolegle. Teraz, szkolenie może ewoluować, gdy specyfikacje ewoluują, zamiast czekać, aż ostateczny produkt będzie w pełni prototypowany, zanim można zacząć robić zdjęcia i rozpoczynać rozwój AI.

Ponadto, ponieważ dane symulowane są generowane w kontekście, można łatwiej uwzględnić interakcję między robotem a jego środowiskiem. Więc, jeśli wyobrażasz sobie robota, który chwyta i usuwa wadliwe produkty z linii montażowej, dane symulowane pozwolą na generowanie danych dla każdej fizycznej wady możliwej w produkcie, a także z perspektywy robota, aby uchwycić pełny zakres ruchu ramienia robota, jego interakcję z obiektem, który chwyta. Co więcej, metadane 3D oznaczają, że nie ma potrzeby mozolnego adnotowania obrazu po obrazie, aby upewnić się, że robot może poprawnie zidentyfikować produkt, wady, swoje ramię lub cokolwiek innego w jego polu widzenia.

Jakie są przypadki użycia danych symulowanych w samochodach inteligentnych?

Dane symulowane w rozwoju samochodów inteligentnych sprawiają, że łatwiej jest rozwijać zestawy danych dla konkretnych modeli samochodów, gdy są one projektowane, iterując jednocześnie z samochodem, gdy przechodzi przez różne fazy projektowania i produkcji. Z danymi symulowanymi, inżynierowie mogą również skuteczniej używać wizji w kabinie, aby identyfikować sennych lub rozkojarzonych kierowców, jeśli kierowca zdjął rękę z kierownicy, lub jakikolwiek inny przypadek krawędzi, aby uwzględnić bezpieczeństwo kierowcy. Umożliwia to również inżynierom uwzględnienie większej różnorodności wśród kierowców i pasażerów, oraz wprowadzenie zmienności w postaci kąta obrazu i oświetlenia — wszystko to bez naruszania prywatności prawdziwych ludzi.

Niedawno Datagen ogłosił dużą liczbę ekscytujących nowych zatrudnień, co to oznacza dla przyszłości firmy?

Niedawne dodatki do naszej rady doradczej i kierownictwa wykonawczego obejmują niektóre z najbardziej wybitnych i doświadczonych profesjonalistów w dziedzinie AI i computer vision. Ich wiedza, wgląd i doświadczenie pomogą ukierunkować i przyspieszyć wzrost Datagen, gdy nawigujemy w branży, która jest jeszcze młoda i pełna możliwości. W dziedzinie z tak wieloma nieznanymi, nic nie jest cenniejsze niż wiedza.

Czy jest coś jeszcze, co chciałbyś podzielić o Datagen?

Z siedzibą w Tel Awiwie, Datagen jest częścią znacznie większej zmiany gospodarczej i kulturowej, która miała miejsce w Izraelu, i jesteśmy dumni, że jesteśmy częścią tego. W krótkim czasie, Izrael (szczególnie Tel Awiw), rozwinął się w duży globalny hub technologiczny, z kwitnącym ekosystemem startupów i energiczną społecznością inwestorów. Chociaż Izrael jest często uważany za hub technologiczny zorientowany na cyberbezpieczeństwo, AI i technologie oparte na danych rosły wykładniczo w ostatnich latach. Dziś istnieje ponad 680 firm sztucznej inteligencji w Izraelu, które łącznie pozyskały 4,5 miliarda dolarów. Ten wybuchowy wzrost w ciągu ostatnich kilku lat jest w dużej mierze spowodowany wysoką koncentracją inżynierów i światowej sławy uniwersytetów Izraela. Te instytucje akademickie zapewniają dostęp do talentów i nowych technologii w tej dziedzinie. W ciągu ostatnich dwóch miesięcy, Datagen zatrudnił ponad 20 pracowników i planuje zatrudnić dodatkowych członków zespołu w dziale sprzedaży i marketingu, oprogramowania i DevOps, oraz produktów.

Dziękujemy za wspaniały wywiad, czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić Datagen.