Eric Landau, współzałożyciel i CEO Encord – seria wywiadów

Eric Landau jest CEO i współzałożycielem Encord, aktywnej platformy uczenia maszynowego dla komputerowego widzenia. Eric był głównym badawcą ilościowym w globalnym biurze delta-one, wprowadzając tysiące modeli do produkcji. Przed Encord spędził niemal dekadę w handlu o wysokiej częstotliwości w DRW. Ukończył studia magisterskie z fizyki stosowanej na Uniwersytecie Harvarda, magistra inżynierii elektrycznej oraz licencjata fizyki na Uniwersytecie Stanforda.

W wolnym czasie Eric lubi bawić się ChatGPT i dużymi modelami językowymi oraz tworzyć koktajle.

Czym skłoniło Cię do współzałożenia Encord, i jak Twoje doświadczenie w fizyce cząstek i finansach ilościowych ukształtowało Twoje podejście do rozwiązania „problemu danych” w AI?

Po raz pierwszy zacząłem myśleć o uczeniu maszynowym, pracując w fizyce cząstek i mając do czynienia z bardzo dużymi zbiorami danych podczas mojego pobytu w Stanford Linear Accelerator Center (SLAC). Używałem oprogramowania zaprojektowanego przez fizyków dla fizyków, co oznacza, że było wiele do życzenia pod względem przyjemnego użytkowania. Z łatwiejszymi narzędziami mogłem prowadzić analizy znacznie szybciej.

Później, pracując w finansach ilościowych w DRW, byłem odpowiedzialny za tworzenie tysięcy modeli, które były wdrożone do produkcji. Podobnie jak moje doświadczenie w fizyce, odkryłem, że wysokiej jakości dane były kluczowe w tworzeniu dokładnych modeli i że zarządzanie złożonymi, dużymi zbiorami danych jest trudne. Ulrik miał podobne doświadczenie z wizualizacją dużych zbiorów obrazów dla komputerowego widzenia.

Gdy usłyszałem o jego początkowej idei Encord, natychmiast się zgodziłem i zrozumiałem jego znaczenie. Razem, Ulrik i ja zobaczyliśmy ogromną okazję do budowy platformy, która zautomatyzuje i uprości proces rozwoju danych AI, ułatwiając zespołom uzyskanie najlepszych danych do modeli i budowę godnych zaufania systemów AI.

Czy możesz wyjaśnić wizję założoną za Encord i jak porównuje się do wczesnych dni komputingu lub Internetu pod względem potencjału i wyzwań?

Wizja Encord polega na tym, aby być podstawową platformą, na której przedsiębiorstwa będą polegać, aby przekształcić swoje dane w funkcjonalne modele AI. Jesteśmy warstwą pomiędzy danymi firmy a ich AI.

W wielu ways, AI odbija poprzednie przełomy paradigm, takie jak komputery osobiste i Internet, w tym, że stanie się integralną częścią przepływów pracy dla każdej osoby, firmy, narodu i branży. W przeciwieństwie do poprzednich rewolucji technologicznych, które były w dużej mierze ograniczone przez prawo Moore’a skompoundowanego wzrostu obliczeniowego o 30 razy co 10 lat, rozwój AI skorzystał z jednoczesnych innowacji. Porusza się więc znacznie szybciej. W słowach Jensena Huanga z NVIDIA: „Po raz pierwszy widzimy skompoundowane wykładnicze… Skompoundujemy milion razy co 10 lat. Nie sto, nie tysiąc, milion.” Bez przesady, jesteśmy świadkami najszybciej rozwijającej się technologii w historii ludzkości.

Potencjał jest ogromny: automatyzując i skalując zarządzanie wysokiej jakości danymi dla AI, rozwiązujemy wąskie gardło, które uniemożliwia szersze przyjęcie AI. Wyzwania przypominają wczesne dni poprzednich er technologicznych: silo, brak najlepszych praktyk, ograniczenia dla użytkowników niebędących specjalistami i brak dobrze zdefiniowanych abstrakcji.

Encord Index jest pozycjonowany jako kluczowe narzędzie do zarządzania i kuracji danych AI. Jak różni się od innych platform zarządzania danymi dostępnych obecnie?

Istnieją kilka sposobów, w jakie Encord Index wyróżnia się:

Index jest skalowalny: Pozwala użytkownikom zarządzać miliardami, a nie milionami punktów danych. Inne narzędzia mają problemy ze skalowalnością dla nieustrukturyzowanych danych i są ograniczone w konsolidacji wszystkich istotnych danych w organizacji.

Index jest elastyczny: Zintegrowany bezpośrednio z prywatnym magazynowaniem danych i dostawcami chmury, takimi jak AWS, GCP i Azure. W przeciwieństwie do innych narzędzi, które są ograniczone do jednego dostawcy chmury lub wewnętrznego systemu magazynowania, Index jest agnostyczny wobec lokalizacji danych. Pozwala zarządzać danymi z wielu źródeł z odpowiednimi mechanizmami zarządzania i kontrolami dostępu, które umożliwiają rozwijanie bezpiecznych i zgodnych aplikacji AI.

Index jest wielomodalny: Wspiera AI wielomodalny, zarządzając danymi w postaci obrazów, filmów, dźwięku, tekstu, dokumentów i więcej. Index nie jest ograniczony do jednej formy danych, jak wiele narzędzi LLM dzisiaj. Ludzka percepcja jest wielomodalna, i wierzymy, że AI wielomodalna będzie w sercu następnej fali postępów AI, która zastąpi chatboty i LLM.

W jaki sposób Encord Index ulepsza proces wyboru odpowiednich danych dla modeli AI, i jaki wpływ ma to na wydajność modelu?

Encord Index ulepsza wybór danych, automatyzując kurację dużych zbiorów danych, pomagając zespołom identyfikować i zachowywać tylko najbardziej istotne dane, a jednocześnie usuwając nieinformacyjne lub tendencyjne dane. Ten proces nie tylko redukuje rozmiar zbiorów danych, ale także znacznie poprawia jakość danych używanych do szkolenia modeli AI. Nasi klienci widzieli do 20% poprawy w swoich modelach, osiągając 35% redukcję rozmiaru zbioru danych i oszczędność setek tysięcy dolarów w kosztach obliczeniowych i annotacji ludzkiej.

Z szybką integracją najnowszych technologii, takich jak Meta’s Segment Anything Model, jak Encord pozostaje na czele w szybko ewoluującym krajobrazie AI?

Celowo zbudowaliśmy platformę, aby mogła szybko adaptować się do nowych technologii. Koncentrujemy się na dostarczaniu skalowalnego, oprogramowania-pierwszego podejścia, które łatwo włącza innowacje, takie jak SAM, zapewniając, że nasi użytkownicy są zawsze wyposażeni w najnowsze narzędzia, aby pozostać konkurencyjnymi.

Planujemy pozostać na czele, koncentrując się na AI wielomodalnym. Platforma Encord może już zarządzać złożonymi typami danych, takimi jak obrazy, filmy i tekst, więc gdy nadchodzą kolejne postępy w AI wielomodalnej, jesteśmy gotowi.

Jakie są najczęstsze wyzwania, z którymi firmy spotykają się przy zarządzaniu danymi AI, i jak Encord pomaga rozwiązać te problemy?

Istnieją 3 główne wyzwania, z którymi firmy spotykają się:

• Źle zorganizowane dane i brak kontroli: Gdy przedsiębiorstwa przygotowują się do wdrożenia rozwiązań AI, często spotykają się z rzeczywistością sylotowych i niezorganizowanych danych, które nie są gotowe do AI. Dane te często nie mają silnej kontroli, co ogranicza wiele z nich od użycia w systemach AI.
• Brak ekspertów ludzkich: Gdy modele AI rozwiązują coraz bardziej złożone problemy, wkrótce będzie brakować ludzkich ekspertów, którzy mogliby przygotować i zwalidować dane. Gdy zapotrzebowanie firmy na AI rośnie, skalowanie tej siły roboczej jest wyzwaniem i kosztowne.
• Nieskalowalne narzędzia: Wysokowydajne modele AI są bardzo głodne danych, jeśli chodzi o dane potrzebne do fine-tuningu, walidacji, RAG i innych przepływów pracy. Poprzednia generacja narzędzi nie jest wyposażona w zarządzanie ilością i typami danych wymaganymi dla dzisiejszych modeli produkcyjnych.

Encord rozwiązuje te problemy, automatyzując proces kuracji danych w skali, ułatwiając identyfikację danych o dużym wpływie od danych problematycznych i zapewniając tworzenie skutecznych zbiorów danych szkoleniowych i walidacyjnych. Używa podejścia oprogramowania-pierwszego, które jest łatwe do skalowania w górę lub w dół, w zależności od potrzeb zarządzania danymi. Nasze narzędzia do annotacji wspomaganej AI umożliwiają ludzkim ekspertom maksymalizację wydajności przepływu pracy. Ten proces jest szczególnie istotny w branżach, takich jak usługi finansowe i opieka zdrowotna, gdzie trenerzy AI są kosztowni. Ułatwiamy zarządzanie i zrozumienie wszystkich nieustrukturyzowanych danych organizacji, redukując potrzebę ręcznej pracy.

Jak Encord rozwiązuje problem tendencyjności danych i obszarów niedoreprezentowanych w zbiorach danych, aby zapewnić sprawiedliwe i zbalansowane modele AI?

Rozwiązywanie tendencyjności danych jest kluczowym celem dla nas w Encord. Nasza platforma automatycznie identyfikuje i prezentuje obszary, w których dane mogą być tendencyjne, pozwalając zespołom AI rozwiązać te problemy, zanim wpłyną one na wydajność modelu. Zapewniamy również, że obszary niedoreprezentowane w zbiorach danych są właściwie uwzględnione, co pomaga w tworzeniu sprawiedliwszych i bardziej zbalansowanych modeli AI. Używając naszych narzędzi do kuracji, zespoły mogą być pewne, że ich modele są szkolone na różnorodnych i reprezentatywnych danych.

Encord niedawno zabezpieczył 30 milionów dolarów w finansowaniu serii B. Jak to finansowanie przyspieszy Twój plan rozwoju produktu i plany ekspansji?

30 milionów dolarów w finansowaniu serii B zostanie wykorzystane do drastycznego zwiększenia rozmiaru naszych zespołów produktowych, inżynieryjnych i badań AI w ciągu najbliższych sześciu miesięcy i przyspieszenia rozwoju Encord Index i innych nowych funkcji. Rozwijamy również naszą obecność w San Francisco z nowym biurem, a to finansowanie pomoże nam skalować nasze operacje, aby wesprzeć rosnącą bazę klientów.

Jako najmłodsza firma AI z Y Combinator, która podniosła finansowanie serii B, co przypisujesz do szybkiego wzrostu i sukcesu Encord?

Jednym z powodów, dla których byliśmy w stanie szybko wzrosnąć, jest to, że przyjęliśmy niezwykle ukierunkowane podejście na potrzeby klienta we wszystkich obszarach firmy. Jesteśmy w ciągłym kontakcie z klientami, słuchamy uważnie ich problemów i „przylepiamy się” do nich, aby znaleźć rozwiązania. Koncentrując się na potrzebach klienta, a nie na hiperze, stworzyliśmy platformę, która rezonuje z najlepszymi zespołami AI w różnych branżach. Nasi klienci byli niezwykle pomocni w doprowadzeniu nas do miejsca, w którym jesteśmy dzisiaj. Nasza zdolność do szybkiego skalowania i efektywnego zarządzania złożonością danych AI uczyniła nas atrakcyjnym rozwiązaniem dla przedsiębiorstw.

Owujemy również wiele naszego sukcesu naszym współpracownikom, partnerom i inwestorom, którzy pracowali niezwykle ciężko, aby promować Encord. Praca z wyjątkowymi zespołami produktowymi, inżynieryjnymi i marketingowymi miała ogromny wpływ na nasz wzrost.

Biorąc pod uwagę rosnące znaczenie danych w AI, jak widzisz ewolucję platform danych AI, takich jak Encord, w ciągu najbliższych pięciu lat?

Gdy aplikacje AI rosną w złożoności, potrzeba efektywnych i skalowalnych rozwiązań zarządzania danymi będzie rosła. Wierzę, że każde przedsiębiorstwo będzie miało w końcu departament AI, podobnie jak działy IT istnieją dzisiaj. Encord będzie jedyną platformą, której będą potrzebować, aby zarządzać ogromnymi ilościami danych wymaganych dla AI i wprowadzać modele do produkcji szybko.

Dziękujemy za wspaniały wywiad. Czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić Encord.