Radha Basu, CEO i założycielka iMerit – seria wywiadów

Radha BasuZałożycielka i dyrektor generalna iMerit zbudowała swoją karierę w HP, spędzając 20 lat w gigancie technologicznym i ostatecznie kierując jego grupą Enterprise Solutions. Następnie wprowadziła Support.com na giełdę jako dyrektor generalna. Radha założyła Anudip Foundation w 2007 r. z Dipak Basu, a następnie założyła iMerit w 2012 r. Jest uważana za wiodącą przedsiębiorczynię technologiczną i mentorkę oraz pionierkę w branży oprogramowania.

iZasługi dostarcza multimodalne rozwiązania w zakresie danych AI łączące automatyzację, fachowe adnotacje wykonywane przez człowieka i zaawansowaną analitykę w celu obsługi wysokiej jakości etykietowania danych i dostrajania modeli na dużą skalę.

Przeżyłeś niezwykłą podróż — od budowania działalności HP w Indiach do założenia iMerit z misją wspierania zmarginalizowanej młodzieży w Bhutanie, Indiach i Nowym Orleanie. Co zainspirowało Cię do założenia iMerit i z jakimi wyzwaniami musiałeś się zmierzyć, tworząc od podstaw inkluzywną, globalną siłę roboczą?

Zanim założyłem iMerit, byłem prezesem i dyrektorem generalnym SupportSoft, gdzie przeprowadziłem firmę przez jej pierwszą i drugą ofertę publiczną, ustanawiając ją światowym liderem w dziedzinie oprogramowania do automatyzacji wsparcia. To doświadczenie pokazało mi siłę łączenia ludzi i technologii od pierwszego dnia.

Podczas gdy indyjski boom technologiczny stworzył nowe możliwości, zauważyłem, że wielu utalentowanych młodych ludzi z niedostatecznie obsługiwanych obszarów zostało w tyle. Wierzyłem w ich potencjał i chęć uczenia się. Gdy tylko zobaczyli, jak oprogramowanie może napędzać zaawansowane technologie, takie jak AI, chętnie przyjęli te kariery.

Uruchomiliśmy iMerit z małym, zróżnicowanym zespołem, z których połowa to kobiety, i od tego czasu szybko się rozwijamy. Zdolność adaptacji i coachingowość naszego zespołu były kluczowe, zwłaszcza że zorientowana na dane sztuczna inteligencja zwiększyła długoterminowe zapotrzebowanie na wykwalifikowanych specjalistów.

Obecnie iMerit jest globalnym dostawcą rozwiązań danych AI dla sektorów o znaczeniu krytycznym, takich jak autonomiczne pojazdy, medyczna AI i technologia. Nasza praca zapewnia, że ​​modele AI klientów są budowane na wysokiej jakości, niezawodnych danych, co jest niezbędne w środowiskach o wysokiej stawce.

Ostatecznie nasza siła leży w silnych podstawach technologicznych i zespole dobrze wyszkolonych, zmotywowanych pracowników, którzy rozwijają się w kulturze wspierającej, zorientowanej na naukę. To podejście napędzało nasz wzrost, utrzymywało nas w dodatnich przepływach pieniężnych i przyniosło nam wysokie wyniki NPS oraz lojalnych klientów.

iMerit współpracuje obecnie z ponad 200 klientami, w tym gigantami technologicznymi, takimi jak eBay i Johnson & Johnson. Czy możesz nam opowiedzieć o historii rozwoju firmy — od tych wczesnych dni do stania się globalnym liderem w dziedzinie usług danych AI?

Byliśmy na pierwszym planie w podróżach AI naszych klientów, współpracując od wczesnych eksperymentów do produkcji na dużą skalę. Nasza praca obejmuje startupy, globalnych liderów pojazdów autonomicznych i duże przedsiębiorstwa. Dzięki szkoleniu ich modeli od podstaw uzyskaliśmy niezrównany wgląd w to, co naprawdę jest potrzebne do skalowania AI w prawdziwym świecie.

Ta dziedzina ewoluowała nieustannie i szybko. Rzadko widziałem tak drastyczny postęp technologiczny w tak krótkim czasie. Przekształciliśmy się z dostawcy adnotacji danych w firmę danych AI full-stack, dostarczającą specjalistyczne rozwiązania w całym cyklu życia „człowiek w pętli” (HITL): adnotacja, walidacja, audyt i red-teaming. Obsługa przypadków skrajnych i wyjątków ma kluczowe znaczenie dla wdrożenia w świecie rzeczywistym, wymagając głębokiej wiedzy specjalistycznej i niuansów osądu na każdym etapie.

Naszym największym pionem jest autonomiczna mobilność, w której zarządzamy pełnym stosem percepcji, w tym fuzją czujników w 15 czujnikach dla pojazdów pasażerskich, dostawczych, ciężarowych i rolniczych. W opiece zdrowotnej napędzamy AI obrazowania klinicznego. W high-tech jesteśmy na czele dostrajania i walidacji GenAI, wymagając większego wyrafinowania w naszych przepływach pracy i talentach.

Sukces w tych dziedzinach nie polega tylko na posiadaniu ekspertów — chodzi o kultywowanie wiedzy specjalistycznej: zdolności poznawczej do kwestionowania, trenowania i kontekstualizowania modeli AI. To właśnie wyróżnia nasze zespoły.

Nasz wzrost jest napędzany długoterminowymi partnerstwami, a większość naszych dziesięciu najlepszych klientów jest z nami od ponad pięciu lat. W miarę jak ich potrzeby stają się bardziej złożone, nieustannie podnosimy poziom naszej wiedzy o domenach, narzędzi, szkoleń i rozwiązań. Zarówno nasz stos technologiczny, jak i nasi ludzie muszą nieustannie ewoluować.

Połączenie oprogramowania, automatyzacji, adnotacji i analityki tworzy rubrykę dla bardzo elastycznych, szybkich, wysoce precyzyjnych interwencji z udziałem człowieka. 70% nowych logotypów znajduje się na naszym własnym stosie technologicznym, co wymaga ogromnej wewnętrznej transformacji. Ponownie, nasza kultura zapewnia, że ​​zespoły są głodne nauki i chcą się stale rozwijać.

Jakie były najważniejsze momenty w historii iMerit — czy to kamienie milowe w rozwoju technologicznym, czy decyzje strategiczne — które pomogły ukształtować trajektorię firmy?

W czasach, gdy praca nad danymi AI była postrzegana jako praca na zlecenie oparta na społeczności, wcześnie założyliśmy, że rozwinie się jako kariera i będzie wymagać złożoności i skupienia na przedsiębiorstwie. Tworząc wewnętrzne zespoły dedykowane zaawansowanym przypadkom użycia, umożliwiliśmy naszym klientom szybkie skalowanie, co zakończyło się naszą pierwszą transakcją MRR o wartości 1 mln USD w pojazdach autonomicznych, kamieniem milowym, który potwierdził nasze podejście.

Lockdown spowodowany COVID-19 wystawił na próbę naszą zwinność: niemal z dnia na dzień przeszliśmy z pracy w pełni stacjonarnej na całkowicie zdalną, inwestując dużo w infrastrukturę, bezpieczeństwo i kulturę. W ciągu kilku tygodni działalność klientów odbiła się, a my zwiększyliśmy przychody i zatrudnienie w tym roku. Dzisiaj, gdy 70% naszego zespołu wróciło na miejsce, nadal wykorzystujemy talenty zdalne, uruchamiając Scholars, naszą globalną sieć ekspertów przedmiotowych do dostrajania i walidacji GenAI. Niezależnie od tego, czy jest to kardiolog, czy hiszpański matematyk, nasza kultura wysokiego poziomu przyciąga i motywuje najlepsze talenty, bezpośrednio podnosząc jakość i spójność naszych rozwiązań.

W 2023 roku przejęliśmy Ango.ai, platformę do etykietowania danych i automatyzacji przepływu pracy opartą na sztucznej inteligencji, aby napędzać następną generację narzędzi danych AI. Ten kluczowy ruch połączył wiedzę specjalistyczną iMerit z zaawansowanymi narzędziami Ango, rozszerzając nasze możliwości w zakresie radiologii, fuzji czujników i dostrajania GenAI. Nadal pracujemy również z narzędziami klientów, ale wielu nowych klientów jest teraz bezpośrednio wdrażanych do Ango Hub, przyciągniętych przyjaznymi dla użytkownika przepływami pracy i solidnym bezpieczeństwem, które są podstawowymi wymogami w naszej branży.

Przedsiębiorstwa stale mówią nam, że szukają najlepszych cech obu światów: eksperckiej wiedzy ludzkiej, aby zapewnić jakość, w połączeniu z bezpieczną, skalowalną platformą, która zapewnia automatyzację i analizę. Połączenie sił z Ango zapewnia dokładnie to, co w wyjątkowy sposób pozycjonuje nas, aby sprostać złożonym wymaganiom dzisiejszych najbardziej ambitnych projektów AI i skalować z pewnością siebie.

iMerit jest głęboko zaangażowany w zaawansowane dziedziny, takie jak autonomiczne pojazdy, medyczna AI i GenAI. Jakie są niektóre z unikalnych wyzwań związanych z danymi, z którymi się mierzycie w tych sektorach i jak sobie z nimi radzicie?

Zadania związane z danymi stanowią zazwyczaj prawie 80% czasu poświęconego na projekty AI, co czyni je krytycznym elementem procesu. Część AI skoncentrowana na danych może być czasochłonna i kosztowna, jeśli nie jest odpowiednio i skalowalnie obsługiwana.

Jakość danych, a zwłaszcza unikanie rażących błędów, jest niezbędna w sektorach o znaczeniu krytycznym, w których działamy. Niezależnie od tego, czy chodzi o algorytm percepcji, czy detektor guza, czyste dane są niezbędne w pętli szkolenia do walidacji.

Obsługa wyjątków jest nieproporcjonalnie cenna. Ludzka wiedza na temat tego, dlaczego coś jest poza normą lub dlaczego scenariusz zepsuł model, tworzy ogromną wartość w czynieniu modelu bardziej kompletnym i solidnym.

Ponadto okna kontekstowe stają się coraz większe. Podsumowujemy notatki kliniczne z całej konsultacji lekarz-pacjent i analizujemy anomalie w MRI w oparciu nie tylko o obraz, ale także o kontekst medyczny pacjenta. Eksperci przedmiotowi muszą ustalić rubryki, aby dokładnie analizować dane i zapewnić jakość.

Bezpieczeństwo, prywatność i poufność to tematy, które budzą gorące emocje. Nasz Chief Security Officer musi chronić dane przed nieautoryzowanym dostępem, usunięciem i przechowywaniem. Protokoły Infosec, takie jak SOC2, HIPAA i TISAX, były dla nas głównymi obszarami inwestycji.

Wreszcie nasi inżynierowie i architekci rozwiązań nieustannie pracują nad niestandardowymi integracjami i raportami, aby wyjątkowe potrzeby klientów były uwzględniane na ostatniej mili. Podejście typu „jeden rozmiar dla wszystkich” nie działa w AI.

Mówiłeś o łączeniu robotyki i ludzkiej inteligencji jako bezpieczniejszej ścieżce dla AI. Czy możesz rozwinąć, jak ten przepływ pracy wygląda w praktyce — i dlaczego uważasz, że jest lepszy niż próba wyeliminowania kreatywnej rozbieżności AI?

AI zapewnia skalę, co oznacza, że ​​firmy opracowują narzędzia do automatyzacji długich procesów tradycyjnie wykonywanych przez ludzi. Ale ludzie zapewniają ostatnią milę elastyczności, pewności i odporności. W miarę jak usługi dostarczane przez oprogramowanie będą się nadal rozprzestrzeniać w AI, najbardziej udane firmy będą skutecznie łączyć robotykę z praktykami Human-in-the-Loop (HITL).

Postrzegamy HITL jako spójną warstwę w każdej fazie cyklu życia rozwoju i wdrażania AI, a także jako filar zaufania i bezpieczeństwa. W związku z tym ludzka inteligencja będzie niezbędna do korygowania kursu, jeśli modele zawiodą. Te krytyczne aplikacje będą wymagały ludzkiego umysłu, aby określić, jakie zmiany należy wprowadzić. To właśnie tutaj usługi HITL staną się jeszcze ważniejsze, gdy zintegrujemy AI z produkcją i operacjami terenowymi.

Twoja platforma Ango Hub łączy automatyzację z wiedzą specjalistyczną dotyczącą człowieka w pętli. W jaki sposób ten hybrydowy model poprawia jakość danych i wydajność modelu w produkcyjnych systemach AI?

AI i automatyzacja zapewniają skalę i szybkość, podczas gdy ludzie zapewniają niuanse, wgląd i nadzór. HITL zapewnia zaangażowanie człowieka w krytycznych momentach cyklu życia AI – zapewniając wysokiej jakości dane wejściowe, weryfikując dane wyjściowe, identyfikując przypadki skrajne, dostrajając modele dla domen i zapewniając osąd kontekstowy. Ludzie pomagają zapewnić dokładność, przeglądając i weryfikując dane wyjściowe, wychwytując halucynacje lub błędy logiczne, zanim spowodują szkody. Zapewniają również nadzór w kontekstach etycznie wrażliwych lub wysokiego ryzyka, w których LLM nie powinien podejmować ostatecznych decyzji. Co ważniejsze, ludzkie opinie napędzają ciągłą naukę, pomagając systemom AI w lepszym dostosowywaniu się do celów użytkowników w miarę upływu czasu.

HITL przybiera wiele form. Ludzcy eksperci zajmują się ukierunkowaną adnotacją, stosują złożone rozumowanie do przypadków skrajnych i przeglądają treści generowane przez AI przy użyciu ustrukturyzowanych interfejsów QA. Zamiast oceniać każdą decyzję, często wdrażane są kontekstowe systemy eskalacji. Systemy te kierują tylko wyniki o niskim poziomie zaufania lub oznaczone anomalie do ludzkich recenzentów, równoważąc nadzór z wydajnością.

Innym krytycznym zastosowaniem HITL jest dostrajanie agentów AI za pomocą Reinforcement Learning from Human Feedback (RLHF). Recenzenci-ludzie oceniają, przepisują lub udzielają informacji zwrotnych na temat odpowiedzi agentów, co jest szczególnie ważne w takich wrażliwych dziedzinach jak opieka zdrowotna, usługi prawne lub obsługa klienta. W tandemie testowanie oparte na scenariuszach i red teaming pozwalają ludzkim ewaluatorom testować agentów w warunkach antagonistycznych lub nietypowych w celu identyfikacji i łatania luk w zabezpieczeniach przed wdrożeniem.

Pełny potencjał AI jest realizowany tylko wtedy, gdy ludzie pozostają w pętli, kierując, weryfikując i ulepszając każdy krok. Niezależnie od tego, czy chodzi o udoskonalanie wyników agentów, pętle oceny szkolenia czy opracowywanie niezawodnych potoków danych, ludzki nadzór dodaje strukturę i odpowiedzialność, których AI potrzebuje, aby być godnym zaufania i skutecznym.

W jaki sposób iMerit utrzymuje się na czele rankingu w zakresie świadczenia usług oceny, RLHF i dostrajania, skoro narzędzia generatywnej sztucznej inteligencji rozwijają się błyskawicznie?

Niedawno uruchomiliśmy Ango Hub Deep Reasoning Lab (DRL), zunifikowaną platformę do strojenia generatywnej AI i interaktywnego rozwoju rozumowania łańcuchowego z nauczycielami AI. Nasze DRL umożliwia procesy w czasie rzeczywistym, krok po kroku i ocenę opartą na ludzkich preferencjach, co prowadzi do bardziej spójnych i dokładnych odpowiedzi modelu na złożone problemy.

Postępy w modelach GenAI i rozwoju aplikacji podkreślają wartość czystych, tworzonych przez ekspertów, sprawdzonych danych. Dzięki Ango Hub DRL eksperci mogą testować modele, identyfikować słabości i generować czyste dane, korzystając z rozumowania łańcuchowego. Współdziałają z modelami w czasie rzeczywistym i wysyłają monity i poprawki krok po kroku w jednym interfejsie.

Wykorzystując iMerit Scholars, Ango Hub DRL udoskonala procesy rozumowania modeli. Wykorzystuje bogate doświadczenie iMerit w zakresie przepływów pracy HITL. Eksperci projektują scenariusze wieloetapowe dla złożonych zadań, takich jak tworzenie monitów łańcuchowych dla zaawansowanych problemów matematycznych. iMerit Scholars przeglądają wyniki, korygują błędy i płynnie przechwytują interakcje. Magia nie polega na bezmyślnym wdrażaniu dużej liczby osób. Najlepsi matematycy niekoniecznie są najlepszymi nauczycielami. Nie należy również traktować kardiologa jak pracownika tymczasowego. Dopasowanie i coaching ekspertów przedmiotowych, aby myśleli w sposób, który najbardziej przynosi korzyści procesowi szkolenia modeli, a także zaangażowanie, robią różnicę.

Co oznacza „ekspert w pętli” w kontekście dostrajania generatywnej AI? Czy możesz podać przykłady, w których ta ludzka wiedza specjalistyczna znacząco poprawiła wyniki modelu?

Expert-in-the-Loop łączy inteligencję ludzką z inteligencją robotyczną, aby wprowadzić AI do produkcji. Obejmuje ekspertów-ludzi, którzy weryfikują, udoskonalają i ulepszają wyniki zautomatyzowanych systemów.

Dokładniej rzecz biorąc, adnotacja danych prowadzona przez ekspertów zapewnia, że ​​dane treningowe są dokładnie oznaczone wiedzą specyficzną dla danej dziedziny, co poprawia precyzję i niezawodność predykcyjnych modeli AI. Poprzez redukcję uprzedzeń i błędnych klasyfikacji, adnotacja prowadzona przez ekspertów zwiększa zdolność modelu do skutecznego uogólniania w rzeczywistych scenariuszach. W rezultacie powstają systemy AI, które są bardziej wiarygodne, interpretowalne i dostosowane do potrzeb specyficznych dla danej branży.

Na przykład po nabyciu dużego korpusu danych medycznych amerykańska międzynarodowa firma technologiczna musiała ocenić dane pod kątem wykorzystania w swoim konsumenckim medycznym bota czatowym, aby zapewnić użytkownikom bezpieczne i dokładne porady medyczne. Zwracając się do iMerit, wykorzystali naszą rozległą sieć ekspertów opieki zdrowotnej z siedzibą w USA i zgromadzili zespół pielęgniarek, aby pracować w ramach konsensusu, z eskalacją i arbitrażem zapewnianym przez lekarza z certyfikatem amerykańskiej rady. Pielęgniarki rozpoczęły od oceny bazy wiedzy zawierającej definicje w celu oceny dokładności i ryzyka.

Dzięki dyskusji na temat skrajnych przypadków i rewizji wytycznych pielęgniarki mogły osiągnąć konsensus w 99% przypadków. Pozwoliło to zespołowi na zmianę projektu na strukturę jednogłosową z audytem 10%, co zmniejszyło koszty projektu o ponad 72%. Współpraca z iMerit umożliwiła tej firmie ciągłe identyfikowanie sposobów na etyczne i wydajne skalowanie adnotacji danych medycznych.

Jak utrzymać jakość, wydajność i rozwój pracowników na dużą skalę, zatrudniając ponad 8,000 pełnoetatowych ekspertów na całym świecie?

Definicja jakości jest zawsze dostosowywana do konkretnego przypadku użycia każdego klienta. Nasze zespoły ściśle współpracują z klientami w celu zdefiniowania i kalibracji standardów jakości, stosując niestandardowe procesy, które zapewniają, że każda adnotacja jest szybko zatwierdzana przez ekspertów przedmiotowych. Spójność jest ważna dla rozwoju wysokiej jakości AI. Jest to wspierane przez wysoką retencję pracowników (90%) i silne skupienie się na analityce produkcji, kluczowym wyróżniku w projekcie Ango Hub, ukształtowanym przez codzienne informacje zwrotne od użytkowników od naszego zespołu.

Ciągle inwestujemy w automatyzację, optymalizację i zarządzanie wiedzą, wspierane przez naszą zastrzeżoną platformę szkoleniową iMerit One. To zaangażowanie w naukę i rozwój nie tylko napędza doskonałość operacyjną, ale także wspiera długoterminowy rozwój kariery naszych pracowników, promując kulturę wiedzy specjalistycznej i wzrostu.

Jakich rad udzieliłbyś początkującym przedsiębiorcom z branży sztucznej inteligencji, którzy chcą stworzyć coś znaczącego — zarówno w dziedzinie technologii, jak i oddziaływania społecznego?

Sztuczna inteligencja rozwija się w zawrotnym tempie. Wyjdź poza stos technologiczny i słuchaj swoich klientów, aby zrozumieć, co jest ważne dla ich biznesu. Zrozum ich apetyt na szybkość, zmiany i ryzyko. Pierwsi klienci mogą wypróbować różne rzeczy. Więksi klienci muszą wiedzieć, że jesteś tu na stałe i że nadal będziesz ich priorytetowo traktować. Uspokajaj ich swoim proaktywnym podejściem do przejrzystości, bezpieczeństwa i odpowiedzialności.

Ponadto starannie wybieraj inwestorów i członków zarządu, aby zapewnić zgodność ze wspólnymi wartościami i obawami. W iMerit doświadczyliśmy znaczącego wsparcia ze strony zarządu i inwestorów w trudnych czasach, takich jak COVID-19, co przypisujemy temu dopasowaniu.

Kluczowe cechy, które przyczyniają się do sukcesu przedsiębiorcy w branży technologicznej, nie ograniczają się do podejmowania ryzyka; obejmują one również budowanie dochodowej, inkluzywnej firmy.

Dziękuję za wspaniały wywiad. Czytelnicy chcący dowiedzieć się więcej powinni odwiedzić nas iZasługi.