Radha Basu, CEO i założycielka iMerit – seria wywiadów

Radha Basu, założycielka i CEO iMerit, zbudowała swoją karierę w HP, spędzając 20 lat z tym gigantem technologicznym i ostatecznie kierując jego grupą Enterprise Solutions. Następnie wprowadziła Support.com na giełdę jako jego CEO. Radha założyła Anudip Foundation w 2007 roku z Dipakiem Basu, a następnie założyła iMerit w 2012 roku. Uważana jest za wiodącego przedsiębiorcę technologicznego i mentora, a także pioniera w branży oprogramowania.

iMerit dostarcza rozwiązania multimodalne do danych AI, łącząc automatyzację, ekspertową anotację ludzką i zaawansowaną analizę, aby wspierać wysokiej jakości etykietowanie danych i dostrajanie modeli w dużym stopniu.

Miała Pani niezwykłą podróż – od budowy operacji HP w Indiach do założenia iMerit z misją podniesienia marginalizowanej młodzieży w Bhutanie, Indiach i Nowym Orleanie. Co skłoniło Panią do założenia iMerit, i jakie wyzwania Pani spotkała przy tworzeniu inkluzywnej, globalnej siły roboczej od podstaw?

Przed założeniem iMerit byłem przewodniczącym i CEO SupportSoft, gdzie poprowadziłem firmę przez jej pierwsze i wtórne oferty publiczne, ustanawiając ją jako globalnego lidera w oprogramowaniu do automatyzacji wsparcia. To doświadczenie pokazało mi moc łączenia ludzi i technologii od samego początku.

Podczas gdy boom technologiczny w Indiach stworzył nowe możliwości, zauważyłam, że wielu utalentowanych młodych ludzi w obszarach słabo obsługiwanych zostało pozostawionych. Wierzyłam w ich potencjał i chęć do nauki. Gdy tylko zobaczyli, jak oprogramowanie może napędzać zaawansowane technologie, takie jak AI, z entuzjazmem przyjęli te kariery.

Uruchomiliśmy iMerit z małym, zróżnicowanym zespołem, z których połowa to kobiety, i od tego czasu rosło szybko. Elastyczność i coachowalność naszego zespołu były kluczowe, zwłaszcza gdy data-centric AI zwiększyła długoterminowy popyt na wykwalifikowanych specjalistów.

Dziś iMerit jest globalnym dostawcą rozwiązań AI danych dla sektorów o znaczeniu krytycznym, takich jak pojazdy autonomiczne, AI medyczne i technologia. Nasza praca zapewnia, że modele AI klientów są budowane na wysokiej jakości, niezawodnych danych, co jest niezbędne w środowiskach o wysokim ryzyku.

Ostatecznie nasza siła leży w silnych podstawach technologicznych i zespole dobrze wyszkolonych, zmotywowanych pracowników, którzy prosperują w kulturze wspierającej i ukierunkowanej na uczenie się. Ten podejście napędza nasz wzrost, utrzymuje nas w gotówce i przynosi nam wysokie wyniki NPS i lojalnych klientów.

iMerit współpracuje obecnie z ponad 200 klientami, w tym z gigantami technologicznymi, takimi jak eBay i Johnson & Johnson (JNJ ). Czy może Pani oprowadzić nas przez podróż wzrostu firmy – od tych wczesnych dni do zostania globalnym liderem w usługach danych AI?

Mieliśmy pierwszorzędny dostęp do podróży AI naszych klientów, współpracując od wczesnych eksperymentów do dużych produkcji. Nasza praca obejmuje startupy, globalnych liderów pojazdów autonomicznych i duże przedsiębiorstwa. Poprzez szkolenie ich modeli od podstaw, zyskaliśmy niezrównaną wgląd w to, co naprawdę jest potrzebne do skalowania AI w świecie rzeczywistym.

Dziedzina ta ewoluowała nieustannie i szybko. Rzadko widziałem technologię, która posunęła się tak dramatycznie w tak krótkim czasie. Przekształciliśmy się z dostawcy anotacji danych w pełnoprawną firmę AI danych, dostarczając specjalistyczne rozwiązania w całym cyklu życia ludzkiej pętli (HITL): anotacji, walidacji, audytu i czerwonej drużyny. Obsługa przypadków brzegowych i wyjątków jest niezbędna dla wdrożenia w świecie rzeczywistym, wymagając głębokiej ekspertyzy i nuansowanego osądu na każdym etapie.

Nasze największe pionowe jest to autonomia ruchu, gdzie zarządzamy pełnym stosiem percepcji, w tym fuzją sensorów w 15 sensorach dla pojazdów pasażerskich, dostawczych, ciężarowych i rolniczych. W sektorze opieki zdrowotnej napędzamy AI obrazowania klinicznego. W sektorze high-tech jesteśmy na czele strojenia i walidacji GenAI, wymagającej większej sofistyki w naszych przepływach pracy i talencie.

Sukces w tych dziedzinach nie jest tylko kwestią posiadania ekspertów – jest to kultura ekspertyzy: zdolność poznawcza do wyzwania, coachingu i kontekstualizacji modeli AI. To właśnie to odróżnia nasze zespoły.

Nasz wzrost jest napędzany przez długoterminowe partnerstwa, a większość naszych najlepszych klientów współpracuje z nami przez ponad pięć lat. Gdy ich potrzeby stają się bardziej złożone, nieustannie podnosimy naszą wiedzę na temat domeny, narzędzi, szkoleń i rozwiązań. Zarówno nasz stos technologiczny, jak i ludzie muszą stale ewoluować.

Fuzja oprogramowania, automatyzacji, anotacji i analizy tworzy ramy dla bardzo elastycznych, szybkich, precyzyjnych interwencji z ludzką pętlą. 70% nowych logo jest na naszym własnym stosie technologicznym, co wymaga ogromnej wewnętrznej transformacji. Ponownie, nasza kultura zapewnia, że zespoły są głodne nauki i chcą rosnąć nieustannie.

Jakie były najważniejsze momenty w historii iMerit – czy to kamienie milowe technologiczne, czy strategiczne decyzje – które pomogły ukształtować trajektorię firmy?

W momencie, gdy praca z danymi AI była postrzegana jako praca w trybie tłumu, postawiliśmy wcześniejszą zakład, że to będzie rosło jako kariera i będzie wymagało złożoności i skupienia na przedsiębiorstwie. Poprzez budowanie wewnętrznych zespołów poświęconych zaawansowanym przypadkom użycia, umożliwiliśmy naszym klientom szybkie skalowanie, kulminujące w naszej pierwszej umowie o wartości 1 mln USD w pojazdach autonomicznych, kamieniu milowym, który potwierdził nasze podejście.

Blokada COVID-19 przetestowała naszą elastyczność: przenieśliśmy się z biura do pełnego trybu zdalnego niemal nocą, inwestując ciężko w infrastrukturę, bezpieczeństwo i kulturę. W ciągu kilku tygodni operacje klientów odzyskały się, a my rosliśmy zarówno przychody, jak i liczbę pracowników w tym roku. Dziś, z 70% naszego zespołu z powrotem na miejscu, nadal wykorzystujemy zdalny talent, uruchamiając Scholars, naszą globalną sieć ekspertów w dziedzinie GenAI do strojenia i walidacji. Niezależnie od tego, czy jest to kardiolog, czy hiszpański matematyk, nasza kultura wysokiego poziomu przyciąga i motywuje najlepszy talent, bezpośrednio podnosząc jakość i spójność naszych rozwiązań.

W 2023 roku nabyliśmy Ango.ai, platformę AI do etykietowania danych i automatyzacji przepływu pracy, aby napędzić następną generację narzędzi AI danych. Ten przełomowy krok połączył ekspertyzę iMerit z zaawansowanym narzędziem Ango, rozszerzając nasze możliwości w radiologii, fuzji sensorów i dostrajaniu GenAI. Nadal współpracujemy z narzędziami klientów, ale wielu nowych klientów jest teraz wdrożonych bezpośrednio do Ango Hub, przyciągniętych przez jego przyjazne dla użytkownika przepływy pracy i solidne bezpieczeństwo, które są niezbędnymi wymogami w naszej branży.

Przedsiębiorstwa stale mówią nam, że szukają najlepszych z obu światów: ekspertowej wiedzy ludzkiej, aby zapewnić jakość, w połączeniu z bezpieczną, skalowalną platformą, która dostarcza automatyzację i analizy. Połączenie sił z Ango dostarcza dokładnie to, unikalnie pozycjonując nas, aby spełnić złożone wymagania najambitniejszych projektów AI i skalować z pewnością.

iMerit jest głęboko zaangażowany w zaawansowane dziedziny, takie jak pojazdy autonomiczne, AI medyczne i GenAI. Jakie są niektóre z unikalnych wyzwań związanych z danymi, których Pani spotyka w tych sektorach, i jak je Pani rozwiązuje?

Zadania związane z danymi zwykle stanowią prawie 80% czasu spędzonego na projektach AI, co sprawia, że są one krytycznym składnikiem potoku. Część związana z danymi AI może być czasochłonna i droga, jeśli nie jest obsługiwana odpowiednio i w sposób skalowalny.

Jakość danych, a zwłaszcza unikanie rażących błędów, jest niezbędna w sektorach o znaczeniu krytycznym, w których działamy. Niezależnie od tego, czy jest to algorytm percepcji, czy wykrywacz guzów, czyste dane są niezbędne w pętli szkoleniowej do walidacji.

Obsługa wyjątków jest nieproporcjonalnie cenna. Wgląd ludzki w to, dlaczego coś jest poza normą lub dlaczego scenariusz złamał model, tworzy ogromną wartość, sprawiając, że model staje się bardziej kompletny i solidny.

Ponadto okna kontekstowe stają się coraz większe. Streszczamy notatki lekarskie całej konsultacji lekarza z pacjentem i analizujemy anomalie w MRI na podstawie nie tylko obrazu, ale także kontekstu medycznego pacjenta. Eksperci muszą ustalić rubryki, aby analizować dane dokładnie i zapewnić jakość.

Bezpieczeństwo, prywatność i poufność są gorącymi tematami. Nasz Chief Security Officer musi zabezpieczyć się przed nieautoryzowanym dostępem, usunięciem i przechowywaniem danych. Protokoły infosec, takie jak SOC2, HIPAA i TISAX, były głównymi obszarami inwestycji dla nas.

Nasze inżynierowie i architekci rozwiązań pracują nieustannie nad niestandardowymi integracjami i raportami, aby unikalne potrzeby klientów były odzwierciedlone w ostatniej mile. Podejście “one-size-fits-all” nie działa w AI.

Czy może Pani wyjaśnić, co oznacza łączenie robotyki i inteligencji ludzkiej jako bezpieczniejszą ścieżkę dla AI? Czy może Pani opisać, jak ten przepływ pracy wygląda w praktyce – i dlaczego uważa Pani, że jest lepszy niż próba eliminacji twórczej rozbieżności AI?

AI zapewnia skalę, co oznacza, że firmy rozwijają narzędzia do automatyzacji długich procesów tradycyjnie wykonywanych przez ludzi. Ale ludzie zapewniają ostatnią milę elastyczności, pewności i odporności. Gdy usługi dostarczane przez oprogramowanie będą się nadal rozwijać w AI, najbardziej udane firmy będą skutecznie łączyć robotykę z praktykami ludzkiej pętli (HITL).

Widzimy HITL jako stałą warstwę we wszystkich fazach cyklu życia rozwoju i wdrożenia AI, a także jako filar zaufania i bezpieczeństwa. W związku z tym inteligencja ludzka będzie niezbędna do korekty kursu, jeśli modele zawiodą. Te krytyczne aplikacje będą wymagać ludzkiego umysłu, aby określić, jakie zmiany będą musiały zostać wprowadzone. To właśnie tam usługi HITL staną się jeszcze bardziej znaczące, gdy będziemy integrować AI z produkcją i operacjami polowymi.

Jak platforma Ango Hub łączy automatyzację z ekspertową wiedzą ludzką? W jaki sposób ten hybrydowy model poprawia jakość danych i wydajność modelu w systemach AI?

AI i automatyzacja zapewniają skalę i szybkość, podczas gdy ludzie zapewniają nuans, wgląd i nadzór. HITL zapewnia zaangażowanie ludzi w krytycznych momentach cyklu życia AI – zapewniając wysokiej jakości dane wejściowe, walidując dane wyjściowe, identyfikując przypadki brzegowe, dostrajając modele dla domen i zapewniając kontekstowy osąd. Ludzie pomagają zapewnić dokładność, przeglądając i weryfikując dane wyjściowe, łapiąc halucynacje lub błędy logiczne, zanim spowodują szkodę. Zapewniają również nadzór w kontekstach etycznie wrażliwych lub wysokiego ryzyka, w których LLM nie powinny podejmować ostatecznych decyzji. Co więcej, opinia ludzi napędza ciągłe uczenie, pomagając systemom AI wyrównać się bardziej z celami użytkowników w czasie.

HITL przybiera wiele form. Eksperci angażują się w celową anotację, stosując złożone rozumowanie do przypadków brzegowych i przeglądają treść wygenerowaną przez AI za pomocą interfejsów QA strukturalnych. Zamiast oceniać każdą decyzję, często wdraża się systemy eskalacji kontekstowej. Te systemy kierują tylko dane wyjściowe o niskiej pewności lub oznaczone anomalie do recenzentów ludzkich, balansując nadzór z wydajnością.

Innym krytycznym zastosowaniem HITL jest dostrajanie agentów AI za pomocą wzmocnienia z opinii ludzi (RLHF). Recenzenci ludzcy oceniają, przepisują lub zapewniają opinie o odpowiedziach agenta, co jest szczególnie ważne w wrażliwych dziedzinach, takich jak opieka zdrowotna, usługi prawne lub wsparcie klienta. W tandemie testowanie scenariuszowe i czerwona drużyna pozwalają oceniającym ludzkim testować agenci w warunkach adversarialnych lub nietypowych, aby zidentyfikować i załatać słabości przed wdrożeniem.

Pełny potencjał AI jest realizowany tylko wtedy, gdy ludzie pozostają w pętli, kierując, walidując i poprawiając każdy krok. Niezależnie od tego, czy chodzi o ulepszanie danych wyjściowych agenta, szkolenie pętli oceny, czy kurację niezawodnych potoków danych, nadzór ludzki dodaje strukturę i odpowiedzialność, której AI potrzebuje, aby być godnym zaufania i skutecznym.

Jak iMerit pozostaje na czele w zakresie oceny, RLHF i dostrajania usług wraz z ewolucją narzędzi Generative AI?

Niedawno uruchomiliśmy Ango Hub Deep Reasoning Lab (DRL), zintegrowaną platformę do strojenia i interaktywnego rozwoju łańcucha myślowego z nauczycielami AI. Nasz DRL umożliwia procesy w czasie rzeczywistym i ocenę opartą na preferencjach ludzkich, prowadząc do bardziej spójnych i dokładnych odpowiedzi modeli na złożone problemy.

Postępy w modelach GenAI i rozwoju aplikacji podkreślają wartość czystych, ekspertowo utworzonych i zwalidowanych danych. Z Ango Hub DRL eksperci mogą testować modele, identyfikować słabości i generować czyste dane za pomocą łańcucha myślowego. Interakcja z modelami w czasie rzeczywistym i wysyłanie sugestii i poprawek wstecz, krok po kroku, w jednym interfejsie.

Wykorzystując iMerit Scholars, Ango Hub DRL udoskonala procesy myślowe modelu. Wykorzystuje ogromne doświadczenie iMerit z przepływami pracy HITL. Eksperci projektują wieloetapowe scenariusze dla złożonych zadań, takich jak tworzenie sugestii łańcucha myślowego dla zaawansowanych problemów matematycznych. iMerit Scholars przeglądają dane wyjściowe, poprawiają błędy i rejestrują interakcje bezproblemowo. Magia nie leży w rekrutacji dużej liczby ludzi niezależnie. Najlepsi matematycy niekoniecznie są najlepszymi nauczycielami. Nie powinno się również traktować kardiologa jak pracownika na etacie. Dopasowanie i coaching ekspertów do myślenia w sposób, który przynosi największą korzyść procesowi szkolenia modelu, a także zaangażowanie, robią różnicę.

Co oznacza “ekspert w pętli” w kontekście dostrajania generatywnej AI? Czy może Pani podzielić się przykładami, w których ludzka ekspertyza znacząco poprawiła dane wyjściowe modelu?

Ekspert w pętli łączy inteligencję ludzką z inteligencją roboczą, aby wprowadzić AI do produkcji. Obejmuje to ekspertów ludzkich, którzy walidują, doskonalą i udoskonalają dane wyjściowe zautomatyzowanych systemów.

Konkretnie, anotacja danych z udziałem ekspertów zapewnia, że dane szkoleniowe są dokładnie oznaczone wiedzą specyficzną dla danej dziedziny, co poprawia precyzję i niezawodność modeli predykcyjnych AI. Poprzez redukcję biasów i błędów, anotacja z udziałem ekspertów poprawia zdolność modelu do generalizacji w różnych scenariuszach świata rzeczywistego. To skutkuje systemami AI, które są bardziej godne zaufania, interpretowalne i zgodne z potrzebami branży.

Na przykład, po zdobyciu dużej kolekcji danych medycznych, amerykańska firma technologiczna potrzebowała ocenić dane do użycia w swoim czacie medycznym, aby zapewnić bezpieczne i dokładne porady medyczne dla użytkowników. Zwróciwszy się do iMerit, wykorzystali naszą sieć ekspertów opieki zdrowotnej w USA i zmontowali zespół pielęgniarek do pracy w przepływie pracy konsensusu z eskalacjami i arbitrażem zapewnionym przez lekarza certyfikowanego w USA. Pielęgniarki zaczęły od oceny bazy wiedzy zawierającej definicje, aby ocenić dokładność i ryzyko.

Poprzez dyskusję na temat przypadków brzegowych i rewizję wytycznych pielęgniarki mogły osiągnąć konsensus w 99% przypadków. To pozwoliło zespołowi na zmianę projektu do struktury z jednym głosem z 10% audytu, redukując koszty projektu o ponad 72%. Praca z iMerit umożliwiła tej firmie ciągłe identyfikowanie sposobów na etyczne i efektywne skalowanie anotacji danych medycznych.

Z ponad 8 000 pełnoetatowych ekspertów na całym świecie, jak Pani utrzymuje jakość, wydajność i rozwój pracowników w skali?

Definicja jakości jest zawsze dostosowana do konkretnego przypadku użycia klienta. Nasze zespoły współpracują ściśle z klientami, aby zdefiniować i skalibrować standardy jakości, zatrudniając procesy niestandardowe, które zapewniają, że każda anotacja jest szybko zwalidowana przez ekspertów w dziedzinie. Spójność jest ważna dla rozwoju wysokiej jakości AI. To jest wspierane przez wysoką retencję pracowników (90%) i silny nacisk na analizę produkcji, kluczowy differentiator w projekcie Ango Hub, ukształtowany przez codzienny wpływ użytkowników z naszego zespołu.

Niezależnie od tego, czy chodzi o automatyzację, optymalizację, czy zarządzanie wiedzą, nasz zaangażowanie w uczenie się i rozwój nie tylko napędza doskonałość operacyjną, ale także wspiera długoterminowy postęp kariery naszych pracowników, pielęgnując kulturę ekspertyzy i wzrostu.

Jakie rady dałaby Pani aspirującym przedsiębiorcom AI, którzy chcą zbudować coś znaczącego – zarówno w technologiach, jak i w wpływie społecznym?

AI porusza się w zawrotnym tempie. Idź poza stos technologiczny i słuchaj swoich klientów, aby zrozumieć, co jest dla nich ważne. Zrozum ich apetyt na prędkość, zmianę i ryzyko. Wczesni klienci mogą wypróbować rzeczy. Większym klientom trzeba dać pewność, że jesteście tu, aby pozostać i że będziecie nadal priorytetem. Uspokój ich waszym proaktywnym podejściem do przejrzystości, bezpieczeństwa i odpowiedzialności.

Ponadto starannie wybierajcie inwestorów i członków zarządu, aby zapewnić zgodność wartości i problemów. W iMerit doświadczyliśmy znacznego wsparcia od naszego zarządu i inwestorów w trudnych czasach, takich jak COVID-19, co przypisujemy tej zgodności.

Cechy, które przyczyniają się do sukcesu przedsiębiorcy w branży technologicznej, wykraczają poza podejmowanie ryzyka; obejmują one budowanie rentownej, inkluzywnej firmy.

Dziękujemy za wspaniały wywiad, czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić iMerit.