Radha Basu, VD och grundare av iMerit – Intervjuserie

Radha Basu, grundare och VD för iMerit har byggt sin karriär på HP, där hon tillbringade 20 år och till slut ledde dess Enterprise Solutions-grupp. Hon tog sedan Support.com public som dess VD. Radha startade Anudip Foundation 2007 tillsammans med Dipak Basu och grundade sedan iMerit 2012. Hon anses vara en ledande tech-entreprenör och mentor, samt en pionjär inom mjukvarubranschen.

iMerit levererar multimodala AI-data-lösningar genom att kombinera automatisering, expertmänsklig annotering och avancerad analys för att stödja högkvalitativ dataetikettering och modellfinjustering i stor skala.

Du har haft en anmärkningsvärd resa – från att bygga HP:s verksamhet i Indien till att grunda iMerit med en mission att lyfta marginaliserad ungdom i Bhutan, Indien och New Orleans. Vad inspirerade dig att starta iMerit, och vilka utmaningar mötte du när du skapade en inkluderande, global arbetsstyrka från grunden?

Innan jag grundade iMerit var jag styrelseordförande och VD för SupportSoft, där jag ledde företaget genom dess initiala och sekundära noteringar, och etablerade det som en global ledare inom supportautomationsprogramvara. Den erfarenheten visade mig kraften i att kombinera människor och teknik från dag ett.

Medan Indiens tech-boom skapade nya möjligheter, noterade jag att många begåvade unga människor i underbetjänade områden lämnades utanför. Jag trodde på deras potential och driv att lära. När de såg hur programvara kunde driva avancerad teknik som AI, omfamnade de ivrigt dessa karriärer.

Vi lanserade iMerit med ett litet, diversifierat team, där hälften var kvinnor, och har vuxit snabbt sedan dess. Vårt teams anpassningsförmåga och coachbarhet har varit avgörande, särskilt när datacentrerad AI har ökat den långsiktiga efterfrågan på specialiserade experter.

Idag är iMerit en global leverantör av AI-data-lösningar för uppdragskritiska sektorer som autonoma fordon, medicinsk AI och teknik. Vårt arbete säkerställer att kundernas AI-modeller byggs på högkvalitativa, tillförlitliga data, vilket är avgörande i högriskmiljöer.

Till slut ligger vår styrka i en stark teknisk grund och ett team av välutbildade, motiverade anställda som trivs i en stödjande, lärandeorienterad kultur. Detta tillvägagångssätt har drivit vår tillväxt, hållit oss kassa positiva och gett oss höga NPS-poäng och lojala kunder.

iMerit arbetar nu med över 200 kunder, inklusive tech-jättar som eBay och Johnson & Johnson. Kan du gå igenom företagets tillväxtresa – från de tidiga dagarna till att bli en global ledare inom AI-data-tjänster?

Vi har haft en första parkett till våra kunders AI-resor, i partnerskap från tidiga experiment till storskalig produktion. Vårt arbete omfattar startups, globala autonoma fordonledare och stora företag. Genom att träna deras modeller från grunden har vi fått en unik inblick i vad det verkligen tar att skala AI i den verkliga världen.

Fältet har utvecklats konstant och snabbt. Jag har sällan sett en teknik avancera så dramatiskt på så kort tid. Vi har förvandlats från en dataannoteringsleverantör till ett fullständigt AI-data-företag, som levererar specialiserade lösningar över hela den mänskliga-i-loopen (HITL): annotering, validering, granskning och röd lagning. Hantering av kanter och undantag är avgörande för distribution i den verkliga världen, vilket kräver djupgående expertis och nyanserat omdöme vid varje steg.

Vår största vertikal är autonom rörlighet, där vi hanterar den fullständiga perceptionsstacken, inklusive sensorfusion över 15 sensorer för passagerar-, leverans-, lastbils- och jordbruksfordon. Inom hälsovården driver vi klinisk bildAI. Inom högteknologi är vi i framkanten av GenAI-justering och validering, vilket kräver större sofistikering i våra arbetsflöden och talang.

Lyckande i dessa domäner handlar inte bara om att ha experter – det handlar om att odla expertis: den kognitiva förmågan att utmana, coacha och kontextualisera AI-modeller. Det är detta som särskiljer våra team.

Vår tillväxt drivs av långsiktiga partnerskap, och de flesta av våra topp 10-kunder har varit med oss i över fem år. När deras behov blir mer komplexa, höjer vi kontinuerligt vår domänkunskap, verktyg, utbildning och lösningar. Både vår teknikstack och våra människor måste ständigt utvecklas.

Fusionen av programvara, automatisering, annotering och analys skapar rubriken för mycket flexibla, snabba, högt exakta, mänskliga-i-loopen-ingrepp. 70 % av nya logotyper är på vår egen teknikstack, vilket kräver en enorm intern omvandling. Återigen säkerställer vår kultur att teamen är hungriga efter att lära och vill växa konstant.

Vilka har varit de mest avgörande ögonblicken i iMerits historia – antingen tekniska milstolpar eller strategiska beslut – som har format företagets bana?

När AI-data-arbete sågs som crowd-baserat gig-arbete, tog vi en tidig insats att detta skulle växa som en karriär och skulle kräva komplexitet och företagsfokus. Genom att bygga in-house-team tillägnade avancerade användningsfall, möjliggjorde vi för våra kunder att skala snabbt, vilket kulminerade i vår första 1 miljon USD MRR-avtal i autonoma fordon, en milstolpe som validerade vår tillvägagångssätt.

COVID-19-låsningen testade vår smidighet: vi gick från att vara fullständigt kontorsbaserade till att vara fullständigt distansarbete nästan över en natt, investerade tungt i infrastruktur, säkerhet och kultur. Inom några veckor återhämtade sig kundverksamheten, och vi växte både intäkter och personalstyrka det året. Idag, med 70 % av vårt team tillbaka på plats, fortsätter vi att utnyttja distansarbete, lanserar Scholars, vårt globala nätverk av ämnesexperter för GenAI-justering och validering. Oavsett om det är en kardiolog eller en spansk matematiker, lockar och motiverar vår högkvalitativa kultur topp-talang, vilket direkt höjer kvaliteten och konsekvensen i våra lösningar.

År 2023 förvärvade vi Ango.ai, en AI-driven data-etiketterings- och arbetsflödesautomatiseringsplattform, för att driva nästa generation av AI-data-verktyg. Detta avgörande drag förenade iMerits domänexpertis med Angos avancerade verktyg, utvidgade våra förmågor inom radiologi, sensorfusion och GenAI-fine-tuning. Vi arbetar fortfarande med kundverktyg, men många nya kunder är nu ombord på Ango Hub, dragna av dess användarvänliga arbetsflöden och robusta säkerhet, vilket är avgörande krav i vår bransch.

Företag berättar konsekvent för oss att de letar efter det bästa av båda världar: expertmänsklig insikt för att säkerställa kvalitet, kombinerat med en säker, skalbar plattform som levererar automatisering och analys. Att kombinera krafter med Ango levererar exakt det, och positionerar oss unikt för att möta de komplexa kraven på dagens mest ambitiösa AI-projekt och skala med tillförsikt.

iMerit är djupt involverat i avancerade domäner som autonoma fordon, medicinsk AI och GenAI. Vilka är några av de unika data-utmaningarna du står inför i dessa sektorer, och hur hanterar du dem?

Data-relaterade uppgifter står vanligtvis för nästan 80 % av den tid som spenderas på AI-projekt, vilket gör dem till en kritisk komponent i pipelinen. Den datacentrerade delen av AI kan vara tidskrävande och dyrt om den inte hanteras på rätt sätt och i stor skala.

Datakvalitet, och särskilt undvikandet av uppenbara fel, är avgörande i uppdragskritiska sektorer som vi verkar i. Oavsett om det är ett perceptions-algoritm eller en tumör-detektor, är ren data avgörande i tränings-validerings-loopen.

Undantagshantering är oproportionerligt värdefull. Mänsklig insikt i varför något ligger utanför normen eller varför en scenariot bröt modellen skapar enormt värde i att göra modellen mer komplett och robust.

Dessutom blir kontextfönster allt större. Vi sammanfattar kliniska anteckningar från en hel läkare-patient-konsultation och analyserar avvikelser i MR-bilder baserat inte bara på bilden utan också på patientens medicinska kontext. Ämnesexperter måste skapa rubriker för att analysera data korrekt och säkerställa kvalitet.

Säkerhet, sekretess och konfidentialitet är het-potatis-frågor. Vår säkerhetschef måste skydda mot obehörig åtkomst, borttagning och lagring av data. Infosec-protokoll som SOC2, HIPAA och TISAX, har varit stora investeringsområden för oss.

Slutligen arbetar våra ingenjörer och lösningsarkitekter ständigt med anpassade integreringar och rapporter så att unika kundbehov återspeglas i den sista milen. En one-size-fits-all-approach fungerar inte i AI.

Du har talat om att kombinera robotik och mänsklig intelligens som en säkrare väg för AI. Kan du utveckla vad den arbetsflödet ser ut i praktiken – och varför du tror att det är bättre än att försöka eliminera AI:s kreativa avvikelse?

AI tillhandahåller skala, vilket innebär att företag utvecklar verktyg för att automatisera långvariga processer som traditionellt utförs av människor. Men människor tillhandahåller den sista milen av flexibilitet, säkerhet och motståndskraft. När programvarulevererade tjänster fortsätter att spridas i AI, kommer de mest framgångsrika företagen att effektivt kombinera robotik med mänsklig-i-loopen (HITL)-praxis.

Vi ser HITL som en konsekvent lager i varje fas av AI-utvecklings- och distributions-livscykeln, och också som en pelare för tillit och säkerhet. Följaktligen kommer mänsklig intelligens att vara avgörande för att korrigera om modellerna misslyckas. Dessa kritiska tillämpningar kommer att behöva den mänskliga hjärnan för att bestämma vilka ändringar som behöver göras. Det är här HITL-tjänster kommer att bli ännu viktigare när vi integrerar AI i produktion och fältverksamhet.

Er Ango Hub-plattform kombinerar automatisering med mänsklig-i-loopen-expertis. Hur förbättrar detta hybridmodell datakvalitet och modellprestanda i produktions-AI-system?

AI och automatisering tillhandahåller skala och hastighet, medan människor tillhandahåller nyans, insikt och tillsyn. HITL säkerställer mänskligt deltagande i kritiska skeden i AI-livscykeln – säkerställer högkvalitativa indata, validerar utdata, identifierar kanter och undantag, finjusterar modeller för domäner och tillhandahåller kontextuell bedömning. Människor säkerställer noggrannhet genom att granska och validera utdata, fånga hallucinationer eller logiska fel innan de orsakar skada. De tillhandahåller också tillsyn i etiskt känsliga eller högrisk-sammanhang där LLM inte bör fatta slutliga beslut. Mer viktigt är att mänsklig återkoppling bränsle för kontinuerligt lärande, som hjälper AI-system att anpassa sig mer nära användarmål över tid.

HITL tar många former. Mänskliga experter engagerar sig i riktad annotering, tillämpar komplex resonemang på kanter och undantag, och granskar AI-genererat innehåll med hjälp av strukturerade QA-gränssnitt. Snarare än att utvärdera varje beslut, implementeras ofta kontextuell eskaleringssystem. Dessa system dirigerar endast lågkonfidens-utdata eller flaggade avvikelser till mänskliga granskare, balanserar tillsyn med effektivitet.

En annan kritisk användning av HITL är finjustering av AI-agenter via förstärkt inlärning från mänsklig återkoppling (RLHF). Mänskliga granskare rankar, reviderar eller tillhandahåller återkoppling på agent-svar, vilket är särskilt viktigt i känsliga domäner som hälsovård, juridik eller kundsupport. I tandem tillåter scenario-baserad testning och röd lagning mänskliga utvärderare att testa agenter under antagonistiska eller ovanliga förhållanden för att identifiera och laga sårbarheter före distribution.

AI:s fulla potential realiseras endast när människor förblir i loopen, guidar, validerar och förbättrar varje steg. Oavsett om det är att finslipa agent-utdata, träna utvärderingsloopar eller kurera tillförlitliga data-pipelines, mänsklig tillsyn lägger till den struktur och ansvarsskyldighet som AI behöver för att vara betrodd och effektiv.

Med Generative AI-verktyg som utvecklas snabbt, hur stannar iMerit före i att tillhandahålla utvärdering, RLHF och finjusterings-tjänster?

Vi lanserade nyligen Ango Hub Deep Reasoning Lab (DRL), en enhetlig plattform för Generative AI-justering och interaktiv utveckling av kedja-av-tankar-resonemang med AI-lärare. Vår DRL möjliggör realtids-, tur-för-tur-processer och utvärdering baserat på mänskliga preferenser, vilket leder till mer sammanhängande och exakta modellsvar på komplexa problem.

Framsteg inom GenAI-modeller och applikationsutveckling betonar värdet av ren, expertskapad, validerad data. Med Ango Hub DRL kan experter testa modeller, identifiera svagheter och generera ren data med hjälp av kedja-av-tankar-resonemang. De interagerar med modellerna i realtid och skickar prompter och korrektioner tillbaka steg-för-steg i ett enda gränssnitt.

Genom att utnyttja iMerit Scholars, förfinar Ango Hub DRL modell-resonemangsprocesser. Det utnyttjar iMerits omfattande erfarenhet av HITL-arbetsflöden. Experter utformar multi-stegs-scenarier för komplexa uppgifter, såsom skapande av kedja-av-tankar-prompter för avancerade matematikproblem. iMerit Scholars granskar utdata, korrekturläser fel och fångar interaktioner sömlöst. Magin ligger inte i att omborda stora antal slumpmässigt. De bästa matematikerna är inte nödvändigtvis de bästa lärarna. En kardiolog bör inte behandlas som en gig-arbetare. Passningen och coachningen av ämnesexperter för att tänka på sätt som gynnar modell-träningsprocessen mest, samt engagemanget, gör skillnaden.

Vad betyder “expert-i-loopen” i sammanhanget med finjustering av generativ AI? Kan du dela exempel där denna mänskliga expertis avsevärt förbättrade modell-utdata?

Expert-i-loopen kombinerar mänsklig intelligens med robotisk intelligens för att driva AI till produktion. Det involverar mänskliga experter som validerar, finslipar och förbättrar utdata från automatiserade system.

Specifikt säkerställer expert-ledd data-annotering att träningsdata är korrekt märkt med domänspecifik kunskap, vilket förbättrar precisionen och tillförlitligheten hos prediktiva AI-modeller. Genom att minska bias och missklassificeringar, förbättrar expert-styrd annotering modellens förmåga att generalisera effektivt över verkliga scenarier. Detta resulterar i AI-system som är mer pålitliga, tolkningsbara och anpassade till branschspecifika behov.

Till exempel, efter att ha förvärvat en stor mängd medicinska data, behövde ett amerikanskt multinationellt teknikföretag utvärdera data för användning i sin konsumentinriktade medicinska chatbot för att säkerställa säker och korrekt medicinsk rådgivning till användare. Vändande sig till iMerit, utnyttjade de vår omfattande nätverk av amerikanska hälsoexperter och samlade ett team av sjuksköterskor för att arbeta i ett konsensusarbetsflöde med eskaleringar och skiljeförfarande tillhandahållet av en amerikansk styrelse-certifierad läkare. Sjuksköterskorna började med att utvärdera kunskapsbasen med definitioner för att bedöma noggrannhet och risk.

Genom diskussion om kanter och revidering av riktlinjer kunde sjuksköterskorna nå konsensus i 99 % av fallen. Detta möjliggjorde för teamet att revidera projektets design till en enkel-votestruktur med en 10 % revision, vilket minskade projektets kostnader med över 72 %. Att arbeta med iMerit har möjliggjort för detta företag att kontinuerligt identifiera sätt att skala medicinsk data-annotering etiskt och effektivt.

Med över 8 000 heltids-experter världen över, hur upprätthåller ni kvalitet, prestanda och medarbetarutveckling i stor skala?

Definitionen av kvalitet är alltid anpassad till varje kunds specifika användningsfall. Våra team samarbetar nära med kunder för att definiera och kalibrera kvalitetsstandarder, använder anpassade processer som säkerställer att varje annotering snabbt valideras av ämnesexperter. Konsekvens är viktigt för utvecklingen av högkvalitativ AI. Detta stöds av hög personalretention (90 %) och en stark fokus på produktionsanalys, en nyckeldifferentierare i designen av Ango Hub, formad av daglig användarfeedback från vårt team.

Vi investerar kontinuerligt i automatisering, optimering och kunskapsförvaltning, underbyggd av vår egenutvecklade iMerit One-utbildningsplattform. Detta engagemang för lärande och utveckling driver inte bara operativ excellens, utan stödjer också långsiktig karriärutveckling för våra anställda, främjande en kultur av expertis och tillväxt.

Vad råd skulle du ge till blivande AI-entreprenörer som vill bygga något meningsfullt – både i teknik och i social påverkan?

AI rör sig hisnande fort. Gå bortom teknikstacken och lyssna på dina kunder för att förstå vad som är viktigt för deras verksamhet. Förstå deras aptit för hastighet, förändring och risk. Tidiga kunder kan prova saker. Större kunder behöver veta att du är här för att stanna och att du kommer att fortsätta prioritera dem. Sätt dem i lugn med din proaktiva approach mot transparens, säkerhet och ansvar.

Dessutom, välj noggrant dina investerare och styrelseledamöter för att säkerställa samstämmighet i delade värderingar och bekymmer. På iMerit upplevde vi betydande stöd från vår styrelse och investerare under utmanande tider som COVID-19, vilket vi tillskriver denna samstämmighet.

De nyckel-egenskaper som bidrar till en entreprenörs framgång i tech-branschen går utöver att ta risker; de handlar om att bygga ett lönsamt, inkluderande företag.

Tack för den underbara intervjun, läsare som vill lära sig mer bör besöka iMerit.