Radha Basu, CEO en oprichter van iMerit – Interviewserie

Radha BasuOprichtster en CEO van iMerit heeft haar carrière opgebouwd bij HP, waar ze 20 jaar bij de techgigant heeft gewerkt en uiteindelijk leiding heeft gegeven aan de Enterprise Solutions-groep. Vervolgens bracht ze Support.com naar de beurs als CEO. Radha richtte in 2007 samen met Dipak Basu de Anudip Foundation op en richtte in 2012 iMerit op. Ze wordt beschouwd als een toonaangevende techondernemer en mentor, en een pionier in de softwarebranche.

iVerdienste levert multimodale AI-dataoplossingen door automatisering, deskundige menselijke annotatie en geavanceerde analyses te combineren ter ondersteuning van hoogwaardige datalabeling en modelfine-tuning op grote schaal.

Je hebt een bijzondere reis achter de rug – van het opbouwen van de activiteiten van HP in India tot de oprichting van iMerit met als missie om gemarginaliseerde jongeren in Bhutan, India en New Orleans te ondersteunen. Wat inspireerde je om iMerit op te richten en welke uitdagingen kwam je tegen bij het vanaf de grond opbouwen van een inclusieve, wereldwijde beroepsbevolking?

Voordat ik iMerit oprichtte, was ik voorzitter en CEO van SupportSoft, waar ik het bedrijf door de beursgang en de secundaire beursintroducties leidde en het uitbouwde tot een wereldleider in software voor ondersteuningsautomatisering. Die ervaring heeft me vanaf dag één de kracht van de combinatie van mens en technologie laten zien.

Terwijl de techboom in India nieuwe kansen creëerde, merkte ik dat veel getalenteerde jongeren in achtergestelde gebieden achterbleven. Ik geloofde in hun potentieel en hun leergierigheid. Toen ze eenmaal zagen hoe software geavanceerde technologieën zoals AI kon aandrijven, omarmden ze deze carrières gretig.

We lanceerden iMerit met een klein, divers team, waarvan de helft uit vrouwen bestaat, en zijn sindsdien snel gegroeid. Het aanpassingsvermogen en de coachbaarheid van ons team waren cruciaal, vooral omdat datacentrische AI ​​de vraag naar bekwame specialisten op de lange termijn heeft doen toenemen.

Tegenwoordig is iMerit een wereldwijde leverancier van AI-dataoplossingen voor bedrijfskritische sectoren zoals autonome voertuigen, medische AI ​​en technologie. Ons werk zorgt ervoor dat de AI-modellen van klanten gebaseerd zijn op hoogwaardige, betrouwbare data, wat essentieel is in omgevingen met hoge risico's.

Uiteindelijk ligt onze kracht in een sterke technologische basis en een team van goed opgeleide, gemotiveerde medewerkers die floreren in een ondersteunende, leergedreven cultuur. Deze aanpak heeft onze groei gestimuleerd, ons cashpositief gehouden en ons hoge NPS-scores en loyale klanten opgeleverd.

iMerit werkt inmiddels samen met meer dan 200 klanten, waaronder techgiganten zoals eBay en Johnson & Johnson. Kunt u ons de groei van het bedrijf vertellen – van de begindagen tot de wereldleider in AI-dataservices?

We hebben de AI-trajecten van onze klanten vanaf de eerste rij gevolgd, van de eerste experimenten tot grootschalige productie. We werken samen met startups, wereldwijde leiders in zelfrijdende auto's en grote ondernemingen. Door hun modellen vanaf de grond af te trainen, hebben we ongeëvenaard inzicht gekregen in wat er werkelijk nodig is om AI in de praktijk te schalen.

Het vakgebied is constant en snel geëvolueerd. Ik heb zelden een technologie zo'n enorme vooruitgang in zo'n korte tijd gezien. We zijn getransformeerd van een leverancier van data-annotatie naar een full-stack AI-databedrijf dat gespecialiseerde oplossingen levert voor de gehele human-in-the-loop (HITL)-levenscyclus: annotatie, validatie, audit en red-teaming. Het afhandelen van edge cases en uitzonderingen is essentieel voor implementatie in de praktijk en vereist diepgaande expertise en genuanceerd oordeelsvermogen bij elke stap.

Onze grootste vertical is autonome mobiliteit, waar we de volledige perceptie-stack beheren, inclusief sensorfusie over 15 sensoren voor personenauto's, bezorgvoertuigen, vrachtwagens en landbouwvoertuigen. In de gezondheidszorg stimuleren we AI voor klinische beeldvorming. In de hightech lopen we voorop in het afstemmen en valideren van GenAI, wat een grotere verfijning van onze workflows en ons talent vereist.

Succes in deze domeinen draait niet alleen om het hebben van experts, maar ook om het cultiveren van expertise: het cognitieve vermogen om AI-modellen uit te dagen, te coachen en te contextualiseren. Dát is wat onze teams onderscheidt.

Onze groei wordt gevoed door langdurige partnerschappen en de meeste van onze top tien klanten werken al meer dan vijf jaar met ons samen. Naarmate hun behoeften complexer worden, verbeteren we voortdurend onze domeinkennis, tools, trainingen en oplossingen. Zowel onze technologie als onze mensen moeten zich voortdurend ontwikkelen.

De combinatie van software, automatisering, annotatie en analyse creëert de rubric voor zeer flexibele, snelle en uiterst precieze interventies waarbij de mens centraal staat. 70% van de nieuwe logo's bevindt zich in onze eigen tech stack, wat een enorme interne transformatie vereist. Onze bedrijfscultuur zorgt er bovendien voor dat de teams leergierig zijn en constant willen groeien.

Wat zijn de belangrijkste momenten in de geschiedenis van iMerit geweest, of het nu technologische mijlpalen of strategische beslissingen waren, die de koers van het bedrijf hebben bepaald?

In een tijd waarin AI-datawerk werd gezien als een klus die door de massa werd gedaan, gokten we er al vroeg op dat dit een carrière zou worden die complexiteit en een sterke focus op de onderneming zou vereisen. Door interne teams samen te stellen die zich toelegden op geavanceerde use cases, stelden we onze klanten in staat om snel op te schalen. Dit resulteerde in onze eerste MRR-deal van $ 1 miljoen voor zelfrijdende auto's, een mijlpaal die onze aanpak bevestigde.

De COVID-19-lockdown stelde onze wendbaarheid op de proef: we gingen van een volledige thuiswerkplek naar volledig remote werken in een mum van tijd, waarbij we fors investeerden in infrastructuur, beveiliging en bedrijfscultuur. Binnen enkele weken herstelden de activiteiten bij onze klanten zich en groeiden zowel de omzet als het personeelsbestand dat jaar. Vandaag de dag, met 70% van ons team weer op locatie, blijven we inzetten op talent op afstand door Scholars te lanceren, ons wereldwijde netwerk van experts op het gebied van GenAI-afstemming en -validatie. Of het nu gaat om een ​​cardioloog of een Spaanse wiskundige, onze persoonlijke cultuur trekt toptalent aan en motiveert het, wat de kwaliteit en consistentie van onze oplossingen direct verbetert.

In 2023 namen we Ango.ai over, een AI-gestuurd platform voor datalabeling en workflowautomatisering, om de volgende generatie AI-datatools te stimuleren. Deze cruciale stap combineerde de domeinexpertise van iMerit met de geavanceerde tools van Ango, waardoor onze mogelijkheden op het gebied van radiologie, sensorfusie en GenAI-finetuning werden uitgebreid. We werken nog steeds met klanttools, maar veel nieuwe klanten stappen nu rechtstreeks over op Ango Hub, aangetrokken door de gebruiksvriendelijke workflows en robuuste beveiliging, die essentiële vereisten zijn in onze branche.

Bedrijven vertellen ons keer op keer dat ze op zoek zijn naar het beste van twee werelden: deskundig menselijk inzicht om kwaliteit te garanderen, gecombineerd met een veilig, schaalbaar platform dat automatisering en analyses biedt. De krachtenbundeling met Ango biedt precies dat, waardoor we in een unieke positie verkeren om te voldoen aan de complexe eisen van de meest ambitieuze AI-projecten van vandaag en met vertrouwen te schalen.

iMerit is nauw betrokken bij geavanceerde domeinen zoals zelfrijdende auto's, medische AI ​​en GenAI. Wat zijn enkele van de unieke data-uitdagingen waar u in deze sectoren mee te maken krijgt, en hoe pakt u deze aan?

Datagerelateerde taken nemen doorgaans bijna 80% van de tijd in beslag die aan AI-projecten wordt besteed, waardoor ze een cruciaal onderdeel van de pijplijn vormen. Het datacentrische aspect van AI kan tijdrovend en duur zijn als het niet goed en schaalbaar wordt aangepakt.

Datakwaliteit, en met name het vermijden van ernstige fouten, is essentieel in de bedrijfskritische sectoren waarin we actief zijn. Of het nu gaat om een ​​perceptiealgoritme of een tumordetector, schone data zijn essentieel in de loop van training tot validatie.

Uitzonderingsafhandeling is onevenredig waardevol. Menselijk inzicht in waarom iets buiten de norm valt of waarom een ​​scenario het model heeft verstoord, creëert enorme waarde en maakt het model completer en robuuster.

Bovendien worden contextvensters steeds groter. We vatten klinische aantekeningen van een volledig arts-patiëntconsult samen en analyseren afwijkingen in MRI's, niet alleen op basis van de afbeelding zelf, maar ook op basis van de medische context van de patiënt. Vakinhoudelijke experts moeten rubrieken opstellen om de data nauwkeurig te analyseren en de kwaliteit te waarborgen.

Veiligheid, privacy en vertrouwelijkheid zijn belangrijke thema's. Onze Chief Security Officer moet bescherming bieden tegen ongeautoriseerde toegang, verwijdering en opslag van gegevens. Infosec-protocollen zoals SOC2, HIPAA en TISAX zijn belangrijke investeringsgebieden voor ons.

Tot slot werken onze engineers en oplossingsarchitecten continu aan maatwerkintegraties en rapporten, zodat de unieke behoeften van klanten tot in de laatste mijl worden weerspiegeld. Een one-size-fits-all-aanpak werkt niet in AI.

Je hebt gesproken over het combineren van robotica en menselijke intelligentie als een veiligere manier voor AI. Kun je toelichten hoe die workflow er in de praktijk uitziet – en waarom je denkt dat dit beter is dan te proberen de creatieve divergentie van AI te elimineren?

AI biedt schaalbaarheid, wat betekent dat bedrijven tools ontwikkelen om langdurige processen te automatiseren die traditioneel door mensen werden uitgevoerd. Maar mensen zorgen voor de laatste stap in flexibiliteit, zekerheid en veerkracht. Naarmate software-gebaseerde diensten steeds populairder worden in AI, zullen de meest succesvolle bedrijven robotica effectief combineren met Human-in-the-Loop-praktijken (HITL).

Wij zien HITL als een consistente laag in elke fase van de AI-ontwikkelings- en implementatiecyclus, en tevens als een pijler van vertrouwen en veiligheid. Menselijke intelligentie zal daarom essentieel zijn om bij te sturen als de modellen falen. Deze kritieke toepassingen hebben het menselijk brein nodig om te bepalen welke veranderingen nodig zijn. Dit is waar HITL-diensten nog belangrijker worden naarmate we AI integreren in productie en veldwerkzaamheden.

Uw Ango Hub-platform combineert automatisering met menselijke expertise. Hoe verbetert dit hybride model de datakwaliteit en modelprestaties in productie-AI-systemen?

AI en automatisering zorgen voor schaalbaarheid en snelheid, terwijl mensen nuance, inzicht en toezicht bieden. HITL zorgt voor menselijke betrokkenheid op kritieke momenten in de AI-levenscyclus – door hoogwaardige input te garanderen, output te valideren, edge cases te identificeren, modellen voor domeinen te verfijnen en contextuele beoordelingen te leveren. Mensen helpen de nauwkeurigheid te garanderen door output te beoordelen en te verifiëren, hallucinaties of logische fouten te detecteren voordat ze schade aanrichten. Ze bieden ook toezicht in ethisch gevoelige of risicovolle contexten waar LLM's geen definitieve beslissingen zouden moeten nemen. Belangrijker nog, menselijke feedback stimuleert continu leren, waardoor AI-systemen zich in de loop der tijd beter kunnen afstemmen op gebruikersdoelen.

HITL kent vele vormen. Menselijke experts voeren gerichte annotaties uit, passen complexe redeneringen toe op grensgevallen en beoordelen door AI gegenereerde content met behulp van gestructureerde QA-interfaces. In plaats van elke beslissing te evalueren, worden vaak contextuele escalatiesystemen geïmplementeerd. Deze systemen routeren alleen resultaten met een laag vertrouwen of gemelde afwijkingen naar menselijke reviewers, waardoor toezicht en efficiëntie hand in hand gaan.

Een andere belangrijke toepassing van HITL is het finetunen van AI-agents via Reinforcement Learning from Human Feedback (RLHF). Menselijke reviewers rangschikken, herschrijven of geven feedback op reacties van agents, wat vooral belangrijk is in gevoelige domeinen zoals gezondheidszorg, juridische dienstverlening of klantenondersteuning. Scenariogebaseerde tests en red teaming stellen menselijke evaluatoren in staat om agents te testen onder vijandige of ongebruikelijke omstandigheden om kwetsbaarheden te identificeren en te verhelpen vóór de implementatie.

Het volledige potentieel van AI wordt pas benut wanneer mensen betrokken blijven en elke stap begeleiden, valideren en verbeteren. Of het nu gaat om het verfijnen van de output van agenten, het trainen van evaluatielussen of het samenstellen van betrouwbare datapijplijnen, menselijk toezicht voegt de structuur en verantwoording toe die AI nodig heeft om betrouwbaar en effectief te zijn.

Hoe blijft iMerit voorop lopen in het leveren van evaluatie-, RLHF- en finetuningdiensten, nu de tools voor generatieve AI zich razendsnel ontwikkelen?

We hebben onlangs het Ango Hub Deep Reasoning Lab (DRL) gelanceerd, een uniform platform voor het afstemmen van generatieve AI en de interactieve ontwikkeling van gedachteketenredeneringen met AI-docenten. Ons DRL maakt realtime, stapsgewijze processen en evaluaties mogelijk op basis van menselijke voorkeuren, wat leidt tot coherentere en nauwkeurigere modelreacties op complexe problemen.

Vooruitgang in GenAI-modellen en applicatieontwikkeling onderstreept de waarde van schone, door experts gecreëerde en gevalideerde data. Met de Ango Hub DRL kunnen experts modellen testen, zwakke punten identificeren en schone data genereren met behulp van een keten van gedachte-redeneringen. Ze werken realtime met de modellen en sturen stapsgewijs feedback en correcties via één interface.

Met behulp van iMerit Scholars verfijnt de Ango Hub DRL modelredeneringsprocessen. Het maakt gebruik van iMerits uitgebreide ervaring met HITL-workflows. Experts ontwerpen meerstapsscenario's voor complexe taken, zoals het creëren van gedachteketens voor geavanceerde wiskundige problemen. iMerit Scholars beoordelen de uitkomsten, corrigeren fouten en leggen interacties naadloos vast. De magie zit niet in het lukraak onboarden van grote aantallen studenten. De beste wiskundigen zijn niet per se de beste docenten. Je moet een cardioloog ook niet als een freelancer behandelen. De inzet en coaching van vakspecialisten om te denken op manieren die het modeltrainingsproces het meest ten goede komen, evenals de betrokkenheid, maken het verschil.

Wat betekent "expert-in-the-loop" in de context van het finetunen van generatieve AI? Kunt u voorbeelden geven van gevallen waarin deze menselijke expertise de modeluitkomsten aanzienlijk heeft verbeterd?

Expert-in-the-Loop combineert menselijke intelligentie met robotische intelligentie om AI in productie te brengen. Hierbij worden menselijke experts ingezet die de uitkomsten van geautomatiseerde systemen valideren, verfijnen en verbeteren.

Data-annotatie door experts zorgt ervoor dat trainingsdata nauwkeurig worden gelabeld met domeinspecifieke kennis, wat de precisie en betrouwbaarheid van voorspellende AI-modellen verbetert. Door vooroordelen en misclassificaties te verminderen, verbetert expertgestuurde annotatie het vermogen van het model om effectief te generaliseren naar praktijkscenario's. Dit resulteert in AI-systemen die betrouwbaarder, beter interpreteerbaar en beter afgestemd zijn op branchespecifieke behoeften.

Zo moest een Amerikaans multinationaal technologiebedrijf, na de verwerving van een grote hoeveelheid medische data, de data evalueren voor gebruik in hun consumentgerichte medische chatbot om veilig en accuraat medisch advies te garanderen. Ze schakelden iMerit in, maakten gebruik van ons uitgebreide netwerk van Amerikaanse zorgexperts en stelden een team van verpleegkundigen samen om te werken in een consensusworkflow, met escalaties en arbitrage door een Amerikaanse arts. De verpleegkundigen begonnen met het evalueren van de kennisbank met definities om de nauwkeurigheid en risico's te beoordelen.

Door middel van edge-case-bespreking en herziening van richtlijnen konden de verpleegkundigen in 99% van de gevallen consensus bereiken. Dit stelde het team in staat het projectontwerp te herzien naar een structuur met één stem en een 10% audit, waardoor de projectkosten met meer dan 72% werden verlaagd. Door samen te werken met iMerit heeft dit bedrijf continu manieren kunnen vinden om medische data-annotatie op een ethische en efficiënte manier te schalen.

Hoe kunt u met meer dan 8,000 fulltime experts wereldwijd de kwaliteit, prestaties en de ontwikkeling van uw medewerkers op grote schaal waarborgen?

De definitie van kwaliteit wordt altijd afgestemd op de specifieke use case van elke klant. Onze teams werken nauw samen met klanten om kwaliteitsnormen te definiëren en te kalibreren, waarbij ze gebruikmaken van aangepaste processen die ervoor zorgen dat elke annotatie snel wordt gevalideerd door experts. Consistentie is belangrijk voor de ontwikkeling van hoogwaardige AI. Dit wordt ondersteund door een hoog personeelsbehoud (90%) en een sterke focus op productieanalyses, een belangrijke onderscheidende factor in het ontwerp van Ango Hub, gevormd door de dagelijkse gebruikersinput van ons team.

We investeren continu in automatisering, optimalisatie en kennisbeheer, ondersteund door ons eigen iMerit One-trainingsplatform. Deze toewijding aan leren en ontwikkeling stimuleert niet alleen operationele excellentie, maar ondersteunt ook de carrièreontwikkeling van onze medewerkers op de lange termijn en bevordert een cultuur van expertise en groei.

Welk advies zou je geven aan ambitieuze AI-ondernemers die iets betekenisvols willen creëren, zowel op technologisch als maatschappelijk vlak?

AI ontwikkelt zich razendsnel. Kijk verder dan de technologie en luister naar uw klanten om te begrijpen wat belangrijk is voor hun bedrijf. Begrijp hun behoefte aan snelheid, verandering en risico. Vroege klanten kunnen dingen uitproberen. Grotere klanten moeten weten dat u er bent om te blijven en dat u hen prioriteit blijft geven. Stel ze gerust met uw proactieve aanpak op het gebied van transparantie, veiligheid en verantwoording.

Selecteer daarnaast zorgvuldig uw investeerders en bestuursleden om te zorgen voor afstemming op gedeelde waarden en belangen. Bij iMerit hebben we in moeilijke tijden zoals COVID-19 aanzienlijke steun ervaren van ons bestuur en onze investeerders, wat we aan deze afstemming toeschrijven.

De belangrijkste kwaliteiten die bijdragen aan het succes van een ondernemer in de techsector gaan verder dan het nemen van risico's; ze gaan over het opbouwen van een winstgevend, inclusief bedrijf.

Bedankt voor het geweldige interview, lezers die meer willen weten, zouden moeten bezoeken iVerdienste.