Radha Basu, CEO en oprichter van iMerit – Interview Serie

Radha Basu, oprichter en CEO van iMerit heeft haar carrière opgebouwd bij HP, waar ze 20 jaar heeft gewerkt en uiteindelijk het Enterprise Solutions-team heeft geleid. Ze nam vervolgens Support.com publiek als CEO. Radha startte de Anudip Foundation in 2007 met Dipak Basu en richtte iMerit op in 2012. Ze wordt beschouwd als een toonaangevende tech-ondernemer en mentor, en een pionier in de softwarebranche.

iMerit levert multimodale AI-gegevensoplossingen door automatisering, expert-menselijke annotatie en geavanceerde analyses te combineren om hoogwaardige gegevenslabeling en modelafstemming op grote schaal te ondersteunen.

U hebt een opmerkelijke reis gehad – van het opbouwen van de activiteiten van HP in India tot het oprichten van iMerit met de missie om gemarginaliseerde jongeren in Bhutan, India en New Orleans te ondersteunen. Wat inspireerde u om iMerit op te richten, en welke uitdagingen hebt u ondervonden bij het creëren van een inclusieve, mondiale werkgever van de grond af?

Voordat ik iMerit oprichtte, was ik voorzitter en CEO van SupportSoft, waar ik het bedrijf leidde bij zijn eerste en tweede openbare aanbiedingen, waardoor het een wereldleider werd in ondersteuningsautomatiseringssoftware. Die ervaring liet me zien hoe krachtig het is om mensen en technologie vanaf het begin te combineren.

Terwijl de technologieboom in India nieuwe kansen creëerde, merkte ik dat veel getalenteerde jonge mensen in achtergestelde gebieden achterbleven. Ik geloofde in hun potentieel en hun verlangen om te leren. Zodra ze zagen hoe software geavanceerde technologieën zoals AI kon aandrijven, omarmden ze deze carrières met enthousiasme.

We lanceerden iMerit met een klein, divers team, waarvan de helft bestond uit vrouwen, en zijn sindsdien snel gegroeid. De aanpasbaarheid en de coachbaarheid van ons team zijn essentieel geweest, vooral omdat de vraag naar gespecialiseerde specialisten op lange termijn is toegenomen door data-gedreven AI.

Vandaag is iMerit een wereldwijde aanbieder van AI-gegevensoplossingen voor missie-kritieke sectoren zoals autonome voertuigen, medische AI en technologie. Ons werk zorgt ervoor dat de AI-modellen van onze klanten zijn gebouwd op hoogwaardige, betrouwbare gegevens, wat essentieel is in hoge-inzetomgevingen.

Uiteindelijk ligt onze kracht in sterke technologieondersteuning en een team van goed opgeleide, gemotiveerde medewerkers die gedijen in een ondersteunende, leergerichte cultuur. Deze aanpak heeft onze groei aangewakkerd, ons kaspositief gehouden en ons hoge NPS-scores en loyale klanten opgeleverd.

iMerit werkt nu met meer dan 200 klanten, waaronder tech-reuzen als eBay en Johnson & Johnson (JNJ ). Kunt u ons meenemen door de groeireis van het bedrijf – van die vroege dagen tot het worden van een wereldleider in AI-gegevensdiensten?

We hebben een front-row-zitplaats gehad bij de AI-reizen van onze klanten, vanaf de vroege experimenten tot grote productie. Ons werk omvat start-ups, wereldleiders in autonome voertuigen en grote ondernemingen. Door hun modellen vanaf het begin te trainen, hebben we ongeëvenaarde inzichten verkregen in wat het echt kost om AI op grote schaal te schalen.

Het veld is constant en snel geëvolueerd. Ik heb zelden een technologie zo dramatisch in zo’n korte tijd zien vooruitgaan. We zijn getransformeerd van een gegevensannotatieprovider tot een full-stack AI-gegevensbedrijf, met gespecialiseerde oplossingen voor de hele human-in-the-loop (HITL)-levenscyclus: annotatie, validatie, audit en red teaming. Het omgaan met randgevallen en uitzonderingen is essentieel voor de implementatie in de echte wereld, en vereist diepe expertise en nuance bij elke stap.

Onze grootste verticale is autonome mobiliteit, waar we de volledige perceptie-stack beheren, inclusief sensorfusie voor 15 sensoren voor passagiers-, bezorgings-, vracht- en landbouwvoertuigen. In de gezondheidszorg drijven we klinische beeldvorming AI aan. In high-tech zijn we aan de vooravond van GenAI-afstemming en validatie, wat een grotere sofisticatie van onze workflows en talent vereist.

Succes in deze domeinen is niet alleen een kwestie van het hebben van experts – het gaat om het cultiveren van expertise: de cognitieve capaciteit om uit te dagen, te coachen en te contextualiseren AI-modellen. Dit is wat onze teams onderscheidt.

Onze groei wordt aangedreven door langetermijnpartnerschappen, en de meeste van onze top 10 klanten hebben meer dan vijf jaar met ons samengewerkt. Naarmate hun behoeften complexer worden, verhogen we continu onze domeinkennis, tooling, training en oplossingen. Zowel onze technische stack als onze mensen moeten constant evolueren.

De fusie van software, automatisering, annotatie en analyse creëert de rubriek voor zeer flexibele, snelle, hoge precisie, human-in-the-loop-interventies. 70% van de nieuwe logo’s zijn op onze eigen technische stack, wat een enorme interne transformatie vereist. Opnieuw zorgt onze cultuur ervoor dat de teams hongerig zijn om te leren en constant te groeien.

Wat zijn de meest cruciale momenten geweest in de geschiedenis van iMerit – of het nu gaat om technologische mijlpalen of strategische beslissingen – die hebben geholpen de koers van het bedrijf te bepalen?

Toen AI-gegevenswerk werd gezien als crowd-based gig-werk, hebben we vroeg ingezet op het feit dat dit zou groeien als een carrière en zou vereisen complexiteit en ondernemingsfocus. Door in-house teams op te bouwen die zijn gewijd aan geavanceerde use-cases, hebben we onze klanten in staat gesteld om snel te schalen, wat resulteerde in onze eerste $1M MRR-deal in autonome voertuigen, een mijlpaal die onze aanpak valideerde.

De COVID-19-lockdown testte onze flexibiliteit: we gingen van volledig kantoor naar volledig remote bijna overeenkomstig, en investeerden zwaar in infrastructuur, beveiliging en cultuur. Binnen weken herstelde de operatie van de klant, en groeiden we zowel omzet als personeelsbestand dat jaar. Vandaag, met 70% van ons team terug op het terrein, blijven we afstandstalenten inzetten, met de lancering van Scholars, ons wereldwijd netwerk van onderwerpdeskundigen voor GenAI-afstemming en validatie. Of het nu gaat om een cardioloog of een Spaanse wiskundige, onze high-touch-cultuur trekt en motiveert top-talent, wat rechtstreeks de kwaliteit en consistentie van onze oplossingen verhoogt.

In 2023 verwierf iMerit Ango.ai, een AI-gepowered gegevenslabeling- en workflow-automatiseringsplatform, om de volgende generatie AI-gegevenstools aan te drijven. Deze cruciale stap combineerde iMerits domeinexpertise met Ango’s geavanceerde tooling, waardoor onze mogelijkheden in radiologie, sensorfusie en GenAI-afstemming werden uitgebreid. We werken nog steeds met klantentools, maar veel nieuwe klanten worden nu rechtstreeks aan boord genomen op Ango Hub, aangetrokken door zijn gebruikersvriendelijke workflows en robuuste beveiliging, die essentiële vereisten zijn in onze industrie.

Ondernemingen vertellen ons consequent dat ze op zoek zijn naar het beste van beide werelden: expert-menselijke inzichten om kwaliteit te garanderen, in combinatie met een beveiligd, schaalbaar platform dat automatisering en analyses levert. Het combineren van krachten met Ango levert precies dat, en positioneert ons uniek om te voldoen aan de complexe eisen van de meest ambitieuze AI-projecten van vandaag en om met vertrouwen te schalen.

iMerit is diep betrokken bij geavanceerde domeinen zoals autonome voertuigen, medische AI en GenAI. Wat zijn enkele van de unieke gegevensuitdagingen waar u mee te maken krijgt in deze sectoren, en hoe lost u ze op?

Gegevensgerelateerde taken nemen meestal bijna 80% van de tijd in beslag die wordt besteed aan AI-projecten, waardoor ze een kritische component van de pijplijn zijn. Het data-gedreven deel van AI kan tijdrovend en duur zijn als het niet op de juiste manier en schaalbaar wordt afgehandeld.

Gegevenskwaliteit, en vooral het vermijden van flagrante fouten, is essentieel in missie-kritieke sectoren waarin we opereren. Of het nu gaat om een perceptie-algoritme of een tumordetector, schone gegevens zijn essentieel in de trainingsvalidatie-lus.

Uitzonderingsbehandeling is onevenredig waardevol. Menselijke inzichten in waarom iets buiten de norm valt of waarom een scenario het model brak, creëert enorme waarde bij het maken van het model completer en robuuster.

Bovendien worden contextvensters groter. We samenvatten klinische notities van een hele dokter-patiëntconsultatie en analyseren anomalieën in MRI’s op basis van niet alleen het beeld, maar ook de medische context van de patiënt. Onderwerpdeskundigen moeten rubrieken opzetten om de gegevens nauwkeurig te analyseren en de kwaliteit te garanderen.

Veiligheid, privacy en vertrouwelijkheid zijn hete knoppen. Onze Chief Security Officer moet ongeautoriseerde toegang, verwijdering en opslag van gegevens beschermen. Infosec-protocollen zoals SOC2, HIPAA en TISAX zijn belangrijke investeringsgebieden voor ons.

Ten slotte werken onze ingenieurs en oplossingsarchitecten constant aan aangepaste integraties en rapporten, zodat unieke klantbehoeften worden weerspiegeld in de laatste mijl. Een een-size-fits-all-benadering werkt niet in AI.

U hebt gesproken over het combineren van robotics en menselijke intelligentie als een veiligere weg voor AI. Kunt u uitbreiden over hoe die workflow er in de praktijk uitziet – en waarom u denkt dat het beter is dan proberen de creatieve divergentie van AI te elimineren?

AI biedt schaal, wat betekent dat bedrijven tools ontwikkelen om langdurige processen te automatiseren die traditioneel door mensen worden uitgevoerd. Maar mensen bieden de laatste mijl van flexibiliteit, zekerheid en veerkracht. Terwijl software-geleverde diensten in AI blijven toenemen, zullen de meest succesvolle bedrijven effectief robotics combineren met Human-in-the-Loop-praktijken (HITL).

We zien HITL als een consistente laag in elke fase van de AI-ontwikkelings- en implementatielevenscyclus, en ook als een pijler van vertrouwen en veiligheid. Gevolglijk zal menselijke intelligentie essentieel zijn om koers te corrigeren als de modellen falen. Deze kritische toepassingen zullen de menselijke geest nodig hebben om te bepalen welke veranderingen moeten worden aangebracht. Dit is waar HITL-diensten nog belangrijker zullen worden naarmate we AI integreren in productie en veldoperaties.

Uw Ango Hub-platform combineert automatisering met human-in-the-loop-expertise. Hoe verbetert dit hybride model de gegevenskwaliteit en modelprestaties in productie-AI-systemen?

AI en automatisering bieden schaal en snelheid, terwijl mensen nuances, inzichten en toezicht bieden. HITL garandeert menselijke betrokkenheid op kritieke momenten in de AI-levenscyclus – het garanderen van hoogwaardige inputs, het valideren van outputs, het identificeren van randgevallen, het fijnafstemmen van modellen voor domeinen en het bieden van contextuele oordeel. Mensen helpen bij het garanderen van nauwkeurigheid door outputs te controleren en te verifiëren, hallucinaties of logische fouten te detecteren voordat ze schade veroorzaken. Ze bieden ook toezicht in ethisch gevoelige of hoge-risicocontexten waarin LLM’s geen eindbeslissingen moeten nemen. Meer belangrijk nog, menselijke feedback voedt continu leren, waardoor AI-systemen nauwer aansluiten bij de doelen van de gebruiker in de loop van de tijd.

HITL komt in veel vormen voor. Menselijke experts zijn betrokken bij gerichte annotatie, brengen complexe redenering toe op randgevallen en controleren AI-gegenereerde inhoud met behulp van gestructureerde QA-interfaces. In plaats van elke beslissing te evalueren, worden contextuele escalatiesystemen vaak geïmplementeerd. Deze systemen routeren alleen lage-vertrouwensoutputs of gemarkeerde anomalieën naar menselijke reviewers, waarbij toezicht en efficiëntie in evenwicht worden gehandhaafd.

Een andere kritieke toepassing van HITL is het fijnafstemmen van AI-agents via Reinforcement Learning from Human Feedback (RLHF). Menselijke reviewers rangschikken, herschrijven of geven feedback op agent-antwoorden, wat vooral belangrijk is in gevoelige domeinen zoals gezondheidszorg, juridische diensten of klantenservice. In tandem stellen scenario-gebaseerde tests en red teaming menselijke evaluators in staat om agents te testen onder vijandige of ongebruikelijke omstandigheden om kwetsbaarheden te identificeren en te repareren vóór implementatie.

De volledige potentie van AI wordt alleen gerealiseerd wanneer mensen in de lus blijven, AI leidend, validerend en verbeterend bij elke stap. Of het nu gaat om het verfijnen van agent-outputs, trainingsvalidatielussen of het cureren van betrouwbare datapipelines, menselijk toezicht voegt de structuur en verantwoordelijkheid toe die AI nodig heeft om te worden vertrouwd en effectief.

Met de snelle evolutie van Generative AI-hulpmiddelen, hoe blijft iMerit voorop in het bieden van evaluatie-, RLHF- en fijnafstemmingsdiensten?

We hebben onlangs de Ango Hub Deep Reasoning Lab (DRL) gelanceerd, een geïntegreerd platform voor Generative AI-tuning en interactieve ontwikkeling van chain-of-thought-redenering met AI-docenten. Ons DRL ondersteunt real-time, stap-voor-stapprocessen en evaluatie op basis van menselijke voorkeuren, wat leidt tot meer samenhangende en nauwkeurige modelreacties op complexe problemen.

Vooruitgang in GenAI-modellen en toepassingsontwikkeling benadrukt de waarde van schone, expert-gemaakte, gevalideerde gegevens. Met de Ango Hub DRL kunnen experts modellen testen, zwakheden identificeren en schone gegevens genereren met behulp van chain-of-thought-redenering. Ze interacteren met de modellen in real-time en sturen prompts en correcties terug stap voor stap in een enkele interface.

Door iMerit Scholars te benutten, verfijnt de Ango Hub DRL modelredeneringsprocessen. Het benut iMerits uitgebreide ervaring met HITL-workflows. Experts ontwerpen multi-stapscenarios voor complexe taken, zoals het maken van chain-of-thought-prompts voor geavanceerde wiskundige problemen. iMerit Scholars controleren outputs, corrigeren fouten en vangen interacties naadloos op. De magie zit niet in het aan boord nemen van grote aantallen zonder onderscheid. De beste wiskundigen zijn niet noodzakelijkerwijs de beste leraren. Men moet een cardioloog ook niet behandelen als een gig-werker. De aansluiting en coaching van onderwerpdeskundigen om te denken op manieren die het meest profiteren van het modeltrainingsproces, evenals de betrokkenheid, maken het verschil.

Wat betekent “expert-in-the-loop” in de context van het fijnafstemmen van generatieve AI? Kunt u voorbeelden geven waarin deze menselijke expertise de modeloutputs aanzienlijk heeft verbeterd?

Expert-in-the-Loop combineert menselijke intelligentie met robotintelligentie om AI naar productie te brengen. Het omvat menselijke experts die de outputs van geautomatiseerde systemen valideren, verfijnen en verbeteren.

Specifiek zorgt expert-gestuurde gegevensannotatie ervoor dat trainingsgegevens nauwkeurig zijn gelabeld met domeinspecifieke kennis, waardoor de precisie en betrouwbaarheid van voorspellende AI-modellen worden verbeterd. Door biases en misclassificaties te verminderen, verbetert expert-gestuurde annotatie de mogelijkheid van het model om effectief te generaliseren in echte wereldscenario’s. Dit resulteert in AI-systemen die meer vertrouwd, interpreteerbaar en afgestemd zijn op branche-specifieke behoeften.

Bijvoorbeeld, nadat een Amerikaans multinationaal technologiebedrijf een grote verzameling medische gegevens had verworven, moesten ze deze gegevens evalueren voor gebruik in hun consumentgerichte medische chatbot om veilige en nauwkeurige medische adviezen voor gebruikers te garanderen. Ze wendden zich tot iMerit en benutten ons uitgebreid netwerk van Amerikaanse gezondheidsdeskundigen en assembleerden een team van verpleegkundigen om te werken in een consensus-workflow met escalaties en arbitrages die werden verstrekt door een Amerikaanse board-gecertificeerde arts. De verpleegkundigen begonnen met het evalueren van de kennisbasis met definities om de nauwkeurigheid en het risico te beoordelen.

Door randgevaldiscussies en richtlijnherziening konden de verpleegkundigen in 99% van de gevallen tot overeenstemming komen. Dit stelde het team in staat om het projectontwerp te herzien naar een enkele-stemstructuur met een 10%-audit, waardoor de projectkosten met meer dan 72% werden verlaagd. Samenwerken met iMerit heeft dit bedrijf in staat gesteld om continu manieren te vinden om medische gegevensannotatie ethisch en efficiënt te schalen.

Met meer dan 8.000 fulltime-experts wereldwijd, hoe onderhoudt u kwaliteit, prestaties en medewerkerontwikkeling op grote schaal?

De definitie van kwaliteit is altijd afgestemd op het specifieke use-case van elke klant. Onze teams werken nauw samen met klanten om kwaliteitsnormen te definiëren en te kalibreren, waarbij gebruik wordt gemaakt van aangepaste processen die ervoor zorgen dat elke annotatie snel wordt geverifieerd door onderwerpdeskundigen. Consistentie is belangrijk voor de ontwikkeling van hoogwaardige AI. Dit wordt ondersteund door een hoge medewerkerretentie (90%) en een sterke focus op productieanalyses, een belangrijke differentiator in het ontwerp van Ango Hub, gevormd door dagelijkse gebruikersinput van ons team.

We blijven investeren in automatisering, optimalisatie en kennisbeheer, ondersteund door ons eigen iMerit One-trainingsplatform. Deze toewijding aan leren en ontwikkeling drijft niet alleen operationele excellentie aan, maar ondersteunt ook langetermijncarrièregroei voor onze medewerkers, waardoor een cultuur van expertise en groei ontstaat.

Wat is uw advies aan aspirant-AI-ondernemers die iets betekenisvols willen bouwen – zowel in technologie als in sociale impact?

AI beweegt zich met een adembenemend tempo. Ga verder dan de technische stack en luister naar uw klanten om te begrijpen wat voor hun bedrijf belangrijk is. Begrijp hun appetijt voor snelheid, verandering en risico. Vroege klanten kunnen dingen uitproberen. Grotere klanten moeten weten dat u hier bent om te blijven en dat u hen zal blijven prioriteren. Stel hen gerust met uw proactieve aanpak van transparantie, veiligheid en verantwoordelijkheid.

Bovendien selecteert u zorgvuldig uw investeerders en raadsleden om ervoor te zorgen dat u overeenstemming heeft over gedeelde waarden en zorgen. Bij iMerit hebben we aanzienlijke steun ervaren van onze raad en investeerders tijdens moeilijke tijden zoals COVID-19, wat we toeschrijven aan deze overeenstemming.

De sleutelkwaliteiten die bijdragen aan het succes van een ondernemer in de technologiebranche gaan verder dan risico’s nemen; ze omvatten het opbouwen van een winstgevend, inclusief bedrijf.

Bedankt voor het geweldige interview, lezers die meer willen leren, moeten bezoeken iMerit.