Radha Basu, CEO en oprichter van iMerit – Interviewreeks

Radha Basu, oprichter en CEO van iMerit heeft haar carrière opgebouwd bij HP, waar ze 20 jaar heeft gewerkt en uiteindelijk het Enterprise Solutions-team heeft geleid. Ze nam Support.com naar de beurs als CEO. Radha startte de Anudip Foundation in 2007 met Dipak Basu en richtte iMerit op in 2012. Ze wordt beschouwd als een toonaangevende tech-ondernemer en mentor, en een pionier in de softwarebranche.

iMerit levert multimodale AI-gegevensoplossingen door automatisering, expertmenselijke annotatie en geavanceerde analytics te combineren om hoogwaardige gegevenslabeling en modelafstemming op grote schaal te ondersteunen.

U hebt een opmerkelijke reis gehad – van het opbouwen van de activiteiten van HP in India tot het oprichten van iMerit met als missie het ondersteunen van gemarginaliseerde jongeren in Bhutan, India en New Orleans. Wat inspireerde u om iMerit op te richten, en welke uitdagingen bent u tegengekomen bij het creëren van een inclusieve, wereldwijde werkgever van de grond af?

Voordat ik iMerit oprichtte, was ik voorzitter en CEO van SupportSoft, waar ik het bedrijf leidde door de eerste en tweede openbare aanbiedingen, waardoor het een wereldleider werd in ondersteuningsautomatiseringssoftware. Die ervaring liet me zien hoe krachtig het was om mensen en technologie vanaf het begin te combineren.

Terwijl de tech-boom in India nieuwe kansen creëerde, merkte ik dat veel getalenteerde jonge mensen in achtergestelde gebieden achterbleven. Ik geloofde in hun potentieel en hun drive om te leren. Zodra ze zagen hoe software geavanceerde technologieën zoals AI kon aandrijven, omarmden ze deze carrières met enthousiasme.

We lanceerden iMerit met een klein, divers team, waarvan de helft bestond uit vrouwen, en zijn sindsdien snel gegroeid. De aanpasbaarheid en de coachbaarheid van ons team zijn essentieel geweest, vooral omdat de vraag naar gespecialiseerde specialisten op lange termijn is toegenomen door data-gedreven AI.

Vandaag is iMerit een wereldwijde aanbieder van AI-gegevensoplossingen voor missie-kritische sectoren zoals autonome voertuigen, medische AI en technologie. Ons werk zorgt ervoor dat de AI-modellen van klanten zijn gebouwd op hoogwaardige, betrouwbare gegevens, wat essentieel is in hoge-stakes-omgevingen.

Uiteindelijk ligt onze kracht in sterke technologische onderbouwing en een team van goed opgeleide, gemotiveerde medewerkers die gedijen in een ondersteunende, leergerichte cultuur. Deze aanpak heeft onze groei aangewakkerd, ons kaspositief gehouden en ons hoge NPS-scores en loyale klanten opgeleverd.

iMerit werkt nu met meer dan 200 klanten, waaronder tech-reuzen als eBay en Johnson & Johnson. Kunt u ons meenemen door de groeireis van het bedrijf – van die vroege dagen tot het worden van een wereldleider in AI-gegevensdiensten?

We hebben een front-row seat gehad bij de AI-reizen van onze klanten, vanaf vroege experimenten tot grote productie. Ons werk omvat start-ups, wereldleiders in autonome voertuigen en grote ondernemingen. Door hun modellen vanaf het begin te trainen, hebben we ongeëvenaarde inzicht gekregen in wat het echt kost om AI op grote schaal in de echte wereld te schalen.

Het veld is constant en snel geëvolueerd. Ik heb zelden een technologie zo dramatisch in zo’n korte tijd zien vooruitgaan. We zijn getransformeerd van een gegevensannotatieprovider tot een full-stack AI-gegevensbedrijf, met gespecialiseerde oplossingen voor de hele human-in-the-loop (HITL)-levenscyclus: annotatie, validatie, audit en red teaming. Het afhandelen van randgevallen en uitzonderingen is essentieel voor de implementatie in de echte wereld, en vereist diepe expertise en nuanceerde oordeelkundigheid op elk moment.

Onze grootste verticale is autonome mobiliteit, waar we het volledige perceptie-stack beheren, inclusief sensorfusie over 15 sensoren voor passagiers-, bezorgings-, vracht- en landbouwvoertuigen. In de gezondheidszorg drijven we klinische beeldvorming AI aan. In high-tech zijn we aan de vooravond van GenAI-afstemming en validatie, waardoor onze workflows en talent meer sofisticatie vereisen.

Succes in deze domeinen is niet alleen een kwestie van het hebben van experts – het is een kwestie van het cultiveren van expertise: de cognitieve capaciteit om AI-modellen te betwisten, te coachen en te contextualiseren. Dit is wat onze teams onderscheidt.

Onze groei wordt aangewakkerd door langetermijnpartnerschappen, en de meeste van onze top 10 klanten zijn al meer dan vijf jaar bij ons. Naarmate hun behoeften complexer worden, verhogen we onze domeinkennis, tooling, training en oplossingen continu. Zowel onze technische stack als onze mensen moeten constant evolueren.

De fusie van software, automatisering, annotatie en analytics creëert het raamwerk voor zeer flexibele, snelle, hoge precisie, human-in-the-loop-interventies. 70% van de nieuwe logo’s zijn op onze eigen technische stack, wat een enorme interne transformatie vereist. Opnieuw zorgt onze cultuur ervoor dat de teams hongerig zijn om te leren en constant te groeien.

Wat zijn de meest cruciale momenten geweest in de geschiedenis van iMerit – of het nu gaat om technologische mijlpalen of strategische beslissingen – die hebben geholpen de trajectorie van het bedrijf te vormen?

Op een moment waarop AI-gegevenswerk werd gezien als crowd-based gig-werk, hebben we een vroege inzet gedaan dat dit zou groeien als een carrière en zou vereisen complexiteit en ondernemingsfocus. Door in-house teams op te bouwen die zijn gewijd aan geavanceerde use-cases, hebben we onze klanten in staat gesteld om snel op te schalen, wat resulteerde in onze eerste $1M MRR-deal in autonome voertuigen, een mijlpaal die onze aanpak valideerde.

De COVID-19-lockdown testte onze flexibiliteit: we zijn overgestapt van volledig kantoor naar volledig remote bijna over nacht, en hebben zwaar geïnvesteerd in infrastructuur, beveiliging en cultuur. Binnen weken herstelde de operatie van de klant, en zijn we gegroeid in zowel omzet als personeelsbestand dat jaar. Vandaag, met 70% van ons team terug op kantoor, blijven we remote-talent benutten, met de lancering van Scholars, ons wereldwijde netwerk van subject-matter-experts voor GenAI-afstemming en validatie. Of het nu gaat om een cardioloog of een Spaanse wiskundige, onze high-touch-cultuur trekt en motiveert top-talent, en verhoogt rechtstreeks de kwaliteit en consistentie van onze oplossingen.

In 2023 hebben we Ango.ai overgenomen, een AI-gegevenslabeling- en workflow-automatiseringsplatform, om de volgende generatie AI-gegevenshulpmiddelen aan te drijven. Deze cruciale stap combineerde de domeinexpertise van iMerit met de geavanceerde tooling van Ango, en breidde onze mogelijkheden uit in radiologie, sensorfusie en GenAI-afstemming. We werken nog steeds met klantentools, maar veel nieuwe klanten worden nu rechtstreeks aan boord genomen van Ango Hub, aangetrokken door de gebruikersvriendelijke workflows en robuuste beveiliging, die essentiële vereisten zijn in onze industrie.

Ondernemingen vertellen ons consequent dat ze op zoek zijn naar het beste van beide werelden: expert-menselijke inzicht om kwaliteit te garanderen, in combinatie met een beveiligd, schaalbaar platform dat automatisering en analytics levert. Het combineren van krachten met Ango levert precies dat, en positioneert ons uniek om de complexe eisen van de meest ambitieuze AI-projecten van vandaag te vervullen en met vertrouwen op te schalen.

iMerit is diep betrokken bij geavanceerde domeinen zoals autonome voertuigen, medische AI en GenAI. Wat zijn enkele van de unieke gegevensuitdagingen waar u mee te maken krijgt in deze sectoren, en hoe lost u deze op?

Gegevensgerelateerde taken nemen typisch bijna 80% van de tijd in beslag die wordt besteed aan AI-projecten, waardoor ze een kritische component van de pijplijn vormen. Het gegevensgerichte deel van AI kan tijdrovend en duur zijn als het niet op de juiste manier en op grote schaal wordt afgehandeld.

Gegevenskwaliteit, en met name het vermijden van flagrante fouten, is essentieel in missie-kritische sectoren waarin we opereren. Of het nu gaat om een perceptie-algoritme of een tumordetector, schone gegevens zijn essentieel in de trainingsvalidatie-lus.

Uitzonderingsbehandeling is onevenredig waardevol. Menselijk inzicht in waarom iets buiten de norm valt of waarom een scenario het model brak, creëert een enorme waarde bij het maken van het model completer en robuuster.

Bovendien worden contextvensters groter. We samenvatten klinische notities van een hele arts-patiëntconsultatie en analyseren anomalieën in MRI’s op basis van niet alleen het beeld, maar ook op de medische context van de patiënt. Subject-matter-experts moeten rubrieken opzetten om de gegevens nauwkeurig te analyseren en kwaliteit te garanderen.

Veiligheid, privacy en vertrouwelijkheid zijn hete knoppen. Onze Chief Security Officer moet ongeautoriseerde toegang, verwijdering en opslag van gegevens beschermen. Infosec-protocollen zoals SOC2, HIPAA en TISAX zijn grote investeringsgebieden voor ons.

Ten slotte werken onze ingenieurs en solution architects constant aan aangepaste integraties en rapporten, zodat unieke klantbehoeften worden weerspiegeld in de laatste mijl. Een one-size-fits-all-benadering werkt niet in AI.

U hebt gesproken over het combineren van robotica en menselijke intelligentie als een veiligere weg voor AI. Kunt u uitleggen wat deze workflow er in de praktijk uitziet – en waarom u denkt dat het beter is dan proberen de creatieve afwijking van AI te elimineren?

AI biedt schaal, wat betekent dat bedrijven tools ontwikkelen om langdurige processen te automatiseren die traditioneel door mensen worden uitgevoerd. Maar mensen bieden de laatste mijl van flexibiliteit, zekerheid en veerkracht. Naarmate software-geleverde diensten in AI blijven toenemen, zullen de meest succesvolle bedrijven effectief robotica combineren met Human-in-the-Loop-praktijken (HITL).

We zien HITL als een consistente laag in elke fase van de AI-ontwikkelings- en implementatielevenscyclus, en ook als een pijler van vertrouwen en veiligheid. Gevolglijk zal menselijke intelligentie essentieel zijn om koers te corrigeren als de modellen falen. Deze kritieke toepassingen zullen de menselijke geest nodig hebben om te bepalen welke veranderingen moeten worden aangebracht. Dit is waar HITL-diensten nog belangrijker zullen worden naarmate we AI integreren in productie- en veldoperaties.

Uw Ango Hub-platform combineert automatisering met human-in-the-loop-expertise. Hoe verbetert dit hybride model de gegevenskwaliteit en modelprestaties in productie-AI-systemen?

AI en automatisering bieden schaal en snelheid, terwijl mensen nuances, inzicht en toezicht bieden. HITL garandeert menselijke betrokkenheid op kritieke momenten in de AI-levenscyclus – het garandeert hoogwaardige invoer, valideert uitvoer, identificeert randgevallen, fine-tuned modellen voor domeinen en biedt contextueel oordeel. Mensen helpen bij het garanderen van nauwkeurigheid door uitvoer te controleren en te verifiëren, hallucinaties of logische fouten te detecteren voordat ze schade aanrichten. Ze bieden ook toezicht in ethisch gevoelige of hoogrisicocontexten waarin LLM’s geen finale oproepen mogen doen. Nog belangrijker is dat menselijke feedback voedt voor continue leren, waardoor AI-systemen beter aansluiten bij de doelen van de gebruiker in de loop van de tijd.

HITL komt in veel vormen voor. Menselijke experts engageren in gerichte annotatie, passen complexe redenering toe op randgevallen en controleren AI-gegenereerde inhoud met behulp van gestructureerde QA-interfaces. In plaats van elke beslissing te evalueren, worden contextuele escalatiemechanismen vaak geïmplementeerd. Deze mechanismen routeren alleen lage-vertrouwensuitvoer of gemarkeerde anomalieën naar menselijke recensenten, waardoor een balans tussen toezicht en efficiëntie wordt bereikt.

Een andere kritieke toepassing van HITL is het fine-tunen van AI-agents via Reinforcement Learning from Human Feedback (RLHF). Menselijke recensenten rangschikken, herschrijven of geven feedback op agent-responsen, wat vooral belangrijk is in gevoelige domeinen zoals gezondheidszorg, juridische diensten of klantenservice. In tandem stellen scenario-gebaseerde tests en rood teamwerk menselijke evaluators in staat om agents te testen onder vijandige of ongebruikelijke omstandigheden om kwetsbaarheden te identificeren en te patchen voordat ze worden geïmplementeerd.

De volledige potentie van AI wordt alleen gerealiseerd wanneer mensen in de lus blijven, waarbij ze leiden, valideren en verbeteren op elk moment. Of het nu gaat om het verfijnen van agent-uitvoer, trainingsvalidatie-lussen of het cureren van betrouwbare gegevenspijpen, menselijk toezicht voegt de structuur en aansprakelijkheid toe die AI nodig heeft om te worden vertrouwd en effectief.

Met de snelle evolutie van Generative AI-hulpmiddelen, hoe blijft iMerit voorop lopen in het bieden van evaluatie-, RLHF- en fine-tuningdiensten?

We hebben onlangs de Ango Hub Deep Reasoning Lab (DRL) gelanceerd, een geïntegreerd platform voor Generative AI-tuning en interactieve ontwikkeling van chain-of-thought-redenering met AI-docenten. Onze DRL ermöglicht real-time, stap-voor-stap-processen en evaluatie op basis van menselijke voorkeuren, waardoor meer samenhangende en nauwkeurige modelreacties op complexe problemen ontstaan.

Vooruitgang in GenAI-modellen en toepassingsontwikkeling benadrukt de waarde van schone, expert-gemaakte, gevalideerde gegevens. Met de Ango Hub DRL kunnen experts modellen testen, zwakheden identificeren en schone gegevens genereren met behulp van chain-of-thought-redenering. Ze interacteren met de modellen in real-time en sturen prompts en correcties terug stap voor stap in een enkele interface.

Door iMerit Scholars te benutten, verfijnt de Ango Hub DRL modelredeneringsprocessen. Het benut de uitgebreide ervaring van iMerit met HITL-workflows. Experts ontwerpen multi-stap-scenario’s voor complexe taken, zoals het maken van chain-of-thought-prompts voor geavanceerde wiskundeproblemen. iMerit Scholars controleren uitvoer, corrigeren fouten en vangen interacties soepel op. De magie zit niet in het aan boord nemen van grote aantallen zonder onderscheid. De beste wiskundigen zijn niet noodzakelijkerwijs de beste leraren. Men moet een cardioloog niet behandelen als een gig-werker. De aansluiting en coaching van subject-matter-experts om op een manier te denken die het meest profiteert van het modeltrainingsproces, evenals de betrokkenheid, maken het verschil.

Wat betekent “expert-in-the-loop” in de context van het fine-tunen van generatieve AI? Kunt u voorbeelden geven waarin menselijke expertise de modeluitvoer aanzienlijk heeft verbeterd?

Expert-in-the-Loop combineert menselijke intelligentie met robotische intelligentie om AI naar productie te brengen. Het omvat menselijke experts die de uitvoer van geautomatiseerde systemen valideren, verfijnen en verbeteren.

In het bijzonder garandeert expert-geleide gegevensannotatie dat trainingsgegevens nauwkeurig zijn gelabeld met domeinspecifieke kennis, waardoor de precisie en betrouwbaarheid van voorspellende AI-modellen worden verbeterd. Door vooroordelen en misclassificaties te verminderen, verbetert expert-gestuurde annotatie de mogelijkheid van het model om effectief te generaliseren in echte wereldscenario’s. Dit resulteert in AI-systemen die meer betrouwbaar, interpreteerbaar en afgestemd zijn op branche-specifieke behoeften.

Bijvoorbeeld, na het verwerven van een grote verzameling medische gegevens, had een Amerikaanse multinational een technologiebedrijf de gegevens nodig om te evalueren voor gebruik in hun consumentgerichte medische chatbot, om ervoor te zorgen dat de medische adviezen voor gebruikers veilig en nauwkeurig waren. Ze keerden terug naar iMerit en benutten ons uitgebreide netwerk van Amerikaanse gezondheidsexperts en stelden een team van verpleegkundigen samen om te werken in een consensus-workflow met escalaties en arbitrages die werden verleend door een Amerikaanse board-gecertificeerde arts. De verpleegkundigen begonnen met het evalueren van de kennisbasis met definities om de nauwkeurigheid en het risico te beoordelen.

Door randgevaldiscussie en richtlijnherziening konden de verpleegkundigen in 99% van de gevallen tot overeenstemming komen. Dit stelde het team in staat om het projectontwerp te herzien naar een enkele-stemstructuur met een 10% audit, waardoor de projectkosten met meer dan 72% werden verlaagd. Het werken met iMerit heeft dit bedrijf in staat gesteld om voortdurend manieren te vinden om medische gegevensannotatie op een ethische en efficiënte manier op te schalen.

Met meer dan 8.000 fulltime-experts wereldwijd, hoe onderhoudt u kwaliteit, prestaties en medewerkerontwikkeling op grote schaal?

De definitie van kwaliteit is altijd afgestemd op de specifieke use-case van elke klant. Onze teams werken nauw samen met klanten om kwaliteitsnormen te definiëren en te kalibreren, en gebruiken aangepaste processen die ervoor zorgen dat elke annotatie snel wordt gevalideerd door subject-matter-experts. Consistentie is belangrijk voor de ontwikkeling van hoogwaardige AI. Dit wordt ondersteund door een hoog personeelsbehoud (90%) en een sterk focus op productieanalyse, een belangrijke differentiator in het ontwerp van Ango Hub, gevormd door dagelijkse gebruikersinput van ons team.

We blijven investeren in automatisering, optimalisatie en kennisbeheer, ondersteund door ons eigen iMerit One-trainingsplatform. Deze toewijding aan leren en ontwikkeling drijft niet alleen operationele excellentie aan, maar ondersteunt ook de langetermijncarrièregroei van onze medewerkers, waardoor een cultuur van expertise en groei ontstaat.

Wat is uw advies aan aspirant-AI-ondernemers die iets betekenisvols willen bouwen – zowel in technologie als in sociale impact?

AI beweegt zich met een verbluffende snelheid. Ga voorbij de technische stack en luister naar uw klanten om te begrijpen wat voor hun bedrijf belangrijk is. Begrijp hun eetlust voor snelheid, verandering en risico. Vroege klanten kunnen dingen uitproberen. Grotere klanten moeten weten dat u hier bent om te blijven en dat u zal blijven prioriteren. Stel hen gerust met uw proactieve aanpak van transparantie, veiligheid en aansprakelijkheid.

Bovendien selecteert u zorgvuldig uw investeerders en raadsleden om ervoor te zorgen dat u overeenstemming heeft over gedeelde waarden en zorgen. Bij iMerit hebben we aanzienlijke steun ervaren van onze raad en investeerders tijdens moeilijke tijden zoals COVID-19, wat we toeschrijven aan deze overeenstemming.

De belangrijkste kwaliteiten die bijdragen aan het succes van een ondernemer in de technologiebranche gaan verder dan risico’s nemen; ze omvatten het opbouwen van een winstgevend, inclusief bedrijf.

Bedankt voor het geweldige interview, lezers die meer willen leren, moeten bezoeken iMerit.