Radha Basu, CEO og grundlægger af iMerit – Interviewserie

Radha Basu, grundlægger og CEO af iMerit har bygget sin karriere hos HP, hvor hun tilbragte 20 år og endte med at lede virksomhedens Enterprise Solutions-gruppe. Hun tog derefter Support.com offentligt som CEO. Radha startede Anudip Foundation i 2007 med Dipak Basu og grundlagde herefter iMerit i 2012. Hun regnes for en førende tech-entrepreneur og mentor samt en pioner inden for software-forretningen.

iMerit leverer multimodale AI-data-løsninger ved at kombinere automatisering, ekspert-menneskelig annotering og avanceret analyse til at understøtte højkvalitets-data-mærkning og model-finjustering i stor skala.

De har haft en bemærkelsesværdig rejse – fra opbygning af HP’s operationer i Indien til grundlæggelse af iMerit med en mission om at løfte marginaliserede unge i Bhutan, Indien og New Orleans. Hvad inspirerede dem til at starte iMerit, og hvilke udfordringer stod de over for ved at skabe en inklusiv, global arbejdsstyrke fra bunden?

Før grundlæggelsen af iMerit var jeg formand og CEO for SupportSoft, hvor jeg ledede virksomheden gennem dens første og anden offentlige tilbud, og etablerede det som en global leder inden for support-automationssoftware. Denne erfaring viste mig kraften i at kombinere mennesker og teknologi fra dag én.

Selv om Indiens tech-boom skabte nye muligheder, lagde jeg mærke til, at mange talende unge mennesker i underservicede områder blev efterladt. Jeg troede på deres potentiale og deres vilje til at lære. Når de så, hvordan software kunne give kraft til avancerede teknologier som AI, omfavnede de disse karrierer ivrigt.

Vi lancerede iMerit med et lille, diversificeret hold, hvoraf halvdelen var kvinder, og er herefter vokset hurtigt. Holdets tilpasningsevne og coachbarhed har været afgørende, især da data-centreret AI har øget den langsigtede efterspørgsel efter specialiserede fagfolk.

I dag er iMerit en global leverandør af AI-data-løsninger til mission-kritiske sektorer som autonome køretøjer, medicinsk AI og teknologi. Vores arbejde sikrer, at kundernes AI-modeller er bygget på højkvalitets-, pålidelig data, som er afgørende i højrisikområder.

Til sidst ligger vores styrke i stærke teknologiske fundament og et hold af veluddannede, motiverede medarbejdere, der trives i en støttende, læringsdrevet kultur. Denne tilgang har ført til vores vækst, holdt os kontant positive og har givet os høje NPS-scores og loyale kunder.

iMerit arbejder nu med over 200 kunder, herunder tech-giganter som eBay og Johnson & Johnson (JNJ ). Kan de fortælle om virksomhedens vækstrejse – fra de tidlige dage til at blive en global leder inden for AI-data-tjenester?

Vi har haft en førerplads til at se vores kunders AI-rejser, fra tidlige eksperimenter til stor skala-produktion. Vores arbejde omfatter startups, globale autonome køretøjsledere og store virksomheder. Ved at træne deres modeller fra bunden har vi fået en enestående indsigt i, hvad det virkelig kræver at skala AI i den virkelige verden.

Feltet har udviklet sig konstant og hurtigt. Jeg har sjældent set en teknologi, der er fremmet så dramatisk på så kort tid. Vi er blevet transformeret fra en data-annoteringsudbyder til en fuld-stack AI-data-virksomhed, der leverer specialiserede løsninger på tværs af hele menneske-i-løkken (HITL)-livscyklus: annotering, validering, revision og red teaming. Behandling af kanttilfælde og undtagelser er afgørende for virkelige implementeringer, og det kræver dyb ekspertise og nuanceret dømmekraft på hvert trin.

Vores største vertikale er autonome mobilitet, hvor vi styrer den fulde perception-stack, herunder sensor-fusion på tværs af 15 sensorer for passager-, leverings-, lastbil- og landbrugskøretøjer. I sundhedssektoren driver vi klinisk billed-AI. I højteknologi er vi i frontlinjen for GenAI-justering og validering, som kræver større sofistikation i vores arbejdsprocesser og talent.

Succes i disse domæner handler ikke kun om at have eksperter – det handler om at dyrke ekspertise: den kognitive evne til at udfordre, træne og kontekstualisere AI-modeller. Det er dette, der adskiller vores hold.

Vores vækst drives af langsigtede partnerskaber, og de fleste af vores top 10-kunder har været med os i over fem år. Da deres behov bliver mere komplekse, løfter vi kontinuerligt vores domæneviden, værktøjer, træning og løsninger. Såvel vores teknologi som vores mennesker må konstant udvikle sig.

Fusionen af software, automatisering, annotering og analyse skaber rammerne for meget fleksible, hurtige, højpræcise, menneske-i-løkken-interventioner. 70% af nye logoer er på vores egen teknologi, hvilket kræver en enorm intern transformation. Atter sikrer vores kultur, at holdene er sultne efter at lære og ønsker at vokse konstant.

Hvilke har været de mest afgørende øjeblikke i iMerits historie – enten tekniske milepæle eller strategiske beslutninger – der har hjulpet med at forme virksomhedens trajektorie?

På et tidspunkt, hvor AI-data-arbejde blev set som crowd-baseret gig-arbejde, tog vi en tidlig indsats, der skulle vokse som en karriere og ville kræve kompleksitet og virksomhedsfokus. Ved at bygge interne hold, der var dedikeret til avancerede brugsområder, enablede vi vores kunder til at skala hurtigt, kulminerede i vores første 1 million USD MRR-aftale i autonome køretøjer, en milepæl, der validerede vores tilgang.

COVID-19-låsningen testede vores agility: Vi gik fra fuldt kontor til fuldt remotearbejde på næsten ét øjeblik, investerede massivt i infrastruktur, sikkerhed og kultur. Inden for uger fik kundernes operationer genoprettet, og vi voksede både omsætning og medarbejderantal det år. I dag, hvor 70% af vores hold er tilbage på stedet, fortsætter vi med at udnytte remotetalent, lancerer Scholars, vores globale netværk af fagfolk til GenAI-justering og validering. Uanset om det er en kardiolog eller en spansk matematiker, tiltrækker og motiverer vores højtilgængelige kultur top-talent, hvilket direkte forbedrer kvaliteten og konsistensen af vores løsninger.

I 2023 erhvervede vi Ango.ai, en AI-drevet data-mærkning og workflow-automatiseringsplatform, for at drive den næste generation af AI-data-værktøjer. Denne afgørende bevægelse kombinerede iMerits domæne-ekspertise med Angos avancerede værktøjer, udvidede vores kapaciteter i radiologi, sensor-fusion og GenAI-finjustering. Vi arbejder stadig med kundernes værktøjer, men mange nye kunder bliver nu onboarding direkte til Ango Hub, tiltrukket af dets brugervenlige arbejdsprocesser og robuste sikkerhed, som er afgørende krav i vores branche.

Virksomheder fortæller os konsekvent, at de søger det bedste af begge verdener: ekspert-menneskelig indsigt for at sikre kvalitet, kombineret med en sikker, skalerbar platform, der leverer automatisering og analyse. Kombinationen med Ango leverer netop det, og positionerer os unikt til at imødekomme de komplekse krav til dagens mest ambitiøse AI-projekter og skala med tillid.

iMerit er dybt involveret i avancerede domæner som autonome køretøjer, medicinsk AI og GenAI. Hvad er nogle af de unikke data-udfordringer, de står over for i disse sektorer, og hvordan løser de dem?

Data-relaterede opgaver står typisk for næsten 80% af den tid, der bruges på AI-projekter, og det er en kritisk komponent i pipeline. Den data-centrerede del af AI kan være tidskrævende og dyrt, hvis den ikke håndteres korrekt og skalerbart.

Datakvalitet, og især undgåelse af grove fejl, er afgørende i mission-kritiske sektorer, som vi opererer i. Uanset om det er en perceptionsalgoritme eller en tumor-detektor, er ren data afgørende i trænings-validerings-løkken.

Exception-håndtering er ubetydeligt værdifuld. Menneskelig indsigt i, hvorfor noget er uden for normen eller hvorfor en scenarie brød modellen, skaber enorm værdi i at gøre modellen mere komplet og robust.

Derudover bliver kontekst-vinduer større. Vi summerer kliniske noter fra en hel læge-patient-konsultation og analyserer anomalier i MR-billeder baseret ikke kun på billedet, men også på patientens medicinske kontekst. Fagfolk skal opstille rubrikker til at analysere dataet præcist og sikre kvalitet.

Sikkerhed, privatliv og fortrolighed er varme emner. Vores Chief Security Officer skal beskytte mod uautoriseret adgang, sletning og lagring af data. Infosec-protokoller som SOC2, HIPAA og TISAX har været store investeringsområder for os.

Til sidst arbejder vores ingeniører og løsningsarkitekter konstant på brugerdefinerede integrationer og rapporter, så unikke kundebehov bliver reflekteret i sidste mile. En en-size-fits-all-tilgang fungerer ikke i AI.

De har talt om at kombinere robotteknologi og menneskelig intelligens som en sikrere vej for AI. Kan de udvide på, hvordan denne arbejdsproces ser ud i praksis – og hvorfor de mener, det er bedre end at forsøge at eliminere AI’s kreative afvigelse?

AI giver skala, hvilket betyder, at virksomheder udvikler værktøjer til at automatisere lange processer, der traditionelt udføres af mennesker. Men mennesker giver den sidste mile af fleksibilitet, sikkerhed og robusthed. Da software-leverede tjenester fortsætter med at sprede sig i AI, vil de mest succesfulde virksomheder effektivt kombinere robotteknologi med menneske-i-løkken-praksis (HITL).

Vi ser HITL som en konsekvent lag i hver fase af AI-udviklingen og -implementeringen, og også som en pille til tillid og sikkerhed. Følgelig vil menneskelig intelligens være afgørende for at korrigere, hvis modellerne fejler. Disse kritiske anvendelser vil kræve den menneskelige hjerne til at bestemme, hvilke ændringer der skal foretages. Dette er, hvor HITL-tjenester vil blive endnu mere betydningsfulde, da vi integrerer AI i produktion og feltoperationer.

Deres Ango Hub-platform kombinerer automatisering med menneske-i-løkken-ekspertise. Hvordan forbedrer denne hybrid-model datakvalitet og model-præstation i produktions-AI-systemer?

AI og automatisering giver skala og hastighed, mens mennesker giver nuance, indsigt og tilsyn. HITL sikrer menneskelig involvering på kritiske tidspunkter i AI-livscyklussen – sikrer højkvalitets-indgange, validerer udgange, identificerer kanttilfælde, finjusterer modeller for domæner og giver kontekstuel dømmekraft. Mennesker hjælper med at sikre nøjagtighed ved at gennemgå og verificere udgange, fange hallucinationer eller logiske fejl, før de forårsager skade. De giver også tilsyn i etisk følsomme eller højrisiko-kontekster, hvor LLM’er ikke skal tage endelige beslutninger. Endnu vigtigere er, at menneskelig feedback driver kontinuerlig læring, hvilket hjælper AI-systemer med at tilpasse sig brugerens mål over tid.

HITL tager mange former. Menneskelige eksperter engagerer sig i målrettet annotering, anvender kompleks tænkning til kanttilfælde og gennemgår AI-genereret indhold ved hjælp af strukturerede QA-grænseflader. I stedet for at evaluere hver beslutning implementeres kontekstuelle eskalationssystemer ofte. Disse systemer routerer kun lavt-tilfredsheds-udgange eller markerede anomalier til menneskelige gennemgang, og balancerer tilsyn med effektivitet.

En anden kritisk anvendelse af HITL er finjustering af AI-agenter via Reinforcement Learning fra Menneskelig Feedback (RLHF). Menneskelige gennemgangere rangerer, omskriver eller giver feedback på agent-svar, hvilket er særligt vigtigt i følsomme domæner som sundhedspleje, juridisk support eller kundesupport. I tandem tillader scenarie-baseret test og red teaming menneskelige evalueringer at teste agenter under adversativ eller usædvanlige betingelser for at identificere og lappe sårbarheder før implementering.

AI’s fulde potentiale realiseres kun, når mennesker forbliver i løkken, guidende, validerende og forbedrende hvert trin. Uanset om det er at finjustere agent-udgange, træne evalueringsskørter eller kuratere pålidelige data-rørledninger, menneskelig tilsyn tilføjer den struktur og ansvarlighed, AI har brug for for at være troværdig og effektiv.

Med Generative AI-værktøjer, der udvikler sig hurtigt, hvordan forbliver iMerit foran med at give evaluering, RLHF og finjusteringstjenester?

Vi lancerede nyligt Ango Hub Deep Reasoning Lab (DRL), en samlet platform for Generative AI-justering og interaktiv udvikling af kæde-af-tanke-reasonering med AI-lærere. Vores DRL muliggør realtids-, omgang-for-omgang-processer og evaluering baseret på menneskelig præference, hvilket fører til mere koherent og præcis model-svar på komplekse problemer.

Fremgang i GenAI-modeller og anvendelsesudvikling fremhæver værdien af ren, ekspert-skabt, valideret data. Med Ango Hub DRL kan eksperter teste modeller, identificere svagheder og generere ren data ved hjælp af kæde-af-tanke-reasonering. De interagerer med modellerne i realtid og sender prompts og korrektioner tilbage skridt-for-skridt i en enkelt grænseflade.

Ved at udnytte iMerit Scholars, Ango Hub DRL forbedrer model-reasoneringsprocesser. Det udnytter iMerits omfattende erfaring med HITL-arbejdsprocesser. Eksperter designer multi-skridt-scenarier for komplekse opgaver, såsom oprettelse af kæde-af-tanke-prompts for avancerede matematik-problemer. iMerit Scholars gennemgår udgange, korrigere fejl og fange interaktioner uden problemer. Magien ligger ikke i at onboarding store tal ubestemt. De bedste matematikere er ikke nødvendigvis de bedste lærere. Man bør heller ikke behandle en kardiolog som en gig-arbejder. Tilpasning og coaching af fagfolk til at tænke på måder, der gavner model-træningsprocessen mest, samt engagement, gør en forskel.

Hvad betyder “ekspert-i-løkken” i sammenhæng med finjustering af generativ AI? Kan de dele eksempler, hvor denne menneskelige ekspertise betydeligt forbedrede model-udgange?

Ekspert-i-løkken kombinerer menneskelig intelligens med robot-intelligens for at fremme AI til produktion. Det indebærer menneskelige eksperter, der validerer, forbedrer og forbedrer udgange fra automatiserede systemer.

Specifikt sikrer ekspert-ledet data-annotering, at træningsdata er nøjagtigt mærket med domæne-specifik viden, hvilket forbedrer præcisionen og pålideligheden af prædictive AI-modeller. Ved at reducere fordomme og misklassificeringer forbedrer ekspert-drevet annotering modellens evne til at generalisere effektivt på tværs af virkelige scenarier. Dette resulterer i AI-systemer, der er mere troværdige, fortolkelige og tilpasset branche-specifikke behov.

For eksempel havde en amerikansk multinational teknologi-virksomhed brug for at evaluere data til brug i deres forbruger-orienterede medicinske chatbot for at sikre sikker og præcis medicinsk rådgivning til brugere. Ved at henvende sig til iMerit udnyttede de vores omfattende netværk af sundheds-eksperter i USA og samlede et hold af sygeplejersker til at arbejde i en konsensus-arbejdsproces med eskaleringer og arbitrering leveret af en amerikansk board-certificeret læge. Sygeplejerskerne startede med at evaluere videnbasen med definitioner for at vurdere nøjagtighed og risiko.

Gennem diskussion af kanttilfælde og revidering af retningslinjer kunne sygeplejerskerne nå til enighed i 99% af tilfældene. Dette tillod holdet at revidere projekt-designet til en enkelt-stemme-struktur med en 10%-revision, hvilket reducerede projekt-omkostningerne med over 72%. At arbejde med iMerit har enablede denne virksomhed til kontinuerligt at identificere måder at skala medicinsk data-annotering på en etisk og effektiv måde.

Med over 8.000 fuldtids-eksperter på verdensplan, hvordan sikrer de kvalitet, præstation og medarbejder-udvikling i stor skala?

Definitionen af kvalitet er altid tilpasset hver enkelt kundes specifikke brugsområde. Vores hold samarbejder tæt med kunderne for at definere og kalibrere kvalitetsstandarder, anvender brugerdefinerede processer, der sikrer, at hver annotering hurtigt valideres af fagfolk. Konsistens er vigtig for udviklingen af højkvalitets-AI. Dette understøttes af høj medarbejder-tilbageholdelse (90%) og en stærk fokus på produktions-analytik, en nøgle-differentiator i designet af Ango Hub, formet af daglig bruger-input fra vores hold.

Vi investerer kontinuerligt i automatisering, optimering og videnstyring, underbygget af vores proprietære iMerit One-træningsplatform. Dette engagement i læring og udvikling driver ikke kun operationel excellence, men også langsigtede karriere-fremme for vores medarbejdere, og fremmer en kultur af ekspertise og vækst.

Hvad ville de råde en aspirerende AI-entrepreneur, der ønsker at bygge noget meningsfuldt – både i teknologi og i social påvirkning?

AI bevæger sig i en vanvittig fart. Gå ud over teknologi-stakken og lyt til dine kunder for at forstå, hvad der betyder noget for deres forretning. Forstå deres appetit på hastighed, forandring og risiko. Tidlige kunder kan prøve ting af. Større kunder har brug for at vide, at du er her for at blive og vil fortsætte med at prioritere dem. Berolige dem med din proaktive tilgang til gennemsigtighed, sikkerhed og ansvarlighed.

Derudover skal de vælge deres investorer og bestyrelsesmedlemmer omhyggeligt for at sikre tilpasning af fælles værdier og bekymringer. Hos iMerit oplevede vi betydelig støtte fra vores bestyrelse og investorer under udfordrende tider, såsom COVID-19, som vi tilskriver denne tilpasning.

De nøgle-egenskaber, der bidrager til en entrepreneurs succes i tech-industrien, går ud over at tage risici; de indebærer at bygge en profitable, inklusiv virksomhed.

Tak for det gode interview. Læsere, der ønsker at lære mere, skal besøge iMerit.