Radha Basu, CEO og grunnlegger av iMerit – Intervju-serie

Radha Basu, grunnlegger og CEO av iMerit, har bygget sin karriere i HP, hvor hun tilbrakte 20 år og til slutt ledet selskapets Enterprise Solutions-gruppe. Hun tok deretter Support.com offentlig som CEO. Radha startet Anudip Foundation i 2007 med Dipak Basu og grunnla iMerit i 2012. Hun regnes som en ledende tech-entrepreneur og mentor, og en pioner i programvarebransjen.

iMerit leverer multimodale AI-data-løsninger ved å kombinere automatisering, ekspert-menneskelig annotering og avansert analyse for å støtte høykvalitets data-merking og modell-finetuning i stor skala.

Du har hatt en bemerkelsesverdig reise – fra å bygge HPs operasjoner i India til å grunnlegge iMerit med en misjon om å løfte marginaliserte ungdom i Bhutan, India og New Orleans. Hva inspirerte deg til å starte iMerit, og hva utfordringer møtte du i å skape en inkluderende, global arbeidsstyrke fra bunnen av?

Før jeg grunnla iMerit, var jeg styreleder og CEO i SupportSoft, hvor jeg ledet selskapet gjennom dens første og andre offentlige emisjoner, og etablerte det som en global leder i support-automatiseringsprogramvare. Den erfaringen viste meg kraften i å kombinere mennesker og teknologi fra dag én.

Mens Indias teknologiboom skapte nye muligheter, la jeg merke til at mange talende unge mennesker i underserved områder ble igjen. Jeg trodde på deres potensial og driv til å lære. Når de så hvordan programvare kunne drive avanserte teknologier som AI, tok de ivrig imot disse karriereveiene.

Vi lanserte iMerit med et lite, diversifisert team, hvor halvparten var kvinner, og har vokst raskt siden. Teamets tilpasningsevne og coachbarhet har vært avgjørende, spesielt ettersom data-sentrert AI har økt langsiktig etterspørsel etter kvalifiserte spesialister.

I dag er iMerit en global leverandør av AI-data-løsninger for kritiske sektorer som autonome kjøretøy, medisinsk AI og teknologi. Vårt arbeid sikrer at kundenes AI-modeller er bygget på høykvalitets, pålitelige data, som er essensielt i høyrisikomiljøer.

Til slutt ligger vår styrke i sterke teknologiske grunnlag og et team av godt trenede, motiverte ansatte som trives i en støttende, læringsdrevet kultur. Denne tilnærmingen har drivet vår vekst, holdt oss kontant positive, og gitt oss høye NPS-poeng og lojale kunder.

iMerit samarbeider nå med over 200 kunder, inkludert tech-giganter som eBay og Johnson & Johnson (JNJ ). Kan du gå gjennom selskapets vekst-reise – fra de tidlige dagene til å bli en global leder i AI-data-tjenester?

Vi har hatt en førerolle i kundenes AI-reiser, og samarbeidet fra tidlige eksperimenter til stor skala-produksjon. Vårt arbeid omfatter startups, globale autonome kjøretøyledere og store bedrifter. Ved å trene deres modeller fra bunnen av, har vi fått enestående innsikt i hva det virkelig tar å skala AI i den virkelige verden.

Feltet har utviklet seg konstant og raskt. Jeg har sjelden sett en teknologi fremme så dramatisk på så kort tid. Vi har transformert fra en data-annoteringsleverandør til et fullstendig AI-data-selskap, og leverer spesialiserte løsninger over hele den menneskelige-i-løkken (HITL)-livssyklusen: annotering, validering, granskning og red teaming. Behandling av kanter og unntak er avgjørende for virkelige implementeringer, og krever dypt ekspertise og nyansert dømmekraft på hver trinn.

Vår største vertikale er autonom mobilitet, hvor vi håndterer hele persepsjon-staken, inkludert sensor-fusjon over 15 sensorer for passasjer-, leverings-, lastebil- og landbrukskjøretøy. I helsetjenesten driver vi klinisk bilde-AI. I høyteknologi er vi i fremkant av GenAI-justering og validering, og krever større sofistikasjon i våre arbeidsflyter og talent.

Suksess i disse domenene handler ikke bare om å ha eksperter – det handler om å dyrke ekspertise: den kognitive evnen til å utfordre, trene og kontekstualisere AI-modeller. Dette er hva som skiller våre team fra andre.

Vår vekst drives av langsiktige partnerskap, og de fleste av våre topp 10-kunder har vært med oss i over fem år. Ettersom deres behov blir mer komplekse, løfter vi kontinuerlig vår domenekunnskap, verktøy, trening og løsninger. Både vår teknologi og våre mennesker må konstant utvikle seg.

Fusjonen av programvare, automatisering, annotering og analyse skaper rammen for svært fleksible, raske, høy-presise, menneske-i-løkken-intervensjoner. 70% av nye logoer er på vår egen teknologi-stakk, som krever en enorm intern transformasjon. Igjen sikrer vår kultur at teamene er sultne på å lære og ønsker å vokse kontinuerlig.

Hva har vært de mest avgjørende øyeblikkene i iMerits historie – enten tekniske milepæler eller strategiske beslutninger – som har hjulpet å forme selskapets trajektorie?

På et tidspunkt da AI-data-arbeid ble sett på som crowd-basert gig-arbeid, tok vi en tidlig veddemål om at dette ville vokse som en karriere og ville kreve kompleksitet og bedriftsfokus. Ved å bygge interne team dedikert til avanserte brukstilfeller, enablet vi våre kunder å skala raskt, og kulminerte i vår første 1 million USD MRR-avtale i autonome kjøretøy, en milepæl som validerte vår tilnærming.

COVID-19-låsningen testet vår smidighet: vi gikk fra fullt kontor-basert til fullt fjern-arbeid på nesten over natten, og investerte tungt i infrastruktur, sikkerhet og kultur. Innen noen uker, kom kundens operasjoner tilbake, og vi vokste både omsetning og ansattantall det året. I dag, med 70% av vårt team tilbake på stedet, fortsetter vi å utnytte fjern-talent, og lanserer Scholars, vårt globale nettverk av fagfolk for GenAI-justering og validering. Uansett om det er en kardiolog eller en spansk matematiker, tiltrekker og motiverer vår høy-tilgjengelige kultur topp-talent, og løfter kvaliteten og konsistensen av våre løsninger direkte.

I 2023, kjøpte vi Ango.ai, en AI-drevet data-merking og arbeidsflyt-automatiseringsplattform, for å drive neste generasjon av AI-data-verktøy. Denne avgjørende bevegelsen kombinerte iMerits domene-ekspertise med Angos avanserte verktøy, og utvidet våre kapasiteter i radiologi, sensor-fusjon og GenAI-finetuning. Vi arbeider fortsatt med kundens verktøy, men mange nye kunder er nå ombord på Ango Hub, tiltrekket av dens brukervennlige arbeidsflyter og robuste sikkerhet, som er essensielle krav i vår bransje.

Bedrifter forteller oss konsekvent at de søker etter det beste av begge verdener: ekspert-menneskelig innsikt for å sikre kvalitet, kombinert med en sikker, skalerbar plattform som leverer automatisering og analyse. Kombinasjonen av Ango og iMerit levere nettopp det, og plasserer oss unikt for å møte de komplekse kravene til dagens mest ambisiøse AI-prosjekter og skala med tillit.

iMerit er dypt involvert i avanserte domener som autonome kjøretøy, medisinsk AI og GenAI. Hva er noen av de unike data-utfordringene du møter i disse sektorene, og hvordan addreser du dem?

Data-relaterte oppgaver regner vanligvis for nesten 80% av tiden brukt på AI-prosjekter, og er derfor en kritisk komponent i pipeline. Den data-sentriske delen av AI kan være tidskrevende og dyrt hvis ikke håndtert riktig og skalerbart.

Data-kvalitet, og spesielt unngåelse av grove feil, er essensiell i kritiske sektorer som vi opererer i. Uansett om det er en persepsjonsalgoritme eller en tumor-detektor, er ren data essensiell i trening-til-validerings-løkken.

Unntakshåndtering er ubetydelig verdifull. Menneskelig innsikt i hvorfor noe er utenfor normen eller hvorfor en scenario brøt modellen, skaper massive verdier i å gjøre modellen mer komplett og robust.

I tillegg er kontekst-vinduer blitt større. Vi summerer kliniske notater fra en hel doktor-pasient-konsultasjon og analyserer anomali i MR-bilder basert ikke bare på bildet, men også på pasientens medisinske kontekst. Fagfolk må sette opp rubrikker for å analysere dataene nøyaktig og sikre kvalitet.

Sikkerhet, personvern og konfidensialitet er varme temaer. Vår Chief Security Officer må sikre mot uautorisert tilgang, sletting og lagring av data. Infosec-protokoller som SOC2, HIPAA og TISAX, har vært store områder for investeringer for oss.

Til slutt arbeider våre ingeniører og løsningsarkitekter konstant med tilpassede integrasjoner og rapporter, så unike kundens behov reflekteres i siste mile. En en-size-passer-alle-tilnærming fungerer ikke i AI.

Du har snakket om å kombinere robotikk og menneskelig intelligens som en tryggere vei for AI. Kan du utdype hva denne arbeidsflyten ser ut i praksis – og hvorfor du mener det er bedre enn å prøve å eliminere AI’s kreative avvik?

AI gir skala, det vil si at bedrifter utvikler verktøy for å automatisere lange prosesser tradisjonelt utført av mennesker. Men mennesker gir den siste mile av fleksibilitet, sikkerhet og motstandskraft. Ettersom programvare-leverte tjenester fortsetter å spre seg i AI, vil de mest suksessfulle bedriftene effektivt kombinere robotikk med menneske-i-løkken-praksis (HITL).

Vi ser HITL som en konsekvent lag i hver fase av AI-utviklings- og implementerings-livssyklusen, og også som en pilar av tillit og sikkerhet. Derfor vil menneskelig intelligens være essensiell for å korrigere hvis modellene feiler. Disse kritiske applikasjonene vil trenge menneskelige tanker for å bestemme hva endringer som må gjøres. Dette er hvor HITL-tjenester vil bli enda mer betydningsfulle når vi integrerer AI i produksjon og felt-operasjoner.

Din Ango Hub-plattform kombinerer automatisering med menneske-i-løkken-ekspertise. Hvordan forbedrer denne hybrid-modellen data-kvalitet og modell-ytelse i produksjons-AI-systemer?

AI og automatisering gir skala og hastighet, mens mennesker gir nyanser, innsikt og tilsyn. HITL sikrer menneskelig involvering på kritiske punkter i AI-livssyklusen – sikrer høykvalitets-inntastninger, validerer utgang, identifiserer kanter og unntak, og finjusterer modeller for domener. Mennesker hjelper med å sikre nøyaktighet ved å gjennomgå og verifisere utgang, og fange hallucinasjoner eller logiske feil før de forårsaker skade. De gir også tilsyn i etisk følsomme eller høyrisiko-sammenhenger hvor LLM’er ikke bør ta endelige avgjørelser. Mer viktig, menneskelig tilbakemelding driver kontinuerlig læring, og hjelper AI-systemer å alignere mer nært med bruker-mål over tid.

HITL tar mange former. Menneskelige eksperter engasjerer i målrettet annotering, anvender kompleks resonnering til kanter og unntak, og gjennomgår AI-generert innhold ved hjelp av strukturert QA-grensesnitt. I stedet for å evaluere hver avgjørelse, implementeres ofte kontekst- eskaleringssystemer. Disse systemene sender bare lav-konfidens-utgang eller merkede anomalier til menneskelige gjennomgåere, og balanserer tilsyn med effektivitet.

En annen kritisk bruk av HITL er finjustering av AI-agenter via Reinforcement Learning fra menneskelig tilbakemelding (RLHF). Menneskelige gjennomgåere rangerer, omskriver eller gir tilbakemelding på agent-svar, som er spesielt viktig i følsomme domener som helsetjenester, juridiske tjenester eller kundeservice. I tandem tillater scenario-basert testing og red teaming menneskelige evaluatore å teste agenter under adversativ eller uvanlig sammenhenger for å identifisere og patche sårbarheter før implementering.

AI’s fulle potensiale realiseres bare når mennesker forblir i løkken, guidende, validerende og forbedrende hver trinn. Uansett om det er å finjustere agent-utgang, trene evaluering-løkker eller kuratere pålitelige data-pipelines, menneskelig tilsyn legger til strukturen og ansvarligheten AI trenger for å bli betrodd og effektiv.

Med Generative AI-verktøy som utvikler seg raskt, hvordan holder iMerit pace i å levere evaluering, RLHF og finjusteringstjenester?

Vi lanserte nylig Ango Hub Deep Reasoning Lab (DRL), en samlet plattform for Generative AI-justering og interaktiv utvikling av kjede-av-tenkning-grunn med AI-lærere. Vårt DRL muliggjør sanntids-, tur-for-tur-prosesser og evaluering basert på menneskelig preferanser, og fører til mer koherent og nøyaktig modell-respons til komplekse problemer.

Fremgang i GenAI-modeller og applikasjonsutvikling fremhever verdien av ren, ekspert-skapt, validert data. Med Ango Hub DRL, kan eksperter teste modeller, identifisere svakheter og generere ren data ved hjelp av kjede-av-tenkning-grunn. De interagerer med modellene i sanntid og sender promter og korreksjoner tilbake trinn-for-trinn i ett grensesnitt.

Leveraging iMerit Scholars, Ango Hub DRL finjusterer modell-resonans-prosesser. Den utnytter iMerits omfattende erfaring med HITL-arbeidsflyter. Eksperter designer multi-trinns-scenarier for komplekse oppgaver, som å lage kjede-av-tenkning-promter for avanserte matematikk-problemer. iMerit Scholars gjennomgår utgang, korrigere feil og fange interaksjoner sømløst. Magien ligger ikke i å ombord på store tall udiscriminerende. De beste matematikerne er ikke nødvendigvis de beste lærerne. En bør heller ikke behandle en kardiolog som en gig-arbeider. Tilpasning og coaching av fagfolk til å tenke på måter som er best for modell-trening, samt engasjement, gjør forskjellen.

Hva betyr “ekspert-i-løkken” i sammenheng med finjustering av generativ AI? Kan du dele eksempler hvor denne menneskelige ekspertisen betydelig forbedret modell-utgang?

Ekspert-i-løkken kombinerer menneskelig intelligens med robotisk intelligens for å fremme AI i produksjon. Det involverer menneskelige eksperter som validerer, finjusterer og forbedrer utgangen av automatiserte systemer.

Spesifikt sikrer ekspert-ledet data-annotering at trening-data er nøyaktig merket med domene-spesifikke kunnskaper, og forbedrer dermed nøyaktigheten og påliteligheten av prediktive AI-modeller. Ved å redusere forvrengninger og misklassifiseringer, forbedrer ekspert-drevet annotering modellens evne til å generalisere effektivt over virkelige scenarioer. Dette resulterer i AI-systemer som er mer troverdige, tolkbare og alignert med bransje-spesifikke behov.

For eksempel, etter å ha kjøpt en stor korpus av medisinske data, trengte en amerikansk multinasjonal teknologiselskap å evaluere dataene for bruk i sin forbruker-orienterte medisinske chatbot for å sikre trygg og nøyaktig medisinsk rådgivning for brukerne. Vendet til iMerit, og utnyttet vårt omfattende nettverk av amerikanske helsetjeneste-eksperter, og samlet et team av sykepleiere for å arbeide i en konsensus-arbeidsflyt med eskaleringer og arbitreringer levert av en amerikansk board-certifisert lege. Sykepleierne begynte med å evaluere kunnskapsbasen med definisjoner for å vurdere nøyaktighet og risiko.

Gjennom diskusjon av kanter og reviderte retningslinjer, kunne sykepleierne nå konsensus i 99% av tilfellene. Dette tillot teamet å revidere prosjekt-designet til en enkelt-stem- struktur med en 10%-audit, og reduserte prosjekt-kostnadene med over 72%. Samarbeid med iMerit har enablet dette selskapet til å kontinuerlig identifisere måter å skala medisinsk data-annotering etisk og effektivt.

Med over 8 000 fulltids-eksperter verden over, hvordan opprettholder du kvalitet, ytelse og ansatt-utvikling i stor skala?

Definisjonen av kvalitet er alltid tilpasset hver enkelt kundes spesifikke brukstilfelle. Våre team samarbeider tett med kundene for å definere og kalibrere kvalitetsstandarder, og anvender tilpassede prosesser som sikrer at hver annotering raskt valideres av fagfolk. Konsistens er viktig for utvikling av høykvalitets AI. Dette støttes av høy ansatt-tilbakehold (90%) og en sterk fokus på produksjons-analytik, en nøkkel-differensierer i designet av Ango Hub, formet av daglig bruker-innsputt fra vårt team.

Vi investerer kontinuerlig i automatisering, optimalisering og kunnskapsforvaltning, underbygget av vår egenutviklede iMerit One-trening-plattform. Dette engasjementet for læring og utvikling driver ikke bare operasjonell eksellense, men også langsiktig karriere-utvikling for våre ansatte, og fremmer en kultur av ekspertise og vekst.

Hva råd ville du gi til aspirerende AI-entrepreneurer som ønsker å bygge noe meningsfullt – både i teknologi og i sosial påvirkning?

AI beveger seg i en fantastisk fart. Gå utenfor teknologistaken og lytt til dine kunder for å forstå hva som betyr noe for deres forretning. Forstå deres appetitt på hastighet, endring og risiko. Tidlige kunder kan prøve ting ut. Større kunder må vite at du er her for å bli og at du vil fortsette å prioritere dem. Sett dem til ro med din proaktive tilnærming til åpenhet, sikkerhet og ansvarlighet.

I tillegg, velg dine investorer og styremedlemmer nøye for å sikre at de deler dine verdier og bekymringer. Hos iMerit, har vi opplevd betydelig støtte fra vårt styre og investorer under utfordrende tider, som COVID-19, som vi krediterer til denne tilnærmingen.

De nøkkel-egenskapene som bidrar til en entrepreneurs suksess i tech-industrien, går utenfor å ta risiko; de involverer å bygge en lønnsom, inkluderende bedrift.

Takk for det flotte intervjuet, lesere som ønsker å lære mer, bør besøke iMerit.