Radha Basu, CEO a zakladatelka iMerit – Interview Series

Radha Basu, zakladatelka a CEO iMerit, vybudovala svou kariéru v HP, kde strávila 20 let a nakonec vedla jeho skupinu Enterprise Solutions. Poté vzala Support.com veřejně jako jeho CEO. Radha založila Anudip Foundation v roce 2007 s Dipakem Basuem a poté založila iMerit v roce 2012. Je považována za předního technologického podnikatele a mentora a průkopníka v softwarovém byznysu.

iMerit dodává multimodální AI datové řešení kombinací automatizace, odborné lidské anotace a pokročilé analýzy pro podporu kvalitních datových značek a jemného ladění modelů ve velkém měřítku.

Měli jste pozoruhodnou cestu – od budování operací HP v Indii až po založení iMerit s cílem pozvednout okrajové mladé lidi v Bhútánu, Indii a New Orleans. Co vás inspirovalo k založení iMerit a jaké výzvy jste čelili při vytváření inkluzivního, globálního pracovního týmu od základů?

Před založením iMerit jsem byla předsedkyně a CEO SupportSoft, kde jsem vedla společnost prostřednictvím její počáteční a sekundární veřejné nabídky, čímž jsme ji etablovali jako globálního lídra v softwaru pro podporu automatizace. Tato zkušenost mi ukázala sílu kombinace lidí a technologií od samého počátku.

Zatímco technologický boom v Indii vytvořil nové příležitosti, všimla jsem si, že mnoho talentovaných mladých lidí v zanedbaných oblastech bylo zanecháno pozadu. Věřila jsem v jejich potenciál a odhodlání se učit. Jakmile viděli, jak software může pohánět pokročilé technologie jako AI, nadšeně přijali tyto kariéry.

Spustili jsme iMerit s malým, rozmanitým týmem, jehož polovina jsou ženy, a od té doby jsme rychle rostli. Adaptabilita a trenovatelnost našeho týmu byly klíčové, zejména s ohledem na dlouhodobou poptávku po kvalifikovaných specialistech v oblasti datově orientovaného AI.

Dnes je iMerit globálním poskytovatelem AI datových řešení pro kritické sektory, jako jsou autonomní vozidla, lékařská AI a technologie. Naše práce zajišťuje, že AI modely našich zákazníků jsou postaveny na kvalitních a spolehlivých datech, což je nezbytné v prostředí s vysokými zárukami.

Naše síla spočívá v silných technologických základech a týmu dobře vyškolených, motivovaných zaměstnanců, kteří prosperují v podpůrné, učící se kultuře. Tento přístup pohání náš růst, udržuje nás v kladném cash flow a vydělává nám vysoké skóre NPS a loajální zákazníky.

iMerit nyní spolupracuje s více než 200 klienty, včetně technologických gigantů jako eBay a Johnson & Johnson (JNJ ). Můžete nás provést cestou růstu společnosti – od raných dnů až po to, že se stala globálním lídrem v AI datových službách?

Měli jsme možnost sledovat AI cesty našich klientů, a to od počátečních experimentů až po velkoobjemovou produkci. Naše práce zahrnuje startupy, globální lídry autonomních vozidel a velké podniky. Díky tomu, že jsme trénovali jejich modely od základů, získali jsme nevídanou přehled o tom, co skutečně potřebujete k tomu, aby se AI škálovala ve skutečném světě.

Tento obor se neustále a rychle vyvíjí. Málokdy jsem viděla technologii, která by pokročila tak dramaticky za tak krátkou dobu. Převzali jsme roli plnohodnotné AI datové společnosti, dodávající specializovaná řešení napříč celým lidským cyklem (HITL): anotace, validace, audit a red teaming. Zvládání hraničních případů a výjimek je zásadní pro nasazení ve skutečném světě, vyžadující hluboké znalosti a nuancované úsudky na každém kroku.

Naším největším vertikálním trhem je autonomní mobilita, kde spravujeme plnou percepční sadu, včetně fúze senzorů napříč 15 senzory pro osobní, dodávací, nákladní a zemědělská vozidla. Ve zdravotnictví poháníme klinickou zobrazovací AI. Ve high-tech jsme na špici jemného ladění a validace GenAI, vyžadující větší sofistikovanost našich pracovních postupů a talentu.

Úspěch v těchto oblastech nespočívá pouze v tom, že máte odborníky – je to o pěstování odbornosti: kognitivní schopnosti zpochybnit, trénovat a kontextualizovat AI modely. To je to, co odlišuje naše týmy.

Náš růst je poháněn dlouhodobými partnerstvími, a většina našich top 10 klientů je s námi déle než 5 let. Jak jejich potřeby rostou komplexněji, neustále zvyšujeme naše znalosti domény, nástrojů, školení a řešení. Naše technologický stack i lidé musí neustále evoluvovat.

Sloučení softwaru, automatizace, anotace a analýzy vytváří rubriku pro velmi flexibilní, rychlé, vysoce přesné, lidské zásahy. 70 % nových log je na našem vlastním technologickém stacku, což vyžaduje obrovskou vnitřní transformaci. Opět, naše kultura zajišťuje, že týmy jsou hladové se učit a chtějí neustále růst.

Jaké byly nejzásadnější okamžiky v historii iMerit – ať už technologické milníky nebo strategická rozhodnutí – které pomohly vytvořit trajektorii společnosti?

V době, kdy se AI datové práce považovaly za crowd-based gig work, jsme vsadili na to, že se tato práce bude rozvíjet jako kariéra a bude vyžadovat složitost a firemní zaměření. Díky budování interních týmů pro pokročilé použití jsme umožnili našim klientům rychle škálovat, což vyvrcholilo naší první dohodou o 1 milionu dolarů MRR v autonomních vozidlech, což potvrdilo náš přístup.

Lockdown COVID-19 testoval naši agilitu: přešli jsme z plně kancelářského na plně vzdáleného téměř přes noc, investovali jsme těžce do infrastruktury, bezpečnosti a kultury. Během několika týdnů se operace klientů zotavily a jsme rostli jak výnosy, tak počet zaměstnanců toho roku. Dnes, s 70 % našeho týmu zpět na místě, pokračujeme v využívání vzdáleného talentu, spuštěním Scholars, naší globální sítě odborníků na GenAI jemné ladění a validaci. Bez ohledu na to, zda je to kardiolog nebo španělský matematik, naše vysoce dotyková kultura přitahuje a motivuje špičkové talenty, přímo zvyšuje kvalitu a konzistenci našich řešení.

V roce 2023 jsme získali Ango.ai, platformu pro AI datové značkování a automatizaci pracovních postupů, aby poháněla další generaci AI datových nástrojů. Tento zásadní krok spojil odborné znalosti iMerit s pokročilým toolingem Ango, rozšiřujícím naše schopnosti v radiologii, fúzi senzorů a jemném ladění GenAI. Stále pracujeme s nástroji zákazníků, ale mnoho nových klientů je nyní naším přímým partnerem v Ango Hub, přitahovaným jeho uživatelsky přívětivými pracovními postupy a robustní bezpečností, které jsou nezbytnými požadavky v našem odvětví.

Podniky nám neustále říkají, že hledají nejlepší z obou světů: odborné lidské vhledy, aby zajistily kvalitu, v kombinaci se zabezpečenou, škálovatelnou platformou, která dodává automatizaci a analýzu. Kombinace sil s Ango dodává přesně to, jedinečně позиcionuje nás, aby splnily komplexní požadavky dnešních nejambicióznějších AI projektů a škálovaly s jistotou.

iMerit je hluboce zapojen do pokročilých oblastí, jako jsou autonomní vozidla, lékařská AI a GenAI. Jaké jsou některé z unikátních datových výzev, kterým čelíte v těchto sektorech, a jak je řešíte?

Datové úkoly obvykle představují téměř 80 % času stráveného na AI projektech, což je zásadní součástí potrubí. Datově orientovaná část AI může být časově náročná a nákladná, pokud není zpracována vhodným a škálovatelným způsobem.

Kvalita dat, a zejména vyhnutí se zjevným chybám, je zásadní v kritických sektorech, ve kterých operujeme. Bez ohledu na to, zda je to percepční algoritmus nebo detektor nádoru, čistá data jsou zásadní v tréninkovém a validačním cyklu.

Řešení výjimek je nesrovnatelně cenné. Lidské vhledy do toho, proč je něco mimo normu nebo proč scénář rozbil model, vytváří obrovskou hodnotu při vytváření modelu kompletnějšího a robustnějšího.

Kromě toho se kontextové okna stávají většími. Shrnujeme klinické poznámky celé lékařské konzultace a analyzujeme anomálie v MRI na základě nejen obrazu, ale také lékařského kontextu pacienta. Odborníci na danou problematiku musí nastavit rubriky pro analýzu dat přesně a zajistit kvalitu.

Bezpečnost, soukromí a důvěrnost jsou horké tlačítko. Náš Chief Security Officer musí chránit před neoprávněným přístupem, odstraněním a uložením dat. Infosec protokoly, jako SOC2, HIPAA a TISAX, byly pro nás významnými oblastmi investic.

Naše inženýři a architekti řešení neustále pracují na vlastních integracích a zprávách, aby byly zohledněny jedinečné potřeby zákazníků. Jeden velikosti se nehodí všem v AI.

Můžete vysvětlit, co kombinuje robotiku a lidskou inteligenci jako bezpečnější cestu pro AI?

AI poskytuje škálovatelnost, což znamená, že společnosti vyvíjejí nástroje pro automatizaci dlouhých procesů tradičně prováděných lidmi. Ale lidé poskytují poslední míli flexibility, jistoty a odolnosti. Jak softwarově dodávané služby pokračují v proliferaci v AI, nejúspěšnější společnosti budou efektivně kombinovat robotiku s lidskými postupy (HITL).

Vidíme HITL jako konzistentní vrstvu v každé fázi AI vývoje a nasazení, a také jako pilíř důvěry a bezpečnosti. V důsledku toho bude lidská inteligence zásadní pro korekci, pokud modely selžou. Tyto kritické aplikace budou potřebovat lidský rozum, aby určily, jaké změny je třeba provést. To je místo, kde budou služby HITL ještě významnější, protože integrujeme AI do produkce a polních operací.

Vaše platforma Ango Hub kombinuje automatizaci s lidskou odborností. Jak tento hybridní model zlepšuje kvalitu dat a výkon modelu v produkčních AI systémech?

AI a automatizace poskytují škálovatelnost a rychlost, zatímco lidé poskytují nuance, vhled a dohled. HITL zajišťuje lidskou účast na kritických okamžicích AI cyklu – zajišťuje kvalitní vstupy, validační výstupy, identifikaci hraničních případů, jemné ladění modelů pro domény a kontextuální úsudek. Lidé pomáhají zajistit přesnost kontrolou a ověřením výstupů, chytáním halucinací nebo logických chyb, než způsobí škodu. Poskytují také dohled v eticky citlivých nebo vysoce rizikových kontextech, kde by LLM neměly dělat konečné volby. Co je ještě důležitější, lidská zpětná vazba pohání kontinuální učení, pomáhá AI systémům sladit se s uživatelskými cíli s časem.

HITL má mnoho forem. Lidský expert se účastní cílené anotace, aplikuje komplexní úsudek na hraniční případy a kontroluje AI generovaný obsah pomocí strukturovaných QA rozhraní. Místo hodnocení každého rozhodnutí se často implementují systémy kontextového eskalování. Tyto systémy směrují pouze výstupy s nízkou jistotou nebo označené anomálie lidským recenzentům, vyvažujícím dohled s efektivitou.

Dalším kritickým využitím HITL je jemné ladění AI agentů pomocí posilovacího učení z lidské zpětné vazby (RLHF). Lidský recenzent ohodnotí, přepsá nebo poskytne zpětnou vazbu na agentovy odpovědi, což je zvláště důležité v citlivých oblastech, jako je zdravotnictví, právní služby nebo zákaznická podpora. V tandemu umožňuje scénářové testování a red teaming lidským hodnotitelům testovat agenty v adversativních nebo neobvyklých podmínkách, aby identifikovali a opravili zranitelnosti před nasazením.

Plný potenciál AI je realizován pouze tehdy, když lidé zůstávají v cyklu, směrují, validační a zlepšují každou fázi. Bez ohledu na to, zda se jedná o rafinaci agentových výstupů, tréninkové hodnocení nebo kuraci spolehlivých datových kanálů, lidský dohled přidává strukturu a odpovědnost, kterou AI potřebuje, aby byl důvěryhodný a efektivní.

Jak iMerit zůstává před Generative AI nástroji, které se rychle vyvíjejí, a poskytuje hodnocení, RLHF a jemné ladění služeb?

Nedávno jsme spustili Ango Hub Deep Reasoning Lab (DRL), jednotnou platformu pro Generative AI jemné ladění a interaktivní vývoj chain-of-thought reasoning s AI učiteli. Naše DRL umožňuje reálné, turn-by-turn procesy a hodnocení založené na lidských preferencích, vedoucí k více koherentním a přesným modelovým odpovědím na komplexní problémy.

Pokroky v GenAI modelech a aplikacích zdůrazňují hodnotu čistých, odborně vytvořených a ověřených dat. S Ango Hub DRL mohou odborníci testovat modely, identifikovat slabiny a generovat čistá data pomocí chain-of-thought reasoning. Interagují s modely v reálném čase a posílají podněty a korekce zpět krok za krokem v jednom rozhraní.

Ango Hub DRL využívá iMerit Scholars, kteří rafinují modelové procesy myšlení. Využívá naše rozsáhlé zkušenosti s HITL pracovními postupy. Odborníci navrhují vícekrokové scénáře pro komplexní úkoly, jako je vytváření chain-of-thought podnětů pro pokročilé matematické problémy. iMerit Scholars kontrolují výstupy, opravují chyby a zachycují interakce bezproblémově. Magie není v náboru velkého počtu lidí bez rozdílu. Nejlepší matematici nejsou nutně nejlepší učitelé. Také byste neměli zacházet s kardiologem jako s gig workerem. Připojení a koučování odborníků, aby mysleli způsoby, které nejvíce prospívají procesu školení modelu, stejně jako zapojení, dělají rozdíl.

Co znamená „expert-in-the-loop“ v kontextu jemného ladění generativního AI? Můžete sdílet příklady, kde lidská odbornost významně zlepšila modelové výstupy?

Expert-in-the-Loop kombinuje lidskou inteligenci s robotickou inteligencí, aby AI pokročil do produkce. Zahrnuje lidské odborníky, kteří validační, rafinují a vylepšují výstupy automatizovaných systémů.

Konkrétně zajišťuje expertní vedení datovou anotaci, aby byla trénovací data přesně označena odbornými znalostmi, zlepšující tak přesnost a spolehlivost prediktivních AI modelů. Snížením偏 a nesprávných klasifikací zlepšuje expertní anotace schopnost modelu generalizovat efektivně napříč skutečnými scénáři. To vede k AI systémům, které jsou více důvěryhodné, interpretovatelné a sladěné s potřebami specifických odvětví.

Například po získání velkého korpusu lékařských dat potřebovala americká nadnárodní technologická společnost vyhodnotit data pro použití v jejím spotřebitelském lékařském chatbotu, aby zajistila bezpečné a přesné lékařské rady pro uživatele. Obrátili se na iMerit, využili naší rozsáhlé sítě odborníků na zdravotnictví ve Spojených státech a sestavili tým zdravotních sester, aby pracovali v konsensuálním pracovním postupu s eskalacemi a arbitráží poskytnutými certifikovaným lékařem. Zdravotní sestry začaly hodnocením znalostní báze s definicemi, aby zhodnotily přesnost a riziko.

Prostřednictvím diskuse o hraničních případech a revize pokynů mohly zdravotní sestry dosáhnout konsensu v 99 % případů. To umožnilo týmu revizi projektu na jednoduchou strukturu s 10% auditu, snížení nákladů na projekt o více než 72 %. Práce s iMerit umožnila této společnosti neustále identifikovat způsoby, jak škálovat lékařskou datovou anotaci eticky a efektivně.

S více než 8 000 plně zaměstnaných odborníků po celém světě, jak udržujete kvalitu, výkon a rozvoj zaměstnanců v měřítku?

Definice kvality je vždy přizpůsobena konkrétnímu použití zákazníka. Naši týmy úzce spolupracují se zákazníky, aby definovaly a kalibrovaly standardy kvality, zaměstnávajíce přizpůsobené procesy, které zajišťují, že každá anotace je rychle ověřena odborníky na danou problematiku. Konsistence je důležitá pro vývoj kvalitních AI. To je podporováno vysokou retencí zaměstnanců (90 %) a silným zaměřením na produkční analýzu, klíčovým rozlišovacím znakem v návrhu Ango Hub, tvarovaném denními uživatelskými příspěvky od našeho týmu.

Neustále investujeme do automatizace, optimalizace a znalostního managementu, podloženého naší proprietární platformou iMerit One. Tento závazek ke vzdělávání a rozvoji nejen pohání provozní excelenci, ale také podporuje dlouhodobý kariérní růst našich zaměstnanců, pěstuje kulturu odbornosti a růstu.

Jaký byste poradil aspirujícím AI podnikatelům, kteří chtějí postavit něco smysluplného – jak v technologiích, tak v sociálním dopadu?

AI se pohybuje závratnou rychlostí. Jděte za hranice technologického stacku a poslouchejte své zákazníky, abyste pochopili, co je pro jejich podnikání důležité. Pochopíte jejich chuť k rychlosti, změně a riziku. Raní zákazníci mohou vyzkoušet věci. Larger zákazníci potřebují vědět, že jste tady, aby zůstali, a že budete pokračovat v prioritizaci. Uklidněte je vaším proaktivním přístupem k transparentnosti, bezpečnosti a odpovědnosti.

Kromě toho pečlivě vyberte své investory a členy představenstva, abyste zajistili sladění sdílených hodnot a obav. V iMerit jsme zažili významnou podporu našeho představenstva a investorů během obtížných časů, jako je COVID-19, které jsme připsali této sladění.

Klíčové vlastnosti, které přispívají k úspěchu podnikatele v technologickém průmyslu, sahají za hranice rizika; zahrnují budování ziskového, inkluzivního podniku.

Děkuji vám za skvělý rozhovor, čtenáři, kteří chtějí se dozvědět více, by měli navštívit iMerit.