Ali Ansari, zakladatel a generální ředitel společnosti micro1 – rozhovorový seriál

Ali Ansari je zakladatelem a generálním ředitelem společnosti micro1, kde se zaměřuje na to, jak přetvářet lidskou odbornost v tréninková data a hodnocení pro pokročilé systémy umělé inteligence. Jeho podnikatelská dráha zahrnuje založení agentury pro vývoj softwaru a společnosti peerlinc předtím, než v roce 2022 spustil micro1. Studoval informatiku na UC Berkeley a Stanfordu se zaměřením na posilované učení a nyní pracuje na systémech potřebných k získávání, posuzování a koordinaci příspěvků odborníků k vývoji umělé inteligence.

micro1 je datová laboratoř, která pomáhá trénovat špičkové modely umělé inteligence a vyhodnocovat agenty umělé inteligence s využitím odborných znalostí lidí a realistického pracovního prostředí. Její platforma propojuje nábor specialistů, tvorbu dat, kontrolu kvality a hodnocení modelů v oborech, jako jsou právo, zdravotnictví, finance, strojírenství a věda. V tomto rozhovoru Ansari mluví o tom, proč roste poptávka po lidské odbornosti, jak provozní data podporují posilované učení a jaké pracovní příležitosti vznikají v oblasti trénování a hodnocení umělé inteligence.

Založil jste micro1 v roce 2022 poté, co jste předtím vybudoval a prodal společnost peerlinc. Jaký problém jste původně chtěl vyřešit a jak se micro1 proměnila ve firmu zaměřenou na trénování a hodnocení špičkových modelů umělé inteligence?

Původně šlo o problém, se kterým jsem se potýkal ve vlastním podnikání. Provozoval jsem agenturu pro vývoj softwaru a každý nový projekt znamenal, že jsem musel najít a vyzpovídat další inženýry. Zabíralo mi to obrovskou část času. Abychom si práci usnadnili, vytvořili jsme proto tazatelku s umělou inteligencí jménem Zara, z níž se nakonec stala společnost micro1.

Začali jsme prodávat náborový software a budovat tržiště s prověřenými odborníky. Pak se na nás obrátil zákazník, který potřeboval stovky inženýrů k trénování modelů umělé inteligence. Začali jsme zjišťovat, proč potřebuje tolik lidí, a uvědomili jsme si, že za vývojem modelů stojí obrovská poptávka po lidské odbornosti.

Už několik let jsme budovali schopnost získávat a prověřovat lidi ve velkém měřítku. Práce s daty od lidí byla velmi účinným způsobem, jak tuto infrastrukturu využít. Plně jsme se proto zaměřili na tuto oblast, využili naši náborovou umělou inteligenci k vyhledávání a prověřování odborníků a vybudovali kolem ní další datové platformy a systémy kontroly kvality. Dnes pomáháme výzkumným laboratořím proměňovat tyto odborné znalosti ve schopnější modely.

Říkal jste, že s tím, jak se schopnosti modelů umělé inteligence zlepšují, poptávka po lidské odbornosti ve skutečnosti roste, místo aby mizela. Co tento vztah způsobuje?

Děje se několik věcí. Zaprvé, čím lepší modely jsou, tím náročnější úkoly po nich chceme. Model, který dokáže odpovědět na otázku, je užitečný. Model, který zvládne celý pracovní postup, je mnohem užitečnější, ale k tomu je potřeba mnohem více odborného vstupu.

Zadruhé, lidé stále vytvářejí novou práci. Pokud může právník pomocí umělé inteligence zvládnout velkou část každodenních úkolů, získá více času na řešení složitějších problémů nebo na vývoj nových služeb pro klienty. Tyto nově vzniklé činnosti pak také chceme převést do modelů. Právě to máme na mysli, když říkáme, že „poslední míle nikdy nekončí“. Práce se neustále vyvíjí.

Syntetická data to celé ještě více zvýrazňují. Lze je využít k rozšíření úkolů a zpětné vazby vytvořených odborníky, čímž se původní lidský vstup stává užitečnějším. Myslím, že právě tato kombinace je důvodem, proč poptávka po lidské odbornosti roste souběžně se schopnostmi modelů.

micro1 spolupracuje s odborníky z různých oblastí, například z práva, zdravotnictví, financí, strojírenství a vědy. Čím mohou tito profesionálové přispět systémům umělé inteligence, co se nelze jednoduše naučit z již existujících online dat?

Velkou část toho, co z někoho dělá skvělého lékaře, právníka nebo inženýra, tvoří úsudek získaný praxí. Něco z toho je zdokumentováno, ale velká část se projeví v tom, jak odborník řeší neobvyklý případ, rozpozná chybějící informace nebo rozhodne, na kterém detailu skutečně záleží.

To je pro trénování modelů nesmírně cenné. Odborník může vytvořit náročný úkol, vysvětlit, jak má vypadat dobrý výsledek, a přesně určit, v čem model zaostává. Odpověď může působit velmi přesvědčivě, a přesto v ní může chybět to nejdůležitější pro člověka, který danou práci vykonává.

Potřebujeme odborníky, aby dokázali tyto rozdíly rozpoznat. Potřebujeme také více různých pohledů a důkladný proces kontroly, protože úsudek jednoho člověka nepokryje všechny případy. Cílem je proměnit tyto zkušenosti v signál, z něhož se model může učit. V každém oboru je navíc obrovské množství nuancí. Právní odbornost například není jednotná: liší se podle oblasti právní praxe, jednotlivých států či jurisdikcí i právních systémů různých zemí. Každá úroveň vyžaduje specializovanější znalosti a úsudek. Stejná hloubka je vlastní všem oborům i jejich mnoha podoborům, a proto potřebujeme odborníky, kteří vědí, co tyto rozdíly znamenají v praxi.

Vzhledem k tomu, že se v odvětví stále více pozornosti věnuje následnému trénování, posilovanému učení a hodnocení, kde dnes vidíte největší překážky ve zlepšování špičkových modelů?

Myslím, že jednou z největších překážek je přístup k realistickým datům. Firmy strávily roky řešením problémů, rozhodováním a zvládáním výjimečných situací a tyto zkušenosti jsou zachyceny v jejich dokumentech, systémech a pracovních postupech. Jsou nesmírně cenné, pokud chcete model naučit, jak vykonávat skutečnou práci.

Proto jsme vytvořili program Company Data Partnerships neboli CDP. Platíme společnostem za licenci k jejich provozním datům. Ta mohou zahrnovat interní dokumentaci, historii projektů, záznamy CRM a postupy, které lidé dodržují při práci. Za cenné datové soubory společností platíme více než 2 miliony dolarů; konkrétní částka závisí na datech a partnerství.

Tento materiál využíváme k vytváření realistických prostředí pro trénování a vyhodnocování. Představte si řešení problému zákazníka: možná bude třeba nahlédnout do historie účtu, najít příslušné zásady a rozhodnout, jak postupovat. Prostředí vytvořené na základě takového pracovního postupu poskytuje modelu prostor, kde si může tyto kroky procvičit. Odborníci definují úkol i způsob, jak posoudit, zda byl úspěšně splněn. Právě díky této zpětné vazbě je prostředí užitečné pro posilovací učení.

Společnosti si ponechávají vlastnictví svých původních dat. Dohodneme se na rozsahu a požadavcích na nakládání s daty, včetně ochrany soukromí, a připravíme je k zamýšlenému použití.

Hodnota spočívá ve zkušenostech, které se v těchto záznamech odrážejí. CDP umožňuje společnostem tyto zkušenosti zpeněžit a zároveň pomáhá modelům učit se fungovat v mnohem realističtějších prostředích.

Které aspekty lidského úsudku nebo odborných znalostí budou podle vás pro systémy AI obzvlášť obtížně napodobitelné, i když se schopnosti modelů výrazně zvýší?

Myslím, že lidský vkus a kreativita budou pro modely obzvlášť obtížně napodobitelné. Důvod souvisí s tím, jak vytváříme trénovací data.

U mnoha úkolů můžeme dát dohromady odborníky a dosáhnout toho, aby se shodli na tom, jak vypadá dobrý výsledek. Získáme tak užitečný signál, podle kterého můžeme model trénovat. Když se ale lidí zeptáte, co dělá skvělý obrázek, skvělý film nebo působivý návrh, čím déle o tom diskutují, tím více se mohou jejich názory rozcházet. Ne vždy existuje jediná odpověď, ke které by bylo možné dospět.

AI může být v těchto oblastech stále velmi užitečná. Rozhodování o tom, co chcete vytvořit, pro koho to je a zda to skutečně osloví, však vyžaduje značnou míru lidského úsudku. Myslím, že tento úsudek bude ještě důležitější, až nástroje usnadní samotnou tvorbu.

Vidíte, že odborníci stále častěji považují trénování a vyhodnocování AI za seriózní odbornou práci, nikoli za přivýdělek. Mohlo by se z toho stát zcela nové odvětví zaměstnání a jak by taková kariéra mohla vypadat?

Rozhodně. Už nyní jde o novou kategorii práce v hodnotě několika miliard dolarů. Odborníci v ní uplatňují znalosti, které získali během své kariéry, a pomáhají trénovat a vyhodnocovat AI. Pro některé lidi se tato práce stává významnou součástí jejich profesního života.

Samotná práce může být velmi náročná a hluboce odborná. Právník může vytvořit obtížný scénář a stanovit, jak posuzovat odpověď modelu. Inženýr může připravit úkol, který agenta provede celým pracovním postupem v oblasti softwaru. Další lidé pak kontrolují data, zdokonalují kritéria vyhodnocování a vedou týmy odborníků. Tato práce také může lidem poskytnout více prostoru věnovat se tomu, co je k jejich oboru původně přivedlo. Ve většině zaměstnání zabírá značnou část času administrativa a povinnosti, které nesouvisejí s tím, co lidé považují za nejvýznamnější část své práce. Trénování AI v jejich oboru může postavit jejich odbornost do samého středu jejich činnosti: řeší složité problémy, uplatňují svůj úsudek a předávají své zkušenosti. Je to příležitost věnovat více času tomu, na čem jim záleží a co jim jde nejlépe, a zároveň pomáhat utvářet způsob, jakým AI k této práci přistupuje.

Myslím, že se kolem toho všeho začnou vytvářet skutečné kariérní dráhy. Člověk může být velmi dobrý v převádění odborných znalostí ze svého oboru do podoby trénovacích dat nebo ve správě datového toku a rozpoznávání oblastí, ve kterých modely potřebují pomoc. Jde o cenné dovednosti a teprve začínáme zjišťovat, jak budou všechny tyto role vypadat.

Když společnosti najímají lékaře, právníky, inženýry, vědce a další specialisty, aby zdokonalovali modely AI, jak ověřujete jejich odbornost a zajišťujete přesnost a konzistentnost výsledných trénovacích dat?

Vytvořili jsme kolem toho celý systém. Začíná nástrojem Zara, naší náborářkou využívající AI, který nám pomáhá vyhledávat a prověřovat odborníky podle dovedností potřebných pro daný projekt. Náš nástroj Merit nám pak pomáhá průběžně sledovat kvalitu, rychlost a spolehlivost jejich příspěvků. Je třeba rozumět jak odbornosti daného člověka, tak tomu, jak se tato odbornost promítá do dat, která vytváří.

Naše platforma flow propojuje práci odborníků s modely, které jsme vytvořili na podporu generování a kontroly dat. Odborníci definují úkoly a určují, jak vypadá dobrý výsledek. Nástroj flow gen pak pomáhá tento základ rozšířit o nové příklady a varianty. flow qc kontroluje, zda data neobsahují problémy, například chybějící důkazy nebo nesoulad mezi úkolem a kritérii jeho hodnocení. A flow grader vyhodnocuje výkon modelu podle těchto kritérií.

Důležité je, co se stane, když odborník odhalí chybu. Její oprava může zlepšit trénovací data, ale může nám také pomoci zdokonalit samotné generátory a kontroly kvality. Opakující se chyby můžeme proměnit v testy pro příští verzi.

To je samoposilující cyklus syntetických dat, který budujeme. Lidská odbornost nám poskytuje výchozí bod i úsudek. Naše nástroje nám pomáhají tento proces škálovat a zpětná vazba od odborníků přispívá ke zlepšení dalšího cyklu. Poté ověřujeme, zda tyto změny skutečně vedou k lepšímu výkonu modelů. Právě díky tomu má tento cyklus takovou hodnotu.

Od agentů umělé inteligence se stále častěji očekává, že budou plnit složité vícekrokové úkoly, nikoli pouze generovat odpovědi. V čem se trénování a vyhodnocování těchto systémů liší od práce potřebné ke zdokonalování tradičních velkých jazykových modelů?

Hlavní rozdíl spočívá v délce úkolu. Agent možná musí provést řadu akcí v různých nástrojích, než dospěje k užitečnému výsledku. Prvních několik kroků může zvládnout dobře, a přesto nakonec selhat, protože se chyby postupně vrství.

Potřebujeme tedy prostředí, ve kterých si model může procvičovat celý pracovní postup, a hodnocení, která nám ukážou, kde selhává. Našel správné informace? Použil nástroj správně? Dosáhl skutečně požadovaného výsledku?

Důležitý je také kontext samotné firmy. Agent pracující v určité společnosti musí rozumět jejím procesům a očekáváním. Obecné schopnosti stačí jen do určité míry.

Právě proto jsou odborníci v dané oblasti tak důležití. Pomáhají nám odhalovat příčiny selhání a vytvářet data potřebná ke zlepšování agentů. Nejprve systém vyhodnotíte, zjistíte, co mu chybí, podle těchto nedostatků ho trénujete a znovu vyhodnotíte. Tento proces pokračuje, jakmile agent přebírá další úkoly.

Jak se s rostoucími schopnostmi nejpokročilejších modelů mění typ dat vytvářených lidmi, která potřebují, a které formy odbornosti či hodnocení podle vás v příštích několika letech výrazně nabydou na hodnotě?

Stále důležitější jsou dvě věci: délka úkolu a míra, v jaké odpovídá skutečnému světu. S tím, jak se modely zlepšují, se užitečná trénovací data přesouvají ke složitým pracovním postupům, které zahrnují více rozhodování, více kontextu a více příležitostí k chybě.

Díky tomu je provozní odbornost velmi cenná. Člověk, který nějakou práci vykonává už řadu let, rozumí výjimkám a závislostem, které lze při navrhování úkolu zvenčí snadno přehlédnout. Dokáže také posoudit, zda by výsledek agenta skutečně fungoval v rámci firmy.

Myslím, že se z podnikového hodnocení časem stane obrovský trh, který by mohl dosáhnout až jednoho bilionu dolarů ročně. Každá společnost nasazující agenty bude potřebovat vědět, kde fungují, kde selhávají a jak je zlepšovat. Lidé, kteří dokážou své znalosti proměnit v užitečné hodnocení, budou v tomto ohledu klíčoví. Tato potřeba bude přetrvávat, protože firmy, modely i samotná práce se neustále mění.

Někteří odborníci možná fakticky pomáhají trénovat systémy umělé inteligence, aby vykonávaly části jejich vlastní práce. Jak vnímáte toto napětí a jaký bude podle vás vztah mezi lidskou odborností a umělou inteligencí v příštích třech až pěti letech?

Myslím, že podceňujeme, kolik nové práce lidé vytvoří, až budou mít tyto nástroje k dispozici.

Vezměme si nábor. Pokud agent zvládne větší část úvodního výběru uchazečů, může náborář věnovat více času budování vztahů s kandidáty nebo hledání způsobů, jak oslovit lidi, ke kterým by se firma dříve nedostala. Jejich role se změní a za stejnou dobu toho budou moci zvládnout více.

Očekávám, že k podobným změnám dojde v mnoha profesích. V příštích třech až pěti letech se agenti budou stále častěji stávat spolupracovníky, které budou lidé řídit, poskytovat jim kontext a hodnotit je. Lidé budou v souvislosti s tím přebírat nové odpovědnosti.

Proto jsem optimista. Už nyní vznikají nové pracovní příležitosti v oblasti trénování a vyhodnocování umělé inteligence a myslím, že jich bude přibývat, až lidé zjistí, co s ní mohou vytvářet a čeho dosáhnout.

Děkujeme za skvělý rozhovor. Čtenáři, kteří se chtějí dozvědět více o trénovacích datech připravovaných pod vedením odborníků, hodnocení umělé inteligence a možnostech uplatnit své znalosti v oboru, by měli navštívit micro1.