Nora Petrova, inženýr strojového učení & konzultant AI ve společnosti Prolific – rozhovor

Nora Petrova je inženýr strojového učení & konzultant AI ve společnosti Prolific. Prolific byla založena v roce 2014 a již nyní má mezi svými zákazníky organizace jako Google, Stanford University, University of Oxford, King’s College London a Evropská komise, které využívají její síť účastníků k testování nových produktů, školení systémů AI v oblastech, jako je sledování očí, a určování, zda jejich aplikace AI fungují tak, jak je jejich tvůrci zamýšleli.

Můžete sdílet některé informace o svém pozadí v Prolific a své kariéře do současnosti? Co vás zajímalo o AI?

Má role v Prolific je rozdělena mezi poradenskou činnost týkající se případů použití AI a příležitostí a více praktickou roli inženýra strojového učení. Začala jsem svou kariéru ve softwarovém inženýrství a postupně jsem přešla k strojovému učení. Během posledních 5 let jsem se zaměřila především na případy použití a problémy NLP.

To, co mě zpočátku zajímalo o AI, byla schopnost učit se z dat a souvislost s tím, jak se my, lidé, učíme, a jak jsou naše mozky strukturovány. Domnívám se, že strojové učení a neurověda se mohou navzájem doplňovat a pomoci dále pochopit, jak budovat systémy AI, které jsou schopny navigovat ve světě, projevovat kreativitu a přinášet hodnotu společnosti.

Jaké jsou některé z největších problémů s předpojatostí AI, o kterých jste osobně vědoma?

Předpojatost je inherentní v datech, která krmit systémy AI, a úplné odstranění je velmi obtížné. Je však důležité, abychom byli vědomi předpojatostí, které jsou v datech, a našli způsoby, jak zmírnit škodlivé typy předpojatostí, než budeme důvěřovat modelům důležitými úkoly ve společnosti. Největší problémy, se kterými se potýkáme, jsou modely, které podporují škodlivé stereotypy, systémové předsudky a nespravedlnosti ve společnosti. Měli bychom být vědomi toho, jak tyto modely AI budou použity a jaké budou mít vliv na jejich uživatele, a zajistit, aby byly bezpečné, než je schválíme pro citlivé případy použití.

Některé prominentní oblasti, ve kterých modely AI projevily škodlivé předpojatosti, zahrnují diskriminaci nedostatečně zastupovaných skupin při přijímacích řízeních na školy a univerzity a genderové stereotypy, které negativně ovlivňují nábor žen. Kromě toho byl algoritmus pro trestní soudnictví shledán takovým, že označil afroamerické obviněné jako „vysoce rizikové“ téměř dvakrát častěji, než označil bílé obviněné v USA, zatímco technologie rozpoznávání obličeje stále trpí vysokými chybovými sazbami pro menšiny kvůli nedostatku reprezentativních trénovacích dat.

Příklady uvedené výše pokrývají pouze malou část předpojatostí projevených modely AI, a můžeme předvídat, že se v budoucnu objeví větší problémy, pokud se nebudeme soustředit na zmírnění předpojatostí nyní. Je důležité mít na paměti, že modely AI se učí z dat, která obsahují tyto předpojatosti kvůli lidskému rozhodování ovlivněnému nekontrolovanými a nevědomými předpojatostmi. Ve многих případech se odvolání na lidského rozhodce nemusí eliminovat předpojatost. Skutečné zmírnění předpojatostí bude vyžadovat pochopení, jak jsou tyto předpojatosti přítomny v datech, které používáme k trénování modelů, izolaci faktorů, které přispívají k předpojatým předpovědím, a kolektivní rozhodnutí o tom, co chceme použít jako základ pro důležitá rozhodnutí. Vyvinutí sady standardů, aby mohli modely být hodnoceny pro bezpečnost předtím, než budou použity pro citlivé případy použití, bude důležitým krokem vpřed.

Halucinace AI jsou obrovským problémem u jakéhokoli typu generativní AI. Můžete diskutovat o tom, jak human-in-the-loop (HITL) trénování je schopno zmírnit tyto problémy?

Halucinace v modelech AI jsou problematické zejména v určitých případech generativní AI, ale je důležité poznamenat, že samy o sobě nejsou problémem. V určitých kreativních použitích generativní AI jsou halucinace vítané a přispívají k více kreativní a zajímavé odpovědi.

Můžou být problematické v případech, kde je vysoká závislost na faktických informacích. Například ve zdravotnictví, kde je robustní rozhodování klíčové, je důležité poskytnout zdravotnickým odborníkům spolehlivé faktické informace.

HITL se týká systémů, které umožňují lidem poskytovat přímou zpětnou vazbu modelu pro předpovědi, které jsou pod určitou úrovní spolehlivosti. V kontextu halucinací lze HITL použít k tomu, aby modely naučily úroveň jistoty, kterou by měly mít pro různé případy použití, než budou poskytovat odpověď. Tyto prahové hodnoty se budou lišit v závislosti na případu použití a učení modelů o rozdílech v rigorosu potřebném pro odpovědi na otázky z různých případů použití bude klíčovým krokem směrem ke zmírnění problémových typů halucinací. Například v právní případě mohou lidé demonstrovat modelům AI, že faktická kontrola je vyžadovaná fáze při odpovědi na otázky založené na komplexních právních dokumentech s mnoha klauzulemi a podmínkami.

Jak mohou pracovníci AI, jako jsou anotátoři dat, pomoci snížit potenciální problémy s předpojatostí?

Pracovníci AI mohou především pomoci s identifikací předpojatostí přítomných v datech. Jakmile je předpojatost identifikována, stává se snazší vyvinout strategie pro její zmírnění. Anotátoři dat mohou také pomoci s nalezením způsobů, jak snížit předpojatost. Například pro úkoly NLP mohou pomoci poskytováním alternativních způsobů formulace problematických částí textu, aby se snížila předpojatost přítomná v jazyce. Kromě toho může diverzita mezi pracovníky AI pomoci zmírnit problémy s předpojatostí při označování.

Jak zajistíte, aby pracovníci AI nebyli neúmyslně krmit své vlastní lidské předpojatosti do systému AI?

Je to jistě složitý problém, který vyžaduje pečlivé zvážení. Eliminace lidských předpojatostí je téměř nemožná a pracovníci AI mohou neúmyslně krmit své předpojatosti do modelů AI, takže je klíčové vyvinout postupy, které pracovníky vedou k nejlepší praxi.

Některé kroky, které lze podniknout k minimalizaci lidských předpojatostí, zahrnují:

• Úplné školení pracovníků AI o nevědomých předpojatostech a poskytování jim nástrojů, jak identifikovat a spravovat své vlastní předpojatosti během označování.
• Kontrolní seznamy, které připomínají pracovníkům AI, aby ověřili své vlastní odpovědi před jejich odesláním.
• Provedení hodnocení, které ověřuje úroveň porozumění, kterou mají pracovníci AI, kde jsou jim ukázány příklady odpovědí napříč různými typy předpojatostí, a jsou požádáni, aby zvolili nejméně předpojatou odpověď.

Regulátoři po celém světě mají v úmyslu regulovat výstup AI, co podle vás regulátoři nepochopili, a co mají správně?

Je důležité začít tím, že toto je opravdu složitý problém, na který nikdo ještě nenašel řešení. Společnost a AI se budou vyvíjet a ovlivňovat navzájem způsoby, které jsou velmi obtížné předvídat. Část efektivní strategie pro nalezení robustních a užitečných regulačních postupů spočívá v tom, že se budeme soustředit na to, co se děje v AI, jak lidé reagují na ni a jaké účinky má na různé odvětví.

Domnívám se, že významnou překážkou efektivní regulace AI je nedostatek porozumění tomu, co modely AI mohou a nemohou dělat, a jak fungují. To činí obtížnějším přesně předpovědět důsledky, které tyto modely budou mít na různé sektory a části společnosti. Další oblast, ve které chybí vedení, je otázka, jak sladit modely AI s lidskými hodnotami a co znamená bezpečnost v konkrétnějších termínech.

Regulátoři hledají spolupráci s odborníky v oblasti AI, jsou opatrní, aby neudusili inovace příliš přísnými pravidly pro AI, a začali zvažovat důsledky AI na ztrátu pracovních míst, což jsou všechny velmi důležité oblasti zájmu. Je důležité postupovat opatrně, jak naše myšlenky na regulaci AI zrají, a zapojit co nejvíce lidí, aby se tento problém řešil demokratickým způsobem.

Jak mohou řešení Prolific pomoci podnikům snížit předpojatost AI a další problémy, o kterých jsme diskutovali?

Sběr dat pro projekty AI nebyl vždy uvážlivým nebo promyšleným procesem. Viděli jsme dříve metody, jako je sběr, outsourcing a další. Avšak to, jak trénujeme AI, je zásadní a modely příští generace budou muset být postaveny na záměrně shromážděných, vysoce kvalitních datech z reálných lidí a od těch, se kterými máte přímý kontakt. Zde Prolific dělá svůj zásah.

Jiné domény, jako je průzkum veřejného mínění, marketingový výzkum nebo vědecký výzkum, se to naučily už dávno. Publikum, ze kterého vzorkujete, má velký vliv na výsledky, které získáte. AI začíná chytat, a jsme na křižovatce.

Nyní je čas začít se starat o použití lepších vzorků a pracovat s více reprezentativními skupinami pro trénování a uhlazování AI. Oba jsou kritické pro vývoj bezpečných, nezávislých a sladitelných modelů.

Prolific může pomoci poskytnout správné nástroje pro podniky, aby mohly provádět experimenty s AI bezpečným způsobem a sbírat data od účastníků, kde je předpojatost zkontrolována a zmírněna po cestě. Můžeme pomoci poskytnout pokyny pro nejlepší postupy kolem sběru dat, výběru, odměňování a spravedlivého zacházení s účastníky.

Jaký je váš názor na transparentnost AI, měli by uživatelé vidět, na jaká data je algoritmus AI trénován?

Domnívám se, že existují výhody a nevýhody transparentnosti a dobrá rovnováha nebyla dosud nalezena. Společnosti zadržují informace o datech, která použily k trénování svých modelů AI, kvůli strachu z právních důsledků. Jiné společnosti pracovaly na tom, aby své modely AI zpřístupnily veřejnosti a zveřejnily všechny informace o datech, která použily. Úplná transparentnost nabízí mnoho příležitostí pro zneužití zranitelností těchto modelů. Úplná tajnost nepomáhá budovat důvěru a nezahrnuje společnost do budování bezpečné AI. Dobrý kompromis by poskytl dostatečnou transparentnost, aby v nás vzbudil důvěru, že modely AI byly trénovány na kvalitních relevantních datech, ke kterým jsme dali souhlas. Musíme si být vědomi toho, jak AI ovlivňuje různé odvětví, a vést otevřené dialogy se zúčastněnými stranami a zajistit, aby se vyvinuly postupy, které fungují pro všechny.

Domnívám se, že je také důležité zvážit, co uživatelé považují za uspokojivé z hlediska vysvětlitelnosti. Pokud chtějí pochopit, proč model produkuje určitou odpověď, poskytování jim surových dat, na kterých byl model trénován, jim pravděpodobně nepomůže k zodpovězení jejich otázky. Proto je důležité vyvinout dobré nástroje pro vysvětlitelnost a interpretovatelnost.

Výzkum sladění AI má za cíl nasměrovat systémy AI k cílem, preferencím nebo etickým principům lidí. Můžete diskutovat o tom, jak jsou pracovníci AI trénováni a jak se toto používá k zajištění, aby AI byla sladitelná co nejlépe?

Toto je aktivní oblast výzkumu a dosud neexistuje shoda na to, jaké strategie bychom měli použít k sladění modelů AI s lidskými hodnotami nebo na které sady hodnot bychom se měli zaměřit.

Pracovníci AI jsou obvykle požádáni, aby autenticky reprezentovali své preference a odpovídali na otázky týkající se svých preferencí pravdivě, zatímco také dodržují zásady kolem bezpečnosti, absence předpojatosti, neškodnosti a užitečnosti.

Pokud jde o sladění s cíli, etickými principy nebo hodnotami, existují multiple přístupů, které vypadají slibně. Jedním z pozoruhodných příkladů je práce The Meaning Alignment Institute na Democratic Fine-Tuning. Existuje vynikající příspěvek, který představuje tuto myšlenku zde.

Děkuji za skvělý rozhovor a za sdílení vašich názorů na předpojatost AI, čtenáři, kteří chtějí se dozvědět více, by měli navštívit Prolific.