Nora Petrova, inženýr strojového učení a konzultant AI ve společnosti Prolific – Interview Series

Nora Petrova je inženýr strojového učení a konzultant AI ve společnosti Prolific. Prolific byla založena v roce 2014 a již nyní má mezi svými zákazníky organizace jako Google (GOOGL ), Stanford University, University of Oxford, King’s College London a Evropská komise, které využívají její síť účastníků k testování nových produktů, školení AI systémů v oblastech jako eye tracking a určení, zda jejich aplikace pro komunikaci s lidmi fungují tak, jak je jejich tvůrci zamýšleli.

Můžete sdělit některé informace o své pozici v Prolific a své kariéře doposud? Co vás zajímalo o AI?

Moje role v Prolific je rozdělena mezi roli poradce pro použití AI a příležitosti a roli více praktického inženýra strojového učení. Začal jsem svou kariéru ve softwarovém inženýrství a postupně přecházel na strojové učení. Během posledních 5 let jsem se zaměřil především na použití NLP.

To, co mě zpočátku zajímalo o AI, byla schopnost učit se z dat a spojitost s tím, jak se lidé učí a jak jsou naše mozky strukturovány. Domnívám se, že strojové učení a neurověda se mohou vzájemně doplňovat a pomoci nám lépe porozumět, jak stavět AI systémy, které jsou schopny navigovat ve světě, projevovat kreativitu a přinášet společnosti hodnotu.

Jaké jsou některé z největších problémů s AI bias, o kterých jste osobně vědom?

Bias je inherentní v datech, která krmit AI modely, a jeho úplné odstranění je velmi obtížné. Je však důležité, abychom byli vědomi biasů, které jsou v datech, a našli způsoby, jak zmírnit škodlivé typy biasů, než budeme důvěřovat modelům důležitými úkoly ve společnosti. Největší problémy, se kterými se potýkáme, jsou modely, které podporují škodlivé stereotypy, systémové předsudky a nespravedlnosti ve společnosti. Měli bychom být opatrní, jak tyto AI modely budou použity a jaký vliv budou mít na jejich uživatele, a zajistit, aby byly bezpečné před schválením pro citlivé použití.

Některé prominentní oblasti, kde AI modely prokázaly škodlivé bias, zahrnují diskriminaci nedostatečně zastoupených skupin při přijímacích řízeních na školy a univerzity a genderové stereotypy, které negativně ovlivňují nábor žen. Kromě toho byl algoritmus pro trestní soudnictví označen za „vysoké riziko“ u afroamerických obviněných téměř dvakrát častěji než u bílých obviněných v USA, zatímco technologie rozpoznávání obličeje stále trpí vysokými chybovými sazbami pro menšiny kvůli nedostatku reprezentativních trénovacích dat.

Příklady výše pokrývají pouze malou část biasů prokázaných AI modely a můžeme předvídat větší problémy, které vzniknou v budoucnosti, pokud se nezaměříme na zmírnění biasů nyní. Je důležité mít na paměti, že AI modely se učí z dat, která obsahují tyto bias, kvůli lidskému rozhodování ovlivněnému nekontrolovanými a nevědomými biasy. V mnoha případech může odvolání se na lidského rozhodce bias neodstranit. Skutečné zmírnění biasů bude vyžadovat pochopení, jak jsou přítomny v datech, které používáme k trénování modelů, izolaci faktorů, které přispívají k biasovaným předpovědím, a kolektivní rozhodnutí o tom, co chceme zakládat důležité rozhodnutí. Vyvinutí sady standardů, aby jsme mohli vyhodnotit modely pro bezpečnost předtím, než budou použity pro citlivé použití, bude důležitým krokem vpřed.

AI halucinace jsou obrovským problémem u jakéhokoli typu generativního AI. Můžete diskutovat o tom, jak trénink s lidskou účastí (HITL) může zmírnit tyto problémy?

Halucinace v AI modelech jsou problematické zejména u generativního AI, ale je důležité poznamenat, že nejsou problémem samy o sobě. V určitých kreativních použitích generativního AI jsou halucinace vítány a přispívají k více kreativní a zajímavé odpovědi.

Mohou být problematické v případech, kdy je vyžadována vysoká spolehlivost faktických informací. Například ve zdravotnictví, kde je robustní rozhodování klíčové, je důležité poskytnout zdravotnickým odborníkům spolehlivé faktické informace.

HITL se týká systémů, které umožňují lidem poskytovat přímou zpětnou vazbu modelu pro předpovědi, které jsou pod určitou úrovní spolehlivosti. V kontextu halucinací lze HITL použít k tomu, aby modely naučily úroveň jistoty, kterou by měly mít pro různé použití před výstupem odpovědi. Tyto prahové hodnoty se budou lišit v závislosti na použití a učení modelů o rozdílech v požadavcích na odpovědi z různých použití bude klíčovým krokem při zmírnění problémových typů halucinací. Například v právním použití mohou lidé demonstrovat AI modelům, že faktická kontrola je vyžadovaným krokem při odpovědi na otázky založené na komplexních právních dokumentech s mnoha klauzulemi a podmínkami.

Jak mohou pracovníci AI, jako jsou anotátoři dat, pomoci snížit potenciální problémy s bias?

Pracovníci AI mohou nejprve pomoci identifikovat bias přítomný v datech. Jakmile je bias identifikován, je snazší vyvinout strategie pro jeho zmírnění. Anotátoři dat mohou také pomoci vyvinout způsoby, jak snížit bias. Například pro úkoly NLP mohou pomoci poskytováním alternativních způsobů formulace problematických částí textu, aby se snížil bias přítomný v jazyce. Kromě toho může diverzita pracovníků AI pomoci zmírnit problémy s bias při označování.

Jak zajistíte, aby pracovníci AI nevědomě nevměšovali své lidské bias do AI systému?

Je to určitě složitý problém, který vyžaduje pečlivé zvážení. Odstranění lidských bias je téměř nemožné a pracovníci AI mohou nevědomě vměšovat své bias do AI modelů, takže je klíčové vyvinout postupy, které pracovníky vedou k nejlepší praxi.

Některé kroky, které lze podniknout k minimalizaci lidských bias, zahrnují:

• Úplné školení pracovníků AI o nevědomých bias a poskytování jim nástrojů pro identifikaci a řízení svých vlastních bias během označování.
• Seznamy, které připomínají pracovníkům AI, aby ověřili své odpovědi před odesláním.
• Provedení hodnocení, které ověřuje úroveň porozumění, kterou pracovníci AI mají, kde jsou jim ukázány příklady odpovědí napříč různými typy bias a jsou požádáni, aby zvolili nejméně biasovanou odpověď.

Regulátoři po celém světě se chystají regulovat výstup AI, co podle vás regulátoři nepochopili a co mají správně?

Je důležité začít tím, že toto je velmi složitý problém, na který nikdo ještě nenašel řešení. Společnost a AI se budou vyvíjet a ovlivňovat navzájem způsoby, které jsou velmi obtížné předvídat. Část efektivní strategie pro nalezení robustních a užitečných regulačních praktik spočívá v tom, že se budeme soustředit na to, co se děje v AI, jak lidé reagují na něj a jaké účinky má na různé odvětví.

Domnívám se, že významnou překážkou efektivní regulace AI je nedostatek porozumění tomu, co AI modely mohou a nemohou dělat, a jak fungují. To činí obtížným přesně předpovědět důsledky, které tyto modely budou mít na různé sektory a části společnosti. Další oblast, ve které chybí myšlenkové vedení, je, jak vyrovnané AI modely s lidskými hodnotami a co znamená bezpečnost v konkrétnějších termínech.

Regulátoři hledají spolupráci s odborníky v oblasti AI, byli opatrní, aby neudusili inovace příliš přísnými pravidly kolem AI, a začali zvažovat důsledky AI na ztrátu pracovních míst, které jsou všechny velmi důležité oblasti zaměření. Je důležité postupovat opatrně, protože naše myšlenky o regulaci AI se vyjasňují s časem, a zapojit do tohoto problému co nejvíce lidí, aby se přistupovalo k této otázce demokraticky.

Jak mohou řešení Prolific pomoci podnikům snížit AI bias a další problémy, o kterých jsme diskutovali?

Sběr dat pro projekty AI nebyl vždy uvážlivým nebo promyšleným procesem. Viděli jsme dříve metody, jako je scraping, outsourcing a další, které se běžně používaly. Avšak to, jak trénujeme AI, je zásadní a modely budoucí generace budou muset být postaveny na záměrně shromážděných, vysoce kvalitních datech od skutečných lidí a od těch, se kterými máme přímý kontakt. To je místo, kde Prolific dělá svůj vliv.

Jiné domény, jako je průzkum veřejného mínění, marketingový výzkum nebo vědecký výzkum, se o tomto naučily již dávno. Vzorek, ze kterého vzorkujete, má velký dopad na výsledky, které získáte. AI začíná chytat, a jsme na křižovatce nyní.

Nyní je čas začít dbát na použití lepšího vzorkování a pracovat s více reprezentativními skupinami pro trénování a ufinancování AI. Oba jsou kritické pro vývoj bezpečných, nebiasovaných a vyrovnaných modelů.

Prolific může pomoci poskytnout správné nástroje pro podniky, aby mohly provádět AI experimenty bezpečným způsobem a sbírat data od účastníků, kde je bias kontrolován a zmírněn po cestě. Můžeme pomoci poskytnout vedení o nejlepších postupech kolem sběru dat a výběru, odměňování a spravedlivého zacházení s účastníky.

Jaké jsou vaše názory na transparentnost AI, měli by uživatelé mít možnost vidět, na jaká data je AI algoritmus trénován?

Domnívám se, že existují výhody a nevýhody transparentnosti a dobrá rovnováha nebyla dosud nalezena. Společnosti zadržují informace o datech, která použily k trénování svých AI modelů, kvůli strachu z právních důsledků. Jiné společnosti pracovaly na tom, aby své AI modely veřejně zpřístupnily a uvolnily všechny informace o datech, která použily. Úplná transparentnost otevírá mnoho příležitostí pro využití zranitelností těchto modelů. Úplná tajnost nepomáhá při budování důvěry a zapojování společnosti do budování bezpečného AI. Dobrý kompromis by poskytl dostatečnou transparentnost, aby v nás vzbudil důvěru, že AI modely byly trénovány na dobrých kvalitních relevantních datech, na kterých jsme souhlasili. Musíme dbát na to, jak AI ovlivňuje různé odvětví a otevřít dialogy s postiženými stranami a zajistit, aby jsme vyvinuli postupy, které fungují pro všechny.

Domnívám se, že je také důležité zvážit, co by uživatelé považovali za uspokojivé z hlediska vysvětlitelnosti. Pokud chtějí pochopit, proč model produkuje určitou odpověď, poskytnutí jim surových dat, na kterých byl model trénován, jim pravděpodobně nepomůže při zodpovězení jejich otázky. Proto je důležité vyvinout dobré nástroje pro vysvětlitelnost a interpretovatelnost.

Výzkum AI alignment cílí na směrování AI systémů k lidským cílům, preferencím nebo etickým principům. Můžete diskutovat o tom, jak jsou pracovníci AI trénováni a jak se toto používá k zajištění, aby AI bylo co nejlépe vyrovnané?

Toto je aktivní oblast výzkumu a dosud nebyl nalezenensus o strategiích, které bychom měli použít k vyrovnaní AI modelů s lidskými hodnotami nebo které hodnoty bychom měli vyrovnané.

Pracovníci AI jsou obvykle požádáni, aby autenticky reprezentovali své preference a odpovídali na otázky týkající se svých preferencí pravdivě, zatímco dodržují principy kolem bezpečnosti, absence bias, neškodlivosti a užitečnosti.

Pokud jde o vyrovnanost vůči cílům, etickým principům nebo hodnotám, existuje několik slibných přístupů. Jedním z nich je práce Ústavu pro vyrovnaný význam na Demokratickém jemném ladění. Existuje vynikající článek, který představuje tuto myšlenku zde.

Děkuji za skvělý rozhovor a za sdílení vašich názorů na AI bias, čtenáři, kteří si chtějí přečíst více, by měli navštívit Prolific.