Výzkumníci vyvinuli algoritmy zaměřené na prevenci špatného chování v AI

Spolu s veškerými pokroky a výhodami, které umělá inteligence dosud ukázala, se objevily také zprávy o nežádoucích vedlejších účincích, jako je rasová a genderová předpojatost v AI. Proto sciencealert.com klade otázku „jak mohou vědci zajistit, aby pokročilé myšlení systémy byly spravedlivé, nebo dokonce bezpečné?”

Odpověď může být ukrytá v zprávě výzkumníků ze Stanfordu a Univerzity v Amherstu, nazvané Prevence nežádoucího chování inteligentních strojů. Jak eurekaalert.org uvádí ve své zprávě o této studii, AI nyní začíná zpracovávat citlivé úkoly, takže „tvůrci politik požadují, aby počítačoví vědci nabídli záruky, že automatizované systémy byly navrženy tak, aby minimalizovaly, nebo úplně eliminovaly, nežádoucí výsledky, jako je nadměrné riziko nebo rasová a genderová předpojatost.”

Cílem této studie bylo „vyvinout novou techniku, která překládá rozostřený cíl, jako je vyhnutí se genderové předpojatosti, do přesných matematických kritérií, která by umožnila strojovému algoritmu naučit se AI aplikaci, aby se vyhnula tomuto chování.”

Účelem bylo, jak Emma Brunskill, asistentka profesora počítačové vědy na Stanfordu a hlavní autorka studie, uvádí „chceme pokročit v AI, která respektuje hodnoty svých lidských uživatelů a ospravedlňuje důvěru, kterou do autonomních systémů vkládáme.”

Nápad spočíval v definici “nebezpečných” nebo “nespravedlivých” výsledků nebo chování v matematických termínech. To by, podle výzkumníků, umožnilo „vytvořit algoritmy, které se mohou naučit z dat, jak se vyhnout těmto nežádoucím výsledkům s vysokou jistotou.”

Druhým cílem bylo „vyvinout soubor technik, které by umožnily uživatelům snadno specifikovat, jaká nežádoucí chování chtějí omezit, a umožnily návrhářům strojového učení předpovědět s jistotou, že systém, který byl vyškolován pomocí minulých dat, lze spolehlivě použít v reálných situacích.”

ScienceAlert uvádí, že tým nazval tento nový systém  ‘Seldonian’ algoritmy, podle hlavní postavy slavné sci-fi série Foundation od Isaaca Asimova. Philip Thomas, asistent profesora počítačové vědy na Univerzitě v Amherstu a hlavní autor studie, uvádí, “Pokud použiji Seldonian algoritmus pro diabetes léčbu, mohu specifikovat, že nežádoucí chování znamená nebezpečně nízkou hladinu cukru v krvi nebo hypoglykémii.”

“Mohu říci stroji, ‘Zatímco se snažíš zlepšit regulátor v inzulínové pumpy, nečekej změny, které by zvýšily frekvenci hypoglykémie.’ Většina algoritmů vám nedává možnost umístit tento typ omezení na chování; nebyl zahrnut do raných návrhů.”

Thomas dodává, že „tento Seldonian rámec umožní návrhářům strojového učení lépe stavět instrukce pro vyhnutí se chování do všech druhů algoritmů, v způsobem, který jim umožní posoudit pravděpodobnost, že vyškolené systémy budou fungovat správně v reálném světě.”

Emma Brunskill také uvádí, že „zamýšlení se nad tím, jak můžeme vytvořit algoritmy, které nejlépe respektují hodnoty, jako je bezpečnost a spravedlnost, je nezbytné, protože společnost se stále více spoléhá na AI.”