Výskumníci vyvíjajú algoritmy zamerané na prevenciu zlého správania v AI

Spolu so všetkými pokrokmi a výhodami, ktoré umelá inteligencia doteraz preukázala, sa objavili aj správy o nežiaducich vedľajších účinkoch, ako je rasová a rodová zaujatosť v AI. Tak ako sciencealert.com kladie otázku"Ako môžu vedci zabezpečiť, aby systémy pokročilého myslenia boli spravodlivé alebo dokonca bezpečné?

Odpoveďou môže byť položenie správy výskumníkov zo Stanfordu a ďalších University of Massachusetts Amherst, s názvom Zabránenie nežiaducemu správaniu inteligentných strojov. Ako eurekaalert.org poznamenáva vo svojom príbehu o tejto správe, že AI teraz začína riešiť citlivé úlohy, takže „tvorcovia politiky trvajú na tom, aby počítačoví vedci ponúkali záruky, že automatizované systémy boli navrhnuté tak, aby minimalizovali, ak nie úplne zabránili nechceným výsledkom, ako je nadmerné riziko alebo rasové a rodová zaujatosť“.

Správa, ktorú tento tím výskumníkov predstavil „načrtáva novú techniku, ktorá premieňa nejasný cieľ, ako je vyhýbanie sa rodovej zaujatosti, do presných matematických kritérií, ktoré by umožnili algoritmu strojového učenia trénovať aplikáciu AI tak, aby sa tomuto správaniu vyhla.

Účelom bolo, ako Emma Brunskill, odborná asistentka informatiky na Stanforde a hlavná autorka článku, poukazuje na to, že „chceme rozvíjať AI, ktorá rešpektuje hodnoty svojich ľudských používateľov a ospravedlňuje dôveru, ktorú vkladáme do autonómnych systémov“.

Cieľom bolo definovať „nebezpečné“ alebo „nespravodlivé“ výsledky alebo správanie z matematického hľadiska. To by podľa vedcov umožnilo „vytvoriť algoritmy, ktoré sa dokážu poučiť z údajov o tom, ako sa týmto neželaným výsledkom s vysokou istotou vyhnúť“.

Druhým cieľom bolo „vyvinúť súbor techník, ktoré by používateľom uľahčili špecifikovať, aké druhy nežiaduceho správania chcú obmedziť, a umožnili dizajnérom strojového učenia s istotou predpovedať, že na systém trénovaný na základe údajov z minulosti sa možno spoľahnúť, keď sa použije v reálnom čase. svetové okolnosti."

ScienceAlert hovorí, že tím pomenoval tento nový systém  „Seldonovské“ algoritmy podľa ústrednej postavy slávneho Isaaca Asimova Nadácia séria sci-fi románov. Philip Thomas, odborný asistent počítačovej vedy na University of Massachusetts Amherst a prvý autor poznámok, "Ak použijem Seldonovský algoritmus." cukrovka liečbe, môžem upresniť, že nežiaduce správanie znamená nebezpečne nízku hladinu cukru v krvi alebo hypoglykémiu.“ 

"Môžem povedať prístroju: 'Kým sa snažíte vylepšiť ovládač v inzulínovej pumpe, nerobte zmeny, ktoré by zvýšili frekvenciu hypoglykémie." Väčšina algoritmov vám neposkytuje spôsob, ako tento typ obmedzenia správania; nebol zahrnutý v prvých návrhoch.“

Thomas dodáva, že „tento Seldonovský rámec uľahčí dizajnérom strojového učenia zabudovať pokyny na vyhýbanie sa správaniu do všetkých druhov algoritmov spôsobom, ktorý im umožní posúdiť pravdepodobnosť, že trénované systémy budú správne fungovať v reálnom svete.

Emma Brunskill to tiež poznamenáva "Premýšľanie o tom, ako môžeme vytvoriť algoritmy, ktoré najlepšie rešpektujú hodnoty, ako je bezpečnosť a spravodlivosť, je nevyhnutné, pretože spoločnosť sa čoraz viac spolieha na AI."