Databáze incidentů AI má za cíl učinit algoritmy AI bezpečnějšími

Jakýkoli dostatečně velký systém bude mít chyby a součástí nápravy těchto chyb je existence databáze chyb, které lze analyzovat z hlediska dopadů a potenciálních příčin. Stejně jako FDA udržuje databázi nežádoucích reakcí na léky nebo Národní úřad pro bezpečnost dopravy udržuje databázi leteckých nehod, databáze incidentů AI je databází, která má za úkol katalogizovat selhání systémů AI a pomoci výzkumníkům AI navrhnout nové metody, jak těmto selháním předcházet. Tvůrci databáze incidentů AI (AIID) doufají, že jim pomůže společnostem AI vyvíjet bezpečnější a etičtější AI.

Co je AIID?

AIID je produktem organizace Partnership on AI (PAI). PAI byla založena v roce 2016 členy výzkumných týmů AI ve velkých technologických společnostech, jako jsou Facebook (META ), Apple (AAPL ), Amazon (AMZN ), Google (GOOGL ), IBM a Microsoft. Od té doby organizace získala členy z mnoha dalších organizací, včetně různých neziskových organizací. V roce 2018 PAI začala vytvářet jednotný klasifikační standard pro selhání AI. Nicméně, neexistovala žádná sbírka incidentů AI, na které by se mohl tento klasifikační standard zakládat. Z tohoto důvodu PAI vytvořila AIID.

Podle TechTalks byl formát AIID ovlivněn strukturou databáze leteckých nehod, kterou udržuje Národní úřad pro bezpečnost dopravy. Od roku 1996, kdy byly zahájeny záznamy, se podařilo komerční letecké systémy zvýšit bezpečnost leteckého průmyslu archivací a analýzou incidentů. Doufá se, že podobná sbírka incidentů AI může učinit systémy AI bezpečnějšími, etičtějšími a spolehlivějšími. AIID také čerpala inspiraci z databáze Common Vulnerabilities and Exposures, která je sbírkou významných softwarových selhání, která pokrývají různé průmysly a obory.

Sean McGregor je hlavní technický konzultant IBM pro Watson AI XPRIZE. McGregor je také zodpovědný za dohled nad vývojem skutečné databáze AIID. McGregor vysvětlil, že konečným cílem AIID je zabránit tomu, aby systémy AI způsobovaly škody, nebo alespoň snížit závažnost nepříznivých incidentů. Jak McGregor poznamenal, systémy strojového učení jsou podstatně složitější a nepředvídatelnější než tradiční softwarové systémy, a v důsledku toho je nelze testovat stejným způsobem jako ostatní software. Systémy strojového učení mohou měnit své chování neočekávanými způsoby. McGregor poznamenává, že kapacita hlubokého učení systémů se učit může znamenat „poruchy jsou více pravděpodobné, složitější a nebezpečnější“ když vstoupí do nestrukturovaného světa.

Více než 1 000 incidentů souvisejících s AI bylo zaznamenáno

Od vytvoření AIID bylo zaznamenáno více než 1 000 incidentů souvisejících s AI do databáze. Z všech incidentů v databázi byly problémy související s AI férovostí nejčastějším typem nepříznivého incidentu. Mnoho z těchto incidentů souvisejících s férovostí zahrnuje použití algoritmů rozpoznávání obličeje vládními agenturami. McGregor také poznamenává, že je zde rostoucí počet incidentů souvisejících s robotikou, které jsou přidávány do databáze.

Návštěvníci databáze mohou spouštět dotazy, vyhledávat databázi podle kritérií, jako jsou klíčová slova, ID incidentu, zdroj nebo autor. Například spuštění vyhledávání pro „Deepfake“ vrátí 7 zpráv, zatímco vyhledávání pro „roboty“ vrátí 158 zpráv.

Centralizovaná databáze incidentů, při kterých systémy AI selhávají a fungují neočekávanými způsoby, může pomoci výzkumníkům, inženýrům a etikům dohlížet na vývoj a nasazení systémů AI. Produktoví manažeři ve technologických společnostech mohou použít AIID, aby zjistili, zda existují potenciální problémy před nasazením systémů AI, nebo inženýr AI může získat představu o potenciálních předpojench, které je třeba opravit při vytváření aplikace AI. Stejně tak rizikoví úředníci mohou použít databázi, aby určili potenciální negativní vedlejší účinky spojené s modelem AI, aby mohli naplánovat a vyvinout opatření k zmírnění potenciálních škod.

Architektura podkladová AIID je navržena tak, aby byla flexibilní, aby umožňovala vytvářet nové nástroje pro dotazování databáze a extrahování významných poznatků. Partnership on AI a McGregor budou spolupracovat na vytvoření flexibilní taxonomie, která může být použita pro klasifikaci všech různých forem incidentů AI. Tým doufá, že jakmile bude flexibilní taxonomie vytvořena, může být kombinována s automatizovaným systémem, který bude automaticky zaznamenávat incidenty AI.

„Komunita AI začala sdílet záznamy o incidentech, aby motivovala změny svých produktů, kontrolních postupů a výzkumných programů,” McGregor vysvětlil prostřednictvím TechTalks. „Web byl veřejně vydán v listopadu, takže jsme teprve začali využívat výhody systému.”