Baza danych incydentów sztucznej inteligencji ma na celu uczynienie algorytmów sztucznej inteligencji bezpieczniejszymi

Każdy wystarczająco duży system będzie miał błędy, a częścią korekty tych błędów jest posiadanie bazy danych, której można analizować pod kątem wpływu i potencjalnych przyczyn. Podobnie jak FDA prowadzi bazę danych dla niepożądanych reakcji na leki, czy Narodowa Rada Bezpieczeństwa Transportu prowadzi bazę danych dla wypadków lotniczych, baza danych incydentów sztucznej inteligencji jest bazą danych zamierzającej skatalogować awarie systemów sztucznej inteligencji i pomóc badaczom sztucznej inteligencji w opracowaniu nowych metod unikania tych awarii. Twórcy bazy danych incydentów sztucznej inteligencji (AIID) mają nadzieję, że pomoże ona firmom sztucznej inteligencji w tworzeniu bezpieczniejszych, bardziej etycznych systemów sztucznej inteligencji.

Co to jest AIID?

AIID jest produktem organizacji Partnership on AI (PAI). PAI została założona w 2016 roku przez członków zespołów badawczych sztucznej inteligencji w dużych firmach technologicznych, takich jak Facebook (META ), Apple (AAPL ), Amazon (AMZN ), Google (GOOGL ), IBM i Microsoft. Od tego czasu organizacja zwerbowała członków z wielu innych organizacji, w tym różnych organizacji non-profit. W 2018 roku PAI rozpoczęła tworzenie jednolitej klasyfikacji standardu dla awarii sztucznej inteligencji. Jednak nie było zbioru incydentów sztucznej inteligencji, na którym można było oprzeć tę klasyfikację. Dlatego PAI stworzyła AIID.

Według TechTalks, format AIID został poinformowany przez strukturę bazy danych wypadków lotniczych prowadzonej przez Narodową Radę Bezpieczeństwa Transportu. Od momentu, gdy rozpoczęto gromadzenie raportów w 1996 roku, system lotnictwa komercyjnego udało się zwiększyć bezpieczeństwo branży lotniczej poprzez archiwizację i analizę incydentów. Istnieje nadzieja, że podobny zbiór incydentów sztucznej inteligencji może uczynić systemy sztucznej inteligencji bezpieczniejszymi, bardziej etycznymi i niezawodnymi. AIID również zainspirowała się bazą danych Common Vulnerabilities and Exposures, która jest repozytorium znaczących awarii oprogramowania, które obejmują różne branże i dyscypliny.

Sean McGregor jest głównym konsultantem technicznym w IBM dla Watson AI XPRIZE. McGregor jest również odpowiedzialny za nadzorowanie rozwoju samej bazy danych AIID. McGregor wyjaśnił, że ostatecznym celem AIID jest zapobieganie awariom systemów sztucznej inteligencji, lub co najmniej zmniejszenie nasilenia niepożądanych incydentów. Jak zauważył McGregor, systemy uczenia maszynowego są znacznie bardziej złożone i nieprzewidywalne niż tradycyjne systemy oprogramowania, i w związku z tym nie mogą być testowane w ten sam sposób, co inne oprogramowanie. Systemy uczenia maszynowego mogą zmieniać swoje zachowanie w nieoczekiwany sposób. McGregor zauważa, że zdolność systemów głębokiego uczenia do uczenia się może oznaczać, że “awarie są bardziej prawdopodobne, bardziej skomplikowane i bardziej niebezpieczne”, gdy wejdą w nieuporządkowany świat.

Ponad 1000 incydentów związanych z sztuczną inteligencją zostało zalogowanych

Od momentu, gdy AIID została początkowo utworzona, zalogowano ponad 1000 incydentów związanych z sztuczną inteligencją w bazie danych. Spośród wszystkich incydentów w bazie danych, problemy związane ze sprawiedliwością sztucznej inteligencji były najczęstszym typem niepożądanych incydentów. Wiele z tych incydentów dotyczyło wykorzystania algorytmów rozpoznawania twarzy przez agencje rządowe. McGregor zauważa również, że jest coraz więcej incydentów związanych z robotyką, które są dodawane do bazy danych.

Odwiedzający bazę danych mogą wykonywać zapytania, wyszukując bazę danych według kryteriów takich jak słowa kluczowe, identyfikator incydentu, źródło lub autor. Na przykład, uruchomienie wyszukiwania dla “Deepfake” zwraca 7 raportów, podczas gdy wyszukiwanie “robotów” zwraca 158 raportów.

Ujednolicona baza danych dla incydentów, w których sztuczna inteligencja działa nieprawidłowo lub w nieoczekiwany sposób, może pomóc badaczom, inżynierom i etykom nadzorować rozwój i wdrożenie systemów sztucznej inteligencji. Menadżerowie produktów w firmach technologicznych mogą wykorzystać AIID, aby sprawdzić, czy istnieją potencjalne problemy przed zastosowaniem systemów rekomendacji sztucznej inteligencji, lub inżynier sztucznej inteligencji może uzyskać pomysł na potencjalne uprzedzenia, które należy skorygować podczas tworzenia aplikacji sztucznej inteligencji. Podobnie, oficerzy ds. ryzyka mogą wykorzystać bazę danych, aby określić potencjalne negatywne skutki związane z modelem sztucznej inteligencji, umożliwiając im planowanie i rozwijanie środków w celu złagodzenia potencjalnych szkód.

Architektura podstawowa AIID jest zaprojektowana tak, aby być elastyczną, co umożliwia tworzenie nowych narzędzi do wyszukiwania bazy danych i wyodrębniania istotnych informacji. Partnership on AI i McGregor będą współpracować w celu opracowania elastycznej taksonomii, która może być wykorzystana do klasyfikacji wszystkich różnych form incydentów sztucznej inteligencji. Zespół ma nadzieję, że po stworzeniu elastycznej taksonomii, można ją połączyć z automatycznym systemem, który automatycznie zaloguje incydenty sztucznej inteligencji.

“Społeczność sztucznej inteligencji zaczęła udostępniać ze sobą rekordy incydentów, aby zachęcić do zmian w swoich produktach, procedurach i programach badawczych”, McGregor wyjaśnił za pośrednictwem TechTalks. “Strona została publicznie opublikowana w listopadzie, więc dopiero zaczynamy korzystać z korzyści systemu.”