Rozpoczynające się startupy tworzą narzędzia do monitorowania AI i promowania etycznego użytkowania AI

W ciągu ostatniego roku wydaje się, że coraz więcej uwagi poświęca się zapewnieniu, aby sztuczna inteligencja była wykorzystywana w sposób etyczny. Google (GOOGL ) i Microsoft (MSFT ) niedawno ostrzegli inwestorów, że niewłaściwe wykorzystanie algorytmów AI lub słabo zaprojektowanych algorytmów AI stanowi ryzyko etyczne i prawne. Tymczasem stan Kalifornia właśnie przyjął ustawę, która zakazuje wykorzystania technologii rozpoznawania twarzy przez agencje ścigania w Kalifornii.

Niedawno startupy, takie jak Arthur, próbują zaprojektować narzędzia, które pomogą inżynierom AI zmierzyć i ocenić, jak ich modele uczenia maszynowego działają. Jak donosi Wired, Arthur próbuje dać deweloperom AI zestaw narzędzi, które ułatwią im odkrywanie problemów podczas projektowania aplikacji finansowych, takich jak ujawnianie uprzedzeń w decyzjach inwestycyjnych lub kredytowych.

Wysiłki Arthura są skierowane na rozwiązanie problemu “czarnej skrzynki” AI. Problem czarnej skrzynki w AI opisuje, w jaki sposób w przeciwieństwie do tradycyjnego kodu, który można łatwo zinterpretować, systemy uczenia maszynowego mapują funkcje na zachowanie bez ujawniania powodów, dla których te zachowania są wybrane lub jak funkcje są interpretowane. Innymi słowy, w systemie czarnej skrzynki dokładna implementacja algorytmu jest nieprzezroczysta.

Systemy uczenia maszynowego działają poprzez wyodrębnianie wzorców z danych wejściowych i wnioskowanie o tych wzorcach. Osiąga się to poprzez umożliwienie komputerowi napisania własnego kodu poprzez manipulowanie pewnymi funkcjami matematycznymi. Aby rozwiązać ten problem, badacze i inżynierowie potrzebują narzędzi, które ułatwiają obserwację i analizę zachowania oprogramowania uczenia maszynowego. Startupy, takie jak Arthur, uznają trudność rozwiązania tego problemu i nie twierdzą, że mają optymalne rozwiązania, ale mają nadzieję poczynić postępy w tej dziedzinie i ułatwić otwarcie czarnej skrzynki. Liczy się, że jeśli systemy AI mogą być łatwiej analizowane, będzie łatwiej poprawić problemy, takie jak uprzedzenia.

Duże firmy, takie jak Facebook (META ), już mają niektóre narzędzia do analizy wewnętrznych mechanizmów systemów uczenia maszynowego. Na przykład, Facebook ma narzędzie o nazwie Fairness Flow, które ma na celu zapewnienie, że reklamy, które rekomendują pracę ludziom, są kierowane do osób z różnych środowisk. Jednakże, duże zespoły AI prawdopodobnie nie będą chciały inwestować czasu w tworzenie takich narzędzi, a zatem istnieje możliwość biznesowa dla firm, które chcą tworzyć narzędzia monitorujące dla firm AI.

Arthur koncentruje się na tworzeniu narzędzi, które umożliwiają firmom lepsze utrzymanie i monitorowanie systemów AI po wdrożeniu. Narzędzia Arthura mają na celu umożliwienie firmom zobaczenia, jak ich systemy działają w czasie, co teoretycznie pozwoli firmom zidentyfikować potencjalne objawy uprzedzeń. Jeśli oprogramowanie do rekomendacji kredytów firmy zacznie wykluczać pewne grupy klientów, może zostać ustawiony sygnał, który wskazuje, że system wymaga przeglądu, aby upewnić się, że nie dyskryminuje klientów na podstawie wrażliwych atrybutów, takich jak rasa lub płeć.

Jednak Arthur nie jest jedyną firmą tworzącą narzędzia, które pozwalają firmom AI przeglądać wydajność swoich algorytmów. Wiele startupów inwestuje w tworzenie narzędzi do walki z uprzedzeniami i zapewnienia, że algorytmy AI są wykorzystywane w sposób etyczny. Weights & Biases to kolejny startup tworzący narzędzia, które pomagają inżynierom uczenia maszynowego analizować potencjalne problemy z ich siecią. Toyota wykorzystała narzędzia stworzone przez Weights & Biases do monitorowania swoich urządzeń uczenia maszynowego podczas szkolenia. Tymczasem startup Fiddler pracuje nad stworzeniem innego zestawu narzędzi monitorowania AI. IBM nawet stworzył własną usługę monitorującą o nazwie OpenScale.

Liz O’Sullivan, jeden z współtwórców Arthura, wyjaśnił, że zainteresowanie tworzeniem narzędzi, które pomagają rozwiązać problem czarnej skrzynki, jest napędzane przez rosnące świadomość mocy AI.

„Ludzie zaczynają zdawać sobie sprawę, jak potężne mogą być te systemy, i że muszą wykorzystać ich korzyści w sposób odpowiedzialny” – powiedział O’Sullivan.