База даних інцидентів штучного інтелекту спрямована на підвищення безпеки алгоритмів штучного інтелекту

Будь-яка достатньо велика система буде мати помилки, і частина виправлення цих помилок полягає в наявності бази даних цих помилок, яку можна проаналізувати щодо впливів і потенційних причин. Як і FDA підтримує базу даних про негативні реакції на лікарські засоби, або Національна рада з безпеки транспорту підтримує базу даних про авіаційні аварії, база даних інцидентів штучного інтелекту є базою даних, призначеною для каталогізації невдач систем штучного інтелекту і для допомоги дослідникам штучного інтелекту у розробці нових методів уникнення цих невдач. Створити базу даних інцидентів штучного інтелекту (AIID) сподівалися допомогти компаніям штучного інтелекту у розробці безпечнішого, більш етичного штучного інтелекту.

Що таке AIID?

AIID є продуктом організації Partnership on AI (PAI). PAI була заснована у 2016 році членами команд досліджень штучного інтелекту в великих технологічних компаніях, таких як Facebook (META ), Apple (AAPL ), Amazon (AMZN ), Google (GOOGL ), IBM і Microsoft. З того часу організація набрала членів з багатьох інших організацій, включаючи різні некомерційні організації. У 2018 році PAI почала створювати єдиний стандарт класифікації для невдач штучного інтелекту. Однак не було зібрано жодної колекції інцидентів штучного інтелекту, на основі якої можна було б створити цю класифікацію. Через це PAI створила AIID.

За даними TechTalks, формат AIID був сформований під впливом структури бази даних авіаційних аварій, яку підтримує Національна рада з безпеки транспорту. З моменту початку збору звітів у 1996 році система комерційних авіаперелетів змогла підвищити безпеку авіаційної промисловості за рахунок архівування та аналізу інцидентів. Сподіваються, що подібний репозиторій інцидентів штучного інтелекту зможе зробити системи штучного інтелекту безпечнішими, більш етичними та надійними. AIID також взяла за приклад базу даних Common Vulnerabilities and Exposures, яка є репозиторієм помітних невдач програмного забезпечення, що охоплюють різні галузі та дисципліни.

Sean McGregor є головним технічним консультантом у IBM для Watson AI XPRIZE. McGregor також відповідає за розвиток фактичної бази даних AIID. McGregor пояснив, що кінцевою метою AIID є запобігання тому, щоб системи штучного інтелекту спричиняли шкоду, або хоча б зменшення тяжкості негативних інцидентів. Як зазначив McGregor, системи машинного навчання суттєво більш складні та непередбачувані, ніж традиційні системи програмного забезпечення, і внаслідок цього їх не можна тестувати тим же чином, що й інші системи програмного забезпечення. Системи машинного навчання можуть змінювати свою поведінку непередбачуваним чином. McGregor зазначає, що здатність систем глибокого навчання до навчання може означати, що “помилки більш імовірні, складніші та небезпечніші”, коли вони вступають у неструктурований світ.

Більше 1 000 інцидентів, пов’язаних зі штучним інтелектом, зареєстровані

З моменту створення AIID було зареєстровано більше 1 000 інцидентів, пов’язаних зі штучним інтелектом, у базі даних. Серед усіх інцидентів у базі даних питання справедливості штучного інтелекту були найпоширенішим типом негативних інцидентів. Багато з цих інцидентів справедливості пов’язані з використанням алгоритмів розпізнавання облич державними органами. McGregor також зазначає, що дедалі більше інцидентів, пов’язаних з робототехнікою, додаються до бази даних.

Відвідувачі бази даних можуть виконувати запити, шукаючи інциденти в базі даних за критеріями, такими як ключові слова, ідентифікатор інциденту, джерело чи автор. Наприклад, виконання пошуку за запитом “Deepfake” повертає 7 звітів, тоді як пошук за запитом “роботи” повертає 158 звітів.

Централізована база даних інцидентів щодо неправильної роботи систем штучного інтелекту та їхньої роботи в непередбачуваних способах може допомогти дослідникам, інженерам та етикам контролювати розвиток та розгортання систем штучного інтелекту. Менеджери продуктів у технологічних компаніях можуть використовувати AIID, щоб побачити, чи існують потенційні проблеми перед застосуванням систем рекомендацій штучного інтелекту, або інженер штучного інтелекту може отримати уявлення про потенційні упередження, які потрібно виправити при створенні програми штучного інтелекту. Аналогічно, офіцери з ризику можуть використовувати базу даних, щоб визначити потенційні негативні побічні ефекти, пов’язані з моделлю штучного інтелекту, що дозволить їм планувати та розробляти заходи для мінімізації потенційних шкод.

Архітектура, що лежить в основі AIID, призначена бути гнучкою, оскільки це дозволяє створювати нові інструменти для запиту бази даних та отримання значущих висновків. Partnership on AI та McGregor будуть співпрацювати у розробці гнучкої таксономії, яку можна буде використовувати для класифікації різних форм інцидентів штучного інтелекту. Команда сподівається, що після створення гнучкої таксономії її можна буде поєднати з автоматизованою системою, яка автоматично реєструватиме інциденти штучного інтелекту.

«Спільнота штучного інтелекту почала обмінюватися записами інцидентів, щоб мотивувати зміни у своїх продуктах, процедурах контролю та програмах досліджень», – пояснив McGregor через TechTalks. «Сайт був публічно випущений у листопаді, тому ми тільки починаємо розуміти переваги системи».