База данных инцидентов с ИИ направлена на повышение безопасности алгоритмов ИИ

Любая достаточно большая система будет иметь ошибки, и часть исправления этих ошибок заключается в наличии базы данных, которую можно проанализировать на предмет влияния и потенциальных причин. Как и FDA поддерживает базу данных нежелательных реакций на лекарства, или Национальный совет по безопасности на транспорте поддерживает базу данных авиационных происшествий, База данных инцидентов с ИИ является базой данных, предназначенной для каталогизации неисправностей систем ИИ и помощи исследователям ИИ в разработке новых методов предотвращения этих неисправностей. Создатели Базы данных инцидентов с ИИ (AIID) надеются, что она поможет компаниям, работающим с ИИ, в разработке более безопасных и этических систем ИИ.

Что такое AIID?

AIID является продуктом организации Partnership on AI (PAI). PAI была первоначально основана в 2016 году членами команд исследователей ИИ в крупных технологических компаниях, таких как Facebook (META ), Apple (AAPL ), Amazon (AMZN ), Google (GOOGL ), IBM и Microsoft. С тех пор организация привлекла членов из многих других организаций, включая различные некоммерческие организации. В 2018 году PAI начала создавать единый стандарт классификации неисправностей ИИ. Однако не было коллекции инцидентов с ИИ, на основе которой можно было бы создать эту классификацию. По этой причине PAI создала AIID.

Согласно TechTalks, формат AIID был сформирован структурой базы данных авиационных происшествий, поддерживаемой Национальным советом по безопасности на транспорте. Поскольку отчеты начали собираться в 1996 году, система коммерческих авиаперелетов смогла увеличить безопасность авиационной промышленности, архивируя и анализируя инциденты. Надеются, что аналогичный репозиторий инцидентов с ИИ может сделать системы ИИ более безопасными, этическими и надежными. AIID также черпала вдохновение из базы данных Common Vulnerabilities and Exposures, которая является репозиторием заметных неисправностей программного обеспечения, охватывающих различные отрасли и дисциплины.

Sean McGregor является ведущим техническим консультантом в IBM для проекта Watson AI XPRIZE. McGregor также отвечает за надзор за разработкой фактической базы данных AIID. McGregor объяснил, что конечная цель AIID заключается в предотвращении неисправностей систем ИИ или, по крайней мере, уменьшении тяжести нежелательных инцидентов. Как отметил McGregor, системы машинного обучения значительно более сложны и непредсказуемы, чем традиционные системы программного обеспечения, и, как результат, их нельзя тестировать таким же образом, как и другое программное обеспечение. Системы машинного обучения могут изменять свое поведение непредсказуемым образом. McGregor отмечает, что способность систем глубокого обучения к обучению может означать, что “неисправности более вероятны, более сложны и более опасны”, когда они входят в неструктурированный мир.

Более 1 000 инцидентов, связанных с ИИ, зарегистрировано

Поскольку AIID была первоначально создана, в базу данных было зарегистрировано более 1 000 инцидентов, связанных с ИИ. Из всех инцидентов в базе данных проблемы, связанные с справедливостью ИИ, были наиболее распространенным типом нежелательного инцидента. Многие из этих инцидентов, связанных со справедливостью, включают использование алгоритмов распознавания лиц государственными агентствами. McGregor также отмечает, что в базу данных добавляется все больше инцидентов, связанных с робототехникой.

Посетители базы данных могут выполнять запросы, искать инциденты в базе данных по критериям, таким как ключевые слова, идентификатор инцидента, источник или автор. Например, выполнение поиска по запросу “Deepfake” возвращает 7 отчетов, а поиск по запросу “роботы” возвращает 158 отчетов.

Централизованная база данных инцидентов, связанных с неисправностью ИИ и его непредсказуемым поведением, может помочь исследователям, инженерам и этикам контролировать разработку и развертывание систем ИИ. Менеджеры по продукту в технологических компаниях могут использовать AIID, чтобы увидеть, есть ли потенциальные проблемы перед использованием систем рекомендаций ИИ, или инженер ИИ может получить представление о потенциальных предубеждениях, которые необходимо исправить при создании приложения ИИ. Аналогично, офицеры по риску могут использовать базу данных, чтобы определить потенциальные негативные последствия, связанные с моделью ИИ, что позволит им спланировать и разработать меры по смягчению потенциальных вредов.

Архитектура, лежащая в основе AIID, предназначена для гибкости, что позволяет создавать новые инструменты для запросов базы данных и извлечения значимых выводов. Partnership on AI и McGregor будут сотрудничать в разработке гибкой таксономии, которая может быть использована для классификации различных форм инцидентов с ИИ. Команда надеется, что как только гибкая таксономия будет создана, ее можно будет объединить с автоматизированной системой, которая будет автоматически регистрировать инциденты с ИИ.

«Сообщество ИИ начало делиться записями инцидентов друг с другом, чтобы мотивировать изменения в своих продуктах, процедурах контроля и программах исследований», – объяснил McGregor через TechTalks. «Сайт был公开 выпущен в ноябре, поэтому мы только начинаем осознавать выгоды от системы».