Общие предположения о неисправностях машинного обучения могут быть неверными

Глубокие нейронные сети являются одним из наиболее фундаментальных аспектов искусственного интеллекта (ИИ), поскольку они используются для обработки изображений и данных посредством математического моделирования. Они ответственны за некоторые из величайших достижений в этой области, но также неисправны различными способами. Эти неисправности могут иметь либо небольшое или отсутствующее влияние, такое как простое неправильное определение, либо более драматическое и смертельное, такое как неисправность самоходного транспортного средства.

Новые исследования, проводимые в Университете Хьюстона, предполагают, что наши общие предположения об этих неисправностях могут быть неверными, что может помочь оценить надежность сетей в будущем.

Статья была опубликована в Nature Machine Intelligence в ноябре.

«Противостоящие примеры»

Машинное обучение и другие типы ИИ имеют решающее значение во многих секторах и задачах, таких как банковские и кибербезопасные системы. Согласно Кэмерону Бакнеру, доценту философии в Университете Хьюстона, необходимо понять неисправности, вызванные «противостоящими примерами». Эти противостоящие примеры возникают, когда система глубокого нейронного сети неправильно оценивает изображения и другие данные, когда она сталкивается с информацией вне обучающих входных данных, использованных для разработки сети.

Противостоящие примеры редки, поскольку часто они создаются или обнаруживаются другой сетью машинного обучения.

«Некоторые из этих противостоящих событий могут быть вместо этого артефактами, и нам нужно лучше знать, что они являются, чтобы знать, насколько надежны эти сети», – написал Бакнер.

Бакнер говорит, что неисправность может быть вызвана взаимодействием между фактическими закономерностями и тем, что сеть намерена обработать, что означает, что это не полная ошибка.

Закономерности как артефакты

«Понимание последствий противостоящих примеров требует изучения третьей возможности: что хотя бы некоторые из этих закономерностей являются артефактами», – сказал Бакнер. «Следовательно, в настоящее время есть как затраты на простое удаление этих закономерностей, так и опасности их бездумного использования».

Хотя это не всегда так, преднамеренная злонамеренность является наивысшим риском в отношении этих противостоящих событий, вызывающих неисправности машинного обучения.

«Это означает, что злонамеренные акторы могут обмануть системы, которые полагаются на в противном случае надежную сеть», – сказал Бакнер. «У этого есть безопасные применения».

Это может быть взломщиками, нарушающими систему безопасности на основе технологии распознавания лиц, или неправильно помеченными дорожными знаками, чтобы запутать автономные транспортные средства.

Другие предыдущие исследования показали, что некоторые из противостоящих примеров являются естественно возникающими, происходящими, когда система машинного обучения неправильно интерпретирует данные через непредвиденное взаимодействие, что отличается от ошибок в данных. Эти естественно возникающие примеры редки, и единственный текущий способ их обнаружения – через ИИ.

Однако Бакнер говорит, что исследователям нужно пересмотреть способы решения аномалий.

Эти аномалии или артефакты объясняются Бакнером с помощью аналогии с бликом объектива в фотографии, который не вызван дефектом объектива, а взаимодействием света с камерой.

Если кто-то знает, как интерпретировать блики объектива, можно извлечь важную информацию, такую как местоположение солнца. Поэтому Бакнер считает, что возможно извлечь равноценную информацию из событий, вызванных артефактами, в машинном обучении.

Бакнер также говорит, что все это не означает, что глубокое обучение недействительно.

«Некоторые из этих противостоящих событий могут быть артефактами», – сказал он. «Нам нужно знать, что они являются, чтобы знать, насколько надежны эти сети».