Google Создает Новую Программу Объяснимого ИИ для Повышения Прозрачности и Отладки

Недавно Google (GOOGL ) объявила о создании новой облачной платформы, предназначенной для того, чтобы дать представление о том, как программа ИИ принимает решения, что делает отладку программы проще и повышает прозрачность. Как сообщает The Register, облачная платформа называется Объяснимый ИИ, и она представляет собой серьезную попытку Google инвестировать в объяснимость ИИ.

Искусственные нейронные сети используются во многих, возможно, большинстве, из основных систем ИИ, используемых в мире сегодня. Нейронные сети, которые управляют основными приложениями ИИ, могут быть чрезвычайно сложными и большими, и по мере роста сложности системы становится все труднее понять, почему было принято определенное решение. Как объясняет Google в своей белой книге, по мере того, как системы ИИ становятся более мощными, они также становятся более сложными и, следовательно, более трудными для отладки. Прозрачность также теряется, когда это происходит, что означает, что предвзятые алгоритмы могут быть трудными для распознавания и устранения.

Тот факт, что рассуждения, которые управляют поведением сложных систем, так трудно интерпретировать, часто имеет серьезные последствия. Помимо того, что это затрудняет борьбу с предвзятостью ИИ, это может сделать чрезвычайно трудным различать ложные корреляции и действительно важные и интересные корреляции.

Многие компании и исследовательские группы изучают, как решить проблему “черного ящика” ИИ и создать систему, которая адекватно объясняет, почему были приняты определенные решения ИИ. Платформа Объяснимый ИИ Google представляет собой свою собственную попытку решить эту задачу. Объяснимый ИИ состоит из трех разных инструментов. Первый инструмент – система, которая описывает, какие функции были выбраны ИИ, и она также отображает атрибутный балл, который представляет количество влияния, которое определенная функция оказывает на окончательный прогноз. Отчет Google об инструменте дает пример прогнозирования продолжительности поездки на велосипеде на основе переменных, таких как количество осадков, текущая температура, день недели и время начала. После того, как сеть принимает решение, предоставляется обратная связь, которая показывает, какие функции оказали наибольшее влияние на прогноз.

Как этот инструмент обеспечивает такую обратную связь в случае с данными изображений? В этом случае инструмент производит наложение, которое подчеркивает области изображения, которые имели наибольшую вес при принятии решения.

Другим инструментом в наборе инструментов является инструмент “Что, если”, который отображает потенциальные колебания производительности модели при манипулировании отдельными атрибутами. Наконец, последний инструмент может быть настроен для предоставления образцов результатов человеческим рецензентам по постоянному графику.

Доктор Эндрю Мур, главный ученый Google по ИИ и машинному обучению, описал вдохновение для проекта. Мур объяснил, что около пяти лет назад академическое сообщество начало беспокоиться о вредных побочных продуктах использования ИИ, и Google хотела обеспечить, чтобы их системы использовались только в этических целях. Мур описал инцидент, когда компания пыталась разработать программу компьютерного зрения для оповещения строительных рабочих, если кто-то не носил шлем, но они стали беспокоиться, что мониторинг может быть слишком далеко зашел и стать деhumanизирующим. Мур сказал, что была подобная причина, по которой Google решила не выпускать общий API распознавания лиц, поскольку компания хотела иметь больше контроля над тем, как их технология используется, и обеспечить, чтобы она использовалась только в этических целях.

Мур также подчеркнул, почему было так важно, чтобы решение ИИ было объяснимым:

“Если у вас есть система, критическая для безопасности, или социально важная вещь, которая может иметь непредвиденные последствия, если вы думаете, что ваша модель совершила ошибку, вы должны быть в состоянии диагностировать ее. Мы хотим тщательно объяснить, что может и не может сделать объяснимость. Это не панацея.