Google Создает Новую Программу Объяснимого ИИ Для Повышения Прозрачности и Отладки

Только что Google объявила о создании новой облачной платформы, предназначенной для того, чтобы дать представление о том, как программа ИИ принимает решения, что делает отладку программы проще и повышает прозрачность. Как сообщает The Register, облачная платформа называется Explainable AI, и она представляет собой значительную попытку Google инвестировать в объяснимость ИИ.

Искусственные нейронные сети используются во многих, возможно, большинстве, из основных систем ИИ, используемых в мире сегодня. Нейронные сети, которые управляют основными приложениями ИИ, могут быть чрезвычайно сложными и большими, и по мере роста сложности системы становится все труднее и труднее понять, почему система приняла определенное решение. Как объясняет Google в своей белой книге, по мере того, как системы ИИ становятся более мощными, они также становятся более сложными и, следовательно, труднее отлаживать. Прозрачность также теряется, когда это происходит, что означает, что предвзятые алгоритмы могут быть трудно распознаны и устранены.

Тот факт, что рассуждения, которые управляют поведением сложных систем, так трудно интерпретировать, часто имеет драматические последствия. Помимо того, что это затрудняет борьбу с предвзятостью ИИ, это может сделать чрезвычайно трудным различать спurious корреляции и действительно важные и интересные корреляции.

Многие компании и исследовательские группы изучают, как решить проблему “черного ящика” ИИ и создать систему, которая адекватно объясняет, почему определенные решения были приняты ИИ. Платформа Explainable AI от Google представляет собой свою собственную попытку решить эту задачу. Explainable AI состоит из трех разных инструментов. Первый инструмент – система, которая описывает, какие функции были выбраны ИИ, и она также отображает атрибутный балл, который представляет количество влияния, которое определенная функция оказывает на окончательный прогноз. Отчет Google об инструменте дает пример прогнозирования продолжительности поездки на велосипеде на основе переменных, таких как количество осадков, текущая температура, день недели и время начала. После того, как сеть принимает решение, предоставляется обратная связь, которая показывает, какие функции оказали наибольшее влияние на прогнозы.

Как этот инструмент обеспечивает такую обратную связь в случае с данными изображений? В этом случае инструмент производит наложение, которое подчеркивает области изображения, которые имели наибольшее влияние на принятое решение.

Другим инструментом в наборе инструментов является инструмент “Что-если”, который отображает потенциальные колебания производительности модели при манипулировании отдельными атрибутами. Наконец, последний инструмент может быть настроен для предоставления образцов результатов человеческим рецензентам на постоянной основе.

Доктор Эндрю Мур, главный ученый Google по ИИ и машинному обучению, описал вдохновение для проекта. Мур объяснил, что около пяти лет назад академическое сообщество начало беспокоиться о вредных побочных продуктах использования ИИ и что Google хотела обеспечить, чтобы их системы использовались только в этических целях. Мур описал инцидент, когда компания пыталась разработать программу компьютерного зрения для предупреждения строительных рабочих, если кто-то не носил шлем, но они стали беспокоиться, что мониторинг может быть слишком далеко зашел и стать деhumanизирующим. Мур сказал, что была подобная причина, по которой Google решила не выпускать общий API распознавания лица, поскольку компания хотела иметь больше контроля над тем, как их технология использовалась, и обеспечить, чтобы она использовалась только в этических целях.

Мур также подчеркнул почему было так важно, чтобы решения ИИ были объяснимыми:

“Если у вас есть система, критическая для безопасности, или социально важная вещь, которая может иметь непредвиденные последствия, если вы думаете, что ваша модель сделала ошибку, вы должны быть в состоянии диагностировать ее. Мы хотим тщательно объяснить, что может и не может сделать объяснимость. Это не панацея.