Стартапы, создающие инструменты для мониторинга ИИ и продвижения этического использования ИИ

За последний год внимание к обеспечению этического использования ИИ значительно увеличилось. Google (GOOGL ) и Microsoft (MSFT ) недавно предупредили инвесторов, что неправильное использование алгоритмов ИИ или плохо спроектированные алгоритмы ИИ представляют собой этические и юридические риски. Тем временем штат Калифорния только что принял закон, запрещающий использование технологии распознавания лиц правоохранительными органами.

Недавно стартапы, такие как Arthur, пытаются разработать инструменты, которые помогут инженерам ИИ количественно и качественно оценить работу своих моделей машинного обучения. Как сообщает Wired, Arthur пытается предоставить разработчикам ИИ набор инструментов, который сделает их работу проще при обнаружении проблем при проектировании финансовых приложений, таких как выявление предвзятости в инвестиционных или кредитных решениях.

Усилия Arthur направлены на решение проблемы “черного ящика” ИИ. Проблема “черного ящика” в ИИ заключается в том, что, в отличие от традиционного кода, который можно легко интерпретировать, системы машинного обучения отображают функции на поведение без раскрытия причин, по которым это поведение выбрано. Другими словами, в системе “черного ящика” точная реализация алгоритма не прозрачна.

Системы машинного обучения работают путем извлечения закономерностей из входных данных и рассуждений об этих закономерностях. Это достигается путем манипулирования математическими функциями, что позволяет компьютеру писать свой собственный код. Чтобы решить эту проблему, исследователям и инженерам нужны инструменты, которые облегчают наблюдение и анализ поведения программного обеспечения машинного обучения. Стартапы, такие как Arthur, признают сложность решения этой проблемы и не утверждают, что имеют оптимальные решения, но они надеются добиться прогресса в этой области и сделать более простым решение проблемы “черного ящика”. Надеются, что если системы ИИ можно проанализировать более легко, то будет проще исправлять проблемы, такие как предвзятость.

Большие компании, такие как Facebook (META ), уже имеют некоторые инструменты для анализа внутренней работы систем машинного обучения. Например, Facebook имеет инструмент под названием Fairness Flow, который предназначен для обеспечения того, чтобы реклама, предлагающая работу, была направлена на людей из разных слоев общества. Однако, вероятно, что большие команды ИИ не будут хотеть тратить время на создание таких инструментов, и поэтому существует бизнес-возможность для компаний, которые хотят создавать инструменты мониторинга для использования компаниями ИИ.

Arthur сосредоточен на создании инструментов, которые позволяют компаниям лучше поддерживать и мониторить системы ИИ после их развертывания. Инструменты Arthur предназначены для того, чтобы компании могли видеть, как меняется производительность их системы с течением времени, что теоретически позволит компаниям обнаружить потенциальные проявления предвзятости. Если программное обеспечение для рекомендации кредитов начинает исключать определенные группы клиентов, может быть установлен флаг, указывающий на то, что система требует проверки, чтобы обеспечить ее беспристрастность.

Однако Arthur не является единственной компанией, создающей инструменты, которые позволяют компаниям ИИ проверять производительность своих алгоритмов. Многие стартапы инвестируют в создание инструментов для борьбы с предвзятостью и обеспечения этического использования алгоритмов ИИ. Weights & Biases – это еще один стартап, создающий инструменты для помощи инженерам машинного обучения в анализе потенциальных проблем с их сетью. Toyota использовала инструменты, созданные Weights & Biases, для мониторинга своих устройств машинного обучения во время обучения. Тем временем стартап Fiddler работает над созданием другого набора инструментов мониторинга ИИ. IBM даже создала свою собственную службу мониторинга под названием OpenScale.

Лиз О’Салливан, одна из сооснователей Arthur, объяснила, что интерес к созданию инструментов для решения проблемы “черного ящика” обусловлен растущим осознанием силы ИИ.

“Люди начинают понимать, насколько мощными могут быть эти системы, и что они должны использовать преимущества в ответственной форме”, – сказала О’Салливан.