Исследователи разрабатывают алгоритмы, направленные на предотвращение плохого поведения в ИИ

Вместе с всеми достижениями и преимуществами, которые искусственный интеллект продемонстрировал до сих пор, были также сообщения о нежелательных побочных эффектах, таких как расовая и гендерная предвзятость в ИИ. Итак, как sciencealert.com задает вопрос «как ученые могут гарантировать, что системы продвинутого мышления могут быть справедливыми, или даже безопасными?

Ответ может лежать в отчете исследователей из Стэнфордского университета и Университета Массачусетса в Амхерсте, озаглавленном Предотвращение нежелательного поведения интеллектуальных машин. Как eurekaalert.org отмечает в своей статье об этом отчете, ИИ теперь начинает выполнять чувствительные задачи, поэтому «пolicymakers настаивают на том, чтобы компьютерные ученые предоставили гарантии, что автоматические системы были разработаны для минимизации, если не полностью избежать, нежелательных результатов, таких как чрезмерный риск или расовая и гендерная предвзятость.»

Целью этого отчета, представленного командой исследователей, было «определить новую технику, которая переводит нечеткую цель, такую как избежание гендерной предвзятости, в точные математические критерии, которые позволили бы алгоритму машинного обучения обучить приложение ИИ избегать этого поведения.

Целью было, как Эмма Брунскилл, помощник профессора компьютерных наук в Стэнфордском университете и старший автор статьи, отмечает «мы хотим продвигать ИИ, который уважает ценности своих человеческих пользователей и оправдывает доверие, которое мы возлагаем на автономные системы.»

Идея заключалась в том, чтобы определить «небезопасные» или «несправедливые» результаты или поведение в математических терминах. Это, по мнению исследователей, сделало бы возможным «создание алгоритмов, которые могут учиться на данных, как избегать этих нежелательных результатов с высокой уверенностью.»

Второй целью было «разработать набор методов, которые сделали бы легко для пользователей указать, какие нежелательные поведения они хотят ограничить, и позволили бы разработчикам машинного обучения предсказать с уверенностью, что система, обученная на прошлых данных, может быть надежной, когда она применяется в реальных обстоятельствах.»

ScienceAlert говорит, что команда назвала эту новую систему  «Селдонианскими» алгоритмами, в честь главного персонажа знаменитой серии научно-фантастических романов Айзека Азимова Фондация. Филип Томас, помощник профессора компьютерных наук в Университете Массачусетса в Амхерсте и первый автор статьи, отмечает, «Если я использую Селдонианский алгоритм для лечения диабета, я могу указать, что нежелательное поведение означает опасно низкий уровень сахара в крови или гипогликемию.»

«Я могу сказать машине: «Пока вы пытаетесь улучшить контроллер в инсулиновой помпе, не делайте изменений, которые увеличили бы частоту гипогликемии». Большинство алгоритмов не дают вам возможности установить этот тип ограничения на поведение; оно не было включено в ранние конструкции.»

Томас добавляет, что «эта Селдонианская структура сделает более легким для разработчиков машинного обучения создание инструкций по избежанию поведения во всех видах алгоритмов, в том, что может позволить им оценить вероятность того, что обученные системы будут функционировать правильно в реальном мире.»

Эмма Брунскилл также отмечает, что «думать о том, как мы можем создать алгоритмы, которые лучше всего уважают ценности, такие как безопасность и справедливость, является важным, поскольку общество все больше полагается на ИИ.»