Исследователи Google обнаружили проблему недоопределения, которая препятствует многим моделям ИИ

Недавно команда исследователей из Google (GOOGL ) определила распространенную причину неудач моделей ИИ, указывая на недоопределение как одну из основных причин, по которой модели машинного обучения часто работают совсем по-другому в реальных условиях, чем во время тестирования и разработки.

Модели машинного обучения часто терпят неудачи при выполнении задач в реальных условиях, даже если модели работают оптимально в лаборатории. Существует множество причин, по которым возникает несоответствие между результатами обучения/разработки и реальной производительностью. Одной из наиболее распространенных причин неудач моделей ИИ при выполнении реальных задач является концепция, известная как сдвиг данных. Сдвиг данных относится к фундаментальной разнице между типом данных, используемых для разработки модели машинного обучения, и данными, которые вводятся в модель во время применения. Например, модели компьютерного зрения, обученные на высококачественных изображениях, будут испытывать трудности при работе с данными, полученными от низкокачественных камер, найденных в повседневной среде модели.

Согласно MIT Technology Review, команда из 40 разных исследователей в Google определила еще одну причину, по которой производительность модели машинного обучения может варьироваться так сильно. Проблема заключается в «недоопределении», статистической концепции, которая описывает проблемы, при которых наблюдаемые явления имеют множество возможных причин, не все из которых учитываются моделью. Согласно руководителю исследования Алексу Д’Амуру, проблема наблюдается во многих моделях машинного обучения, говоря, что это явление «происходит повсюду».

Типичный метод обучения модели машинного обучения включает в себя подачу модели большого количества данных, которые она может проанализировать и извлечь из них соответствующие закономерности. Затем модель подается примеры, которые она не видела, и просит предсказать характер этих примеров на основе особенностей, которые она выучила. Как только модель достигает определенного уровня точности, обучение обычно считается завершенным.

Согласно команде исследователей Google, необходимо сделать больше, чтобы обеспечить возможность моделей действительно обобщать на неразметанные данные. Классический метод обучения моделей машинного обучения может произвести различные модели, которые могут все пройти свои тесты, но эти модели будут различаться в небольших деталях, которые кажутся незначительными, но не являются таковыми. Разные узлы в моделях будут иметь разные случайные значения, присвоенные им, или обучающие данные могут быть выбраны или представлены разными способами. Эти вариации небольшие и часто произвольные, и если они не оказывают существенного влияния на производительность моделей во время обучения, их легко упустить из виду. Однако, когда влияние всех этих небольших изменений накапливается, они могут привести к значительным вариациям в реальной производительности.

Эта недоопределенность проблематична, поскольку она означает, что, даже если процесс обучения способен производить хорошие модели, он также может произвести плохую модель, и разница не будет обнаружена до тех пор, пока модель не выйдет из производства и не войдет в эксплуатацию.

Чтобы оценить влияние недоопределения, команда исследователей изучила ряд различных моделей. Каждая модель была обучена с использованием одного и того же процесса обучения, а затем модели были подвергнуты серии тестов, чтобы подчеркнуть различия в производительности. В одном случае 50 разных версий системы распознавания изображений были обучены на наборе данных ImageNet. Модели были одинаковыми, за исключением нейронной сети, значения которой были случайно присвоены им в начале обучения. Тесты на прочность, используемые для определения различий в моделях, проводились с использованием ImageNet-C, варианта исходного набора данных, состоящего из изображений, измененных путем контраста или коррекции яркости. Модели также были протестированы на ObjectNet, серии изображений с повседневными объектами в необычных ориентациях и контекстах. Хотя все 50 моделей показали примерно одинаковую производительность на обучающем наборе данных, производительность колебалась сильно, когда модели были запущены через тесты на прочность.

Команда исследователей обнаружила аналогичные результаты, когда они обучали и тестиовали две различные системы обработки естественного языка, а также когда они тестиовали различные другие модели компьютерного зрения. В каждом случае модели сильно отклонялись друг от друга, хотя процесс обучения для всех моделей был одинаковым.

Согласно Д’Амуру, исследователи и инженеры в области машинного обучения должны проводить гораздо больше тестов на прочность, прежде чем выпускать модели в реальные условия. Это может быть трудно сделать, поскольку тесты на прочность необходимо адаптировать к конкретным задачам с использованием данных из реального мира, которые могут быть трудно доступны для определенных задач и контекстов. Одним из потенциальных решений проблемы недоопределения является создание многих моделей одновременно, а затем тестирование моделей на серии реальных задач, выбирая модель, которая последовательно показывает лучшие результаты. Разработка моделей таким образом требует много времени и ресурсов, но компромисс может быть оправдан, особенно для моделей ИИ, используемых в медицинских контекстах или других областях, где безопасность является главной задачей. Как объяснил Д’Амур в интервью с MIT Technology Review:

«Нам нужно лучше определять наши требования к моделям. Потому что часто оказывается, что мы обнаруживаем эти требования только после того, как модель потерпела неудачу в реальном мире».