Эндрю Нг Критикует Культуру Переобучения В Машинном Обучении

Эндрю Нг, один из наиболее влиятельных голосов в машинном обучении за последнее десятилетие, сейчас выражает обеспокоенность по поводу того, насколько отрасль подчеркивает инновации в архитектуре моделей над данными – и, в частности, насколько она позволяет “переобученным” результатам изображаться как обобщенные решения или достижения.

Это обширные критические замечания о текущей культуре машинного обучения, исходящие от одного из ее высших авторитетов, и имеющие последствия для доверия к отрасли, которая все больше характеризуется страхами над третьим крахом делового доверия к разработке ИИ в течение шестидесяти лет.

Нг, профессор Стэнфордского университета, также является одним из основателей deeplearning.ai, и в марте опубликовал missive на сайте организации, который сжал recent речь его до пары основных рекомендаций:

Во-первых, что исследовательское сообщество должно перестать жаловаться, что очистка данных представляет 80% проблем в машинном обучении, и приступить к разработке прочных методологий и практик MLOps.

Во-вторых, что оно должно отказаться от “легких побед”, которые можно получить, переобучая данные для модели машинного обучения, чтобы она хорошо работала на этой модели, но не смогла обобщить или произвести широко применимую модель.

Принятие Вызова Архитектуры и Кураторства Данных

“Мое мнение”, написал Нг, “заключается в том, что если 80 процентов нашей работы – это подготовка данных, то обеспечение качества данных является важной работой команды машинного обучения”.

Он продолжил:

“Вместо того, чтобы полагаться на то, что инженеры случайно найдут лучший способ улучшить набор данных, я надеюсь, что мы сможем разработать инструменты MLOps, которые помогут сделать построение систем ИИ, включая построение высококачественных наборов данных, более повторяемым и систематическим.

“MLOps – это развивающаяся область, и разные люди определяют ее по-разному. Но я думаю, что наиболее важным организационным принципом команд и инструментов MLOps должно быть обеспечение последовательного и высококачественного потока данных на всех этапах проекта. Это поможет многим проектам пройти более гладко.”

Говоря на Zoom на прямой трансляции сессии вопросов и ответов в конце апреля, Нг обратился к проблеме нехватки применимости в системах анализа машинного обучения для радиологии:

“Оказывается, что когда мы собираем данные из больницы Стэнфорда, затем обучаем и тестируем на данных из той же больницы, действительно, мы можем опубликовать статьи, показывающие, что [алгоритмы] сопоставимы с человеческими радиологами в обнаружении определенных условий.

“…[Когда] вы берете ту же модель, ту же систему ИИ, в старую больницу вниз по улице, с старой машиной, и техник использует slightly разный протокол изображения, то данные дрейфуют, вызывая ухудшение производительности системы ИИ. Напротив, любой человеческий радиолог может пройти вниз по улице в старую больницу и все будет в порядке.”

Недоопределение Не является Решением

Переобучение происходит, когда модель машинного обучения специально разработана для того, чтобы удовлетворять причудам конкретного набора данных (или того, как данные отформатированы). Это может включать, например, определение весов, которые будут производить хорошие результаты из этого набора данных, но не будут “обобщать” на других данных.

Во многих случаях такие параметры определяются на “небольших” аспектах обучающего набора, таких как конкретное разрешение собранной информации или другие причуды, которые не гарантированы повторяться в других последующих наборах данных.

Хотя было бы хорошо, переобучение – это не проблема, которую можно решить, слепо расширяя объем или гибкость архитектуры данных или конструкции модели, когда на самом деле нужны широко применимые и высоко значимые функции, которые будут работать хорошо в различных средах данных – более сложная задача.

В целом, этот тип “недоопределения” приводит только к тем проблемам, которые Нг недавно изложил, когда модель машинного обучения не работает на невидимых данных. Разница в этом случае заключается в том, что модель не работает не потому, что данные или форматирование данных отличаются от переобученного исходного обучающего набора, а потому, что модель слишком гибкая, а не слишком хрупкая.

В конце 2020 года статья Недоопределение представляет вызов для достоверности современного машинного обучения подвергла интенсивной критике эту практику и несла имена не менее сорока исследователей и ученых в области машинного обучения из Google и MIT, среди других учреждений.

Статья критикует “обучение-побочным путем” и наблюдает, как недоопределенные модели могут уйти в дикие отклонения на основе случайной начальной точки, с которой начинается обучение модели. Авторы замечают:

“Мы видели, что недоопределение повсеместно в практических трубопроводах машинного обучения во многих областях. Действительно, благодаря недоопределению, существенные аспекты решений определяются произвольными выборами, такими как случайный семя, используемый для инициализации параметров.”

Экономические Последствия Изменения Культуры

Несмотря на его академические заслуги, Нг – не просто академик, а имеет глубокий и высокий промышленный опыт в качестве сооснователя Google Brain и Coursera, бывшего главного ученого по большим данным и ИИ в Baidu и в качестве основателя Landing AI, который администрирует 175 миллионов долларов США для новых стартапов в секторе.

Когда он говорит “Все ИИ, а не только здравоохранение, имеет пробел между концепцией и производством”, это предназначено как сигнал тревоги для отрасли, которая в настоящее время характеризуется уровнем шума и пятнистой историей, все больше характеризуется как неопределенный долгосрочный бизнес-инвестиции, страдающей от проблем определения и объема.

Тем не менее, проприетарные системы машинного обучения, которые работают хорошо в situ и не работают в других средах, представляют собой тип захвата рынка, который может вознаградить промышленную инвестицию. Представление “проблемы переобучения” в контексте профессиональной опасности предлагает неискренний способ монетизировать корпоративные инвестиции в открытое исследование, и производить (по сути) проприетарные системы, где репликация конкурентами возможна, но проблематична.

Сможет ли этот подход работать в долгосрочной перспективе, зависит от того, насколько реальные прорывы в машинном обучении продолжат требовать всегда больших уровней инвестиций, и будут ли все продуктивные инициативы неизбежно мигрировать в FAANG до некоторой степени, из-за колоссальных ресурсов, необходимых для размещения и эксплуатации.