Что такое дисбаланс классов и почему точность может вводить в заблуждение

Дисбаланс классов возникает, когда один целевой класс встречается гораздо реже другого, из-за чего агрегированные метрики и стандартное обучение могут игнорировать случаи, которые, возможно, важнее всего.

Дисбаланс классов важно объяснить точно, поскольку это понятие обозначает конкретный поток информации, выбор метода обучения, механизм выполнения или границу управления. Если считать его синонимом «продвинутого ИИ», такие утверждения невозможно проверить. В этом руководстве мы проследим путь от входных данных и исходных предположений до наблюдаемого результата, а затем проверим наиболее распространённое упрощение, которое можно с ним перепутать.

Дисбаланс целевых классов: определение, границы и назначение

Дисбаланс классов возникает, когда один целевой класс встречается гораздо реже другого, из-за чего агрегированные метрики и стандартное обучение могут игнорировать случаи, которые, возможно, важнее всего. Это определение подразумевает три практических условия: должен быть конкретный вход, характерное для дисбаланса классов преобразование или решение, а также результат, который можно оценить относительно заявленной цели. Если хотя бы одного из этих элементов нет, речь может идти о желаемом результате, а не о реализованном механизме.

Статистическое обучение позволяет на основе конечных выборок делать выводы о будущих данных. Поэтому разбиение данных, оптимизация, регуляризация, метрики и мониторинг — части одной общей задачи обобщения, а не изолированные приёмы из учебника. При дисбалансе классов такой системный взгляд важен, поскольку на результат могут влиять окружающие данные, интерфейсы, оборудование, разрешения и люди, даже если сама модель не меняется. Поэтому полезно отделять усвоенное моделью поведение от продукта, который определяет, когда, где и с какими полномочиями это поведение применяется.

Ближайшее к дисбалансу классов, но вводящее в заблуждение упрощение — сбалансированный учебный набор данных, не отражающий реальную распространённость классов. У него может быть общий с дисбалансом классов внешний признак, но причинно-следственная картина будет иной: для подтверждения успеха потребуются другие свидетельства, на затраты будут влиять другие ресурсы, а для предотвращения вреда понадобятся другие меры контроля. Следовательно, граница здесь определяется практическим применением, а не терминологией.

Схема работы с дисбалансом целевых классов: пять этапов

Эта схема — краткая причинно-следственная карта дисбаланса классов, а не утверждение о том, что в каждой реализации используются пять программных компонентов. В некоторых системах этапы объединены, в других — повторяются по циклу. Схема остаётся полезной, поскольку требует, чтобы за каждым изменением информации или полномочий были закреплены ответственный, входные данные, результат и проверка.

1. Оценка распространённости в реальной рабочей совокупности: входные данные и предположения при дисбалансе целевых классов

На этом этапе работы с дисбалансом классов система должна оценить распространённость классов в реальной рабочей совокупности. Важно не просто выяснить, выполняется ли эта операция, но и понять, какие данные она использует, какое состояние изменяет и какие свидетельства подтверждают корректность изменения. Проверяющий должен иметь возможность отличить эту операцию от использования сбалансированного учебного набора данных, не отражающего реальную распространённость классов, и воспроизвести результат при тех же заявленных условиях.

Передача данных на этот этап обработки дисбаланса классов начинается с заявленной цели и должна завершаться результатом, позволяющим стратифицировать выборки без утечки связанных записей. Зафиксируйте неопределённость, отклонённые альтернативы, использование ресурсов и любые меры контроля со стороны человека или программного обеспечения на этой границе. По этой документации команды могут определить, можно ли добиться высокой точности, полностью игнорируя редкий класс, прежде чем тот же недостаток повлияет на значимый результат.

2. Стратификация выборок без утечки связанных записей: представление или решение при дисбалансе целевых классов

На этом этапе работы с дисбалансом классов система должна стратифицировать выборки, не допуская утечки связанных записей. Важно не просто выяснить, выполняется ли эта операция, но и понять, какие данные она использует, какое состояние изменяет и какие свидетельства подтверждают корректность изменения. Проверяющий должен иметь возможность отличить эту операцию от использования сбалансированного учебного набора данных, не отражающего реальную распространённость классов, и воспроизвести результат при тех же заявленных условиях.

Передача на этом этапе работы с дисбалансом классов начинается с измерения распространённости классов в реальной эксплуатационной популяции и должна завершаться результатом, который позволяет выбрать метрики и пороговые значения с учётом дисбаланса. Фиксируйте неопределённость, отклонённые альтернативы, расход ресурсов, а также любые меры контроля со стороны человека или программного обеспечения, применяемые на этом этапе. По этой записи команды могут определить, достигается ли высокая точность за счёт полного игнорирования редкого класса, прежде чем та же проблема приведёт к существенным последствиям.

3. Выбрать метрики и пороговые значения с учётом дисбаланса: характерное преобразование при дисбалансе целевого класса

На этом этапе работы с дисбалансом классов система должна выбрать метрики и пороговые значения с учётом дисбаланса. Важно не просто установить, выполняется ли эта операция, но и понять, какую информацию она использует, какое состояние изменяет и какие свидетельства подтверждают корректность изменений. Рецензент должен иметь возможность отличить эту операцию от работы со сбалансированным учебным набором данных, не соответствующим реальной распространённости классов, и воспроизвести её результат при тех же заданных условиях.

Передача на этом этапе работы с дисбалансом классов начинается с разделения данных на стратифицированные выборки без утечки связанных записей и должна завершаться результатом, который позволяет изменить веса классов, выполнить повторную выборку или пересмотреть сбор данных. Фиксируйте неопределённость, отклонённые альтернативы, расход ресурсов, а также любые меры контроля со стороны человека или программного обеспечения, применяемые на этом этапе. По этой записи команды могут определить, достигается ли высокая точность за счёт полного игнорирования редкого класса, прежде чем та же проблема приведёт к существенным последствиям.

4. Изменить веса классов, выполнить повторную выборку или пересмотреть сбор данных: ограничения и проверка при дисбалансе целевого класса

На этом этапе работы с дисбалансом классов система должна изменить веса классов, выполнить повторную выборку или пересмотреть сбор данных. Важно не просто установить, выполняется ли эта операция, но и понять, какую информацию она использует, какое состояние изменяет и какие свидетельства подтверждают корректность изменений. Рецензент должен иметь возможность отличить эту операцию от работы со сбалансированным учебным набором данных, не соответствующим реальной распространённости классов, и воспроизвести её результат при тех же заданных условиях.

Передача на этом этапе работы с дисбалансом классов начинается с выбора метрик и пороговых значений с учётом дисбаланса и должна завершаться результатом, который позволяет отслеживать качество работы с миноритарным классом после развёртывания. Фиксируйте неопределённость, отклонённые альтернативы, расход ресурсов, а также любые меры контроля со стороны человека или программного обеспечения, применяемые на этом этапе. По этой записи команды могут определить, достигается ли высокая точность за счёт полного игнорирования редкого класса, прежде чем та же проблема приведёт к существенным последствиям.

5. Отслеживать качество работы с миноритарным классом после развёртывания: результат, обратная связь и правило остановки при дисбалансе целевого класса

На этом этапе работы с дисбалансом классов система должна отслеживать качество работы с миноритарным классом после развёртывания. Важно не просто установить, выполняется ли эта операция, но и понять, какую информацию она использует, какое состояние изменяет и какие свидетельства подтверждают корректность изменений. Рецензент должен иметь возможность отличить эту операцию от работы со сбалансированным учебным набором данных, не соответствующим реальной распространённости классов, и воспроизвести её результат при тех же заданных условиях.

Передача на этом этапе работы с дисбалансом классов начинается с изменения весов классов, повторной выборки или пересмотра сбора данных и должна завершаться результатом, который позволяет продолжить мониторинг или принять окончательное решение. Фиксируйте неопределённость, отклонённые альтернативы, расход ресурсов, а также любые меры контроля со стороны человека или программного обеспечения, применяемые на этом этапе. По этой записи команды могут определить, достигается ли высокая точность за счёт полного игнорирования редкого класса, прежде чем та же проблема приведёт к существенным последствиям.

Чтобы понять работу системы в производственной среде, изучайте карту дисбаланса классов от начала к концу; чтобы диагностировать сбой — в обратном направлении. При анализе вперёд выясняют, как результат одного этапа становится входными данными для следующего. При анализе назад отправной точкой служит некорректный, медленный, дорогостоящий или небезопасный результат, после чего прослеживают, какое предыдущее допущение к нему привело. Именно при обратном анализе команда часто обнаруживает, что решающая ошибка возникла ещё до того, как модель что-либо выдала.

Пример дисбаланса целевого класса

Модель выявления мошенничества, которая помечает каждую транзакцию как добросовестную, может обеспечить точность свыше девяноста девяти процентов, но не обнаружить ни одного случая мошенничества.

Этот пример полезен, потому что дисбаланс классов можно связать с наблюдаемыми входными данными, промежуточными состояниями и результатом, а не оценивать по эффектной демонстрации. Для строгой проверки следует составить обычные, сложные и намеренно вводящие в заблуждение сценарии на основе этого примера, сохранить базовый вариант без рассматриваемого метода и зафиксировать как средние показатели, так и тяжесть отдельных сбоев.

Измените одно допущение в примере с дисбалансом классов и повторите анализ. Удалите обязательный входной параметр, добавьте противоречивый сигнал, ограничьте вычислительные ресурсы, измените состав пользователей или заставьте систему воздержаться от ответа. Если механизм работает только в рамках одной тщательно подготовленной демонстрации, это ещё не доказывает, что он будет обобщаться на условия эксплуатации.

Дисбаланс целевого класса и самый распространённый упрощённый подход

Дисбаланс классов часто сводят к сбалансированному учебному набору данных, который не соответствует реальной распространённости классов. Такое упрощение устраняет саму границу, определяющую это понятие. В результате покупатели могут сравнивать несопоставимые продукты, исследователи — преувеличивать значимость результатов эксперимента, а специалисты, эксплуатирующие системы, — отслеживать не тот показатель после развёртывания.

При сравнении также следует указывать единицу анализа. В исследовании дисбаланса классов может рассматриваться отдельная модель или алгоритм, тогда как в развёрнутый сервис добавляются поиск и извлечение данных, маршрутизация, кэширование, политики, идентификация, пользовательские интерфейсы и мониторинг. Два продукта могут использовать один и тот же термин в описании, но реализовывать разные компоненты этого стека. Следует выяснить, какой компонент выполняет определяющее преобразование и какие другие компоненты необходимы для получения заявленного результата.

Почему дисбаланс целевых классов важен для современных систем ИИ

Дисбаланс классов важен сейчас, поскольку системам ИИ предоставляют более длинный контекст, больше модальностей, больше вычислительных ресурсов во время выполнения, более широкий доступ к инструментам и более тесную связь с решениями, принимаемыми организациями. В таких условиях то, что раньше казалось исследовательской деталью, может определять задержку, безопасность, доступность, экологические издержки, качество продукта или юридическую ответственность.

Важно не то, может ли дисбаланс классов дать один впечатляющий результат. Важно, улучшает ли метод значимый результат в репрезентативных условиях и превосходит ли при этом более простой базовый подход. Вместо того чтобы сводить все результаты к одному среднему значению, приводите распределения, категории ошибок, задержку на верхних процентилях, потребление ресурсов и данные по затронутым подгруппам.

Выбирайте процедуры с учётом структуры данных и цены решения. Сохраняйте группы и временную последовательность, количественно оценивайте неопределённость, анализируйте отдельные срезы данных, фиксируйте итоговые тесты и проверяйте, сохраняются ли улучшения, полученные при офлайн-тестировании, после развёртывания. Применительно к дисбалансу классов такой подход делает результаты применимыми в других условиях: другая команда сможет оценить, сохранится ли заявленное улучшение при использовании другой модели, языка, аппаратной платформы, набора данных, пользовательской аудитории или допустимого уровня риска.

Какие преимущества может дать дисбаланс целевых классов

Главный аргумент в пользу работы с дисбалансом классов состоит в том, что она позволяет напрямую устранить соответствующее узкое место. В зависимости от реализации результатом могут стать более надёжная привязка к источникам, более точное представление, улучшенная обобщающая способность, меньшая задержка, сокращение перемещения данных в памяти, более прозрачная подотчётность или более надёжное разграничение между предложением модели и реальным действием.

Преимущества следует описывать через решения и измеримые показатели. «Более интеллектуальный» — не критерий приёмки для работы с дисбалансом классов. Полезная целевая метрика может задавать частоту ошибок на сложных случаях, восстановление после противоречивых данных, стоимость на заданном процентиле трафика, время проверки человеком, калибровку или долю действий, остающихся в пределах установленного уровня полномочий.

Сбой, определяющий дисбаланс целевых классов

Главное ограничение состоит в том, что высокой точности можно добиться, полностью игнорируя редкий класс. Этот сбой нельзя считать второстепенным и просто упомянуть после завершения разработки. Он должен с самого начала влиять на сбор данных, архитектуру, разрешения, оценку, условия выпуска и мониторинг систем, работающих с дисбалансом классов.

Средство контроля дисбаланса классов полезно, только если оно срабатывает до наступления дорогостоящих или необратимых последствий. Определите самый ранний наблюдаемый признак сбоя, установите пороговое значение или правило, назначьте ответственного и проверьте возможность восстановления. В зависимости от сценария восстановления может потребоваться воздержаться от ответа, перейти на более простую систему, запросить дополнительные данные, передать вопрос человеку, откатить модель или полностью остановить действие.

План оценки дисбаланса целевых классов

Начните оценивать дисбаланс классов с формулировки решения, которое должны обосновать имеющиеся данные. Определите целевую совокупность, последствия ошибочного результата, информацию, фактически доступную в момент принятия решения, и наиболее простую убедительную альтернативу. Это не позволит превратить бенчмарк в самоцель лишь потому, что его легко запустить.

Для контролируемого сравнения используйте тестовую выборку, к которой не обращались при разработке, а затем проверьте дисбаланс классов в поэтапно вводимой в эксплуатацию среде. Офлайн-оценка позволяет сопоставлять варианты; теневой режим, канареечные развертывания, ограничение частоты запросов или этапы с обязательным одобрением показывают, как реальный трафик, циклы обратной связи и люди меняют поведение. Для этапа развертывания следует заранее определить условие остановки, а не считать, что любое улучшение заслуживает полномасштабного внедрения.

Версионируйте компоненты, необходимые для воспроизведения результатов при дисбалансе классов: исходные данные, этап предварительной обработки, токенизатор или кодировщик, веса модели, конфигурацию, промпт или политику, поисковый индекс, набор для оценки, допущения относительно оборудования и код обслуживания модели — в зависимости от ситуации. Без отслеживания происхождения данных и изменений команда не сможет определить, вызван ли изменившийся результат примененным методом, средой или незамеченной правкой конвейера обработки.

Наконец, спросите себя, какие результаты опровергли бы утверждение о пользе дисбаланса классов. Если никакие результаты не могут изменить решение о внедрении, оценка превращается в маркетинг. Заранее установленные пороговые значения для принятия решения и сохраненная подтверждающая выборка превращают эту работу в получение доказательств.

Вопросы, которые следует задать перед внедрением дисбаланса целевых классов

• Цель: Какое измеримое узкое место призван устранить дисбаланс классов?
• Механизм: На каком из пяти этапов происходит ключевое преобразование?
• Базовый вариант: Каковы результаты его сравнения со сбалансированным набором данных по классам, не отражающим реальную распространенность классов, или с другой, более простой альтернативой?
• Доказательства: Какие типичные, сложные, состязательные и подгрупповые случаи проверялись?
• Эксплуатация: Какие затраты на задержки, память, вычисления, энергопотребление, обслуживание и проверку возникают при масштабировании?
• Риск: Как команда обнаружит, что высокая точность достигнута за счет полного игнорирования редкого класса?
• Восстановление: Может ли система воздержаться от ответа, перейти на резервный вариант, откатиться или передать вопрос на рассмотрение до того, как будет причинен вред?

Основные источники для изучения дисбаланса целевых классов

В качестве авторитетных отправных точек для изучения той части стека ИИ, которая связана с дисбалансом классов, можно использовать руководство scikit-learn по выбору модели, правила машинного обучения от Google и NIST AI RMF. Читайте их вместе с документацией по конкретной модели, набору данных, оборудованию и юрисдикции. Общий источник может описать механизм, но пригодность конкретной реализации можно установить только на основании данных, полученных в условиях ее развертывания.

Что важно помнить о дисбалансе целевых классов

Дисбаланс классов — это определенный механизм в рамках более широкой социотехнической системы. Его ценность заключается в улучшении конкретного результата при четко заданных условиях, а не в самом названии. Карта пяти этапов делает видимым поток информации, сравнение показывает, чем этот механизм не является, а схема контроля указывает, где ответственный оператор может вмешаться.

Практическое правило для работы с дисбалансом классов: определить цель, сравнить результат с убедительным базовым вариантом, проверить наиболее важный сценарий сбоя и сохранить данные, необходимые для отслеживания изменений. При наличии этих условий концепция становится инженерным и управленческим решением, которое можно оценить. Без них это лишь многообещающее название, за которым скрывается неизвестный эксплуатационный риск.