Що таке дисбаланс класів і чому точність може вводити в оману

Дисбаланс класів виникає, коли один цільовий клас трапляється значно рідше за інший, через що агреговані метрики та стандартне навчання можуть не враховувати випадки, які мають найбільше значення.

Дисбаланс класів потребує точного пояснення, адже ця назва позначає конкретний потік інформації, вибір під час навчання, механізм виконання або межу управління. Якщо вважати його синонімом «просунутого ШІ», твердження про нього неможливо перевірити. У цьому посібнику ми простежимо шлях від вхідних даних і припущень до спостережуваного результату, а потім перевіримо, чи не плутають це поняття з найбільш схожим спрощеним уявленням.

Дисбаланс цільових класів: визначення, межі та призначення

Дисбаланс класів виникає, коли один цільовий клас трапляється значно рідше за інший, через що агреговані метрики та стандартне навчання можуть не враховувати випадки, які мають найбільше значення. Це визначення передбачає три практичні умови: можна чітко визначити вхідні дані; є перетворення або рішення, характерне для дисбалансу класів; результат можна оцінити відповідно до заявленої мети. Якщо бракує хоча б одного з цих елементів, назва може описувати бажаний результат, а не впроваджений механізм.

Статистичне навчання дає змогу на основі скінченної кількості вибірок робити висновки про майбутні дані. Тому поділ даних, оптимізація, регуляризація, метрики й моніторинг є складниками єдиної задачі узагальнення, а не окремими методами з підручника. У випадку дисбалансу класів системний погляд важливий, оскільки на результат можуть впливати навколишні дані, інтерфейси, обладнання, дозволи та люди, навіть якщо сама модель не змінюється. Щоб пояснення було змістовним, слід розмежовувати засвоєну моделлю поведінку й продукт, який визначає, коли, де та з якими повноваженнями її застосовувати.

Найближче оманливе спрощення — збалансований навчальний набір даних, який не відповідає реальній поширеності класів. Він може мати помітну спільну рису з дисбалансом класів, але змінює причинно-наслідкову картину: успіх підтверджуватимуть інші докази, на витрати найбільше впливатимуть інші ресурси, а для запобігання шкоді знадобляться інші засоби контролю. Отже, межа між цими поняттями визначається практикою, а не термінологією.

П’ять етапів роботи з дисбалансом цільових класів

Діаграма — це стислий причинно-наслідковий опис дисбалансу класів, а не твердження, що кожна реалізація складається з п’яти програмних компонентів. У деяких системах етапи об’єднано, а в інших вони повторюються циклічно. Така схема корисна, бо дає змогу визначити для кожної зміни інформації або повноважень відповідального, вхідні й вихідні дані та спосіб перевірки.

1. Вимірювання поширеності в реальній операційній сукупності: вхідні дані та припущення щодо дисбалансу цільових класів

На цьому етапі роботи з дисбалансом класів система має вимірювати поширеність класів у реальній операційній сукупності. Важливо з’ясувати не лише, чи виконується ця операція, а й те, які дані вона використовує, який стан змінює та які докази підтверджують правильність цієї зміни. Рецензент має вміти відрізнити цю операцію від використання збалансованого навчального набору даних, що не відповідає реальній поширеності класів, і відтворити її результат за тих самих заявлених умов.

Передавання даних на цьому етапі роботи з дисбалансом класів починається із заявленої мети й має завершуватися результатом, на основі якого можна стратифікувати вибірки, не допускаючи витоку пов’язаних записів. Фіксуйте невизначеність, відхилені альтернативи, використані ресурси, а також будь-який контроль, здійснений людиною чи програмним забезпеченням на цій межі. Такий журнал дає змогу командам виявити, чи можна досягти високої точності, повністю ігноруючи рідкісний клас, перш ніж та сама вада вплине на наслідковий результат.

2. Стратифікація вибірок без витоку пов’язаних записів: представлення або ухвалення рішень за дисбалансу цільових класів

На цьому етапі роботи з дисбалансом класів система має стратифікувати вибірки, не допускаючи витоку пов’язаних записів. Важливо з’ясувати не лише, чи виконується ця операція, а й те, які дані вона використовує, який стан змінює та які докази підтверджують правильність цієї зміни. Рецензент має вміти відрізнити цю операцію від використання збалансованого навчального набору даних, що не відповідає реальній поширеності класів, і відтворити її результат за тих самих заявлених умов.

Передача на цьому етапі роботи з дисбалансом класів починається з вимірювання поширеності класів у реальній робочій сукупності й має завершуватися результатом, на основі якого можна обрати метрики та порогові значення, що враховують дисбаланс. Фіксуйте невизначеність, відхилені альтернативи, використання ресурсів, а також будь-який людський або програмний контроль на цьому етапі. Завдяки такому журналу команди можуть виявити, чи можна досягти високої точності, повністю ігноруючи рідкісний клас, перш ніж та сама вада вплине на значущий результат.

3. Вибір метрик і порогових значень з урахуванням дисбалансу: характерне перетворення за цільового дисбалансу

На цьому етапі роботи з дисбалансом класів система має обрати метрики та порогові значення, що враховують дисбаланс. Важливо з’ясувати не лише, чи виконується ця операція, а й які дані вона використовує, який стан змінює та які докази підтверджують коректність цієї зміни. Перевіряльник має могти відрізнити цю операцію від роботи зі збалансованим набором даних із навчального прикладу, який не відповідає реальній поширеності класів, і відтворити результат за тих самих зазначених умов.

Передача на цьому етапі роботи з дисбалансом класів починається зі стратифікованого поділу даних без витоку пов’язаних записів і має завершуватися результатом, на основі якого можна змінити ваги класів, повторно сформувати вибірку або переглянути спосіб збирання даних. Фіксуйте невизначеність, відхилені альтернативи, використання ресурсів, а також будь-який людський або програмний контроль на цьому етапі. Завдяки такому журналу команди можуть виявити, чи можна досягти високої точності, повністю ігноруючи рідкісний клас, перш ніж та сама вада вплине на значущий результат.

4. Зміна ваг класів, повторне формування вибірки або перегляд способу збирання даних: межа обмежень і перевірки за цільового дисбалансу

На цьому етапі роботи з дисбалансом класів система має змінити ваги класів, повторно сформувати вибірку або переглянути спосіб збирання даних. Важливо з’ясувати не лише, чи виконується ця операція, а й які дані вона використовує, який стан змінює та які докази підтверджують коректність цієї зміни. Перевіряльник має могти відрізнити цю операцію від роботи зі збалансованим набором даних із навчального прикладу, який не відповідає реальній поширеності класів, і відтворити результат за тих самих зазначених умов.

Передача на цьому етапі роботи з дисбалансом класів починається з вибору метрик і порогових значень, що враховують дисбаланс, і має завершуватися результатом, на основі якого можна контролювати якість роботи з міноритарним класом після розгортання. Фіксуйте невизначеність, відхилені альтернативи, використання ресурсів, а також будь-який людський або програмний контроль на цьому етапі. Завдяки такому журналу команди можуть виявити, чи можна досягти високої точності, повністю ігноруючи рідкісний клас, перш ніж та сама вада вплине на значущий результат.

5. Контроль якості роботи з міноритарним класом після розгортання: результат, зворотний зв’язок і правило зупинки за цільового дисбалансу

На цьому етапі роботи з дисбалансом класів система має контролювати якість роботи з міноритарним класом після розгортання. Важливо з’ясувати не лише, чи виконується ця операція, а й які дані вона використовує, який стан змінює та які докази підтверджують коректність цієї зміни. Перевіряльник має могти відрізнити цю операцію від роботи зі збалансованим набором даних із навчального прикладу, який не відповідає реальній поширеності класів, і відтворити результат за тих самих зазначених умов.

Передача на цьому етапі роботи з дисбалансом класів починається зі зміни ваг класів, повторного формування вибірки або перегляду способу збирання даних і має завершуватися результатом, на основі якого можна організувати моніторинг або ухвалити остаточне рішення. Фіксуйте невизначеність, відхилені альтернативи, використання ресурсів, а також будь-який людський або програмний контроль на цьому етапі. Завдяки такому журналу команди можуть виявити, чи можна досягти високої точності, повністю ігноруючи рідкісний клас, перш ніж та сама вада вплине на значущий результат.

Читайте схему дисбалансу класів у прямому напрямку, щоб зрозуміти роботу системи у виробничому середовищі, і у зворотному — щоб діагностувати помилки. Прямий аналіз показує, як один етап забезпечує наступний. Зворотний аналіз починається з некоректного, повільного, дорогого або небезпечного результату й дає змогу простежити, яке попереднє припущення до нього призвело. Саме під час зворотного аналізу команда часто виявляє, що вирішальна помилка сталася ще до того, як модель видала будь-який результат.

Приклад цільового дисбалансу

Модель виявлення шахрайства, яка позначає кожну транзакцію як легітимну, може забезпечити точність понад 99 відсотків, але не виявити жодного випадку шахрайства.

Цей приклад показовий, оскільки дає змогу пов’язати дисбаланс класів із видимими вхідними даними, проміжними станами та результатом, а не оцінювати його на підставі відшліфованої демонстрації. Для ретельного тестування слід створити звичайні, складні та навмисно оманливі випадки на основі цього сценарію, зберегти базовий варіант без застосування цього методу й зафіксувати як середню ефективність, так і серйозність окремих помилок.

Змініть одне припущення у прикладі дисбалансу класів і повторіть аналіз. Вилучіть обов’язковий вхідний параметр, додайте суперечливий сигнал, обмежте обчислювальні ресурси, змініть сукупність користувачів або змусьте систему утриматися від відповіді. Якщо механізм спрацьовує лише в межах однієї ретельно підготовленої демонстрації, це ще не доводить, що він узагальнюється на робоче середовище.

Цільовий дисбаланс і найпоширеніше спрощення

Дисбаланс класів часто зводять до збалансованого набору даних із навчального прикладу, який не відповідає реальній поширеності класів. Таке спрощення усуває саму межу, що визначає це поняття. Через це покупці можуть порівнювати непорівнювані продукти, дослідники — перебільшувати значущість результатів експерименту, а оператори — контролювати не ті показники після розгортання.

Порівняння також має визначати одиницю аналізу. У дослідженні дисбалансу класів можуть окремо розглядати модель або алгоритм, тоді як розгорнутий сервіс додає пошук і отримання даних, маршрутизацію, кешування, політики, ідентифікацію, інтерфейси користувача та моніторинг. Два продукти можуть використовувати однаковий ключовий термін, але реалізовувати різні частини цього стека. З’ясуйте, який компонент виконує визначальне перетворення та які інші компоненти потрібні для отримання заявленого результату.

Чому дисбаланс цільових класів важливий для сучасних систем ШІ

Дисбаланс класів важливий сьогодні, адже системи ШІ отримують доступ до більших контекстів, більшої кількості модальностей, більших обчислювальних ресурсів під час виконання, ширшого набору інструментів і тісніше інтегруються з процесами ухвалення рішень в організаціях. За таких умов те, що раніше здавалося суто дослідницькою деталлю, може визначати затримку, безпеку, доступність, екологічні витрати, якість продукту або юридичну відповідальність.

Важливо не те, чи може метод роботи з дисбалансом класів дати один вражаючий результат. Важливо, чи покращує він значущий результат у репрезентативних умовах і чи робить це ефективніше за простішу базову модель. Звітуйте про розподіли, категорії помилок, затримку на високих перцентилях, використання ресурсів і підгрупи, яких це стосується, замість того, щоб зводити всі результати до одного середнього показника.

Обирайте процедури з огляду на структуру даних і вартість рішення. Зберігайте поділ за групами й часом, оцінюйте невизначеність, аналізуйте окремі зрізи даних, фіксуйте остаточні тестові набори й перевіряйте, чи зберігаються переваги, виявлені під час офлайнового тестування, після розгортання. Застосування цих принципів саме до дисбалансу класів робить докази придатними для інших команд: вони зможуть оцінити, чи ймовірно, що заявлена перевага збережеться з іншою моделлю, мовою, апаратною платформою, набором даних, групою користувачів або рівнем толерантності до ризику.

Переваги, які може дати робота з дисбалансом цільових класів

Найвагоміша причина працювати з дисбалансом класів — можливість безпосередньо усунути проблему, на яку він спрямований. Залежно від реалізації це може забезпечити точніше обґрунтування відповідей, достовірніше представлення даних, краще узагальнення, меншу затримку, скорочення переміщення даних у пам’яті, чіткішу підзвітність або безпечнішу межу між пропозицією моделі та реальною дією.

Переваги слід формулювати через рішення та вимірювання. «Більша інтелектуальність» — не критерій прийнятності для роботи з дисбалансом класів. Корисна ціль може визначати рівень помилок у складних випадках, здатність відновлюватися після суперечливих свідчень, витрати на певному перцентилі трафіку, час перевірки людиною, калібрування або відсоток дій, що залишаються в межах установлених повноважень.

Режим збою, що визначає дисбаланс цільових класів

Основне обмеження полягає в тому, що високої точності можна досягти, повністю ігноруючи рідкісний клас. Цю проблему не можна вважати другорядною приміткою, яку додають лише після завершення розробки. Вона має від самого початку визначати збір даних, архітектуру, дозволи, оцінювання, критерії випуску й моніторинг системи з дисбалансом класів.

Засіб контролю дисбалансу класів корисний лише тоді, коли спрацьовує до того, як настануть значні або незворотні наслідки. Визначте найпершу спостережувану ознаку наближення збою, встановіть порогове значення або правило, призначте відповідального та перевірте, чи можна відновити роботу. Залежно від сценарію використання відновлення може означати відмову від відповіді, перехід до простішої системи, запит додаткових доказів, передавання рішення людині, повернення до попередньої версії моделі або повне припинення дії.

План оцінювання дисбалансу цільового класу

Почніть оцінювання дисбалансу класів із формулювання рішення, яке мають обґрунтувати наявні докази. Визначте цільову сукупність, наслідки помилкового результату, інформацію, доступну саме в момент ухвалення рішення, і найпростішу правдоподібну альтернативу. Так ви не дасте бенчмарку перетворитися на самоціль лише тому, що його легко провести.

Для контрольованих порівнянь використовуйте тестовий набір, який не залучали до розробки, а потім перевірте дисбаланс класів у поетапно розгорнутому робочому середовищі. Оцінювання офлайн дає змогу порівнювати варіанти; тіньовий режим, канаркове розгортання, обмеження частоти запитів або етапи погодження показують, як реальний трафік, цикли зворотного зв’язку та люди змінюють поведінку системи. Для етапу розгортання потрібно чітко визначити умову зупинки, а не виходити з припущення, що кожне покращення варте повного запуску.

Щоб відтворити результати для дисбалансу класів, версіонуйте всі потрібні для цього вхідні дані: вихідні дані, попередню обробку, токенізатор або кодер, ваги моделі, конфігурацію, промпт або політику, індекс пошуку, набір для оцінювання, припущення щодо апаратного забезпечення та код обслуговування — залежно від конкретного випадку. Без відстеження походження даних команда не зможе визначити, чи спричинили зміну результату застосований метод, середовище або непомітна зміна в конвеєрі обробки.

Нарешті, запитайте себе, яке спостереження спростувало б твердження, що дисбаланс класів дає користь. Якщо жоден результат не може змінити рішення про впровадження, оцінювання перетворюється на маркетинг. Заздалегідь установлені порогові значення прийнятності та збережений контрольний набір дають змогу перетворити цей процес на отримання доказів.

Що варто з’ясувати перед використанням дисбалансу цільового класу

• Мета: Яке вимірюване вузьке місце має усунути дисбаланс класів?
• Механізм: На якому з п’яти етапів відбувається характерне для цього підходу перетворення?
• Базовий варіант: Як він порівнюється зі збалансованим навчальним набором даних, розподіл класів у якому не відповідає їхній реальній поширеності, або з іншою простішою альтернативою?
• Докази: Які типові, складні, змагальні та підгрупові випадки перевіряли?
• Експлуатація: Які витрати на затримку, пам’ять, обчислення, енергоспоживання, обслуговування та перевірку виникають у масштабі?
• Ризик: Як команда виявить, що високої точності можна досягти, повністю ігноруючи рідкісний клас?
• Відновлення: Чи може система утриматися від відповіді, перейти до резервного варіанта, повернутися до попередньої версії або передати рішення людині до того, як буде завдано шкоди?

Основні джерела для вивчення дисбалансу цільового класу

Авторитетними відправними джерелами щодо компонентів стека ШІ, пов’язаних із дисбалансом класів, є посібник scikit-learn з вибору моделі, правила Google щодо машинного навчання та структура управління ризиками ШІ NIST. Читайте їх разом із документацією до конкретної моделі, набору даних, апаратного забезпечення та юрисдикції. Загальне джерело може пояснити механізм, але лише докази, отримані для конкретного розгортання, можуть підтвердити придатність певної реалізації.

Що варто пам’ятати про дисбаланс цільового класу

Дисбаланс класів — це чітко визначений механізм у межах ширшої соціотехнічної системи. Його цінність полягає в поліпшенні конкретного результату за чітко визначених умов, а не в самій назві. Карта з п’яти етапів показує рух інформації, порівняння визначає, чим цей підхід не є, а схема контролю вказує, де відповідальний оператор може втрутитися.

Практичне правило щодо дисбалансу класів: визначте мету, порівняйте підхід із правдоподібним базовим варіантом, перевірте найважливіший сценарій збою та збережіть докази, потрібні для відстеження змін. Якщо все це враховано, концепція стає інженерним і управлінським рішенням, яке можна оцінити. Без цього вона залишається багатообіцяючою назвою, за якою приховується невідомий експлуатаційний ризик.