Охорона здоров’я
Моделі штучного інтелекту, навчені на даних з упередженням щодо статі, гірше діагностують захворювання
Додайте Unite.AI до бажаних джерел у Google
Нещодавно було опубліковано дослідження в журналі PNAS, проведене дослідниками з Аргентини, яке свідчить про те, що наявність упереджених даних у процесі навчання моделей штучного інтелекту призводить до гірших результатів діагностики захворювань та інших медичних проблем. За повідомленням Statnews, команда дослідників експериментувала з навчанням моделей, у яких жінки-пацієнти були значно підrepresented або зовсім відсутні, і виявила, що алгоритм працював значно гірше при діагностиці жінок. Те саме стосувалося випадків, коли чоловіки-пацієнти були виключені або підrepresented.
За останні п’ять років, коли моделі штучного інтелекту та машинного навчання стали все більш поширеними, увага дослідників все більше зосереджується на проблемах упереджених даних та моделей машинного навчання, які з них виникають. Упередженість даних у машинному навчанні може привести до незручних, соціально шкідливих та ексклюзивних застосувань штучного інтелекту, але коли мова йде про медичні застосування, життя людей можуть бути під загрозою. Однак, попри знання про проблему, небагато досліджень намагалися кількісно оцінити, наскільки шкідливими можуть бути упереджені дані. Дослідження, проведене командою дослідників, показало, що упередженість даних може мати більш екстремальні наслідки, ніж багато експертів раніше вважали.
Одним з найпопулярніших застосувань штучного інтелекту в медичному контексті за останні кілька років є використання моделей штучного інтелекту для діагностики пацієнтів на основі медичних зображень. Команда дослідників проаналізувала моделі, які використовуються для виявлення різних медичних станів, таких як пневмонія, кардіомегалія або грыжа, на рентгенівських зображеннях. Команда дослідників вивчила три відкриті архітектури моделей: Inception-v3, ResNet і DenseNet-121. Моделі були навчені на рентгенівських зображеннях грудної клітки, взяті з двох відкритих наборів даних Стенфордського університету та Національних інститутів охорони здоров’я. Хоча самі дані досить збалансовані щодо статевого представництва, дослідники штучно створили упередженість даних, розділивши їх на підмножини з різним статевим представництвом.
Команда дослідників створила п’ять різних навчальних наборів даних, кожен з яких складався з різних пропорцій сканів чоловіків-пацієнтів і жінок-пацієнтів. П’ять навчальних наборів були розділені наступним чином:
- Всі зображення були чоловічими пацієнтами
- Всі зображення були жіночими пацієнтами
- 25% чоловіків-пацієнтів і 75% жінок-пацієнтів
- 75% жінок-пацієнтів і 25% чоловіків-пацієнтів
- Половина чоловіків-пацієнтів і половина жінок-пацієнтів
Після того, як модель була навчена на одному з піднаборів, її тестували на колекції сканів як чоловіків-пацієнтів, так і жінок-пацієнтів. Був помітний тренд, який був присутній у різних медичних станах, точність моделей була значно гірше, коли навчальні дані були суттєво упереджені щодо статі. Цікаво відзначити, що якщо одна стать була надrepresentована в навчальних даних, ця стать не отримувала жодної вигоди від надrepresentації. Незалежно від того, чи була модель навчена на даних, упереджених щодо однієї статі чи іншої, вона не працювала краще на цій статі порівняно з тим, коли вона була навчена на інклюзивному наборі даних.
Старший автор дослідження, Енцо Ферранте, був процитований Statnews як пояснює, що дослідження підкреслює важливість того, щоб навчальні дані були різноманітними та представницькими для всіх популяцій, яких ви плануєте тестувати.
Не зовсім зрозуміло, чому моделі, навчені на одній статі, працюють гірше, коли застосовуються до іншої статі. Деякі розбіжності можуть бути обумовлені фізіологічними відмінностями, але різні соціальні та культурні чинники також можуть пояснювати деякі відмінності. Наприклад, жінки можуть отримувати рентгенівські зображення на іншій стадії прогресії захворювання порівняно з чоловіками. Якщо це правда, це може вплинути на особливості (і, відповідно, на закономірності, вивчені моделлю) у навчальних зображеннях. Якщо це так, то це робить дуже складним для дослідників деупереджувати свої дані, оскільки упередженість буде закладена в дані через механізми збору даних.
Дажи дослідники, які уважно ставляться до різноманітності даних, іноді не мають іншого вибору, окрім роботи з даними, які є упередженими або перекошеними. Ситуації, коли існує розбіжність у діагностиці медичних станів, часто призводять до дисбалансу даних. Наприклад, дані про пацієнтів з раком молочної залози几乎 повністю зібрані з жінок. Аналогічно, аутизм проявляється по-різному у жінок і чоловіків, і внаслідок цього стан діагностується у хлопчиків у значно вищій кількості, ніж у дівчат.
Відтак, дуже важливо, щоб дослідники контролювали упереджені дані та упередженість даних будь-яким можливим способом. У цьому напрямку майбутні дослідження допоможуть дослідникам кількісно оцінити вплив упереджених даних.
