Діагностика розладів психічного здоров’я за допомогою оцінки виразів обличчя штучним інтелектом

Дослідники з Німеччини розробили метод ідентифікації психічних розладів на основі виразів обличчя, інтерпретованих комп’ютерним зором.

Новий підхід не тільки може відрізняти осіб без розладів від тих, хто їх має, але також правильно відрізняє депресію від шизофренії, а також ступінь, в якій пацієнт зараз постраждав від захворювання.

Дослідники надали композитне зображення, яке представляє контрольну групу для їхніх тестів (зліва на зображенні нижче) і пацієнтів, які страждають від психічних розладів (праворуч). Ідентичності кількох людей змішані в представленні, і жодне зображення не зображує окрему особу:

Source: https://arxiv.org/pdf/2208.01369.pdf

Особи з афективними розладами мають тенденцію мати підняті брови, важкий погляд, опухлі обличчя та вирази рота, схожі на вирази собаки. Для захисту конфіденційності пацієнтів ці композитні зображення є єдиними, які надаються на підтримку нової роботи.

До цього часу розпізнавання виразів обличчя було в основному використано як потенційний інструмент для базової діагностики. Новий підхід, однак, пропонує можливий метод оцінки прогресу пацієнта протягом лікування або, можливо, (хоча це не згадується в статті) у їхньому домашньому середовищі для амбулаторного моніторингу.

У статті зазначено*:

‘Перейшовши за межі діагностики депресії в афективному комп’ютерному зорі, яке було розроблено в попередніх дослідженнях, ми показуємо, що вимірюваний афективний стан, оцінений за допомогою комп’ютерного зору, містить набагато більше інформації, ніж чиста категоріальна класифікація.’

Дослідники назвали цю техніку Опто-Електронна Енцефалографія (ОЕГ), цілком пасивний метод висновку про психічний стан за допомогою аналізу зображень обличчя замість топікальних сенсорів або медичної візуалізації на основі променів.

Автори висновують, що ОЕГ потенційно може бути не тільки допоміжним засобом для діагностики та лікування, але й у довгостроковій перспективі потенційною заміною певних оцінювальних частин процесу лікування, і що це може скоротити час, необхідний для моніторингу пацієнтів та первинної діагностики. Вони зазначають:

‘Загалом, результати, передбачені машиною, показують кращу кореляцію порівняно з чистим клінічним спостереженням за допомогою питань і також є об’єктивними. Відносно короткий період вимірювання декількох хвилин для підходів комп’ютерного зору також є помітним, тоді як іноді для клінічних інтерв’ю потрібні години.’

Однак, автори підкреслюють, що догляд за пацієнтами в цій сфері є багатомодальним, з багатьма іншими індикаторами стану пацієнта, ніж тільки їхні вирази обличчя, і що ще зарано вважати, що така система могла б повністю замінити традиційні підходи до психічних розладів. Тим не менш, вони вважають ОЕГ перспективною допоміжною технологією, особливо як метод оцінки впливу фармакологічного лікування в режимі пацієнта.

Стаття названа Обличчя афективних розладів, і походить від восьми дослідників з широкого спектра установ з приватного та публічного медичного дослідницького сектора.

Дані

(Нова стаття в основному займається різними теоріями та методами, які зараз популярні в діагностиці пацієнтів з психічними розладами, з меншою увагою до фактичних технологій та процесів, використаних у тестах та експериментах)

Збір даних відбувся в Університетській лікарні в Аахені, з 100 пацієнтами, балансированими за статтю, і контрольною групою з 50 осіб без розладів. Пацієнти включали 35 осіб з шизофренією та 65 осіб з депресією.

Для частини тестової групи пацієнтів початкові вимірювання проводилися під час першої госпіталізації, а друге – перед випискою з лікарні, охоплюючи середній інтервал у 12 тижнів. Учасники контрольної групи були набрані довільно з місцевого населення, з їхнім власним введенням і “випискою”, що повторює те ж саме, що й у реальних пацієнтів.

По суті, найважливішою “правдою” для такого експерименту повинні бути діагнози, отримані затвердженими та стандартними методами, і це було випадком для випробувань ОЕГ.

Однак, стадія збору даних отримала додаткові дані, більш придатні для інтерпретації машиною: інтерв’ю, що тривали в середньому 90 хвилин, були захоплені протягом трьох фаз з веб-камери Logitech c270, що працює з частотою 25 кадрів в секунду.

Перша сесія складалася зі стандартного інтерв’ю Гамільтона (на основі досліджень, що походять з 1960 року), як би це було зазвичай під час прийому. На другому етапі, незвично, пацієнти (та їхні аналоги в контрольній групі) були показані відео серії виразів обличчя, і просили повторити кожен з них, одночасно оцінюючи свій власний стан та інтенсивність емоцій на той час, включаючи емоційний стан. Цей етап тривав близько десяти хвилин.

На третьому та останньому етапі учасники були показані 96 відео акторів, тривалістю трохи понад десять секунд кожне, які, як видається, розповідають про інтенсивні емоційні переживання. Учасники були потім просені оцінити емоцію та інтенсивність, представлені у відео, а також свої власні відповідні відчуття. Цей етап тривав близько 15 хвилин.

Метод

Щоб отримати середнє значення захоплених облич (див. перше зображення вище), емоційні орієнтири були захоплені за допомогою фреймворку EmoNet. Подальше співвідношення між формою обличчя та середньою (середньою) формою обличчя було визначено за допомогою поступової афінної трансформації.

Розпізнавання емоцій і передбачення погляду очей проводилися на кожному сегменті орієнтирів, визначеному на попередньому етапі.

На цьому етапі аудіо-інференція емоцій вказала на те, що момент навчання прийшов у психічному стані пацієнта, і завдання полягало в тому, щоб захопити відповідне зображення обличчя та розвинути цю розмірність та область його афективного стану.

(У відео вище ми бачимо роботу, розроблену авторами технологій розпізнавання емоцій, використаних дослідниками для нової роботи).

Форма геодезичного матеріалу була обчислена для кожного кадру даних, і застосовувалася Singular Value Decomposition (SVD) для зменшення розмірності. Результатуючий часовий ряд даних був моделізований як VAR-процес, і потім далі зменшувався за допомогою SVD перед MAP-адаптацією.

Workflow for the geodesic reduction process.

Валентність і збудження в мережі EmoNet також були оброблені аналогічним чином з моделюванням VAR і послідовним ядерним розрахунком.

Експерименти

Як пояснювалося раніше, нова робота в основному є медичною дослідницькою статтею, а не стандартною статтею з комп’ютерного зору, і ми посилаємо читача на статтю для глибокого висвітлення різноманітних експериментів ОЕГ, проведених дослідниками.

Тим не менш, щоб підсумувати вибір з них:

Сигнали афективних розладів

Тут 40 учасників (не з контрольної групи чи пацієнтів) були просені оцінити оцінені середні обличчя (див. вище) щодо ряду питань, без інформування про контекст даних. Питання були:

Яка стать цих осіб?
Чи мають ці обличчя привабливий вигляд?
Чи є ці особи довірливими?
Як ви оцінюєте здатність цих осіб діяти?
Яка емоція цих осіб?
Яка шкіра цих осіб?
Який погляд цих осіб?
Чи мають ці особи опущені куточки рота?
Чи мають ці особи підняті брови?
Чи є ці особи клінічними пацієнтами?

Дослідники виявили, що ці сліпі оцінки корелювали з зареєстрованим станом оброблених даних:

Box plot results for the ‘mean face’ survey.

Клінічна оцінка

Щоб оцінити корисність ОЕГ на початковому етапі оцінки, дослідники спочатку оцінили, наскільки ефективна стандартна клінічна оцінка сама по собі, вимірюючи рівні покращення між індукцією та другим етапом (на якому пацієнт зазвичай отримує лікування за допомогою ліків.

Дослідники висновують, що статус і тяжкість симптомів можна досить добре оцінити за допомогою цього методу, досягнувши кореляції 0,82. Однак точна діагностика депресії чи шизофренії виявилася більш складною, з стандартним методом, який отримав оцінку лише -0,03 на цьому ранньому етапі.

Автори коментують:

‘По суті, стан пацієнта можна відносно добре визначити за допомогою звичайних питань. Однак це майже все, що можна зробити з цього висновку. Чи є людина депресивною, чи радше шизофренічною, не вказується. Те ж саме стосується реакції на лікування.’

Результати від машинного процесу були здатні отримати вищі оцінки в цій проблемній області, і порівнянні оцінки для первинної оцінки пацієнта:

Higher numbers are better. On the left, standard interview-based evaluation accuracy results across four phases of the testing architecture; on the right, machine-based results.

Діагностика розладів

Визначення депресії від шизофренії за допомогою статичних зображень обличчя не є тривіальною справою. За допомогою перекрестної валідации машинний процес був здатний отримати високі оцінки точності на різних етапах випробувань:

У інших експериментах дослідники були здатні продемонструвати докази того, що ОЕГ може сприймати покращення пацієнта через фармакологічне лікування, і загальне лікування розладу:

‘Кавзальна інференція над емпіричними знаннями збору даних коригувала фармакологічне лікування для спостереження повернення до фізіологічної регуляції динаміки обличчя. Таке повернення не могло бути спостережено під час клінічного призначення.

‘На даний момент неясно, чи такий машинний підхід дійсно призведе до значно кращого успіху терапії. Особливо тому, що відомо, які побічні ефекти можуть мати ліки за тривалий період часу.

‘Однак, такі пацієнт-орієнтовані підходи зламають бар’єри звичайної категоріальної схематичної класифікації, яка все ще домінує в повсякденному житті.’

* Моє перетворення вбудованих цитат авторів у гіперпосилання.

Опубліковано вперше 3 серпня 2022 року.