Дослідники використовують ІІ для вивчення того, як відбитки відрізняються від оригінальних зображень

Дослідники з Корнельського університету недавно використали системи машинного навчання для вивчення того, як відбитки зображень відрізняються від оригінальних зображень. За повідомленням ScienceDaily, алгоритми, створені командою дослідників, виявили, що існують певні ознаки, відмінності від оригінального зображення, які вказують на те, що зображення було перевернуте або відбите.

Асоційований професор комп’ютерних наук у Корнельському технологічному інституті Ноа Снавелі був старшим автором дослідження. За словами Снавелі, дослідницький проєкт розпочався, коли дослідники стали цікавитися тим, як зображення відрізняються як очевидними, так і тонкими способами, коли вони відбиті. Снавелі пояснив, що навіть речі, які спочатку здаються дуже симетричними, зазвичай можна відрізнити як відбиток при більш ретельному вивченні. “Мене цікавлять відкриття, які можна зробити за допомогою нових способів отримання інформації”, – сказав Снавелі за повідомленням ScienceDaily.

Дослідники зосередилися на зображеннях людей, використовуючи їх для навчання своїх алгоритмів. Це було зроблено тому, що обличчя людей не здаються очевидно асиметричними. Коли алгоритми були навчені на даних, які відрізняли перевернуті зображення від оригінальних, штучний інтелект досяг точності від 60% до 90% для різних типів зображень.

Багато візуальних ознак перевернутого зображення, які вивчив штучний інтелект, досить тонкі і важко розрізняються людьми при розгляді перевернутих зображень. Для кращого розуміння ознак, які штучний інтелект використовував для відрізнення перевернутих і оригінальних зображень, дослідники створили теплову карту. Теплова карта показала області зображення, на які штучний інтелект зазвичай зосереджувався. За словами дослідників, однією з найпоширеніших ознак, яку штучний інтелект використовував для відрізнення перевернутих зображень, була текст. Це було не дивно, і дослідники видалили зображення, що містять текст, з набору даних для навчання, щоб краще зрозуміти більш тонкі відмінності між перевернутими і оригінальними зображеннями.

Після видалення зображень, що містять текст, з набору даних для навчання дослідники виявили, що класифікатор штучного інтелекту зосереджувався на особливостях зображень, таких як кнопки на сорочках, мобільні телефони, годинники і обличчя. Деякі з цих особливостей мають очевидні, надійні закономірності, на які штучний інтелект може зосередитися, такі як те, що люди часто тримають мобільні телефони в правій руці, і те, що кнопки на сорочках зазвичай розташовані зліва. Однак особливості обличчя зазвичай дуже симетричні, з малими відмінностями, які дуже важко виявити людині.

Дослідники створили іншу теплову карту, яка виділяла області обличчя, на які штучний інтелект зазвичай зосереджувався. Штучний інтелект часто використовував очі, волосся і бороди людей для виявлення перевернутих зображень. Причина, з якої люди часто трохи повертають голову вліво під час фотографування, неясна. Що стосується того, чому волосся і борода є ознаками перевернутих зображень, дослідники не впевнені, але вони припускають, що праворукість людини може бути виявлена тим, як вона голиться або чеше волосся. Хоча ці ознаки можуть бути ненадійними, поєднуючи кілька ознак разом, дослідники можуть досягти більшої впевненості і точності.

Необхідно провести подальші дослідження в цьому напрямку, але якщо результати будуть послідовними і надійними, то це може допомогти дослідникам знайти більш ефективні способи навчання алгоритмів машинного навчання. Штучний інтелект комп’ютерного зору часто навчається за допомогою відбитків зображень, оскільки це ефективний і швидкий спосіб збільшення кількості доступних даних для навчання. Можливо, аналіз того, як відбиті зображення відрізняються, допоможе дослідникам машинного навчання краще зрозуміти упередження, присутні в моделях машинного навчання, які можуть призвести до неправильної класифікації зображень.

Як сказав Снавелі, як повідомляє ScienceDaily:

“Це призводить до відкритого питання для спільноти комп’ютерного зору, яке полягає в тому, коли можна робити це перевертання для збільшення набору даних, а коли це не можна робити? Я сподіваюся, що це змусить людей більше думати про ці питання і почати розробляти інструменти для розуміння того, як це впливає на алгоритм.”