Дослідники використовують ШІ, щоб дослідити, чим відображення відрізняються від оригінальних зображень

Дослідники з Корнельського університету нещодавно використали системи машинного навчання, щоб дослідити, чим відображення зображень відрізняються від оригінальних зображень. Як повідомляє ScienceDaily, алгоритми, створені командою дослідників, виявили ознаки, відмінності від оригінального зображення, те, що зображення було перевернуто або відображено.

Доцент кафедри інформатики Cornell Tech, Ноа Сневлі, був старшим автором дослідження. За словами Снавлі, дослідницький проект розпочався, коли дослідники заінтригувалися тим, як зображення відрізняються як очевидними, так і непомітними способами, коли вони відображаються. Снавлі пояснив, що навіть речі, які на перший погляд здаються дуже симетричними, зазвичай можна розрізнити як відображення під час вивчення. Я заінтригований відкриттями, які ви можете зробити за допомогою нових способів збору інформації», — сказав Сневлі, повідомляє ScienceDaily.

Дослідники зосередилися на зображеннях людей, використовуючи їх для навчання своїх алгоритмів. Це було зроблено тому, що обличчя не здаються явно асиметричними. Як повідомляється, під час навчання на даних, які відрізняли перевернуті зображення від оригінальних зображень, ШІ досяг точності від 60% до 90% для різних типів зображень.

Багато візуальних ознак перевернутого зображення, які дізнався штучний інтелект, є досить тонкими, і людям їх важко розрізнити, коли вони дивляться на перевернуті зображення. Щоб краще інтерпретувати особливості, які ШІ використовував для розрізнення перевернутих і оригінальних зображень, дослідники створили теплову карту. Теплова карта показувала області зображення, на яких ШІ намагався зосередитися. За словами дослідників, однією з найпоширеніших підказок, які ШІ використовував для розрізнення перевернутих зображень, був текст. Це було несподівано, і дослідники видалили зображення з текстом зі своїх тренувальних даних, щоб отримати краще уявлення про більш тонкі відмінності між перевернутими та оригінальними зображеннями.

Після того, як зображення, що містять текст, були виключені з навчального набору, дослідники виявили, що класифікатор штучного інтелекту зосередився на таких характеристиках зображень, як абоненти у сорочках, мобільні телефони, наручні годинники та обличчя. Деякі з цих функцій мають очевидні, надійні шаблони, які ШІ може відточити, як-от той факт, що люди часто носять мобільні телефони в правій руці, а кнопки на комірах сорочок часто розташовані ліворуч. Однак риси обличчя, як правило, дуже симетричні, а відмінності невеликі, і їх дуже важко помітити людині.

Дослідники створили ще одну теплову карту, яка виділяла області облич, на яких ШІ зосереджувався. ШІ часто використовував очі, волосся та бороду людей, щоб виявити перевернуті зображення. З незрозумілих причин люди часто дивляться трохи ліворуч, коли їх фотографують. Щодо того, чому волосся та борода є ознаками перевернутих зображень, дослідники не впевнені, але вони припускають, що ручність людини може бути виявлена ​​за тим, як вона голиться чи розчісується. Хоча ці індикатори можуть бути ненадійними, об’єднавши кілька індикаторів разом, дослідники можуть досягти більшої впевненості та точності.

Потрібно буде провести додаткові дослідження в цьому напрямку, але якщо результати будуть послідовними та надійними, це може допомогти дослідникам знайти більш ефективні способи навчання алгоритмів машинного навчання. ШІ комп’ютерного зору часто навчають за допомогою відображень зображень, оскільки це ефективний і швидкий спосіб збільшення обсягу доступних навчальних даних. Цілком можливо, що аналіз того, чим відображені зображення відрізняються, може допомогти дослідникам машинного навчання отримати краще розуміння упереджень, присутніх у моделях машинного навчання, через які вони можуть неточно класифікувати зображення.

Як і був Сневлі цитує ScienceDaily:

«Це призводить до відкритого питання для спільноти комп’ютерного бачення, яке полягає в тому, коли можна робити це перевертання, щоб збільшити свій набір даних, а коли ні? Я сподіваюся, що це змусить людей більше думати про ці питання та почати розробляти інструменти, щоб зрозуміти, як це зміщує алгоритм».