Системи штучного інтелекту можуть віддавати перевагу людській мові над числовими даними

Нові дослідження з Колумбійського університету інженерії свідчать про те, що системи штучного інтелекту (AI) віддають перевагу людській мові над числовими даними, такими як 1 і 0. Нові дослідження проводилися професором механічної інженерії Ходом Ліпсоном і аспірантом Боюаном Ченом, і вони показали, що системи штучного інтелекту можуть досягти вищого рівня продуктивності, якщо вони програмуються за допомогою звукових файлів людської мови.

У порівняльному аналізі дослідники виявили, що нейронна мережа, навчена за допомогою звукових файлів, досягла вищого рівня продуктивності при розпізнаванні об’єктів порівняно з іншою мережею, програмованою за допомогою простих двійкових входів.

Ліпсон є професором Джеймса і Саллі Скапи в галузі інновацій і членом Інституту даних Колумбійського університету.

“Щоб зрозуміти, чому це відкриття є важливим, корисно зрозуміти, як зазвичай програмуються нейронні мережі, і чому використання звуку людського голосу є радикальним експериментом”, – сказав він.

Використання двійкових чисел компактне і точне, тоді як людська мова є більш складною і не-двійковою, коли вона захоплюється в цифровому файлі. Програмісти зазвичай не відхиляються від чисел при розробці нейронної мережі, оскільки це дуже ефективно.

Команда розпочала це дослідження після того, як подумала, що нейронні мережі не досягають свого повного потенціалу, і вони вважали, що вони можуть бути швидшими і кращими, якщо вони будуть навчені за допомогою людського голосу і конкретних слів.

Навчання мереж

Коли дослідники штучного інтелекту тестують новий метод машинного навчання, вони часто навчають нейронну мережу розпізнавати конкретні об’єкти і тварин у колекції фотографій.

Команда, до якої входили Чен, Ліпсон, Ю Лі і Сьюзен Рагупаті, створила контрольований експеримент для перевірки своєї гіпотези, і вони створили дві нові нейронні мережі. Вони вирішили навчити їх розпізнавати 10 різних типів об’єктів серед 50 000 фотографій, так званих “тренувальних зображень”.

Одна з систем штучного інтелекту була навчена традиційним способом за допомогою числових значень, тоді як експериментальна нейронна мережа була навчена зовсім інакше. Їй була надана таблиця даних з рядками, що містять фотографію тварини або об’єкта, і другий стовпець мав аудіофайл людського голосу, який вимовляв слово для тварини або об’єкта. Там не було жодних 1 і 0, пов’язаних з експериментальною мережею.

Обидві системи штучного інтелекту були навчені протягом загального часу – 15 годин. Результати показали, що оригінальна мережа відповіла серією з десяти 1 і 0, тоді як експериментальна нейронна мережа виробила голос, який явно намагався “сказати”, який об’єкт зображено на фотографії. Хоча оригінальний голос не був зрозумілим, він врешті-решт досяг точки, коли був майже правильним.

Обидві мережі працювали майже однаково добре, розпізнавши тварину або об’єкт правильно 92% часу. Дослідники потім вирішили повторно провести експеримент, але цього разу вони використали менше фотографій під час процесу.

Традиційна мережа працювала погано через нестачу даних, як це можна було очікувати, впавши до близько 35% точності. Однак експериментальна мережа працювала вдвічі краще, з 70% точністю, незважаючи на те, що мала менше даних.

https://www.youtube.com/watch?v=Iq2YjHCAPRQ

Несподівані результати

Наступного разу команда використала складніші зображення, такі як пошкоджене зображення собаки. Навіть з цими складнішими зображеннями нейронна мережа, навчена за допомогою голосу, була правильною близько 50% часу, тоді як традиційна мережа була правильною лише 20% часу.

Боюан Чен є головним дослідником цього дослідження.

“Наші висновки прямих протирічать тому, як багато експертів були навчені думати про комп’ютери і числа; це поширене припущення, що двійкові входи є більш ефективним способом передачі інформації машині, ніж аудіопотоки подібної інформації ‘багатства’,” – пояснив Чен. “Насправді, коли ми подали це дослідження на велику конференцію з штучного інтелекту, один анонімний рецензент відхилив нашу статтю просто тому, що він відчував, що наші результати були просто ‘занадто несподіваними і неінтуїтивними’.”

“Якщо ви подумаєте про те, що людська мова проходить процес оптимізації протягом десятків тисяч років, то це має сенс, що наші вимовлені слова знайшли добру рівновагу між шумом і сигналом”, – сказав Ліпсон. “Отже, коли дивитися на це через призму ентропії Шеннона, це має сенс, що нейронна мережа, навчена за допомогою людської мови, перевершує нейронну мережу, навчену за допомогою простих 1 і 0.”

Дослідження буде представлено на Міжнародній конференції з вивчення представлень 3 травня 2021 року.

“Ми повинні думати про використання нових і кращих способів навчання систем штучного інтелекту, а не збору більших наборів даних”, – сказав Чен. “Якщо ми переосмислимо, як ми представляємо навчальні дані машині, ми могли б зробити кращу роботу як учителі.”

“Одна з найбільших загадок людської еволюції полягає в тому, як наші предки придбали мову, і як діти вчаться говорити так легко”, – додає Ліпсон. “Якщо людські малюки вчаться найкраще за допомогою повторюваних усних інструкцій, то, можливо, системи штучного інтелекту також можуть.”