Спільні припущення щодо збоїв машинного навчання можуть бути неправильними

Глибокі нейронні мережі є одним з найфундаментальніших аспектів штучного інтелекту (AI), оскільки вони використовуються для обробки зображень і даних через математичне моделювання. Вони відповідають за деякі з найбільших досягнень у галузі, але вони також збоїють різними способами. Ці збої можуть мати або малий чи відсутній вплив, такий як просте неправильне визначення, або більш драматичний і смертельний, такий як збій системи самохідних транспортних засобів.

Нові дослідження, проведені в Університеті Х’юстона, свідчать про те, що наші спільні припущення щодо цих збоїв можуть бути неправильними, що може допомогти оцінити надійність мереж у майбутньому.

Ця стаття була опублікована в Nature Machine Intelligence у листопаді.

«Ворожі приклади»

Машинне навчання та інші види AI є важливими у багатьох секторах і завданнях, таких як банківська справа та системи кібербезпеки. За словами Кемерона Бакнера, асоційованого професора філософії в Університеті Х’юстона, необхідно розуміти збої, викликані «ворожими прикладами». Ці ворожі приклади відбуваються, коли система глибокої нейронної мережі неправильно оцінює зображення та інші дані, коли вона зустрічає інформацію поза тренувальними даними, які були використані для розробки мережі.

Ворожі приклади є рідкісними, оскільки їх часто створюють або виявляють інші мережі машинного навчання.

«Деякі з цих ворожих подій можуть бути артефактами, і нам потрібно краще знати, що вони є, щоб знати, наскільки надійні ці мережі», – написав Бакнер.

Бакнер каже, що збій може бути викликаний взаємодією між справжніми моделями та тим, що мережа намагається обробити, тобто це не повна помилка.

Моделі як артефакти

«Розуміння наслідків ворожих прикладів вимагає дослідження третьої можливості: що деякі з цих моделей є артефактами», – сказав Бакнер. «Таким чином, зараз є як витрати на просте видалення цих моделей, так і небезпеки їх використання наївно».

Хоча це не завжди так, умисне зловживання є найбільшим ризиком щодо цих ворожих подій, які викликають збої машинного навчання.

«Це означає, що зловмисні актори можуть обманути системи, які покладаються на інакше надійну мережу», – сказав Бакнер. «Це має безпекові застосування».

Це може бути хакерським проникненням у систему безпеки, засновану на технології розпізнавання облич, або неправильно позначеними дорожніми знаками, щоб заплутати автономні транспортні засоби.

Інші попередні дослідження показали, що деякі з ворожих прикладів є природними, тобто відбуваються, коли система машинного навчання неправильно тлумачить дані через непередбачувану взаємодію, яка відрізняється від помилок у даних. Ці природні приклади є рідкісними, і зараз єдиний спосіб їх виявлення – через AI.

Однак Бакнер каже, що дослідникам потрібно переосмислити свої підходи до аномалій.

Ці аномалії, або артефакти, пояснюються Бакнером за допомогою аналогії з лінзовим блиском на фотографії, який не викликаний дефектом об’єктива, а взаємодією світла з камерою.

Якщо ви знаєте, як інтерпретувати лінзовий блиск, можна витягнути важливу інформацію, наприклад, місце розташування сонця. Через це Бакнер вважає, що можна витягнути рівноцінну інформацію з несприятливих подій у машинному навчанні, викликаних артефактами.

Бакнер також каже, що все це не означає, що глибоке навчання не є дійсним.

«Деякі з цих ворожих подій можуть бути артефактами», – сказав він. «Нам потрібно знати, що ці артефакти є, щоб знати, наскільки надійні ці мережі».