Нора Петрова, інженер машинного навчання та консультант з питань штучного інтелекту в Prolific – Серія інтерв’ю

Нора Петрова – інженер машинного навчання та консультант з питань штучного інтелекту в Prolific. Prolific було засновано у 2014 році, і вже зараз до його клієнтів належать організації, такі як Google (GOOGL ), Стенфордський університет, Оксфордський університет, Лондонський королівський коледж та Європейська комісія, які використовують мережу учасників для тестування нових продуктів, навчання моделей штучного інтелекту в таких областях, як відстеження очей, та визначення того, чи працюють їхні програми штучного інтелекту, орієнтовані на людей, так, як їх творці мали на меті.

Будь ласка, поділіться інформацією про свій досвід роботи в Prolific та свою кар’єру на даний момент. Що вас зацікавило в штучному інтелекті?

Моя робота в Prolific розділена між роллю радника щодо випадків використання штучного інтелекту та можливостями, а також роллю інженера машинного навчання. Я розпочав свою кар’єру в галузі програмної інженерії та поступово перейшов до машинного навчання. Останні 5 років я присвятив переважно випадкам використання обробки природної мови та проблемам.

То, що спочатку зацікавило мене в штучному інтелекті, – це можливість навчатися на даних та зв’язок з тим, як ми, люди, вчимося, та як наша свідомість структурована. Я вважаю, що машинне навчання та нейробіологія можуть доповнювати один одного та допомогти нам краще зрозуміти, як будувати системи штучного інтелекту, які здатні орієнтуватися у світі, демонструвати креативність та приносити користь суспільству.

Які з найбільших проблем біасу штучного інтелекту ви особисто знаєте?

Біас вбудований у дані, які ми вводимо до моделей штучного інтелекту, і повністю видалити його дуже складно. Однак важливо, щоб ми були свідомі біасів, які містяться в даних, та знайшли способи пом’якшити шкідливі види біасів до того, як ми доручимо моделям важливі завдання в суспільстві. Найбільші проблеми, з якими ми стикаємося, – це моделі, які підтримують шкідливі стереотипи, системні упередження та несправедливості в суспільстві. Ми повинні бути обережними щодо того, як ці моделі штучного інтелекту будуть використовуватися та яким впливом вони будуть на своїх користувачів, та забезпечити, щоб вони були безпечними до затвердження їх для чутливих випадків використання.

Деякі видатні області, в яких моделі штучного інтелекту виявили шкідливі біаси, включають дискримінацію недопредставлених груп у школі та університетських прийманнях, а також негативний вплив гендерних стереотипів на прийняття жінок на роботу. Окрім цього, алгоритм кримінального правосуддя був визнаний таким, що помилково позначив афроамериканських обвинувачених як “високоризикові” майже вдвічі частіше, ніж помилково позначив білих обвинувачених у США, тоді як технологія розпізнавання облич все ще страждає від високих рівнів помилок для меншин через відсутність представницьких навчальних даних.

Приклади вище охоплюють лише малий розділ біасів, продемонстрованих моделями штучного інтелекту, і ми можемо передбачити більші проблеми, які виникнуть у майбутньому, якщо ми не зосередимося на пом’якшенні біасу зараз. Важливо пам’ятати, що моделі штучного інтелекту вчаться на даних, які містять ці біаси через прийняття рішень людиною, під впливом неперевірених та несвідомих біасів. У багатьох випадках звернення до людини-рішення не може усунути біас. Справжнє пом’якшення біасів буде涉нувати розуміння того, як вони присутні в даних, які ми використовуємо для навчання моделей, ізоляцію факторів, які внесли свій внесок у упереджені передбачення, та колективне рішення про те, на чому ми хочемо базувати важливі рішення. Розробка набору стандартів, щоб ми могли оцінювати моделі на безпеку до їх використання для чутливих випадків, буде важливим кроком вперед.

Галюцинації штучного інтелекту – це величезна проблема будь-якого типу генеративного штучного інтелекту. Чи можете ви обговорити, як навчання з людиною в циклі (HITL) може пом’якшити ці проблеми?

Галюцинації в моделях штучного інтелекту є проблематичними, особливо в тих випадках використання генеративного штучного інтелекту, але важливо відзначити, що вони не є проблемою самі по собі. У певних творчих випадках використання генеративного штучного інтелекту галюцинації є бажаними та сприяють більш творчому та цікавому відповіді.

Вони можуть бути проблематичними в тих випадках використання, де залежність від фактичної інформації є високою. Наприклад, у сфері охорони здоров’я, де надійне прийняття рішень є ключовим, надання медичним працівникам надійної фактичної інформації є важливим.

HITL відноситься до систем, які дозволяють людям надавати прямий відгук моделі для передбачень, які нижче певного рівня впевненості. У контексті галюцинацій HITL можна використовувати для того, щоб допомогти моделям навчатися рівня впевненості, який вони повинні мати для різних випадків використання до виводу відповіді. Ці пороги будуть різними залежно від випадку використання, і навчання моделей різниці в вимогах для відповідей на питання з різних випадків використання буде важливим кроком до пом’якшення проблематичних видів галюцинацій. Наприклад, у юридичному випадку люди можуть продемонструвати моделям штучного інтелекту, що фактологічна перевірка є необхідним кроком при відповідях на питання, засновані на складних юридичних документах з багатьма пунктами та умовами.

Як працівники штучного інтелекту, такі як аннотатори даних, допомагають зменшити потенційні проблеми біасу?

Працівники штучного інтелекту можуть спочатку та головним чином допомогти в ідентифікації біасів, присутніх у даних. Як тільки біас буде ідентифікований, стає легше розробити стратегії пом’якшення. Аннотатори даних також можуть допомогти в розробці способів зменшення біасу. Наприклад, для завдань обробки природної мови вони можуть допомогти, надаючи альтернативні способи формулювання проблемних уривків тексту так, щоб біас, присутній у мові, був зменшений. Крім того, розмаїття працівників штучного інтелекту може допомогти пом’якшити проблеми з біасом у маркуванні.

Як ви забезпечуєте, щоб працівники штучного інтелекту не ненавмисно вводили свої власні людські біаси в систему штучного інтелекту?

Це, безумовно, складна проблема, яка вимагає ретельного розгляду. Видалення людських біасів майже неможливе, і працівники штучного інтелекту можуть ненавмисно вводити свої власні біаси в моделі штучного інтелекту, тому важливо розробити процеси, які направляють працівників до найкращих практик.

Деякі кроки, які можна зробити для мінімалізації людських біасів, включають:

• Комплексне навчання працівників штучного інтелекту щодо несвідомих біасів та надання їм інструментів для ідентифікації та управління своїми власними біасами під час маркування.
• Перелік перевірок, який нагадує працівникам штучного інтелекту перевірити свої власні відповіді перед їхнім поданням.
• Проведення оцінки, яка перевіряє рівень розуміння працівників штучного інтелекту, де їм показують приклади відповідей на різні типи біасів, та запитують їх обрати найменш упереджену відповідь.

Регулятори по всьому світу мають намір регулювати вихід штучного інтелекту, що, на вашу думку, регулятори не розуміють, а що вони роблять правильно?

Важливо почати з того, що це дуже складна проблема, якій ніхто ще не знайшов рішення. Суспільство та штучний інтелект будуть розвиватися та впливати один на одного способами, які дуже складно передбачити. Частина ефективної стратегії для знаходження надійних та корисних регуляторних практик полягає в уважному розгляді того, що відбувається в сфері штучного інтелекту, як люди реагують на нього, та яких ефектів він має на різні галузі.

Я вважаю, що значна перешкода для ефективного регулювання штучного інтелекту полягає в відсутності розуміння того, що можуть робити моделі штучного інтелекту, та як вони працюють. Це, в свою чергу, робить складним точно передбачити наслідки цих моделей для різних секторів та розділів суспільства. Іншою областю, яка не має достатнього розвитку, є лідерство щодо того, як вирівняти моделі штучного інтелекту з людськими цінностями та що таке безпека в більш конкретних термінах.

Регулятори шукали співробітництво з експертами в галузі штучного інтелекту, були обережні, щоб не загальмувати інновації надто суворими правилами щодо штучного інтелекту, та почали розглямати наслідки штучного інтелекту на зміну зайнятості, які є дуже важливими областями уваги. Важливо рухатися обережно, оскільки наші думки щодо регулювання штучного інтелекту уточнюються з часом, та залучати якомога більше людей, щоб підходити до цієї проблеми демократичним шляхом.

Як рішення Prolific можуть допомогти підприємствам у зменшенні біасу штучного інтелекту та інших проблем, які ми обговорювали?

Збір даних для проектів штучного інтелекту не завжди був ретельним або обдуманим процесом. Ми раніше бачили випадки збору даних, аутсорсингу та інших методів. Однак те, як ми тренуємо штучний інтелект, є важливим, і наступні моделі будуть потребувати бути побудованими на свідомо зібраних, високоякісних даних, від реальних людей та тих, з ким у вас є прямий контакт. Саме тут Prolific робить свій внесок.

Інші області, такі як опитування, дослідження ринку або наукові дослідження, дізналися про це давно. Аудиторія, яку ви вибірково використовуєте, має великий вплив на результати, які ви отримуєте. Штучний інтелект починає наздоганяти, і ми зараз находимося на розі.

Зараз час почати дбати про використання кращих вибірок та працювати з більш репрезентативними групами для навчання та уточнення штучного інтелекту. Обидва ці аспекти є критично важливими для розробки безпечних, необізнаних та вирівняних моделей.

Prolific може допомогти надати підприємства інструментами для проведення експериментів зі штучним інтелектом безпечним способом та зібрати дані від учасників, де біас перевірений та пом’якшений на кожному етапі. Ми можемо надати керівництво щодо найкращих практик щодо збору даних, відбору, компенсації та справедливого ставлення до учасників.

Які ваші погляди на прозорість штучного інтелекту? Чи повинні користувачі мати можливість бачити, на яких даних навчена модель штучного інтелекту?

Я вважаю, що є переваги та недоліки прозорості, і хороша рівновага ще не знайдена. Компанії утримують інформацію щодо даних, які вони використовували для навчання своїх моделей штучного інтелекту, через страх перед судовими позовами. Інші працювали над тим, щоб зробити свої моделі штучного інтелекту публічно доступними, та випустили всю інформацію щодо даних, які вони використовували. Повна прозорість відкриває багато можливостей для використання уразливостей цих моделей. Повна секретність не сприяє довірі та участі суспільства в будівництві безпечного штучного інтелекту. Добре середнє значення повинно забезпечити достатню прозорість, щоб засвідчити нам, що моделі штучного інтелекту були навчені на добрій якості відповідних даних, на які ми дали згоду. Ми повинні уважно стежити за тим, як штучний інтелект впливає на різні галузі, та розпочати діалог з зацікавленими сторонами, щоб забезпечити, що ми розробимо практики, які працюють для всіх.

Я вважаю, що також важливо розглянути, що користувачі будуть вважати задовільним щодо пояснюваності. Якщо вони хочуть зрозуміти, чому модель видає певну відповідь, надання їм сурових даних, на яких була навчена модель, наймовірніше, не допоможе у відповіді на їхнє питання. Тому будівництво добрих інструментів пояснюваності та інтерпретації є важливим.

Дослідження вирівнювання штучного інтелекту спрямоване на напрям штучного інтелекту до цілей, переваг або етичних принципів людини. Чи можете ви обговорити, як працівників штучного інтелекту тренують та як це використовується для забезпечення того, що штучний інтелект вирівняний якомога краще?

Це активна область дослідження, і ще немає консенсусу щодо того, які стратегії ми повинні використовувати для вирівнювання моделей штучного інтелекту з людськими цінностями чи навіть яких цінностей ми повинні спрямовувати на вирівнювання.

Працівників штучного інтелекту зазвичай просять автентично представляти свої переваги та відповідати на питання щодо своїх переваг правдиво, одночасно дотримуючись принципів щодо безпеки, відсутності біасу, безшкодності та корисності.

Щодо вирівнювання до цілей, етичних принципів чи цінностей, є кілька підходів, які виглядають перспективними. Одним з помітних прикладів є робота Інституту вирівнювання значень щодо демократичного уточнення. Є чудовий пост, який вводить цю ідею тут.

Дякуємо за чудовий інтерв’ю та за те, що поділилися своїми поглядами на біас штучного інтелекту, читачам, які бажають дізнатися більше, слід відвідати Prolific.