Ендрю Гордон, старший дослідницький консультант, Prolific – Інтерв’ю серія

Ендрю Гордон використовує свій потужний досвід у сфері психології та нейронауки, щоб розкрити нові ідеї як дослідник. З ступенем бакалавра психології, магістра нейропсихології та доктора філософії з когнітивної нейронауки, Ендрю застосовує наукові принципи, щоб зрозуміти мотивацію споживачів, поведінку та процеси прийняття рішень.

Prolific був створений дослідниками для дослідників, з метою запропонувати кращий метод отримання високоякісних даних та відгуків людей для передових досліджень. Сьогодні понад 35 000 дослідників з академічних та промислових кіл покладаються на Prolific AI для збору достовірних даних та відгуків людей. Платформа відома своїми надійними, залученими та справедливо оплачуваними учасниками, з новим дослідженням, яке запускається кожні три хвилини.

Як ви використовуєте свій досвід у сфері когнітивної нейронауки, щоб допомогти дослідникам, які проводять проекти, пов’язані з ІІ?

Хороший початок – визначення того, що таке когнітивна нейронаука. По суті, когнітивна нейронаука досліджує біологічні основи когнітивних процесів. Вона поєднує принципи нейронауки та психології, а іноді й комп’ютерних наук, що допомагає нам зрозуміти, як наш мозок забезпечує різні психічні функції. По суті, кожен, хто займається дослідженнями у сфері когнітивної нейронауки, повинен мати глибоке розуміння методів дослідження та добре розуміти, як люди думають та поводяться. Ці два аспекти є важливими та можуть бути поєднані для розробки та проведення високоякісних досліджень ІІ. Одним із застережень, однак, є те, що дослідження ІІ – це широке поняття; воно може включати все, від фундаментальної підготовки моделей та анотації даних до розуміння того, як люди взаємодіють з системами ІІ. Проведення дослідницьких проектів з ІІ не відрізняється від проведення дослідницьких проектів поза ІІ; вам все одно потрібно добре розуміння методів, розробка досліджень для створення найкращих даних, вибірка для уникнення упередженості та використання цих даних у ефективному аналізі для答案 на будь-яке дослідницьке питання.

Prolific підкреслює етичне ставлення та справедливу оплату учасників. Чи можете ви поділитися ідеями щодо проблем та рішень у підтриманні цих стандартів?

Наша модель оплати розроблена для забезпечення того, щоб учасники були оцінені та винагороджені, відчуваючи, що вони грають значну роль у дослідницькій машині (бо вони це роблять). Ми вважаємо, що справедливе ставлення до учасників та надання їм справедливої ставки оплати мотивує їх глибше займатися дослідженням та, як наслідок, забезпечує краще якість даних.

На жаль, більшість онлайн-платформ збору зразків не дотримуються цих принципів етичної оплати та ставлення. Результатом є учасники, які не мотивовані займатися дослідженням, а швидше намагаються пройти його якомога швидше, щоб максимізувати свій потенціал заробітку, що призводить до низькоякісних даних. Підтримання позиції, яку ми займаємо в Prolific, є складним; ми фактично боремося проти течії. Статус-кво в дослідженнях ІІ та інших формах онлайн-досліджень не зосереджувався на ставленні до учасників чи їхньому благополуччі, а радше на максимізації кількості даних, які можна зібрати за найнижчу ціну.

Складно зробити так, щоб ширша дослідницька спільнота зрозуміла, чому ми обрали цей підхід, та побачила цінність у використанні нас замість конкуруючої платформи. Іншим викликом, з логістичної точки зору, є витрачання значної кількості часу на відповіді на побажання, запити чи скарги учасників чи дослідників у своєчасному та справедливому порядку. Ми присвячуємо багато часу цьому, оскільки це тримає користувачів з обох сторін – учасників та дослідників – задоволеними, заохочуючи їх повертатися до Prolific знову. Однак ми також сильно залежимо від дослідників, які використовують нашу платформу, щоб дотримуватися наших високих стандартів ставлення та оплати після того, як учасники перейдуть до завдання чи опитування дослідника та залишають екосистему Prolific. Що відбувається поза нашою платформою, фактично контролюється командою дослідників, тому ми залежимо не лише від того, що учасники повідомляють нам про будь-які проблеми, але й від того, що наші дослідники дотримуються найвищих можливих стандартів. Ми намагаємося надати якомога більше керівництва, щоб забезпечити це.

Враховуючи бізнес-модель Prolific, які ваші думки щодо суттєвої ролі людської обратної зв’язку в розробці ІІ, особливо в таких областях, як виявлення упередженості та покращення соціального розуміння?

Людська обратна зв’язка в розробці ІІ є вкрай важливою. Без участі людини ми ризикуємо увічнити упередженості, не помітити нюансів людської соціальної взаємодії та не вирішити деякі негативні етичні питання, пов’язані з ІІ. Це може завадити нашому прогресу у створенні відповідальних, ефективних та етичних систем ІІ. У сфері виявлення упередженості включення людської обратної зв’язки під час процесу розробки є вкрай важливим, оскільки ми повинні прагнути розробляти ІІ, яке відображає якомога ширший спектр поглядів та цінностей, не надавши переваги одному над іншим. Різні демографічні групи, походження та культури мають несвідомі упередженості, які, хоча й не обов’язково негативні, можуть все ж таки відображати точку зору, яку не буде широко поділяно. Спільні дослідження Prolific та Мічиганського університету показали, як походження різних анотаторів можуть суттєво вплинути на те, як вони оцінюють такі аспекти, як токсичність мови чи ввічливість. Щоб вирішити цю проблему, залучення учасників з різних походжень, культур та перспектив може запобігти тому, щоб ці упередженості були вкорінені в системи ІІ, які розробляються. Крім того, людська обратна зв’язка дозволяє дослідникам ІІ виявляти більш тонкі форми упередженості, які можуть не бути виявлені автоматизованими методами. Це надає можливість вирішити упередженості шляхом коригування алгоритмів, моделей чи методів попередньої обробки даних.

Ситуація з соціальним розумінням є суттєво такою ж. ІІ часто має труднощі з завданнями, які вимагають соціального розуміння, оскільки за своєю природою воно не є соціальною істотою, тоді як люди є. Виявлення контексту, коли поставлено питання, розуміння сарказму чи розпізнавання емоційних сигналів, вимагає людського соціального розуміння, яке ІІ не може вивчити самостійно. Ми, люди, вчимося соціально, тому єдиним способом навчити систему ІІ цих технік соціального розуміння є використання справжньої людської обратної зв’язки для навчання ІІ інтерпретувати та реагувати на різні соціальні сигнали. У Prolific ми розробили дані соціального розуміння спеціально для навчання моделей ІІ цій важливій техніці.

У суті, людська обратна зв’язка не лише допомагає виявити області, у яких системи ІІ успішно чи невдало виконують свої завдання, але також дозволяє розробникам вдійснювати необхідні поліпшення та вдосконалення алгоритмів. Практичним прикладом цього є робота ChatGPT. Коли ви ставите питання, іноді ChatGPT пропонує два варіанти відповідей та просить вас оцінити, який із них є кращим. Цей підхід обумовлений тим, що модель постійно вчиться, а розробники розуміють важливість людської участі для визначення найкращих відповідей, а не покладаються лише на іншу модель.

Prolific відіграв суттєву роль у зв’язуванні дослідників з учасниками для навчання ІІ та досліджень. Чи можете ви поділитися успішними історіями чи суттєвими досягненнями в галузі ІІ, які стали можливими завдяки вашій платформі?

Через комерційний характер багатьох наших робіт ІІ, особливо в неакадемічних сферах, більшість проектів, у яких ми беремо участь, перебувають під суворими угодами про нерозголошення. Це в першу чергу для забезпечення конфіденційності технік чи методів, захисту їх від реплікації. Однак одним із проектів, про який ми можемо говорити, є наш партнерство з Remesh, платформою ІІ для отримання інсайтів. Ми співпрацювали з OpenAI та Remesh для розробки системи, яка використовує репрезентативні зразки населення США. У цьому проекті тисячі осіб з репрезентативного зразка брали участь у дискусіях щодо політики ІІ через систему Remesh, що дозволило розробити політику ІІ, яка відображає широкі погляди громадськості, а не вибрану демографічну групу, завдяки здатності Prolific надавати такий різноманітний зразок.

Як ви бачите майбутнє етичної розробки ІІ, і як Prolific планує сприяти досягненню цієї мети?

Моя надія на майбутнє ІІ та її розвиток залежить від визнання того, що ІІ буде лише такою ж хорошою, як і дані, на яких вона тренується. Важливість якості даних не можна переоцінити для систем ІІ. Навчання системи ІІ на низькоякісних даних неминуче призведе до системи ІІ низької якості. Єдиним способом забезпечення високої якості даних є забезпечення залучення різноманітної та мотивованої групи учасників, які бажають надати найкращі дані можливі. У Prolific наш підхід та керівні принципи спрямовані на створення саме такого середовища. Створюючи індивідуальний, ретельно перевірений та надійний зразок учасників, ми очікуємо, що дослідники будуть використовувати цей ресурс для розробки більш ефективних, надійних та довірчих систем ІІ в майбутньому.

Які найбільші проблеми, з якими ви стикаєтеся при зборі високоякісних даних ІІ, і як Prolific подолає ці перешкоди?

Найбільша проблема – це якість даних. Погані дані не лише марні – вони можуть призвести до шкідливих результатів, особливо у критичних галузях, таких як фінансові ринки чи військові операції. Це підкреслює принцип “сміття у, сміття вийшло”. Якщо вхідні дані низької якості, система ІІ буде низької якості чи корисності. Більшість онлайн-зразків tend дають дані нижчої якості, ніж оптимальна для розробки ІІ. Є багато причин цього, але одним із ключових факторів, який Prolific вирішує, є загальне ставлення до онлайн-учасників. Часто цих осіб розглядають як витратні, надаючи їм низьку винагороду, погане ставлення та мало поваги від дослідників. Комітуючись до етичного ставлення до учасників, Prolific виростив зразок мотивованих, залучених, вдумливих, чесних та уважних учасників. Тому, коли дані збираються через Prolific, їхня висока якість гарантована, забезпечуючи надійні та довірчі моделі ІІ.

Іншим викликом, з яким ми стикаємося при роботі з даними ІІ, є забезпечення різноманітності у зразку. Хоча онлайн-зразки суттєво розширили коло осіб, яких ми можемо вивчати порівняно з особистими методами, вони часто обмежені людьми з західних країн. Ці зразки часто нахиляються до молодших, комп’ютерно-грамотних, високоосвічених та лівих демографічних груп. Це не повністю відображає світове населення. Щоб вирішити цю проблему, Prolific має учасників з понад 38 країн світу. Ми також надаємо нашим дослідникам інструменти для визначення точного демографічного складу їхнього зразка заздалегідь. Крім того, ми пропонуємо репрезентативний зразок через шаблони перепису населення, такі як вік, стать, етнічна приналежність чи навіть політична приналежність. Це забезпечує дослідженням, завданням анотації чи іншим проектам отримання різноманітного зразка учасників та, як наслідок, широкого спектра інсайтів.

Дякуємо за чудове інтерв’ю, читачам, які бажають дізнатися більше, слід відвідати Prolific.