Відкриття чорної скриньки штучного інтелекту щодо пояснюваності

Штучний інтелект (AI) став невід’ємною частиною майже всіх аспектів нашого повсякденного життя, від персоналізованих рекомендацій до критичних рішень. Це зрозуміло, що AI продовжить розвиватися, і разом з цим, загрози, пов’язані з AI, також стануть більш складними. Коли компанії впроваджують захист, що використовує AI, у відповідь на зростаючу складність, наступним кроком до просування організаційної культури безпеки є покращення пояснюваності AI.

Хоча ці системи пропонують вражаючі можливості, вони часто функціонують як “чорні скриньки” — видаючи результати без явного розуміння того, як модель прийшла до такого висновку. Проблема систем AI, які видають хибні твердження або здійснюють хибні дії, може спричинити значні проблеми та потенційні порушення роботи бізнесу. Коли компанії роблять помилки через AI, їхні клієнти та споживачі вимагають пояснення і незабаром після цього — рішення.

Але що є причиною? Часто використовуються погані дані для навчання. Наприклад, більшість публічних технологій GenAI навчаються на даних, доступних в Інтернеті, які часто є неверифікованими та неточними. Хоча AI може генерувати швидкі відповіді, точність цих відповідей залежить від якості даних, на яких воно навчається.

Помилки AI можуть трапитися в різних випадках, включаючи генерацію скриптів з неправильними командами та хибними рішеннями безпеки, або відсторонення працівника від роботи на бізнес-системах через хибні звинувачення, висунуті системою AI. Все це має потенційну можливість спричинити значні порушення роботи бізнесу. Це лише одна з багатьох причин, чому забезпечення прозорості є ключем до будівництва довіри до систем AI.

Будівництво довіри

Ми існуємо в культурі, де ми вкладаємо довіру в різні джерела та інформацію. Але в той же час ми вимагаємо доказів та валідації все більше та більше, потребуючи постійно валідувати новини, інформацію та твердження. Коли мова йде про AI, ми вкладаємо довіру в систему, яка має потенційну можливість бути неточною. Що більш важно, неможливо знати, чи дії систем AI точні, без будь-якої прозорості щодо підстави, на якій приймаються рішення. Що, якщо ваша кіберсистема AI вимкне машини, але вона припустилася помилку при інтерпретації ознак? Без розуміння того, які дані привели систему до такого рішення, немає можливості знати, чи воно прийняло правильне рішення.

Хоча порушення роботи бізнесу є розчаровуючим, однією з більш значимих проблем при використанні AI є захист даних. Системи AI, такі як ChatGPT, є моделями машинного навчання, які джерелом答案 беруть дані, які вони отримують. Тому, якщо користувачі або розробники випадково надають конфіденційну інформацію, модель машинного навчання може використовувати ці дані для генерації відповідей іншим користувачам, які викривають конфіденційну інформацію. Ці помилки мають потенційну можливість суттєво порушити ефективність компанії, прибутковість та, найважливіше, довіру клієнтів. Системи AI призначені для підвищення ефективності та полегшення процесів, але у випадку, коли постійна валідация необхідна через те, що вивід не можна довіряти, організації не тільки марнують час, але й відкривають двері потенційним уразливостям.

Навчання команд для відповідального використання AI

Для захисту організацій від потенційних ризиків використання AI, фахівці з інформаційних технологій мають важливу відповідальність адекватно навчати своїх колег, щоб забезпечити відповідальне використання AI. Роблячи це, вони допомагають giữвати свої організації в безпеці від кібератак, які загрожують їхній життєздатності та прибутковості.

Однак, перед навчанням команд, лідери IT повинні внутрішньо узгодити, щоб визначити, які системи AI будуть підходити для їхньої організації. Поспішне впровадження AI тільки призведе до негативних наслідків пізніше, тому замість цього варто починати з малого, зосереджуючись на потребах організації. Забезпечте, щоб стандарти та системи, які ви вибираєте, відповідали поточному технологічному стеку та цілям компанії, і що системи AI відповідають тим же стандартам безпеки, що й інші постачальники, яких ви вибираєте.

Як тільки система буде обрана, фахівці з інформаційних технологій можуть почати знайомити свої команди з цими системами, щоб забезпечити успіх. Почніть з використання AI для малих завдань та побачте, де воно працює добре, а де ні, і вивчіть, які потенційні небезпеки чи валідації потрібно застосувати. Потім введіть використання AI для посилення роботи, що дозволить швидше вирішувати питання самостійно, включаючи прості питання типу “як зробити”. Відтоді можна буде навчити, як встановити валідації. Це цінно, оскільки ми вже бачимо, як багато робочих місць стають пов’язаними з встановленням межових умов та валідцій, і навіть вже бачимо в роботах, таких як використання AI для допомоги у написанні програмного забезпечення.

Крім цих дієвих кроків для навчання членів команд, ініціювання та заохочення дискусій також є важливим. Заохочуйте відкритий, даних-орієнтований діалог про те, як AI задовольняє потреби користувачів — чи воно точно та швидше вирішує проблеми, чи ми підвищуємо продуктивність як для компанії, так і для кінцевого користувача, чи наш клієнтський бал NPS збільшується завдяки цим інструментам AI? Будьте чіткими щодо повернення інвестицій (ROI) та тримайте це на передньому плані. Чітка комунікація дозволить підвищити свідомість про відповідальне використання, і коли члени команд краще зрозуміють, як працюють системи AI, вони з більшою ймовірністю будуть використовувати їх відповідально.

Як досягти прозорості в AI

Хоча навчання команд і підвищення свідомості є важливим, для досягнення прозорості в AI вкрай важливо, щоб було більше контексту щодо даних, які використовуються для навчання моделей, забезпечення того, що використовуються тільки якість даних. Імовірно, колись буде можливість побачити, як система приймає рішення, щоб ми могли повністю довіряти їй. Але поки цього не станеться, нам потрібні системи, які можуть працювати з валідціями та обмеженнями та доводити, що вони дотримуються їх.

Хоча повна прозорість неминуче потрібно час для досягнення, швидке ростання AI та її використання робить необхідним працювати швидко. Коли моделі AI продовжують зростати у складності, вони мають потенційну можливість зробити велику різницю для людства, але наслідки їхніх помилок також зростають. Як результат, розуміння того, як ці системи приймають рішення, є вкрай цінним і необхідним для того, щоб залишатися ефективними та довіряними. Зосереджуючись на прозорих системах AI, ми можемо забезпечити, що технологія є такою же корисною, як і передбачалося, залишаючись необізнаною, етичною, ефективною та точною.