Рост занепокоєння щодо галюцинацій та упередженості штучного інтелекту: звіт Апорії за 2024 рік підкреслює нагальну потребу в галузевих стандартах

Нещодавній звіт компанії Апорія, лідера в галузі платформ контролю штучного інтелекту, викриває деякі шокуючі висновки в галузі штучного інтелекту та машинного навчання (ШІ та МН). Звіт під назвою “Звіт про ШІ та МН за 2024 рік: еволюція моделей та рішень” показує зростаючу тенденцію галюцинацій та упередженості в генеративних моделях ШІ та великих мовних моделях (ВММ), що свідчить про важливу проблему для галузі, яка швидко наближається до зрілості.

Галюцинації ШІ означають випадки, коли генеративні моделі ШІ видають невірні, нісенітні або відірвані від реальності результати. Ці галюцинації можуть варіюватися від незначних неточностей до суттєвих помилок, включаючи генерацію упередженого або потенційно шкідливого контенту.

Наслідки галюцинацій ШІ можуть бути суттєвими, особливо оскільки ці моделі все частіше інтегруються в різні аспекти бізнесу та суспільства. Наприклад, неточність у генерованій інформації ШІ може привести до дезінформації, тоді як упереджений контент може підтримувати стереотипи або несправедливі практики. У чутливих застосуваннях, таких як охорона здоров’я, фінанси або юридична консультація, такі помилки можуть мати серйозні наслідки, впливаючи на рішення та результати.

Висновки звіту підкреслюють необхідність уважного моніторингу та спостереження за моделями виробництва.

Опитування Апорії включало відповіді від 1000 фахівців з машинного навчання з Північної Америки та Великої Британії. Ці особи працюють у компаніях, що нараховують від 500 до 7000 працівників, у галузях, таких як фінанси, охорона здоров’я, подорожі, страхування, програмне забезпечення та роздрібна торгівля. Висновки підкреслюють як проблеми, так і можливості, з якими стикаються лідери виробництва МН, проливаючи світло на важливу роль оптимізації ШІ для ефективності та створення цінності.

Ключові висновки звіту включають:

1. Поширення операційних проблем: Безпрецедентні 93% інженерів з машинного навчання повідомляють про遇ання з проблемами у виробничих моделях щодня або щотижня. Ця суттєва статистика підкреслює критичну необхідність ефективних інструментів моніторингу та контролю для забезпечення безперебійного функціонування.
2. Випадки галюцинацій ШІ: Сумнівний 89% інженерів, які працюють з великими мовними моделями та генеративним ШІ, повідомляють про遇ання з галюцинаціями в цих моделях. Ці галюцинації проявляються як фактичні помилки, упередженість або контент, який може бути шкідливим.
3. Фокус на мінімізації упередженості: Незважаючи на перешкоди у виявленні упередженого даних та відсутність достатніх інструментів моніторингу, помітні 83% респондентів опитування підкреслюють важливість моніторингу упередженості в проектах ШІ.
4. Важливість спостереження в реальному часі: Значна частина інженерів з машинного навчання, 88%, вважає, що спостереження в реальному часі є суттєвим для виявлення проблем у виробничих моделях, функціональності, якої не мають не всі підприємства через відсутність автоматизованих інструментів моніторингу.
5. Інвестиції у розвиток: Звіт показує, що компанії в середньому вкладають близько чотирьох місяців у розвиток інструментів та панелей моніторингу виробництва, що підкреслює потенційні проблеми щодо ефективності та вартості таких інвестицій.

“Наш звіт показує явний консенсус серед галузі: продукти ШІ розгортаються зі швидкою швидкістю, і будуть наслідки, якщо ці моделі МН не моніторяться”, заявив Ліран Хасон, генеральний директор Апорії. “Інженери, які стоять за цими інструментами, висловили свою думку – є проблеми з технологією, і їх можна виправити. Але для цього потрібні правильні інструменти спостереження, щоб забезпечити підприємства та споживачів найкращим можливим продуктом, вільним від галюцинацій та упередженості”.

Апорія, яка присвячена підвищенню ефективності продуктів ШІ, що працюють на основі машинного навчання, займається проблемами MLOps та пропагує відповідальну практику ШІ. Підхід компанії, орієнтований на користувача, та інтеграція зворотного зв’язку користувачів призвели до розробки потужних інструментів та функцій для покращення досвіду користувача, підтримки розширення моделей виробництва та допомоги у ліквідації галюцинацій.

Повний звіт Апорії пропонує глибокий аналіз цих висновків та їхніх наслідків для галузі ШІ. Для отримання більшої інформації відвідайте звіт опитування Апорії.