Лідери думок
Коли ваш ІІ вигадує факти: Підприємницький ризик, якого не може ігнорувати жоден лідер
Додайте Unite.AI до бажаних джерел у Google
Це звучить правильно. Це виглядає правильно. Це неправильно. Це ваш ІІ на галюцинації. Проблема полягає не тільки в тому, що сучасні генеративні моделі ІІ галюцинують. Проблема полягає в тому, що ми відчуваємо, якщо ми побудуємо достатньо захисних механізмів, дофінуємо його, зробимо його більш надійним і виробимо його якимось чином, то ми зможемо впровадити його в масштабі підприємства.
| Дослідження | Домен | Рівень галюцинацій | Ключові висновки |
|---|---|---|---|
| Stanford HAI & RegLab (січень 2024) | Юридичний | 69%–88% | Моделі ІІ демонстрували високий рівень галюцинацій при відповідях на юридичні запитання, часто не маючи самосвідомості про свої помилки і підтримуючи неправильні юридичні припущення. |
| Дослідження JMIR (2024) | Академічні посилання | GPT-3.5: 90,6%, GPT-4: 86,6%, Bard: 100% | Посилання, згенеровані моделями ІІ, часто були невідповідними, неправильними або не підтримувалися наявною літературою. |
| Дослідження Великої Британії про вміст, згенерований ІІ (лютий 2025) | Фінанси | Не вказано | Вміст, згенерований ІІ, підвищував ризик банківських криз, при цьому значна частина клієнтів банку розглядала можливість переводу коштів після перегляду вмісту, згенерованого ІІ. |
| Глобальний звіт про ризики Всесвітнього економічного форуму (2025) | Глобальна оцінка ризиків | Не вказано | Дезінформація та неправильна інформація, посилена ІІ, зайняли перше місце серед глобальних ризиків за дворічний період. |
| Таблиця лідерів галюцинацій Vectara (2025) | Оцінка моделей ІІ | GPT-4.5-Preview: 1,2%, Google Gemini-2.0-Pro-Exp: 0,8%, Vectara Mockingbird-2-Echo: 0,9% | Оцінка рівня галюцинацій різних моделей ІІ, що показала значні відмінності у роботі та точності. |
| Дослідження про галюцинації фактів (2024) | Дослідження ІІ | Не вказано | Введено HaluEval 2.0 для систематичного вивчення та виявлення галюцинацій у моделях ІІ, зосереджуючись на фактичних неточностях. |
Рівень галюцинацій варіюється від 0,8% до 88%
Так, це залежить від моделі, домену, випадку використання та контексту, але такий розкид повинен турбувати будь-якого підприємницького рішення. Це не окремі випадки помилок. Це системні. Як зробити правильний вибір щодо впровадження ІІ у вашому підприємстві? Де, як, наскільки глибоко, наскільки широко?
І приклади реальних наслідків цього з’являються у вашому новинному фіді кожен день. Фінансовий стабілізаційний борд Г20 виділив генеративний ІІ як вектор дезінформації, який може спричинити фінансові кризи, політичну нестабільність та гірше – фінансові кризи, фейкові новини та шахрайство. У іншій недавно опублікованій історії юридична фірма Morgan & Morgan видає термінове повідомлення всім адвокатам: не подавайте документи, згенеровані ІІ, без перевірки. Фейкові судові рішення – це «звільнення».
Це може не бути найкращим часом для ставок на те, що рівень галюцинацій буде тенденцією до нуля в найближчий час. Особливо в галузях, що регулюються, таких як юридична, наукова, фінансових ринках, або в інших галузях, де вартість помилки може бути високою, включаючи вищу освіту.
Галюцинація не є округленням помилки
Це не про окрему неправильну відповідь. Це про ризик: репутаційний, юридичний, операційний.
Генеративний ІІ не є механізмом висновку. Це статистичний завершувач, стохастичний папуга. Він завершує ваш запит найбільш імовірним способом на основі навчальних даних. Навіть справжні частини – це здогадки. Ми називаємо найбільш абсурдні частини «галюцинаціями», але весь вивід – це галюцинація. Добре оформлена. Все ж таки, це працює – магічно добре – поки це не припиняється.
ІІ як інфраструктура
І все ж, важливо сказати, що ІІ буде готовий до впровадження в масштабі підприємства, коли ми почнемо розглядати його як інфраструктуру, а не як магію. І де це необхідно, воно повинно бути прозорим, пояснюваним і відстежуваним. І якщо це не так, тоді, просто кажучи, воно не готове до впровадження в масштабі підприємства для тих випадків використання. Якщо ІІ приймає рішення, воно повинно бути на радарі вашої ради директорів.
Закон ЄС про ІІ веде цю справу. Високоризиковані домени, такі як юстиція, охорона здоров’я та інфраструктура, будуть регулюватися як критичні системи. Документація, тестування та пояснюваність будуть обов’язковими.
Що роблять безпечні для підприємства моделі ІІ
Компанії, які спеціалізуються на будівництві безпечних для підприємства моделей ІІ, приймають свідоме рішення про будівництво ІІ інакше. У їхніх альтернативних архітектурах ІІ мови не навчаються на даних, тому вони не «запачкані» будь-чим нежеланим у даних, таким як упередженість, порушення прав інтелектуальної власності або схильність до здогадок чи галюцинацій.
Такі моделі не «завершують вашу думку» – вони висновують з вмісту вашого користувача. Їхньої бази знань. Їхніх документів. Їхніх даних. Якщо відповідь там немає, ці моделі кажуть про це. Це робить такі моделі ІІ пояснюваними, відстежуваними, детермінованими та хорошим варіантом у місцях, де галюцинації неприйнятні.
5-ступінчастий план дій для відповідальності ІІ
- Мапа ландшафту ІІ – Де ІІ використовується у вашому бізнесі? Які рішення вони впливають? Яку премію ви ставите на можливість відстежувати ці рішення назад до прозорого аналізу на надійному джерельному матеріалі?
- Вирівняйте свою організацію – В залежності від масштабу вашого розгортання ІІ, створіть ролі, комітети, процеси та аудиторські практики, що є такими ж суворими, як і фінансові або кібербезпекові ризики.
- Включіть ІІ у ризики рівня ради директорів – Якщо ваш ІІ спілкується з клієнтами або регуляторами, він належить до ваших звітів про ризики. Управління не є боковим шоу.
- Розглядайте постачальників як співвідповідальних – Якщо ІІ вашого постачальника вигадує щось, ви все ж володієте наслідками. Розширюйте свої принципи відповідальності ІІ на них. Вимагайте документації, аудиторських прав і угод про рівень обслуговування щодо пояснюваність та рівень галюцинацій.
- Навчіть скептицизм – Ваш команда повинна розглядати ІІ як молодшого аналітика – корисного, але не непогрішимого. Святкуйте, коли хтось визначає галюцинацію. Довіра повинна бути заслужена.
Майбутнє ІІ у підприємстві не полягає у більших моделях. Що потрібно, це більше точності, більше прозорості, більше довіри та більше відповідальності.
