Rostoucí obavy z halucinací a zkreslení v oblasti AI: Zpráva Aporie z roku 2024 poukazuje na naléhavou potřebu průmyslových standardů

Nová zpráva od Aporie, lídra v oblasti platformy pro kontrolu AI, přinesla některé překvapivé výsledky v oblasti umělé inteligence a strojového učení (AI & ML). Zpráva s názvem “2024 Zpráva o AI & ML: Evoluce modelů a řešení” poukazuje na rostoucí trend halucinací a zkreslení v generativních modelech AI a velkých jazycových modelech (LLM), což signalizuje kritickou výzvu pro průmysl, který se rychle blíží zralosti.

Halucinace AI se týkají případů, kdy generativní modely AI produkují výstupy, které jsou nesprávné, nesmyslné nebo odpojené od reality. Tyto halucinace mohou sahajet od malých nepřesností až po významné chyby, včetně generování zkresleného nebo potenciálně škodlivého obsahu.

Důsledky halucinací AI mohou být významné, zejména v případech, kdy jsou tyto modely stále více integrovány do různých oblastí podnikání a společnosti. Například nepřesnost v informacích generovaných AI může vést k dezinformacím, zatímco zkreslený obsah může podporovat stereotypy nebo nespravedlivé postupy. V citlivých aplikacích, jako je zdravotnictví, finance nebo právní poradenství, mohou tyto chyby mít vážné důsledky, ovlivňující rozhodnutí a výsledky.

Zjištění ze zprávy zdůrazňují nutnost bdělého sledování a pozorování produkčních modelů.

Zpráva Aporie zahrnovala odpovědi od 1 000 odborníků na strojové učení z Severní Ameriky a Spojeného království. Tyto osoby pracují v společnostech s počtem zaměstnanců od 500 do 7 000, napříč sektory, jako je finance, zdravotnictví, cestovní ruch, pojištění, software a maloobchod. Zjištění poukazují na výzvy a příležitosti, kterým čelí lídři produkce ML, a poukazují na vitalní roli optimalizace AI pro efektivitu a vytváření hodnoty.

Klíčová zjištění ze zprávy zahrnují:

1. Prevalence provozních výzev: Převážná většina (93 %) inženýrů strojového učení uvádí, že se setkávají s problémy s produkčními modely buď denně, nebo týdně. Tato významná statistika poukazuje na kritickou potřebu účinných nástrojů pro monitorování a kontrolu, aby se zajistily hladké operace.
2. Incidence halucinací AI: Téměř 90 % inženýrů, kteří pracují s velkými jazycovými modely a generativními modely AI, uvádí, že se setkávají s halucinacemi v těchto modelech. Tyto halucinace se projevují jako faktické chyby, zkreslení nebo obsah, který by mohl být škodlivý.
3. Zaměření na mitigaci zkreslení: Navzdory překážkám při detekci zkreslených dat a nedostatku dostatečných nástrojů pro monitorování, téměř 83 % respondentů zdůrazňuje důležitost monitorování zkreslení v projektech AI.
4. Důležitost reálného času pozorovatelnosti: Převážná většina (88 %) odborníků na strojové učení se domnívá, že reálný čas pozorovatelnosti je nezbytný pro identifikaci problémů v produkčních modelech, což je funkce, která není ve všech podnicích dostupná kvůli nedostatku automatizovaných nástrojů pro monitorování.
5. Investice do zdrojů pro vývoj: Zpráva odhaluje, že společnosti v průměru investují asi čtyři měsíce do vývoje nástrojů a panelů pro monitorování produkce, což poukazuje na potenciální obavy týkající se efektivity a nákladové efektivity těchto investic.

„Naše zpráva ukazuje jasnou shodu v průmyslu, produkty AI jsou nasazovány rychlým tempem a budou mít důsledky, pokud tyto modely ML nejsou monitorovány,“ uvedl Liran Hason, generální ředitel Aporie. „Inženýři, kteří stojí za těmito nástroji, mluví – existují problémy s technologií a lze je vyřešit. Ale jsou potřeba správné nástroje pro monitorování, aby se zajistilo, že podniky i spotřebitelé dostávají nejlepší možný produkt, bez halucinací a zkreslení.“

Aporia, která se zavázala ke zlepšení efektivity produktů AI poháněných strojovým učením, řeší výzvy MLOps a prosazuje odpovědné postupy AI. Zákaznicky orientovaný přístup společnosti a integrace uživatelské zpětné vazby vedly k vývoji robustních nástrojů a funkcí, které zlepšují uživatelský zážitek, podporují expanzi produkčních modelů a pomáhají eliminovat halucinace.

Úplná zpráva Aporie nabízí hlubší pohled na tato zjištění a jejich důsledky pro průmysl AI. Pro další informace navštivte Zprávu o průzkumu Aporie.