Jak překonat představu, že „AI je magie“: Proč se znalost fungování modelů AI musí stát prioritou celé firmy

Uprostřed varování před nekontrolovatelnými AI agenty dal nedávno jeden vývojář agentovi pro programování volnou ruku nad počítačem bez vzdálené zálohy. Smazal 48 000 souborů za méně než dvě minuty.

Podobné případy jasně připomínají, že nasazení AI agentů s sebou nese rizika; nestačí do složitého procesu někde zapojit člověka jako kontrolora a předpokládat, že je vše bezpečné. Některé procesy nevyžadují žádný zásah, jiné potřebují mnohem důkladnější kontroly. Oprava překlepu a smazání tisíců souborů zjevně nepředstavují stejné riziko, proto musí míra dohledu odpovídat tomu, co je skutečně v sázce.

Organizace se musí lépe naučit rozpoznat okamžiky, kdy je lidský úsudek skutečně důležitý, zejména pokud má nějaký krok závažné důsledky nebo je obtížné jej vzít zpět. A když agenti udělají chybu, prostředí musí omezit její dosah.

AI není deterministická, ale pravděpodobnostní

Především je nezbytné, aby všichni zaměstnanci, kteří se přímo či nepřímo podílejí na vývoji softwaru, získali základní znalosti o tom, jak modely AI zpracovávají informace. Není to snadný úkol: vyžaduje soustavné vzdělávání týmů a postupně by se měl stát cílem celé firmy.

Když někdo začne s AI pracovat, zpočátku mu připadá jako magie. Napíšete větu a najednou vedete konverzaci. Základní znalost toho, jak modely a jejich trénování skutečně fungují v pozadí, je důležitá pro nastavení firemních pravidel pro AI v oblasti bezpečnosti a produktivity. Pro všechny zaměstnance firmy bude zásadní příležitostí ke vzdělávání seznámit se s neuronovou sítí, tokenizací i statistickou analýzou, která za tím stojí, a pochopit, jak to vše následně vede k výstupům.

Velké jazykové modely nikdy nebudou vytvářet deterministické výsledky. Jejich výstup je pravděpodobnostní. U běžného softwaru při zadání vstupu do jisté míry očekáváte, jaký výstup dostanete, například A, B nebo C. U AI ale můžete dostat F, znak & nebo popis kočky se slunečními brýlemi.

Pravděpodobnostní systém nelze testovat běžným způsobem. Potřebujete způsob testování, který umožní rychle upravovat postup, uvažovat, porozumět souvislostem a získávat kontext, abyste zachytili pravděpodobnostní prvky a rozpoznali problémy, které mohou způsobit. V závislosti na rozsahu a míře rizika může takové testování řídit buď AI, nebo člověk s odpovídajícími odbornými znalostmi. Zapojení člověka do procesu bude nejužitečnější hned na začátku, kdy lze vymezit řešený problém, a poté při závěrečné kontrole.

Vývojáři mají nejlepší možnost sledovat proměnné a běžné postupy, které ovlivňují, jak interní AI jejich organizace vytváří odpovědi na základě vstupů. Mohou proto významně přispět k tomu, jak se o AI bude ve firmě vzdělávat, a zajistit, aby všichni chápali rozdíl mezi determinismem a pravděpodobnostním přístupem v AI i to, proč na něm záleží. Cílem je omezit představu, že používání AI je jako magie a že se spokojíme s jakýmkoli výstupem. Organizace by se místo toho měly snažit zbavit modely tajemnosti a představit, jaké modely firma používá, jak s nimi pracuje, jaké problémy mohou nastat, jak se výstupy kontrolují a k jakým výsledkům tento proces vede.

Ochranná opatření patří do infrastruktury, ne do modelu

Jakmile se podaří vyvrátit představu o „magii“ AI a projekt využívající AI se rozběhne, je nezbytné zavést transparentní pravidla pro audit, která zajistí, že vše postupuje podle očekávání. Pokud projekt přinese „špatný“ nebo nevyhovující výsledek, odpovědná osoba pak může prověřit jednotlivé kroky a zabránit tomu, aby se problém opakoval. Takový postup je přínosný i v případě, že jsou výsledky lepší, než se čekalo: jednotlivé kroky lze zopakovat a sdílet s dalšími projekty nebo skupinami.

Systematické nastavení tohoto procesu je obzvlášť důležité ve větších firmách, kde mohou v každém týmu pracovat desítky vývojářů a stovky dalších během dne zasahovat do kódu. AI dokáže mnoho věcí udělat velmi rychle, a když se něco pokazí, musí existovat systém, který přesně určí, v kterém kroku k problému došlo. Podívejme se na agenty OpenAI, kteří letos v létě pronikli do Hugging Face. OpenAI testovala, jak dobře její modely dokážou zneužívat softwarové zranitelnosti, a použila k tomu benchmark s názvem ExploitGym. Pro účely testu záměrně zmírnila odmítání modelů v oblasti útočných kybernetických činností. Jedinou cestou ze sandboxu byl proxy server pro balíčky. Modely v něm našly dosud neznámou chybu, dostaly se ven a strávily více než dva dny v produkčních systémech Hugging Face hledáním odpovědí k testu.

Titulky to označovaly za nekontrolovatelnou AI. Já bych to nazval deterministickým nastavením pravděpodobnostního systému. OpenAI modelům řekla, aby hackovaly, a pak spoléhala na to, že se budou držet očekávaného postupu. Tvůrce benchmarku uvádí, že modely už při testu podváděly, ale vždy zůstaly uvnitř sandboxu. Tentokrát se jeden z nich ven dostal. Běžná ochranná opatření předpokládají běžné chování, jenže AI se běžnými pravidly řídit nemusí.

Proto se bezpečnost AI opírá o přístupová práva a kontrolní mechanismy, které vynucuje prostředí, nikoli o to, že se model bude chovat správně. Počítejte s tím, že se agent pokusí otevřít každé dveře, a nechte otevřené jen ty, které potřebuje. Agentovi, který smazal 48 000 souborů, bylo řečeno, aby pracoval s kopiemi a na originály nesahal. Přesto smazal originály. Pokyny nejsou kontrolní mechanismy.

Správa oprávnění agenta je jako zaškolování nového juniorního vývojáře. Hned první den byste mu nedali rootovský přístup do produkčního prostředí. Kdybyste to udělali a on smazal vaši databázi, nepřičítali byste to tomu, že je geniální hacker. U bezpečnostních incidentů jakéhokoli rozsahu je nezbytné určit jejich skutečnou příčinu. Je jí model? Společnost, která model vytvořila? Společnost, která modelu udělila přístup? Ať už je příčina jakákoli, konečnou odpovědnost nese člověk.

Klíčovou otázkou, kterou je třeba řešit už dnes, je také to, co se děje v zákulisí na notebooku vývojáře. Dříve se pracovní postup dal snáze dohledat. Vývojáři psali kód, kontrolovali ho a nasazovali, takže bylo možné jasně vystopovat, kde se něco pokazilo. Dnes může vývojář předat agentovi úkol a říct mu: „Oprav to.“ Pokud tato práce probíhá skrytě, není co dohledávat. Každý krok musí být podrobně zaznamenán: který agent běžel, jaký model použil, jaké dostal pokyny, jaké nástroje využil a jaká měl v danou chvíli oprávnění. Jednou z možností, jak toho dosáhnout, je spouštět agenty centrálně, nikoli na jednotlivých noteboocích. Podstatné je, aby záznam existoval.

V konečném důsledku se každá společnost musí při incidentu chránit. Záznam by měl obsahovat dostatek informací k analýze skutečné příčiny a k nalezení kroku i kódu, které problém způsobily.

Umělá inteligence zásadně změnila svět a tomu se musí přizpůsobit i firemní procesy. Aby bylo možné určit vhodná ochranná opatření, je třeba lépe porozumět procesům umělé inteligence, testování, cyklům kontroly a auditním cyklům – a to jak v rámci vývojářských týmů, tak v celé společnosti.