Výzkumný tým se snaží vytvořit explainable AI pro jadernou nešíření a jadernou bezpečnost

Výzkumníci z Pacific Northwest National Laboratory (PNNL) se snaží udělat AI explainable pro účely jaderného nešíření a národní bezpečnosti. Cílem je učinit rozhodnutí vrácená AI modely transparentní pro jakékoli rozhodnutí týkající se jaderné bezpečnosti.

Více pozornosti než kdy jindy je věnováno důležitosti explainable AI modelů, v rámci snahy vyřešit “černou skříňku” problém strojového učení. AI modely jsou často důvěřovány, aby činily složité rozhodnutí, i když ti, kteří jsou odpovědní za provedení těchto rozhodnutí, nerozumí důvodu, proč byla tato rozhodnutí učiněna. Čím vyšší je potenciál katastrofy a nebezpečí, tím důležitější je, aby důvod, proč byla tato rozhodnutí učiněna, byl transparentní.

Možná není nutné rozumět důvodu, proč jsou klasifikace provedeny, pokud AI aplikace dělá něco tak jednoduchého, jako je kategorizace obrázků ovoce, ale pro případy, které zahrnují jaderné zbraně nebo výrobu jaderného materiálu, je lepší otevřít “černou skříňku” podkladového AI používaného v těchto scénářích.

Vědci z PNNL pracují na tom, aby učinili AI explainable pomocí různých nových technik. Tito výzkumníci pracují společně s Úřadem pro obranné jaderné nešíření a výzkum a vývoj (DNN R&D) Národního úřadu pro jadernou bezpečnost (NNSA) Ministerstva energetiky. DNN R&D je odpovědný za dohled nad schopností Spojených států monitorovat a detekovat výrobu jaderného materiálu, vývoj jaderných zbraní a detonaci jaderných zbraní po celém světě.

Vzhledem k tomu, jak vysoké jsou rizika spojená s otázkami souvisejícími s jaderným nešířením, je kritické vědět, jak AI systém dospěje ke svým závěrům o těchto otázkách. Angie Sheffield je seniorní programová manažerka v DNN R&D. Podle Sheffielda může být často obtížné začlenit nové technologie, jako jsou AI modely, do tradičních vědeckých technik a rámců, ale proces začlenění AI do těchto systémů lze usnadnit navrhnutím nových způsobů interakce s těmito systémy. Sheffield argumentuje, že výzkumníci by měli vytvořit nástroje, které umožní vývojářům pochopit, jak tyto sofistikované techniky fungují.

Relativní nedostatek dat týkajících se jaderných explozí a vývoje jaderných zbraní znamená, že explainable AI je ještě důležitější. Školení AI modelů v tomto prostoru vede k modelům, které mohou být méně spolehlivé díky relativně malému množství dat ve srovnání s úkolem, jako je rozpoznávání obličeje. Jako výsledek, každý krok procesu použitý modelem k rozhodnutí musí být prohlížitelný.

Mark Greaves, výzkumník z PNNL, vysvětlil, že rizika spojená s jaderným nešířením vyžadují systém, který může informovat lidi o důvodu, proč byla vybrána určitá odpověď.

Jako Greaves vysvětlil prostřednictvím EurekaAlert:

“Pokud AI systém poskytne chybnou pravděpodobnost o tom, zda určitá země vlastní jadernou zbraň, je to problém zcela jiného rozsahu. Naše systém musí alespoň produkovat vysvětlení, aby lidé mohli zkontrolovat jeho závěry a použít svou vlastní odbornost k opravě mezer ve výcviku AI způsobených nedostatkem dat.”

Jako Sheffield vysvětlil, PNNL má dvě síly, které jim pomohou vyřešit tento problém. První, PNNL má podstatné zkušenosti v oblasti AI. Kromě toho má tým významné znalosti v oblasti jaderných materiálů a zbraní. Tým PNNL rozumí otázkám, jako je zpracování plutonia a typy signálů specifických pro vývoj jaderných zbraní. Kombinace zkušeností s AI, národní bezpečností a znalostí jaderné domény znamená, že PNNL je jedinečně vybaven pro řešení otázek jaderné národní bezpečnosti a AI.