OnderzoeksTeam Streeft naar het Creëren van Uitlegbare AI voor Kernontwapening en Kernveiligheid

Onderzoekers van het Pacific Northwest National Laboratory (PNNL) proberen AI uitlegbaar te maken voor de doeleinden van kernontwapening en nationale veiligheid. Het doel is om de beslissingen die door AI-modellen worden geretourneerd transparant te maken voor elke beslissing die betrekking heeft op kernveiligheid.

Er wordt meer aandacht geschonken aan het belang van uitlegbare AI-modellen dan ooit tevoren, in een poging om het “black box”-probleem van machine learning op te lossen. AI-modellen worden vaak vertrouwd om complexe beslissingen te nemen, zelfs als degenen die verantwoordelijk zijn voor het uitvoeren van die beslissingen de redenering achter die beslissingen niet begrijpen. Hoe groter het potentieel voor catastrofe en gevaar is waarin die beslissingen worden genomen, des te belangrijker is het om de redenering achter die beslissingen transparant te maken.

Het is misschien niet nodig om de redenering achter classificaties te begrijpen als een AI-toepassing iets zo eenvoudigs doet als het categoriseren van afbeeldingen van fruit, maar voor gevallen die betrekking hebben op kernwapens of de productie van kernmateriaal, is het beter om de “black box” die ten grondslag ligt aan de AI die in deze scenario’s wordt gebruikt, te openen.

PNNL-wetenschappers werken aan het maken van AI uitlegbaar met behulp van een verscheidenheid aan nieuwe technieken. Deze onderzoekers werken samen met het Office of Defense Nuclear Nonproliferation Research and Development (DNN R&D) van het Ministerie van Energie. De DNN R&D is verantwoordelijk voor het toezicht op de capaciteit van de Verenigde Staten om de productie van kernmateriaal, de ontwikkeling van kernwapens en de detonatie van kernwapens over de hele wereld te monitoren en te detecteren.

Gezien de hoge risico’s die verbonden zijn aan kwesties die verband houden met kernontwapening, is het cruciaal om te weten hoe een AI-systeem tot zijn conclusies over deze kwesties komt. Angie Sheffield is een senior programmaleider bij DNN R&D. Volgens Sheffield kan het vaak moeilijk zijn om nieuwe technologieën zoals AI-modellen in traditionele wetenschappelijke technieken en kaders te integreren, maar het proces van het integreren van AI in deze systemen kan worden vergemakkelijkt door het ontwerpen van nieuwe manieren om effectiever met deze systemen te communiceren. Sheffield stelt dat onderzoekers tools moeten creëren die ontwikkelaars in staat stellen te begrijpen hoe deze geavanceerde technieken werken.

De relatieve schaarste aan gegevens over kernexplosies en de ontwikkeling van kernwapens betekent dat uitlegbare AI nog belangrijker is. Het trainen van AI-modellen in deze ruimte resulteert in modellen die mogelijk minder betrouwbaar zijn vanwege de relatief geringe hoeveelheid gegevens in vergelijking met een taak zoals gezichtsherkenning. Als gevolg daarvan moet elke stap van het proces dat door het model wordt gebruikt om een beslissing te nemen, inspecteerbaar zijn.

Mark Greaves, een onderzoeker bij PNNL, legde uit dat de risico’s die inherent zijn aan kernontwapening, een systeem vereisen dat mensen kan informeren over waarom een bepaald antwoord is geselecteerd.

Greaves legde via EurekaAlert uit:

“Als een AI-systeem een verkeerde waarschijnlijkheid oplevert over de vraag of een natie een kernwapen bezit, is dat een probleem van een andere orde. Dus ons systeem moet ten minste verklaringen produceren zodat mensen de conclusies van het systeem kunnen controleren en hun eigen expertise kunnen gebruiken om te corrigeren voor AI-trainingsgaten die worden veroorzaakt door de schaarste aan gegevens.”

Sheffield legde uit dat PNNL twee sterke punten heeft die hen zullen helpen om dit probleem op te lossen. Ten eerste heeft PNNL aanzienlijke ervaring in het AI-veld. Bovendien heeft het team aanzienlijke domeinkennis op het gebied van kernmateriaal en -wapens. Het PNNL-team begrijpt kwesties zoals de verwerking van plutonium en de soorten signalen die uniek zijn voor de ontwikkeling van kernwapens. De combinatie van AI-ervaring, nationale veiligheidservaring en nucleaire domeinkennis betekent dat PNNL uniek geschikt is om kwesties van nationale veiligheid en AI te behandelen.