Forskare utvecklar algoritmer för att förhindra dåligt beteende i AI

Tillsammans med alla framsteg och fördelar som artificiell intelligens har visat hittills, har det också funnits rapporter om oönskade bieffekter som ras- och könsbias i AI. Så som sciencealert.com ställer frågan “hur kan forskare säkerställa att avancerade tänkande system kan vara rättvisa, eller till och med säkra?”

Svaret kan ligga i rapporten från forskare vid Stanford och University of Massachusetts Amherst, med titeln Förhindrande av oönskat beteende hos intelligenta maskiner. Som eurekaalert.org noterar i sin berättelse om denna rapport, börjar AI nu hantera känsliga uppgifter, så “beslutsfattare insisterar på att datavetare erbjuder garantier för att automatiserade system har utformats för att minimera, om inte helt undvika, oönskade resultat som överdriven risk eller ras- och könsbias.”

Rapporten som detta team av forskare presenterade “beskriver en ny teknik som översätter ett otydligt mål, som att undvika könsbias, till precisa matematiska kriterier som skulle tillåta en maskinläringsalgoritm att träna en AI-applikation för att undvika detta beteende.”

Syftet var, som Emma Brunskill, biträdande professor i datavetenskap vid Stanford och senior författare till artikeln påpekar, “vi vill främja AI som respekterar värderingarna hos dess mänskliga användare och motiverar förtroendet vi har för autonoma system.”

Idén var att definiera “osäkra” eller “orättvisa” resultat eller beteenden i matematiska termer. Detta skulle, enligt forskarna, göra det möjligt “att skapa algoritmer som kan lära sig från data hur man undviker dessa oönskade resultat med hög tillförlitlighet.”

Det andra målet var att “utveckla en uppsättning tekniker som skulle göra det enkelt för användare att specificera vilka typer av oönskat beteende de vill begränsa och möjliggöra för maskinläringsdesigners att förutsäga med tillförlitlighet att ett system som tränats med tidigare data kan lita på när det tillämpas i verkliga situationer.”

ScienceAlert säger att teamet kallade detta nya system  ‘Seldoniska’ algoritmer, efter den centrala figuren i Isaac Asimovs berömda Foundation-serie av science fiction-romaner. Philip Thomas, biträdande professor i datavetenskap vid University of Massachusetts Amherst och första författare till artikeln, noterar, “Om jag använder en Seldonisk algoritm för diabetesbehandling, kan jag specificera att oönskat beteende innebär farligt lågt blodsocker eller hypoglykemi.”

“Jag kan säga till maskinen, ‘Medan du försöker förbättra kontrollen i insulinpumpen, gör inga förändringar som skulle öka frekvensen av hypoglykemi.’ De flesta algoritmer ger dig inte ett sätt att lägga till denna typ av begränsning på beteendet; det var inte med i tidiga design.”

Thomas tillägger att “denna Seldoniska ramverk kommer att göra det enklare för maskinläringsdesigners att bygga instruktioner för beteendebegränsning i alla typer av algoritmer, på ett sätt som kan möjliggöra för dem att bedöma sannolikheten att tränade system kommer att fungera korrekt i den verkliga världen.”

För sin del noterar Emma Brunskill också att “att tänka på hur vi kan skapa algoritmer som bäst respekterar värderingar som säkerhet och rättvisa är avgörande när samhället alltmer förlitar sig på AI.”