Andrew Pery, etik-ambassadör, ABBYY – Intervju-serie

Andrew Pery är etik-ambassadör på ABBYY, ett digitalt intelligensföretag. De ger organisationer möjlighet att få tillgång till värdefull insikt i sina verksamheter, vilket möjliggör verklig affärsomvandling.

ABBYY har nyligen lanserat en global initiativ för att främja utvecklingen av tillförlitlig artificiell intelligens. Vi bestämde oss för att ställa Andrew frågor om etik i AI, missbruk av AI och vad AI-branschen kan göra åt dessa problem i framtiden.

Vad var det som initialt väckte ditt intresse för AI-etik?

Det som initialt väckte mitt intresse för AI-etik var ett djupt intresse för sammanflätningen av lag och AI-teknologi. Jag började min karriär inom rättssystemet, där jag representerade fattiga försvarare som inte hade de ekonomiska medlen att betala för juridiska tjänster. Jag gick sedan över till teknologi med fokus på tillämpningen av avancerad sökning och AI i juridisk praxis. Som certifierad dataskyddsprofessionell är jag särskilt passionerad om dataskyddslagstiftning och korrekt användning av AI-teknologi som överensstämmer med och förbättrar dataskyddsrättigheter.

Ansiktsigenkänningsteknologi missbrukas ofta av myndigheter, inklusive den amerikanska regeringen. Hur stor samhällsfråga bör detta vara?

Ansiktsigenkänningsteknologins konsekvenser bör vara en betydande samhällsfråga, eftersom denna teknik kan påverka så många grundläggande rättigheter, inklusive ekonomiska, sociala och säkerhetsrättigheter.

Det finns tydliga och övertygande bevis för att ansiktsigenkänning-algoritmer är opålitliga. En NIST-studie av ansiktsigenkänning-algoritmer fann att afroamerikaner var upp till 100 gånger mer benägna att bli felidentifierade. En liknande studie av Georgetown Law School fann att ansiktsigenkänning-algoritmer baserade på mugshots producerade en hög andel falska positiva associerade med afroamerikanska individer, och en 2018 MIT-studie av Amazon Facial Recognition Software (AMZN ) fann att medan vita män identifierades korrekt 99% av tiden, genererade mörkhyade individer upp till 35% falska positiva.

Av dessa skäl börjar reglerare att vidta åtgärder för att förbjuda användningen av ansiktsigenkänningsteknologi, särskilt i sammanhang med övervakning och profilering. Till exempel har den kaliforniska senaten antagit ett förbud mot användningen av ansiktsigenkänningsteknologi och andra biometrisk övervakningsmetoder.

Det finns också ett momentum inom tech-gemenskapen att dra sig tillbaka från marknadsföringen av ansiktsigenkänningssystem. IBM har meddelat att de kommer att sluta sälja ansiktsigenkänningssystem, med hänvisning till att det kränker grundläggande mänskliga rättigheter och friheter. Microsoft (MSFT ) har också meddelat ett liknande beslut att upphöra med försäljningen av sin ansiktsigenkänningsteknologi, med hänvisning till grundläggande mänskliga rättigheter.

COMPAS-programvaran, som har använts av amerikanska domstolar för bedömning av brottsrisk, har felaktigt klassificerat synliga minoritetsförbrytare som mer benägna att återfalla i brott än vita förbrytare. Bör användningen av AI i domstolar ens vara ett alternativ?

Studier av COMPAS fann att det inte är bättre på att förutsäga brott än slumpmässiga personer. Medan prediktiv analys levererar betydande värde i en kommersiell kontext, har det visat sig resultera i ojämlikheter i dess tillämpning på straffrätt. Detta är uppenbart i en rapport publicerad av Pro Publica som fann att COMPAS, den mest populära programvaran som används av amerikanska domstolar för bedömning av brottsrisk, felaktigt klassificerade synliga minoritetsförbrytare som mer benägna att återfalla i brott i dubbelt så hög utsträckning som vita förbrytare.

Dessa ojämlikheter fick den dåvarande justitieministern Eric Holder att ifrågasätta rättvisan och uttrycka oro över de potentiella ojämlikheterna som orsakas av tillämpningen av AI-teknologi för att förutsäga återfallsfrekvenser inom förbrytarpopulationen.

Hur kan samhället undvika att oavsiktligt programmera in negativa fördomar i AI-system?

Först måste det finnas ett erkännande av att AI kan ha en tendens att producera oavsiktliga fördomar, så kallade undermedvetna fördomar. Att mildra dess negativa effekter kräver en holistisk approach som består av utveckling av etiska AI-riktlinjer, såsom föreslagits av OECD:s etiska ramverk. Detta baseras på sju grundläggande principer, inklusive mänsklig agent och tillsyn, teknisk robusthet och säkerhet, dataskydd och styrning, transparens, mångfald och icke-diskriminering, samhällsvälfärd och ansvar.

Andra, förenlighet med rättsliga ramverk som skyddar mot automatiserad profilering är nyckeln. Till exempel har EU en lång historia av att respektera och skydda dataskyddsrättigheter, med den senaste och kraftfullaste uttrycket vara den allmänna dataskyddsförordningen (GDPR), som specifikt skyddar mot automatiserat beslutsfattande.

Tredje, det behövs branschansvar för hur AI-teknologi utvecklas och ett åtagande att tillhandahålla transparens utan att påverka deras immateriella rättigheter. Det finns positiva utvecklingar här. Till exempel är Partnership on AI en organisation med över 80 medlemmar i 13 länder som är dedikerad till forskning och diskussion om viktiga AI-frågor.

Slutligen bör teknologiorganisationer upprätthålla ett åtagande att genomföra en fördomsbedömning innan den kommersiella lanseringen av AI-algoritmer, särskilt när deras tillämpningar påverkar dataskydd och säkerhetsrättigheter. Frågor som teknikutvecklare bör överväga innan de släpper nya AI-aktiverade applikationer inkluderar: Är data som denna teknik tränats på tillräckligt diversifierad? Hur kommer fördomar att upptäckas? Hur testas och vem testar? Vilka är utvecklarnas incitament? Vem kommer att dra nytta kommersiellt av det?

Det är viktigt att komma ihåg att AI-lösningar återspeglar den underliggande data som dessa applikationer tränas på, så det är avgörande att se till att denna data inte är fördomsfull och korrekt återspeglar mångfalden av de konstituerande som lösningen kommer att tjäna. I AI-forskaren professor Joanna Brysons ord, “om den underliggande datan återspeglar stereotyper, eller om du tränar AI från mänsklig kultur, kommer du att hitta fördomar. Och om vi inte är försiktiga riskerar vi att integrera dessa fördomar i datorprogrammen som snabbt tar över driften av allt från sjukhus till skolor till fängelser – program som är tänkta att eliminera dessa fördomar från första början.”

ABBYY har nyligen lanserat ett globalt initiativ för att främja utvecklingen av tillförlitlig artificiell intelligens. Hur viktigt är detta initiativ för ABBYY:s framtid?

Beslutet att utveckla vårt globala initiativ för tillförlitlig AI är ett viktigt beslut som drivs av vår övertygelse om att som en organisation vars teknologier påverkar företag runt om i världen och tjänar tiotusentals enskilda användare, har vi en skyldighet att vara goda företagsmedborgare med ett samvete. Inte bara hjälper detta till att skapa större tillit hos våra globala kunder och partners, utan det hjälper också till att säkerställa att våra teknologier fortsätter att ha en djupgående inverkan på ett sätt som gynnar det allmänna bästa.

Det är också ett bra affärsbeslut att främja och stödja tillförlitlig användning av AI. Det stärker vår varumärkesidentitet, skapar tillit med vår globala kund- och partner-ekosystem. Tillit översätts till återkommande affärer och till hållbar tillväxt.

En del av detta initiativ är att ABBYY åtar sig att främja en kultur som främjar etisk användning av AI och dess sociala nytta. Vad behöver andra företag göra för att främja en liknande kultur?

Teknologiföretag behöver bygga ut en ram för etisk användning av AI. Omfattningen av ett sådant åtagande beror på de avsedda tillämpningarna av AI-algoritmer. Det bästa sättet att bedöma dess inverkan är att tillämpa principen “gör ingen skada” och ha ett topp-down-åtagande till tillförlitlig användning av AI.

Lika viktigt är ett åtagande till transparens. Medan immateriella rättigheter bör balanseras med principen om tillförlitlig AI, bör vikten av transparens och ansvar för ansvarsfull användning av AI tydligt uttryckas och kommuniceras inom hela organisationen.

En av initiativen som ABBYY har åtagit sig är att leverera AI-teknologier som är socialt och ekonomiskt fördelaktiga. Detta kan vara en svår balans att uppnå. Hur kan företag bäst implementera detta?

Chefer kan uppnå denna balans genom att ta hänsyn till rekommendationer från Deloitte: Att designa etik in i AI börjar med att bestämma vad som är viktigt för intressenter, såsom kunder, anställda, reglerare och allmänheten. Företag bör inrätta en dedikerad AI-styrnings- och rådgivande kommitté från chefer och externa rådgivare som skulle engagera sig med multi-stakeholder-arbetsgrupper och etablera och övervaka styrningen av AI-aktiverade lösningar, inklusive deras design, utveckling, distribution och användning.

Hur vi balanserar våra kommersiella intressen och det sociala goda exemplifierades nyligen under coronavirus-pandemin. Vi gjorde många av våra teknologier tillgängliga gratis eller till rabatterade priser för att hjälpa individer och organisationer att navigera krisen, upprätthålla affärscontinuitet och stödja sina kunder under oförutsägbara omständigheter.

Vi har också nyligen gjort våra teknologiska ramverk tillgängliga genom NeoML, vår cross-plattform öppen källkods maskinlärningsbibliotek som möjliggör för programvaruutvecklare att utnyttja beprövade och tillförlitliga modeller för att främja AI-innovation.

Kan du dela dina åsikter om att använda AI för COVID-19-appar för smittspårning och behovet av att balansera rätten till integritet?

Detta är en särskilt besvärlig fråga. Det finns de som hävdar att implementeringen av mobil spårningsapplikationer representerar ett ovälkommet intrång i integritetsrättigheter. Å andra sidan, när det gäller allmän säkerhet, finns det alltid gränser för rättigheter i allmänhet. Det är en avvägning mellan rättigheter och ansvar. Men rättigheter är inte absoluta. Innehållning av en global pandemi kräver samordnad åtgärd och tillämpning av resurser och teknologier som kan användas på ett ansvarsfullt sätt för att skydda befolkningen i stort.

Denna balans mellan individuella integritetsrättigheter och det allmänna goda erkänns inom ett rättsligt ramverk. Till exempel identifierar GDPR sex grunder för lagligt bearbetning av personuppgifter, inklusive en bestämmelse som när bearbetning är nödvändig för allmänintresset, är sådan bearbetning av personuppgifter berättigad utan att inhämta samtycke från registrerade.

Dessutom stipulerar artikel 46 i GDPR direkt att bearbetning av personuppgifter är berättigad utan att inhämta samtycke från registrerade i humanitära nödsituationer, inklusive epidemier. Men det är viktigt att notera att artikel 46 tolkar tillämpningen av bestämmelsen om allmänintresse mycket snävt, med notationen att det endast bör ske när det inte kan baseras på en annan rättslig grund.

Förutom balansen mellan integritetsrättigheter och allmänintresse, är det också avgörande för tekniksektorn och beslutsfattare att implementera etiskt sunda, transparenta och rättvisa riktlinjer för användningen av AI-aktiverad profilering och delning av känslig hälsinformation. Stora tech-företag, inklusive Google (GOOGL ) och Facebook (META ), har redan börjat initiativ för att spåra användarnas rörelser för att identifiera hur viruset sprids och utvärdera effektiviteten av social distanseringsåtgärder.

Jag tror att så länge informationen är anonymiserad har den social nytta.

Finns det något annat du vill dela angående ABBYY:s nya globala initiativ för att främja utvecklingen av tillförlitlig artificiell intelligens?

Regleringar tenderar att ligga efter teknologisk innovation, därför måste företag ta ett proaktivt ansvar för att främja transparens och ansvar för AI-teknologier och hur de påverkar integritets- och säkerhetsrättigheter. Vårt initiativ återspeglar vårt åtagande i detta företag. Sedan vår grundande har vi skapat innovativa teknologier som bevarar värdefull information och omvandlar den till användbar kunskap.

Dessutom bör den etiska användningen av artificiell intelligens-teknologi inte bara övervägas på ett rättsligt underlag, utan också som en moralisk skyldighet och ett affärsimperativ. Om dina lösningar har en lång räckvidd och påverkar affärskritiska funktioner, bör det vara en branschstandard att vara transparent i tillämpningen av AI-teknologier.

Tack så mycket för att du svarade på dessa viktiga frågor. För att se ABBYY:s vägledande principer och tillvägagångssätt för att följa och främja tillförlitlig AI, klicka här. Den som vill veta mer om ABBYY i allmänhet kan besöka ABBYY:s webbplats.