Vanliga antaganden om maskinlärningsfel kan vara fel

Deep neural networks är en av de mest grundläggande aspekterna av artificiell intelligens (AI), eftersom de används för att bearbeta bilder och data genom matematisk modellering. De ansvarar för några av de största framstegen inom området, men de fungerar också fel på olika sätt. Dessa fel kan ha antingen en liten eller obefintlig inverkan, såsom en enkel felidentifiering, eller en mer dramatisk och dödlig, såsom en självkörande fel.

Ny forskning från University of Houston tyder på att våra vanliga antaganden om dessa fel kan vara fel, vilket kan hjälpa till att utvärdera tillförlitligheten hos nätverken i framtiden.

Artikeln publicerades i Nature Machine Intelligence i november.

”Adversarial Examples”

Maskinlärning och andra typer av AI är avgörande i många sektorer och uppgifter, såsom bankväsende och cybersäkerhetssystem. Enligt Cameron Buckner, en biträdande professor i filosofi vid UH, måste det finnas en förståelse för felen som orsakas av “adversarial examples”. Dessa adversarial examples uppstår när ett djupt neuralt nätverkssystem missbedömer bilder och annan data när det möter information utanför de träningsinmatningar som användes för att utveckla nätverket.

Adversarial examples är sällsynta eftersom de ofta skapas eller upptäcks av ett annat maskinlärningsnätverk.

”Vissa av dessa adversarial händelser kan istället vara artefakter, och vi behöver bättre veta vad de är för att veta hur tillförlitliga dessa nätverk är”, skrev Buckner.

Buckner säger att felet kan orsakas av interaktionen mellan de faktiska mönster som är inblandade och vad nätverket syftar till att bearbeta, vilket innebär att det inte är ett komplett misstag.

Mönster som artefakter

”Att förstå implikationerna av adversarial examples kräver att man utforskar en tredje möjlighet: att åtminstone vissa av dessa mönster är artefakter”, sa Buckner. ”Det finns för närvarande både kostnader med att enkelt kasta bort dessa mönster och faror med att använda dem naivt. ”

Även om det inte alltid är fallet, är avsiktlig skadegörelse den högsta risken när det gäller dessa adversarial händelser som orsakar maskinlärningsfel.

”Det innebär att illvilliga aktörer kan lura system som förlitar sig på ett annars tillförlitligt nätverk”, sa Buckner. ”Det har säkerhetsapplikationer. ”

Detta kan vara hackare som bryter sig in i ett säkerhetssystem baserat på ansiktsigenkänningsteknik eller felmärkta trafikskyltar för att förvirra autonoma fordon.

Tidigare forskning har visat att vissa av de adversarial exemplen är naturligt förekommande och uppstår när ett maskinlärningssystem missförstår data genom en oväntad interaktion, vilket skiljer sig från fel i data. Dessa naturligt förekommande exempel är sällsynta, och det enda sättet att upptäcka dem för närvarande är genom AI.

Men Buckner säger att forskare måste tänka om hur de hanterar avvikelser.

Dessa avvikelser, eller artefakter, förklaras av Buckner genom analogin med en linsfläck i en bild, som inte orsakas av ett fel i kamerans lins utan snarare interaktionen mellan ljus och kamera.

Om man vet hur man ska tolka linsfläcken kan viktig information, såsom solens läge, extraheras. På grund av detta tror Buckner att det är möjligt att extrahera lika värdefull information från ogynnsamma händelser i maskinlärning som orsakas av artefakter.

Buckner säger också att allt detta inte automatiskt innebär att djupinlärning inte är giltig.

”Vissa av dessa adversarial händelser kan vara artefakter”, sa han. ”Vi måste veta vad dessa artefakter är så att vi kan veta hur tillförlitliga nätverken är.”