Estimering av den sanna fattigdomen i världen med maskinlärande

Ett samarbete mellan UoC Berkeley, Stanford University och Facebook erbjuder en djupare och mer detaljerad bild av den faktiska fattigdomen i och mellan länder, genom användning av maskinlärande.

Forskningen, med titeln Mikro-estimat av rikedom för alla låg- och medelinkomstländer, åtföljs av en beta-webbplats som tillåter användare att interaktivt utforska den absoluta och relativa ekonomiska tillståndet i fina områden och fickor av fattigdom i låg- och medelinkomstländer.

Ramverket inkorporerar data från satellitbilder, topografiska kartor, mobilnät och aggregerad anonymiserad data från Facebook, och verifieras mot omfattande ansikte-mot-ansikte-undersökningar, för syftet att rapportera relativ rikedomsskillnad i en region, snarare än absoluta estimat av inkomst.

En karta över global fattigdom, viktad mot de mest drabbade områdena. Lägre, förstoringar av Sydafrika och Lesotho (b); ett 12 km² stort område runt Khayelitsa-området nära Kapstaden. Källa: https://arxiv.org/ftp/arxiv/papers/2104/2104.07761.pdf

Systemet har antagits av Nigerias regering som grund för administrering av sociala skyddsprogram, och körs i tandem med den befintliga ramen från Världsbanken, National Social Safety Nets Project (NASSP). I februari betalades de första mottagarna enligt schemat en kontantöverföring på 5000 nigerianska naira, en förmån som kan betalas ut i upp till sex månader, tills en tröskel på en miljon naira uppnås.

Papperet hävdar att datafattigdom gör en betydande bidrag till felaktig fördelning av hjälp i länder med minimala resurser för datainsamling eller begränsad infrastruktur, och att politiskt motiverad felrapportering (ett problem inte begränsat till låginkomstländer) också är en faktor i detta avseende.

Registrering av ‘oanmälda fattiga’

Forskarnas simuleringar på data visade att, under befintliga regler för fördelning av hjälpresurser, fördelning baserad på detta system ökar betalning till dem som behöver det mest och minskar betalning för befintliga mottagare i högre inkomstgrupper. Papperet noterar också den svårighet som sociala skyddsprogramadministratörer mötte vid fördelning av hjälpresurser i början av COVID-19-krisen, på grund av bristen på omfattande eller detaljerad data. I Nigeria, till exempel, täcker den senaste undersökningen hushåll i endast 13,8% av alla nigerianska distrikt, jämfört med den 100% täckning som det nya schemat erbjuder.

Tidigare arbete i AI-assisterad fattigdomsestimering har koncentrerats till stor del på satellitbaserad data (se nedan), men forskarna hävdar att data från mobil anslutning ger en mer exakt och detaljerad insikt i rikedomsskillnad över regioner, och denna informationsström utgör hälften av all bidragande data för projektet.

Från allmänhetssynpunkt i maskinlärande data observerar forskarna att modeller som tränats i ett land kan vara en fördelaktig och exakt mall för modeller som täcker angränsande länder. De noterar också att den nya ramen inte bara kan skilja mellan urbana och rurala områden, utan också kan ge skillnads kartor inom urbaniserade områden, vilket överstiger omfattningen av många nyliga forskningsinitiativ i denna sektor.

Satellitbilder i fattigdomsanalys

Huvudprincipen bakom satellitbaserad fattigdomsanalys är antagandet att fattiga människor har lite pengar att köra elektriska ljus under mörka timmar, eller kanske inte har någon elektrisk ljusanläggning alls. Där avsaknaden av precisa ljus kan korreleras till närvaron av människor, som fastställs genom andra medel (såsom mobil anslutningsdata), kan en index av fattigdom genereras.

Denna teknik föreslogs 2016 i en tidigare Stanford-papper från en annan forskargrupp. Metoden som beskrivs i det papperet banade väg för användningen av kvällstid satellitbilder från USA:s flygvapens försvarsmeteorologiska satellitprogram (DMSP) via National Oceanic and Atmospheric Administration (NOAA-NGDC).

Fyra konvolutionsfilter identifierar, från vänster till höger, funktioner som relaterar till urbana zoner, rurala zoner, vatten och vägar. Översta raden visar källbilder från Google Maps, mitten filteraktiveringskartor från maskinlärandeanalys, och nedre raden en överlagring av aktiveringskartor på den ursprungliga kartbilden. Källa: https://science.sciencemag.org/content/sci/353/6301/790.full.pdf

Stanford-projektet korrelerade den filtrerade bevisen för nattljus i satellitövervakningen mot sin egen databas av DHS-undersökningar för det år som både undersökningarna och de aggregerade satellitresultaten inträffade. Det var nödvändigt att etablera genomsnitt av summan av nattljusvärden som proxy för vissa ekonomiska indikatorer.

Grund för globala fattigdomsstatistik

För det nya Stanford-projektet beslutade forskarna att hämta data från det befintliga Demographic and Health Survey (DHS) Program, även om de medger att detta effektivt replikerar DHS-schemat i datamängden. Forskarna observerar: ‘Vi valde att träna vår modell uteslutande på DHS-data eftersom det är den mest omfattande enskilda källan till offentligt tillgängliga, internationellt standardiserade rikdomsdata som tillhandahåller hushållsnivåberäkningar av rikedom med subregionala geografiska markörer.’

Men projektet fungerar på en mycket högre upplösning än DHS, och att använda den befintliga ramen som grund ger två fördelar: först, DHS-data är inte beroende av formell rapportering av inkomst, som är en opålitlig indikator i länder som är mest drabbade av fattigdom, där svarta marknadsekonomier är vanliga; och för det andra, data samlas in på ett standardiserat sätt och enligt en internationell mall som tillåter forskarnas ram att omfatta andra länder som är föremål för denna mätmetod, snarare än att etablera ekvivalenser mellan konkurrerande ramar.

Mobil anslutning som ekonomisk index

För människor som lever i ekonomiskt utmanade områden har mobil anslutning blivit en teknisk livlina under de senaste två decennierna, eftersom mobiltelefoner är den minsta tillgängliga tekniska plattformen som kan lita på under sådana förhållanden. Mobiltelefoner har också blivit de facto betalningsplattformar för hjälpemottagare som saknar bankkonto eller andra konventionella medel för att ta emot pengar.

Men som observerats tidigare har användning av mobilnätsindikatorer som ekonomiskt index för maskinlärande system några potentiella nackdelar: det finns människor i de drabbade områdena som är så fattiga att de inte ens äger en mobiltelefon – de människor som systemet är mest utformat för att hjälpa; systemet kan potentiellt utnyttjas av användare med flera mobiltelefoner i situationer där en telefon har blivit en proxy för unika ID-hasher för medborgare; och det finns integritetsimplikationer för att skapa detta slag av identifieringssystem, i fall där den lokala eller nationella regeringen behåller viss tillsyn över projektet.