Uppskatta den verkliga fattigdomen i världen med maskinlärande

Ett samarbete mellan UoC Berkeley, Stanford University och Facebook erbjuder en djupare och mer detaljerad bild av den faktiska fattigdomen i och mellan länder, genom användning av maskinlärande.

Forskningen, som heter Micro-Estimates of Wealth for all Low-and Middle-Income Countries, åtföljs av en beta-webbplats som tillåter användare att interaktivt utforska den absoluta och relativa ekonomiska situationen i fina områden och fattigdomspocket i låg- och medelinkomstländer.

Ramverket inkorporerar data från satellitbilder, topografiska kartor, mobilnät och aggregerad anonymiserad data från Facebook, och verifieras mot omfattande face-to-face-undersökningar, för att rapportera relativ förmögenhetsfördelning i en region, snarare än absoluta inkomstestimat.

En karta över global fattigdom, viktad mot de mest drabbade områdena. Nedan, förstoringar av Sydafrika och Lesotho (b); ett 12 km² stort område runt Khayelitsa-området nära Kapstaden. Källa: https://arxiv.org/ftp/arxiv/papers/2104/2104.07761.pdf

Systemet har antagits av Nigerias regering som grund för att administrera sociala skyddsprogram, och körs i tandem med det befintliga ramverket från Världsbanken, det nationella sociala säkerhetsnätverksprojektet (NASSP). I februari betalades de första mottagarna enligt schemat en kontantöverföring på 5000 nigerianska naira, en förmån som kan betalas ut i upp till sex månader, tills en tröskel på en miljon naira uppnås.

Artikeln hävdar att datafattigdom bidrar betydligt till felaktig fördelning av bistånd i länder med minimala datainsamlingsresurser eller begränsad infrastruktur, och att politiskt motiverad felrapportering (ett problem som inte är begränsat till låginkomstländer) också är en faktor i detta avseende.

Registrering av de ‘outredda fattiga’

Forskarnas simuleringar av data visade att, under befintliga regler för tilldelning av biståndsresurser, fördelning baserad på detta system ökar betalning till de som behöver det mest och minskar betalning för befintliga mottagare i högre inkomstgrupper. Artikeln noterar också den svårighet som sociala skyddsprogramadministratörer mötte vid tilldelning av biståndsresurser i början av COVID-19-krisen, på grund av bristen på omfattande eller detaljerad data. I Nigeria, till exempel, täcker den senaste undersökningsdata hushåll i endast 13,8% av alla nigerianska distrikt, jämfört med den 100% täckning som det nya schemat erbjuder.

Tidigare arbete inom AI-assisterad fattigdomsestimering har koncentrerats till stor del på satellitdata (se nedan), men forskarna hävdar att data från mobilanslutning ger en mer exakt och detaljerad inblick i förmögenhetsfördelning över regioner, och att denna informationsström utgör hälften av all bidragande data för projektet.

Från allmänhetens synvinkel i maskinlärandedata observerar forskarna att modeller som tränats i ett land kan vara en fördelaktig och exakt mall för modeller som täcker angränsande länder. De noterar också att det nya ramverket inte bara kan skilja mellan urbana och rurala områden, utan också kan ge fördelningskartor inom urbaniserade områden, vilket överstiger omfattningen av många nyliga forskningsinitiativ inom detta område.

Satellitbilder i fattigdomsanalys

Principen bakom satellitbaserad fattigdomsanalys är antagandet att fattiga människor har lite pengar att köra elektriska lampor i mörkret, eller kanske inte har någon elektrisk ljusanläggning alls. Där avsaknaden av precisa lampor kan korreleras till närvaron av människor, som fastställs genom andra medel (såsom mobilanslutningsdata), kan en fattigdomsindex skapas.

Denna teknik föreslogs 2016 i en tidigare Stanford-rapport från en annan forskargrupp. Metoden som beskrivs i den rapporten banade väg för användningen av kvällstidssatellitbilder som tillhandahålls av USA:s flygvapens försvarsmeteorologiska satellitprogram (DMSP) via National Oceanic and Atmospheric Administration (NOAA-NGDC).

Fyra konvolutionsfilter identifierar, från vänster till höger, funktioner som relaterar till urbana zoner, rurala zoner, vatten och vägar. Den översta raden visar källbilder från Google Maps, den mellersta filteraktiveringskartor från maskinlärandeanalys, och den nedre raden en överlagring av aktiveringskartor på den ursprungliga kartbilden. Källa: https://science.sciencemag.org/content/sci/353/6301/790.full.pdf

Stanford-projektet korrelerade den filtrerade bevisningen för nattljus i satellitövervakningen mot sin egen databas med DHS-undersökningar för det år som både undersökningarna och de aggregerade satellitresultaten inträffade. Det var nödvändigt att etablera genomsnitt av summan av nattljusvärden som proxy för vissa ekonomiska indikatorer.

Grundläggande sanning för globala fattigdomsstatistik

För det nya Stanford-projektet beslutade forskarna att hämta data från det befintliga Demografiska och hälsoprogrammet (DHS), även om de medger att detta i princip replikerar DHS-schemat i datasetet. Forskarna observerar: ‘Vi valde att träna vår modell uteslutande på DHS-data eftersom det är den mest omfattande offentliga källan till internationellt standardiserade förmögenhetsdata som tillhandahåller hushållsnivåförmögenhetsuppskattningar med subregionala geografiska markörer.’

Men projektet fungerar på en mycket högre upplösning än DHS, och att använda det befintliga ramverket som grundläggande sanning ger två fördelar: först, DHS-data baseras inte på formell inkomstrapportering, som är en opålitlig indikator i länder som mest påverkas av fattigdom, där svarta marknadsekonomier är vanliga; och för det andra, data samlas in på ett standardiserat sätt och enligt en internationell mall som tillåter forskarnas ramverk att omfatta andra länder som är föremål för denna mätmetod, snarare än att etablera ekvivalenser mellan konkurrerande ramverk.

Mobilanslutning som ekonomisk index

För människor som lever i ekonomiskt utmanade områden har mobilanslutning blivit en teknisk livlina under de senaste två decennierna, eftersom mobiltelefoner är den minsta tillgängliga tekniska plattformen som kan lita på under sådana förhållanden. Mobiltelefoner har också blivit de facto-betalningsplattformar för biståndsmottagare som saknar bankkonto eller andra konventionella medel för att ta emot pengar.

Men som har observerats tidigare, att använda mobilnätsindikatorer som ekonomiskt index för maskinlärandesystem har vissa potentiella nackdelar: det finns människor i de drabbade områdena som är så fattiga att de inte ens äger en mobiltelefon – de människor som systemet är mest avsett att hjälpa; systemet kunde potentiellt utnyttjas av användare med flera mobiltelefoner i situationer där en telefon har blivit en proxy för unika ID-hasher för medborgare; och det finns integritetsimplikationer för att skapa detta slags identifikationssystem, i fall där den lokala eller nationella regeringen behåller viss tillsyn av projektet; och det kunde potentiellt utnyttjas av användare med flera mobiltelefoner i omständigheter där en telefon har blivit en proxy för unika ID-hasher för medborgare; och det finns integritetsimplikationer för att skapa detta slags identifikationssystem, i fall där den lokala eller nationella regeringen behåller viss tillsyn av projektet.