Оцінка справжнього стану глобальної бідності за допомогою машинного навчання

Колаборація між UoC Berkeley, Стенфордським університетом і Facebook пропонує глибше і більш детальне уявлення про справжній стан бідності в країнах і регіонах, за допомогою використання машинного навчання.

Дослідження, озаглавлене Мікрооцінки багатства для всіх країн з низьким і середнім рівнем доходу, супроводжується бета-сайтом, який дозволяє користувачам інтерактивно досліджувати абсолютний і відносний економічний стан малих територій і осередків бідності в країнах з низьким і середнім рівнем доходу.

Фреймворк включає дані з супутникових зображень, топографічних карт, мобільних телефонних мереж і агрегованих анонімних даних від Facebook, і верифікується проти обширних опитувань face-to-face, для цілей звітності про відносну розбіжність багатства в регіоні, а не абсолютні оцінки доходу.

Карта глобальної бідності, зважена на найбільш постраждалі території. Нижче, збільшення Південної Африки та Лесото (б); 12-кв-м територія навколо містечка Khayelitsa біля Кейптауна. Джерело: https://arxiv.org/ftp/arxiv/papers/2104/2104.07761.pdf

Система була прийнята урядом Нігерії як основа для адміністрування програм соціального захисту, і працює в тандемі з існуючим фреймворком Світового банку, Національного проекту соціальних мереж безпеки (NASSP). У лютому перші одержувачі за схемою отримали грошовий переказ у розмірі 5000 нігерійських найр, що є вигодою, сплачуваною до шести місяців, поки не буде досягнута межа у один мільйон найр.

Документ стверджує, що бідність даних робить помітний внесок у неправильний розподіл допомоги в країнах з мінімальними ресурсами збору даних або обмеженою інфраструктурою, і що політично мотивована неправильна звітність (проблема не обмежена низькими країнами доходу) також є фактором у цьому відношенні.

Реєстрація ‘Незвітної Бідності’

Симуляції дослідників на даних показали, що згідно з існуючими правилами розподілу ресурсів допомоги, розподіл на основі цієї системи збільшує виплати тим, хто найбільше в них потребує, і зменшує виплати існуючим одержувачам у вищих доходних категоріях. Документ також відзначає труднощі, з якими зустрілися адміністратори програм соціального захисту при розподілі ресурсів допомоги на початку кризи COVID-19, через відсутність повної або детальної інформації. У Нігерії, наприклад, останні дані опитування охоплюють лише 13,8% всіх нігерійських районів, порівняно з 100% покриття, яке забезпечує нова схема.

Попередня робота над оцінкою бідності за допомогою штучного інтелекту зосереджувалася в основному на даних, отриманих з супутникових зображень (див. нижче), але дослідники стверджують, що дані з мобільної зв’язку дають більш точне і детальне уявлення про розбіжність багатства в регіонах, і ця інформаційна поток забезпечує половину всіх даних, що сприяють цьому проекту.

З точки зору узагальнення даних машинного навчання, дослідники відзначають, що моделі, навчені в одній країні, можуть бути корисним і точним шаблоном для моделей, що охоплюють сусідні країни. Вони також відзначають, що новий фреймворк не тільки能够 розрізняти міські та сільські території, але також здатний забезпечувати карти розбіжності в міських районах, що перевершує сферу багатьох недавніх дослідницьких ініціатив у цьому секторі.

Супутникові зображення в аналізі бідності

Основна ідея супутникового аналізу бідності полягає в припущенні, що бідні люди мають мало коштів для утримання електричних вогнів у годину темряви, або можуть не мати електричних вогнів зовсім. Там, де відсутність точних вогнів може бути корельована з присутністю людей, як встановлено іншими засобами (наприклад, даними мобільної зв’язку), можна створити індекс депривації.

Цей метод був запропонований у 2016 році в попередньому Стенфордському документі іншої дослідницької групи. Метод, описаний у цьому документі, став піонером використання вечірніх супутникових зображень, наданих програмою Defense Meteorological Satellite Program (DMSP) Національного управління океанічних і атмосферних досліджень (NOAA-NGDC).

Чотири конволюційні фільтри ідентифікують, зліва направо, особливості, пов’язані з міськими зонами, сільськими зонами, водою і дорогами. Верхній ряд показує вихідні зображення з Google Maps, середній ряд – карти активації фільтрів з аналізу машинного навчання, і нижній ряд – накладення карт активації на оригінальні зображення карт. Джерело: https://science.sciencemag.org/content/sci/353/6301/790.full.pdf

Стенфордський проект корелював фільтровані дані нічних вогнів у супутниковому спостереженні проти своєї власної бази даних опитувань DHS за рік, коли відбулися опитування і агреговані супутникові результати. Було необхідно встановити середні значення суми нічних вогнів як проксі для певних економічних індикаторів.

Грунт для глобальної статистики бідності

Для нового Стенфордського проекту дослідники вирішили отримати дані фреймворка з існуючої програми Демографічних і здоровчих опитувань (DHS), хоча, як вони зізнаються, це фактично повторює схему DHS у наборі даних. Дослідники відзначають: ‘Ми вирішили навчати нашу модель виключно на даних DHS, оскільки це найповніший єдиний джерело публічно доступних, міжнародно стандартизованих даних про багатство, яке забезпечує оцінки багатства на рівні домогосподарств з субрегіональними геомаркерами.’

Однак, проект працює на значно вищому рівні роздільності, ніж DHS, і використання існуючого фреймворка як ґрунту забезпечує дві переваги: по-перше, дані DHS не залежать від офіційного звітування про доходи, яке є ненадійним індикатором у країнах, найбільш постраждалих від бідності, де розвинені чорні ринки; і по-друге, дані збираються у стандартизованій формі і за міжнародним шаблоном, який дозволяє фреймворку дослідників охоплювати інші країни, що піддаються цьому методу вимірювання, а не встановлювати еквівалентності між конкуруючими фреймворками.

Мобільна зв’язок як економічний індекс

Для людей, що живуть в економічно складних умовах, мобільна зв’язок стала технологічним життєвим шляхом за останні два десятиліття, оскільки мобільні телефони є мінімальною доступною технологічною платформою, на яку можна розраховувати в таких умовах. Мобільні телефони також стали де-факто платіжними платформами для одержувачів допомоги, які не мають банківського рахунку або інших конвенційних засобів отримання грошей.

Однак, як було відзначено раніше, використання індикаторів мобільної мережі як економічного індексу для систем машинного навчання має деякі потенційні недоліки: існують люди в постраждалих регіонах, які так бідні, що навіть не мають мобільного телефону – саме ті люди, яким система найбільш призначена для допомоги; система могла б потенційно бути використана користувачами з декількома мобільними телефонами в умовах, коли телефон став проксі для унікальних ідентифікаторів громадян; і існують питання конфіденційності щодо створення такої системи ідентифікації, в випадках, коли місцевий або національний уряд зберігає певний нагляд за проектом.