Оценка истинного состояния глобальной бедности с помощью машинного обучения

Сотрудничество Университета Калифорнии в Беркли, Стэнфордского университета и Facebook предлагает более глубокую и детальную картину фактического состояния бедности в странах и между ними благодаря использованию машинного обучения.

Ассоциация исследованиям, озаглавленный Микрооценки благосостояния для всех стран с низким и средним уровнем дохода, сопровождается бета-сайт это позволяет пользователям в интерактивном режиме исследовать абсолютное и относительное экономическое состояние мелкозернистых районов и очагов бедности в странах с низким и средним уровнем дохода.

Система включает в себя данные спутниковых снимков, топографических карт, сетей мобильной связи и агрегированные анонимные данные из Facebook и проверяется на основе обширных личных опросов для целей сообщения об относительном неравенстве в уровне благосостояния в регионе, а не в абсолютных оценках доходов. .

Карта глобальной бедности, взвешенная по наиболее пострадавшим районам. Ниже — расширения Южной Африки и Лесото (б); участок площадью 12 кв. км вокруг поселка Хайелица недалеко от Кейптауна. Источник: https://arxiv.org/ftp/arxiv/papers/2104/2104.07761.pdf

Система была принял правительством Нигерии в качестве основы для управления программами социальной защиты и работает в тандеме с существующей структурой Всемирного банка, Национальным проектом сетей социальной защиты (НАССП). В феврале первым получателям по схеме был выплачен денежный перевод в размере 5000 нигерийских найр, пособие, подлежащее выплате до шести месяцев, пока не будет достигнут порог в один миллион найр.

Газета утверждает, что бедность данных вносит заметный вклад в неправильное распределение помощи в странах с минимальными ресурсами для сбора данных или ограниченной инфраструктурой, а политически мотивированное искажение информации (проблема не ограничен в страны с низким уровнем доходов) также является одним из факторов в этом отношении.

Регистрация «неучтенных бедняков»

Моделирование данных исследователями показало, что в соответствии с существующими правилами распределения ресурсов помощи распределение, основанное на этой системе, увеличивает выплаты тем, кто больше всего в них нуждается, и уменьшает выплаты существующим получателям в группах с более высоким доходом. В документе также отмечаются трудности, с которыми столкнулись администраторы программ социальной защиты при распределении ресурсов помощи в начале кризиса COVID-19 из-за отсутствия исчерпывающих или подробных данных. В Нигерии, например, самые последние данные обследования охватывают домохозяйства всего в 13.8% всех округов Нигерии, по сравнению со 100% охватом, который обеспечивает новая схема.

Предыдущая работа по оценке бедности с помощью ИИ была в основном сосредоточена на данных, полученных со спутников (см. все необходимые данные для проекта.

С точки зрения обобщения данных машинного обучения исследователи отмечают, что модели, обученные в одной стране, могут быть полезным и точным шаблоном для моделей, охватывающих соседние страны. Они также отмечают, что новая структура способна не только различать городские и сельские районы, но и способна предоставлять карты различий в урбанизированных районах, что выходит за рамки многих недавних исследовательских инициатив в этом секторе.

Спутниковые снимки в анализе бедности

В основе спутникового анализа бедности лежит предположение, что у бедных людей мало денег, чтобы включать электричество в темное время суток, или они могут вообще не иметь электричества. В тех случаях, когда отсутствие точечных огней может быть соотнесено с присутствием людей, что подтверждается другими средствами (например, данными о мобильной связи), может быть создан индекс депривации.

Эта методика была предложена в 2016 г. более ранняя статья Стэнфорда из другой исследовательской группы. Метод, подробно описанный в этой статье, стал пионером в использовании спутникового покрытия в вечернее время, обеспечиваемого Метеорологической спутниковой программой обороны ВВС США (DMSP) через Национальное управление океанических и атмосферных исследований (NOAA-NGDC).

Четыре сверточных фильтра определяют слева направо объекты, относящиеся к городским зонам, сельским районам, воде и дорогам. В верхнем ряду показаны исходные изображения из Google Maps, в среднем — карты активации фильтра из анализа машинного обучения, а в нижнем ряду — наложение карт активации на исходные изображения карты. Источник: https://science.sciencemag.org/content/sci/353/6301/790.full.pdf

Стэнфордский проект сопоставил отфильтрованные свидетельства ночных огней в спутниковом наблюдении со своей собственной базой данных съемок DHS за тот год, когда проводились как съемки, так и агрегированные спутниковые результаты. Было необходимо установить средние значения суммы значений освещенности в ночное время в качестве заменителей определенных экономических показателей.

Основная правда о глобальной статистике бедности

Для нового Стэнфордского проекта исследователи решили получить базу данных из существующего демографического и медицинского обследования (см.Департамента Национальной Безопасности (DHS)) Программа, хотя, как они признают, это эффективно воспроизводит схему DHS в наборе данных. Исследователи отмечают: «Мы решили обучать нашу модель исключительно на данных DHS, потому что это наиболее полный единый источник общедоступных, стандартизированных на международном уровне данных о благосостоянии, который обеспечивает оценки благосостояния на уровне домохозяйств с субрегиональными геомаркерами».

Тем не менее, проект работает с гораздо более высоким разрешением, чем DHS, и использование существующей структуры в качестве наземной истины обеспечивает два преимущества: во-первых, данные DHS не основаны на официальной отчетности о доходах, которая является ненадежным показателем в странах, наиболее пострадавших от бедность, где распространена экономика черного рынка; и, во-вторых, данные собираются стандартизированным образом и по международному шаблону, что позволяет исследователям охватить другие страны, в которых применяется этот метод измерения, а не устанавливать эквивалентность между конкурирующими системами.

Мобильная связь как экономический показатель

Для людей, живущих в экономически неблагополучных районах, мобильная связь за последние два десятилетия стала технологическим спасательным кругом, поскольку мобильные телефоны являются минимально доступной технологической платформой, на которую можно положиться в таких условиях. Мобильные телефоны также стали де-факто платежные платформы для получателей помощи, у которых нет банковского счета или других традиционных способов получения денег.

Однако, как было наблюдалось раньше, использование показателей мобильной сети в качестве экономического индекса для систем машинного обучения имеет некоторые потенциальные недостатки: в пострадавших регионах есть люди, которые настолько бедны, что даже не имеют мобильного телефона, — те самые люди, которым система больше всего предназначена помочь; система потенциально может использоваться пользователями с несколькими мобильными телефонами в обстоятельствах, когда телефон стал прокси-сервером для уникальных хэшей идентификаторов граждан; и создание такой системы идентификации имеет последствия для конфиденциальности в тех случаях, когда местное или национальное правительство сохраняет некоторый надзор за проектом.