Оценка истинного состояния глобальной бедности с помощью машинного обучения

Совместный проект Университета Калифорнии в Беркли, Стэнфордского университета и Facebook предлагает более глубокое и детальное представление о реальном состоянии бедности в странах и на территориях, используя машинное обучение.

Исследование, озаглавленное Микрооценки богатства для всех стран с низкими и средними доходами, сопровождается бета-сайтом, который позволяет пользователям интерактивно исследовать абсолютное и относительное экономическое состояние мелких территорий и очагов бедности в странах с низкими и средними доходами.

Фреймворк включает данные из спутниковых снимков, топографических карт, сетей мобильной связи и агрегированных анонимных данных от Facebook, и проверяется на основе обширных личных опросов для целей отчетности о относительной разнице в богатстве в регионе, а не абсолютных оценках дохода.

Карта мировой бедности, взвешенная в сторону наиболее пострадавших территорий. Ниже, увеличения Южной Африки и Лесото (б); 12-километровая территория вокруг тауншипа Кхайелицса недалеко от Кейптауна. Источник: https://arxiv.org/ftp/arxiv/papers/2104/2104.07761.pdf

Система была принята правительством Нигерии в качестве основы для администрирования социальных программ защиты, и работает в тандеме с существующей основой от Всемирного банка, Национального социального проекта безопасности (NASSP). В феврале первые получатели по схеме получили денежный перевод в размере 5000 нигерийских найр, что является льготой, выплачиваемой до шести месяцев, пока не будет достигнут порог в один миллион найр.

Статья утверждает, что бедность данных делает заметный вклад в неправильное распределение помощи в странах с минимальными ресурсами сбора данных или ограниченной инфраструктурой, и что политически мотивированное неправильное отчетность (проблема не ограниченная только странами с низкими доходами) также является фактором в этом отношении.

Регистрация ‘Неразглашаемых Бедных’

Исследования ученых на данных показали, что, при существующих правилах распределения ресурсов помощи, распределение на основе этой системы увеличивает выплаты тем, кто в них наиболее нуждается, и уменьшает выплаты существующим получателям в более высоких доходных группах. Статья также отмечает трудности, с которыми столкнулись администраторы социальных программ защиты при распределении ресурсов помощи в начале кризиса COVID-19, из-за отсутствия полных или подробных данных. В Нигерии, например, последние данные опроса охватывают только 13,8% всех нигерийских округов, по сравнению с 100% покрытием, которое обеспечивает новая схема.

Предыдущая работа по оценке бедности с помощью ИИ в основном концентрировалась на данных, полученных из спутниковых снимков (см. ниже), но исследователи утверждают, что данные из мобильной связи дают более точное и детальное представление о разнице в богатстве между регионами, и эта информация составляет половину всех вкладывающих данных для проекта.

С точки зрения обобщения в данных машинного обучения, исследователи отмечают, что модели, обученные в одной стране, могут быть полезным и точным шаблоном для моделей, охватывающих соседние страны. Они также отмечают, что новая основа не только может различать городские и сельские местности, но и может предоставлять карты разницы внутри городских территорий, что превышает объем многих недавних исследовательских инициатив в этом секторе.

Спутниковые снимки в анализе бедности

Основная идея спутникового анализа бедности заключается в предположении, что бедные люди имеют мало денег, чтобы использовать электрические лампы в часы темноты, или могут не иметь электрических ламп вообще. Где отсутствие точечных огней может быть связано с присутствием людей, как это определено другими средствами (такими как данные мобильной связи), может быть сгенерирован индекс лишения.

Этот метод был предложен в 2016 году в ранней статье Стэнфордского университета от другой исследовательской группы. Метод, описанный в этой статье, был пионерским в использовании вечерних спутниковых снимков, предоставляемых программой спутниковой метеорологии ВВС США (DMSP) через Национальное управление океанических и атмосферных исследований (NOAA-NGDC).

Четыре свертки фильтров определяют, слева направо, особенности, связанные с городскими зонами, сельскими зонами, водой и дорогами. Верхний ряд показывает исходные изображения из Google Maps, средний – карты активации фильтров из анализа машинного обучения, и нижний ряд – наложение карт активации на исходные картографические изображения. Источник: https://science.sciencemag.org/content/sci/353/6301/790.full.pdf

Основная информация для глобальной статистики бедности

Для нового проекта Стэнфордского университета исследователи решили получить данные из существующей программы Демографии и Здравоохранения (DHS), хотя, как они признают, это фактически повторяет схему DHS в наборе данных. Исследователи отмечают: ‘Мы выбрали обучение нашей модели исключительно на данных DHS, поскольку это наиболее полный единственный источник публично доступных, международно стандартизированных данных о богатстве, который предоставляет оценки богатства на уровне домохозяйств с подрегиональными геомаркерами.’

Мобильная связь в качестве экономического индекса

Для людей, живущих в экономически сложных территориях, мобильная связь стала технологической линией жизни за последние два десятилетия, поскольку мобильные телефоны являются минимально доступной технологической платформой, на которую можно положиться в таких условиях. Мобильные телефоны также стали де-факто платформами платежа для получателей помощи, которые не имеют банковского счета или других обычных средств получения денег.

Однако, как было наблюдено ранее, использование индикаторов мобильной сети в качестве экономического индекса для систем машинного обучения имеет некоторые потенциальные недостатки: есть люди в пострадавших регионах, которые так бедны, что не имеют даже мобильного телефона – те самые люди, которым система предназначена для помощи; система могла бы потенциально быть манипулирована пользователями с несколькими мобильными телефонами в обстоятельствах, когда телефон стал прокси для уникальных хэшей граждан; и есть последствия для конфиденциальности при создании такой системы идентификации, в случаях, когда местное или национальное правительство сохраняет некоторый надзор за проектом; em could potentially be gamed by users with multiple mobile phones in circumstances where a phone has become a proxy for unique ID hashes of citizens; and there are privacy implications to creating this kind of identification system, in cases where the local or national government retains some oversight of the project.