Гибридная человеческо-машиная структура – ключ к более умной системе ИИ

Исследователи из Университета Калифорнии – Ирвайн создали гибридную человеческо-машиную структуру, которую они считают ключом к созданию более умных систем искусственного интеллекта (ИИ). Исследование включало новую математическую модель, которая может улучшить производительность за счет объединения человеческих и алгоритмических прогнозов и оценок достоверности.

Исследование было опубликовано в Proceedings of the National Academy of Sciences.

Люди против алгоритмов машин

Марк Стейверс – профессор когнитивных наук Университета Калифорнии – Ирвайн и соавтор статьи.

«Люди и алгоритмы машин имеют дополнительные сильные и слабые стороны. Каждый использует разные источники информации и стратегии для прогнозирования и принятия решений», – сказал Стейверс. «Мы показали через эмпирические демонстрации, а также теоретические анализы, что люди могут улучшить прогнозы ИИ даже тогда, когда точность людей немного ниже, чем у ИИ – и наоборот. И эта точность выше, чем при объединении прогнозов от двух людей или двух алгоритмов ИИ».

Исследователи протестировали структуру, проведя эксперимент по классификации изображений, где человеческие участники и компьютерные алгоритмы работали отдельно, чтобы правильно определить искаженные изображения животных и повседневных предметов. Эти изображения затем были ранжированы человеческими участниками по их уверенности в точности каждого изображения как низкой, средней или высокой. С другой стороны, машина-классификатор сгенерировала непрерывный балл.

Проведение тестов

Результаты экспериментов показали значительные различия в уровнях уверенности между людьми и ИИ.

Падраик Смит – профессор-канцлер компьютерных наук Университета Калифорнии – Ирвайн и соавтор статьи.

«В некоторых случаях человеческие участники были довольно уверены, что определенное изображение содержит стул, например, в то время как алгоритм ИИ был сбит с толку изображением», – сказал Смит. «Аналогично, для других изображений алгоритм ИИ смог уверенно предоставить метку для объекта, показанного на изображении, в то время как человеческие участники были неуверены, содержит ли искаженное изображение какой-либо узнаваемый объект».

Исследователи использовали свою новую структуру для объединения прогнозов и оценок достоверности как людей, так и ИИ, и гибридная модель показала лучшую производительность, чем прогнозы людей или машин отдельно.

«Хотя предыдущие исследования показали преимущества объединения прогнозов машин или объединения прогнозов людей – так называемой «мудрости толпы» – эта работа открывает новое направление, демонстрируя потенциал объединения прогнозов людей и машин, указывая на новые и улучшенные подходы к сотрудничеству между людьми и ИИ», – продолжил Смит.

Новый проект, ответственный за разработку этой структуры, был организован инициативой Ирвайна по ИИ, праву и обществу, которая стремится предоставить более глубокое понимание того, как люди и машины сотрудничают для создания более точных систем ИИ.

Исследование также включало соавторов Хелиодоро Техаду и Гавина Керригана. Хелиодоро – аспирант Университета Калифорнии – Ирвайн по когнитивным наукам, а Керриган – аспирант Университета Калифорнии – Ирвайн по компьютерным наукам.