Искусственный интеллект использует обучение с подкреплением для навигации в океанах

Инженеры из Caltech, ETH Zurich и Harvard работают над искусственным интеллектом (ИИ), который может позволить автономным беспилотникам использовать океанские течения для помощи в навигации. С помощью этого подхода беспилотники не должны бороться с течениями.

Исследование было опубликовано в Nature Communications 8 декабря.

Джон О. Дабири является профессором аэронавтики и механической инженерии и одним из авторов исследования.

“Когда мы хотим, чтобы роботы исследовали глубокий океан, особенно в стаях, почти невозможно контролировать их с помощью джойстика с расстояния 20 000 футов от поверхности. Мы также не можем предоставить им данные о местных океанских течениях, которые им нужны для навигации, потому что мы не можем обнаружить их с поверхности. Вместо этого в какой-то момент нам нужно, чтобы океанские беспилотники могли принимать решения о том, как двигаться самостоятельно”, – говорит Дабири.

Тестирование ИИ

Инженеры проверили точность ИИ с помощью компьютерных симуляций, и команда разработала небольшого робота, который запускает алгоритм на компьютерной микросхеме, который может питать морские беспилотники на Земле, а также на других планетах. В конечном итоге они могли разработать автономную систему, которая контролирует состояние океанов планеты, и она будет делать это, сочетая ее с протезами, ранее разработанными для того, чтобы помочь медузам плавать по команде.

Чтобы этот подход сработал, беспилотники должны принимать решения самостоятельно о том, куда идти и как туда добраться. Они, скорее всего, будут полагаться на данные, которые они собирают сами, которые будут представлять собой информацию о водных течениях, с которыми они сталкиваются.

Исследователи использовали сети обучения с подкреплением, чтобы решить эту задачу, и они написали программное обеспечение, которое может работать на небольшом микроконтроллере.

Команда смогла использовать компьютерную симуляцию, чтобы научить ИИ навигации. Симулированный пловец имел доступ только к информации о водных течениях в его непосредственной локации, но он смог быстро научиться, как использовать водовороты в воде, чтобы плыть к цели.

Этот тип навигации распространен среди орлов и ястребов, которые катаются на термальных потоках в воздухе, извлекая энергию из воздушных течений, чтобы маневрировать. Это позволяет им двигаться к цели, экономя энергию.

Эффективные стратегии навигации

По мнению команды, их алгоритм обучения с подкреплением также может научиться стратегиям навигации, которые более эффективны, чем те, которые используют рыбы в океане.

“Мы изначально просто надеялись, что ИИ сможет конкурировать с стратегиями навигации, уже найденными в реальных плавающих животных, поэтому мы были удивлены, увидев, как он научился даже более эффективным методам, используя повторяющиеся испытания на компьютере”, – говорит Дабири.

Исследователи теперь будут проверять ИИ на каждом типе нарушения потока, с которым он столкнется в океане. Они

Питер Гуннарсон является аспирантом Caltech и ведущим автором статьи.

“Не только робот будет учиться, но и мы будем учиться об океанских течениях и о том, как навигировать через них”, – говорит Гуннарсон.