ИИ использует обучение с подкреплением для навигации по океанам

Инженеры в Caltech, ETH Zurich и Harvard работают над искусственным интеллектом (ИИ), который может позволить автономным дронам использовать океанские течения для помощи в навигации. С помощью этого подхода дронам не нужно бороться с течениями.

Исследование было опубликовано в Nature Communications 8 декабря.

Джон О. Дабири является профессором аэронавтики и механической инженерии и одним из авторов исследования.

“Когда мы хотим, чтобы роботы исследовали глубокий океан, особенно в стаях, почти невозможно контролировать их с помощью джойстика с расстояния 20 000 футов от поверхности. Мы также не можем предоставить им данные о местных океанских течениях, которые им нужны для навигации, потому что мы не можем обнаружить их с поверхности. Вместо этого в определенный момент нам нужно, чтобы океанские дроны могли принимать решения о том, как двигаться сами по себе”, – говорит Дабири.

Тестирование ИИ

Инженеры проверили точность ИИ с помощью компьютерных симуляций, и команда разработала небольшого робота, который запускает алгоритм на компьютерном чипе, который может питать морские дроны на Земле, а также на других планетах. В конечном итоге они могли разработать автономную систему, которая контролирует состояние океанов планеты, и она будет делать это, объединив ее с протезами, ранее разработанными для помощи медузам плавать по команде.

Для того, чтобы этот подход сработал, дронам необходимо принимать решения самостоятельно о том, куда идти и как туда добраться. Они, скорее всего, будут полагаться на данные, которые они собирают сами, которые будут в форме информации о водных течениях, которые они испытывают.

Исследователи использовали сети обучения с подкреплением, чтобы решить эту задачу, и они написали программное обеспечение, которое может работать на небольшом микроконтроллере.

Команда смогла использовать компьютерную симуляцию, чтобы научить ИИ ориентироваться. Симулированный пловец имел доступ только к информации о водных течениях в своем непосредственном окружении, но он смог быстро научиться использовать вихри в воде, чтобы плыть к цели.

Этот тип навигации распространен среди орлов и ястребов, которые катаются на термальных потоках в воздухе, извлекая энергию из воздушных течений, чтобы маневрировать. Это позволяет им двигаться к цели, экономя энергию.

Эффективные стратегии навигации

По мнению команды, их алгоритм обучения с подкреплением также может научиться навигационным стратегиям, которые более эффективны, чем те, которые используют рыбы в океане.

“Мы изначально просто надеялись, что ИИ сможет конкурировать с навигационными стратегиями, уже найденными в реальных плавающих животных, поэтому мы были удивлены, увидев, как он научился даже более эффективным методам, используя повторные испытания на компьютере”, – говорит Дабири.

Исследователи теперь будут проверять ИИ на каждом типе нарушения потока, с которым он столкнется в океане. Они достигнут этого, объединив свои знания физики океанских потоков с стратегией обучения с подкреплением.

Питер Гуннарсон является аспирантом в Caltech и ведущим автором статьи.

“Не только робот будет учиться, но и мы будем учиться об океанских течениях и о том, как навигировать через них”, – говорит Гуннарсон.