AI використовує підкріплювальне навчання для навігації по океанах

Інженери з Caltech, ETH Zurich та Harvard працюють над штучним інтелектом (AI), який дозволить автономним дронам використовувати океанські течії для допомоги у навігації. За цим підходом, дронам не потрібно боротися з течіями.

Дослідження було опубліковано в Nature Communications 8 грудня.

Джон О. Дабірі є професором аеронавтики та механічної інженерії та одним з авторів дослідження. 

“Коли ми хочемо, щоб роботи досліджували глибокий океан, особливо у великих кількостях, майже неможливо керувати ними за допомогою джойстика з відстані 20 000 футів від поверхні. Ми також не можемо надавати їм дані про місцеві океанські течії, яких їм потрібно для навігації, оскільки ми не можемо виявити їх з поверхні. Натомість, на певному етапі нам потрібно, щоб океанські дрони могли самостійно приймати рішення про те, як рухатися”, – говорить Дабірі.

Тестування AI

Інженери перевірили точність AI за допомогою комп’ютерних симуляцій, а команда розробила малий робот, який запускає алгоритм на мікросхемі, який може живити морські дрони на Землі, а також на інших планетах. Врешті-решт, вони могли б розробити автономну систему, яка контролюватиме стан океанів планети, і це буде зроблено шляхом поєднання її з протезами, раніше розробленими для того, щоб допомогти медузам плавати за командою. 

Для того, щоб цей підхід працював, дронам потрібно самостійно приймати рішення про те, куди йти та як туди добратися. Ймовірно, їм доведеться покладатися на дані, які вони збирають самостійно, які будуть у вигляді інформації про водні течії, з якими вони стикаються.

Дослідники використали мережі підкріплювального навчання для вирішення цієї проблеми, і вони написали програмне забезпечення, яке може працювати на малому мікроконтролері. 

Команда змогла використовувати комп’ютерну симуляцію для навчання AI навігації. Симульований плавець мав доступ лише до інформації про водні течії на своєму місці, але він зміг швидко вивчити, як використовувати вихори у воді, щоб рухатися до цілі. 

Цей тип навігації є звичайним серед орлів і яструбів, які катяться на термальних потоках у повітрі, витягуючи енергію з повітряних течій для маневрування. Це дозволяє їм рухатися до цілі, зберігаючи енергію. 

Ефективні стратегії навігації

За словами команди, їх алгоритм підкріплювального навчання також міг вивчити стратегії навігації, які є більш ефективними, ніж ті, які використовуються рибами в океані.

“Ми спочатку просто сподівалися, що AI зможе конкурувати зі стратегіями навігації, які вже існують у реальних плаваючих тваринах, тому ми були здивовані, побачивши, як він вивчив навіть більш ефективні методи, використовуючи повторні випробування на комп’ютері”, – говорить Дабірі.

Дослідники тепер планують протестувати AI на кожному типі порушення потоку, з яким вони зустрінуться в океані. Вони досягнуть цього, поєднавши свої знання про фізику океанських потоків з стратегією підкріплювального навчання.

Пітер Гуннарсон є аспірантом у Caltech і головним автором статті.

“Не тільки робот буде вивчати, але й ми будемо вивчати океанські течії та методи навігації через них”, – говорить Гуннарсон.