Волокно Uber – нова розподілена платформа навчання моделей штучного інтелекту

За даними VentureBeat, дослідники штучного інтелекту в Uber недавно опублікували статтю на Arxiv, в якій описали нову платформу, призначену для створення розподілених моделей штучного інтелекту. Платформа називається Волокно, і вона може бути використана для виконання завдань з підкріпленням навчання та навчання на основі населення. Волокно розроблено для того, щоб зробити великомасштабні паралельні обчислення більш доступними для неквалifikованих фахівців, дозволяючи їм використовувати потужність розподілених алгоритмів та моделей штучного інтелекту.

Волокно недавно було відкрито на GitHub, і воно сумісне з Python 3.6 або вище, з Kubernetes на Linux-системі та в хмарному середовищі. За словами команди дослідників, платформа може легко масштабуватися до сотень або тисяч окремих машин.

Команда дослідників з Uber пояснює, що багато останніх та актуальних досягнень у сфері штучного інтелекту були досягнуті завдяки більшим моделям та алгоритмам, які тренуються за допомогою розподілених методів навчання. Однак створення моделей на основі населення та моделей підкріплення залишається складним завданням для розподілених схем навчання, оскільки вони часто мають проблеми з ефективністю та гнучкістю. Волокно робить розподільчу систему більш надійною та гнучкою, поєднуючи програмне забезпечення для управління кластерами з динамічним масштабуванням та дозволяючи користувачам переміщувати свої завдання з однієї машини на велику кількість машин безперешкодно.

Волокно складається з трьох різних компонентів: API, бекенду та кластерного шару. Шар API дозволяє користувачам створювати черги, менеджери та процеси. Шар бекенду Волокна дозволяє користувачу створювати та завершувати завдання, які керуються різними кластерами, а кластерний шар керує окремими кластерами та їхніми ресурсами, що значно збільшує кількість елементів, які Волокно має відстежувати.

Волокно дозволяє завдання бути поставлені в чергу та виконані віддалено на одній локальній машині або на багатьох різних машинах, використовуючи концепцію процесів, підтримуваних завданнями. Волокно також використовує контейнери, щоб забезпечити, щоб вхідні дані та залежні пакети були самодостатніми. Фреймворк Волокна навіть включає вбудоване оброблення помилок, щоб якщо працівч рухає, його можна швидко відновити. Волокно може робити все це, взаємодіючи з менеджерами кластерів, дозволяючи застосунках Волокна працювати так, якби вони були звичайними застосунками, що працюють на певному комп’ютерному кластері.

Експериментальні результати показали, що в середньому час відповіді Волокна становив кілька мілісекунд, і що воно також краще масштабувалося, ніж базові методи штучного інтелекту, коли було побудовано з 2 048 процесорними ядрами/робітниками. Час, необхідний для виконання завдань, поступово зменшувався при збільшенні кількості робітників. IPyParallel завершив 50 ітерацій навчання за приблизно 1400 секунд, тоді як Волокно змогло завершити ті самі 50 ітерацій навчання за приблизно 50 секунд з 512 робітниками.

Співавтори статті про Волокно пояснюють, що Волокно здатне досягти кількох цілей, таких як динамічне масштабування алгоритмів та використання великих об’ємів обчислювальної потужності:

«[Наша робота показує], що Волокно досягає багатьох цілей, включаючи ефективне використання великої кількості гетерогенної обчислювальної апаратури, динамічне масштабування алгоритмів для підвищення ефективності використання ресурсів, зменшення інженерного навантаження, необхідного для роботи алгоритмів підкріплення та населення на комп’ютерних кластерах, та швидку адаптацію до різних обчислювальних середовищ для підвищення ефективності досліджень. Ми очікуємо, що це ще більше дозволить зробити прогрес у вирішенні складних завдань підкріплення навчання з алгоритмами підкріплення навчання та методами населення, роблячи їх розробку та навчання легшим у масштабах, необхідних для їх真正ого успіху».