Fiber від Uber — це нова система навчання моделі розподіленого штучного інтелекту

За даними VentureBeat, нещодавно опублікували дослідники ШІ з Uber документ до Arxiv окреслює нову платформу, призначену для допомоги у створенні розподілених моделей ШІ. Платформа називається Волокно, і його можна використовувати як для завдань навчання з підкріпленням, так і для популяційного навчання. Fiber розроблено, щоб зробити великомасштабні паралельні обчислення більш доступними для неекспертів, дозволяючи їм скористатися перевагами розподілених алгоритмів і моделей ШІ.

Нещодавно Fiber був відкритий на GitHub і сумісний з Python 3.6 або новішою версією, а Kubernetes працює в системі Linux і в хмарному середовищі. За словами групи дослідників, платформа здатна легко масштабувати до сотень або тисяч окремих машин.

Команда дослідників з Uber пояснює, що багато з останніх і актуальних досягнень штучного інтелекту були засновані на більших моделях і більшій кількості алгоритмів, які навчаються за допомогою методів розподіленого навчання. Однак створення популяційних моделей і моделей посилення залишається складним завданням для розподілених схем навчання, оскільки вони часто мають проблеми з ефективністю та гнучкістю. Fiber робить розподілену систему більш надійною та гнучкою, поєднуючи програмне забезпечення для керування кластерами з динамічним масштабуванням і дозволяючи користувачам легко переміщувати свої завдання з однієї машини на велику кількість машин.

Fiber складається з трьох різних компонентів: API, серверної частини та кластерного рівня. Рівень API дозволяє користувачам створювати такі речі, як черги, менеджери та процеси. Внутрішній рівень Fiber дозволяє користувачеві створювати та завершувати завдання, якими керують різні кластери, а кластерний рівень керує самими окремими кластерами разом із їхніми ресурсами, тобто значною кількістю елементів, за якими Fiber має стежити.

Fiber дозволяє ставити завдання в чергу та виконувати їх віддалено на одній локальній машині або на багатьох різних машинах, використовуючи концепцію процесів, що підтримуються завданнями. Fiber також використовує контейнери, щоб забезпечити самодостатність таких речей, як вхідні дані та залежні пакети. Фреймворк Fiber навіть включає вбудовану обробку помилок, щоб у разі збою робочого елемента його можна було швидко відновити. FIber може робити все це, взаємодіючи з менеджерами кластерів, дозволяючи програмам Fiber працювати так, ніби це звичайні програми, що працюють на певному комп’ютерному кластері.

Експериментальні результати показали, що в середньому час відгуку Fiber становив кілька мілісекунд і що він також розширювався краще, ніж базові методи штучного інтелекту, коли створювався з 2,048 процесорними ядрами/робочими процесорами. Тривалість часу, необхідного для виконання робіт, поступово зменшувалася в міру збільшення встановленої кількості робітників. IPyParallel пройшов 50 ітерацій навчання приблизно за 1400 секунд, тоді як Fiber зміг виконати ті самі 50 ітерацій навчання приблизно за 50 секунд із 512 доступними працівниками.

Співавтори статті Fiber пояснювати що Fiber здатний досягати кількох цілей, наприклад, динамічно масштабувати алгоритми та використовувати великі об’єми обчислювальної потужності:

«[Наша робота показує], що Fiber досягає багатьох цілей, включаючи ефективне використання великої кількості різнорідного обчислювального обладнання, динамічне масштабування алгоритмів для підвищення ефективності використання ресурсів, зменшення інженерного навантаження, необхідного для [навчання з підкріпленням], і алгоритмів на основі популяції. комп’ютерні кластери та швидка адаптація до різних обчислювальних середовищ для підвищення ефективності досліджень. Ми очікуємо, що це сприятиме подальшому прогресу у вирішенні важких проблем [навчання з підкріпленням] за допомогою алгоритмів [навчання з підкріпленням] і популяційних методів, спрощуючи розробку цих методів і навчання їх у масштабах, необхідних для того, щоб вони справді сяяли».