Дуг Фуллер, віце-президент з інженерії програмного забезпечення в Cornelis Networks – Серія інтерв’ю

Як віце-президент з інженерії програмного забезпечення, Дуг відповідає за всі аспекти програмного забезпечення Cornelis Networks, включаючи драйвери архітектури Omni-Path, програмне забезпечення для обміну повідомленнями та системи управління вбудованими пристроями. До того, як приєднатися до Cornelis Networks, Дуг очолював команди інженерії програмного забезпечення в Red Hat у сфері хмарного сховища та даних. Кар’єра Дуга в галузі високопродуктивних обчислень та хмарних обчислень почалася в лабораторії масштабних обчислень Ames National (ATLO ) Laboratory. Після кількох ролей у сфері університетських досліджень, Дуг приєднався до Національної лабораторії Ок-Рідж Міністерства енергетики США у 2009 році, де розробив та інтегрував нові технології у світовому класі Ок-Рідж Лідершип Комп’ютерного Центру.

Cornelis Networks – технологічний лідер, який надає спеціалізовані високопродуктивні ткані для високопродуктивних обчислень (HPC), високопродуктивної обробки даних (HPDA) та штучного інтелекту (AI) для провідних комерційних, наукових, академічних та урядових організацій.

Що спочатку привернуло вас до інформатики?

Я просто здавався мені цікавим працювати з технологіями. Мені подобалося працювати з комп’ютерами, зростаючи; у нас була модем у школі, яка дозволяла мені спробувати Інтернет, і я знайшов це цікавим. Як студент першого курсу, я зустрів науковця Міністерства енергетики США під час добровільної роботи на Національному науковому болі. Він запросив мене відвідати свою лабораторію високопродуктивних обчислень, і я був зачарований. Я став шанувальником суперкомп’ютерів з тих пір.

Ви працювали в Red Hat з 2015 по 2019 рік, над якими проектами ви працювали та які були ваші основні висновки з цього досвіду?

Моїм основним проектом в Red Hat був розподілений сховище Ceph. Раніше я зосереджувався виключно на високопродуктивних обчисленнях, і це дало мені можливість працювати над технологіями, які були критичними для інфраструктури хмар. Це римується. Багато принципів масштабованості, керованості та надійності дуже схожі, хоча вони спрямовані на вирішення дещо різних проблем. Що стосується технологій, моє найважливіше висновок полягало в тому, що хмара та високопродуктивні обчислення мають багато чого вивчити одне в одного. Ми все частіше будемо будувати різні проекти з одного й того ж набору Лего. Це допомогло мені зрозуміти, як технології, що дозволяють цьому, включаючи ткані, можуть бути застосовані до високопродуктивних обчислень, хмарних та AI-застосунків. Це також місце, де я справді зрозумів цінність відкритого програмного забезпечення та як виконувати філософію відкритого програмного забезпечення, яку я привіз з собою до Cornelis Networks. Особисто Red Hat був місцем, де я справді виріс і став лідером.

Ви зараз є віце-президентом з інженерії програмного забезпечення в Cornelis Networks, які є ваші обов’язки та як виглядає ваш звичайний день?

Як віце-президент з інженерії програмного забезпечення, я відповідаю за всі аспекти програмного забезпечення Cornelis Networks, включаючи драйвери архітектури Omni-Path, програмне забезпечення для обміну повідомленнями, управління тьмяними та вбудованими пристроями. Cornelis Networks – це цікаве місце для роботи, особливо зараз і на цьому ринку. Через це я не впевнений, що у мене є “звичайний” день. Деякі дні я працюю з моєю командою над вирішенням останніх технологічних проблем. Інші дні я взаємодію з нашими архітекторами апаратного забезпечення, щоб забезпечити, що наші наступні покоління продуктів будуть відповідати потребам наших клієнтів. Я часто знаходжусь у полі, зустрічаюся з нашими чудовими клієнтами та співробітниками, щоб забезпечити, що ми розуміємо та передбачаємо їхні потреби.

Cornelis Networks пропонує наступне покоління мережевих рішень для високопродуктивних обчислень та AI-застосунків, можете ви поділитися деякими деталями про апаратне забезпечення, яке пропонується?

Наше апаратне забезпечення складається з високопродуктивної комутованої ткані типу мережевого рішення. Для цього ми надаємо всі необхідні пристрої для повної інтеграції високопродуктивних обчислень, хмар та AI-ткань. Omni-Path Хост-Фабрик Інтерфейс (HFI) – це низькопрофільна карта PCIe для пристроїв кінцевих точок. Ми також виробляємо 48-порт 1U “верхній стелаж” комутатор. Для більших розгортань ми виготовляємо два повністю інтегровані “директорські” комутатори; один, який вміщує 288 портів у 7U, та 1152-порт, 20U пристрій.

Чи можете ви обговорити програмне забезпечення, яке керує цією інфраструктурою, та як воно спроектовано для зменшення затримки?

По-перше, наша вбудована платформа управління забезпечує легку установку та конфігурацію, а також доступ до широкого спектра метрик продуктивності та конфігурації, створених нашими комутаторами ASIC.

Наше програмне забезпечення драйвера розроблено як частина ядра Linux. Насправді, ми надсилаємо всі наші патчі програмного забезпечення до спільноти ядра Linux безпосередньо. Це забезпечує те, що всі наші клієнти мають максимальну сумісність між розподілами Linux та легку інтеграцію з іншими програмами, такими як Lustre. Хоча це не знаходиться на шляху затримки, наявність драйвера в дереві суттєво зменшує складність установки.

Omni-Path фабричний менеджер (FM) конфігурує та маршрутизує ткань Omni-Path. Оптимізуючи маршрути трафіку та швидко відновлюючи після збоїв, FM забезпечує лідерську продуктивність та надійність на ткані від десятків до тисяч вузлів.

Omni-Path Express (OPX) – це наше високопродуктивне програмне забезпечення для обміну повідомленнями, яке було недавно випущено у листопаді 2022 року. Воно було спеціально розроблено для зменшення затримки порівняно з нашим попереднім програмним забезпеченням для обміну повідомленнями. Ми провели цикл-точні симуляції наших шляхів надсилання та отримання коду, щоб мінімізувати кількість інструкцій та використання кешу. Це дало драматичні результати: коли ви знаходитеся в мікросекундному режимі, кожен цикл має значення!

Ми також інтегрували з OpenFabrics Interfaces (OFI), відкритим стандартом, створеним OpenFabrics Alliance. Модульна архітектура OFI допомагає мінімізувати затримку, дозволяючи вищому рівню програмного забезпечення, такому як MPI, використовувати функції ткані без додаткових викликів функцій.

Ціла мережа також спроектована для збільшення масштабованості, можете ви поділитися деякими деталями про те, як вона може масштабуватися так добре?

Масштабованість є в основі принципів дизайну Omni-Path. На найнижчому рівні ми використовуємо технологію корекції лінкових помилок Cray, яка не має впливу на затримку. Це впливає на ткані всіх масштабів, але особливо важливо для великомасштабних ткань, які природно зустрічають більше лінкових помилок. Наш фабричний менеджер зосереджений як на програмуванні оптимальних таблиць маршрутизації, так і на тому, щоб робити це швидко. Це забезпечує те, що маршрутизація навіть для найбільших ткань може бути завершена за мінімальний час.

Масштабованість також є критичним компонентом OPX. Мінімізація використання кешу покращує масштабованість на окремих вузлах з великими кількостями ядер. Мінімізація затримки також покращує масштабованість, покращуючи час завершення для колективних алгоритмів. Ефективне використання ресурсів інтерфейсу хоста-фабрики дозволяє кожному ядру спілкуватися з більш віддаленими однорідними вузлами. Стратегічне використання libfabric дозволяє нам використовувати функції програмного забезпечення, такі як масштабовані кінцеві точки, за допомогою стандартних інтерфейсів.

Чи можете ви поділитися деякими деталями про те, як AI інтегрований у деякі робочі процеси в Cornelis Networks?

Ми ще не готові говорити про наші внутрішні використання та плани щодо AI. Однак ми споживаємо власне програмне забезпечення, тому ми можемо скористатися покращеннями затримки та масштабованістю, які ми зробили для Omni-Path, щоб підтримувати AI-завдання. Це робить нас ще більш ентузіастами щодо того, щоб поділитися цими перевагами з нашими клієнтами та партнерами. Ми вже спостерігали, що, як і в традиційних високопродуктивних обчисленнях, масштабування інфраструктури – це єдиний шлях вперед, але викликом є те, що продуктивність мережі легко гальмується традиційними мережами, такими як Ethernet.

Які зміни ви передбачаєте в галузі з появою генеративного AI?

По-перше, використання генеративного AI зробить людей більш продуктивними – жодна технологія в історії не зробила людей зайвими. Кожна технологічна еволюція та революція, яку ми мали, від джинсової машини до автоматичної тканини, від телефону до Інтернету та далі, зробили певні роботи більш ефективними, але ми не виключили людство з існування.

Через застосування генеративного AI, я вірю, що компанії будуть технологічно просунуті з більшою швидкістю, оскільки ті, хто керує компанією, матимуть більше вільного часу для концентрації на цих просунутях. Наприклад, якщо генеративний AI забезпечує більш точне прогнозування, звітність, планування тощо – компанії можуть зосередитися на інноваціях у своїй галузі експертизи

Я конкретно відчуваю, що AI зробить кожного з нас мультидисциплінарним експертом. Наприклад, як експерт з масштабованого програмного забезпечення, я розумію зв’язки між високопродуктивними обчисленнями, великими даними, хмарними застосуваннями та AI-застосунками, які рухають їх до рішень, таких як Omni-Path. Оснащений генеративним AI-помічником, я можу зануритися глибше в значення застосунків, які використовують наші клієнти. Я не сумніваюся, що це допоможе нам розробити ще більш ефективне апаратне та програмне забезпечення для ринків та клієнтів, яких ми обслуговуємо.

Я також передбачаю загальне покращення якості програмного забезпечення. AI може ефективно функціонувати як “інші очі” для статичного аналізу коду та розробки уявлень про помилки та проблеми продуктивності. Це буде особливо цікаво у великих масштабах, де проблеми продуктивності можуть бути особливо важкими для виявлення та дорогими для відтворення.

Нарешті, я сподіваюся та вірю, що генеративний AI допоможе нашій галузі навчати та інтегрувати більше професійних спеціалістів з програмного забезпечення без попереднього досвіду в AI та високопродуктивних обчисленнях. Наша галузь може здаватися заповітною для багатьох, і це може зайняти час, щоб навчитися “думати паралельно”. Засадничо, як і машини зробили виробництво легшим, генеративний AI зробить легше考虑ати та розуміти концепції.

Чи є щось інше, що ви хотіли б поділитися про свою роботу або Cornelis Networks загалом?

Я хотів би заохотити будь-кого з інтересом продовжити кар’єру в галузі обчислень, особливо в високопродуктивних обчисленнях та AI. У цій галузі ми маємо найпотужніші обчислювальні ресурси, які коли-небудь були побудовані, і ми застосовуємо їх до найбільших викликів людства. Це цікаве місце для роботи, і я насолоджувався цим на кожному кроці. Генеративний AI приносить нашу галузь до ще нових висот, оскільки попит на збільшення можливостей зростає драстично. Я не можу дочекатися, щоб побачити, куди ми підемо далі.

Дякую за велике інтерв’ю, читачам, які бажають дізнатися більше, слід відвідати Cornelis Networks.