Угур Тіглі, технічний директор MinIO – Інтерв’ю серія

Угур Тіглі є технічним директором MinIO, лідера у сфері високопродуктивного об’єктного сховища для AI. Як технічний директор, Угур допомагає клієнтам проектувати та розгортати API-орієнтовану, хмарну та масштабовану корпоративну інфраструктуру даних за допомогою MinIO.

Ви можете описати свій шлях до посади технічного директора MinIO, і як ваш досвід вплинув на ваш підхід до AI та інфраструктури даних?

Я розпочав свою кар’єру в галузі інфраструктурної інженерії в Merrill Lynch як адміністратор резервного копіювання та відновлення. Потім я прийняв різні виклики та технічні посади. Я приєднався до Bank of America (BAC ) через придбання Merrill Lynch, де я був віце-президентом інженерії сховища. Однак моя роль розширилася та включала інженерію обчислень та інженерію центру даних.

В рамках своєї роботи я також співпрацював з різними венчурними фірмами (VC) та їхніми портфельними компаніями, щоб привнести найновішу та найкращу технологію. Під час однієї з моїх зустрічей з General Catalyst, мене познайомили з ідеєю та людьми, які стояли за MinIO. Це сподобалося мені через їхній підхід до інфраструктури даних — він відрізнявся від усіх інших на ринку. Компанія усвідомила важливість об’єктного сховища та стандартних API, з якими програми тільки починалися. Під час тих років вони могли передбачити майбутнє обчислень та AI до того, як це стало відомим сьогодні. Я хотів бути частиною реалізації цієї бачення та побудови чогось真正 унікального. MinIO зараз є найбільш широко розгорнутим об’єктним сховищем на планеті.

Вплив моїх попередніх ролей та досвіду на мій підхід до нових технологій, зокрема AI та інфраструктури даних, також просто є накопиченням багатьох проектів, у яких я брав участь через роки підтримки команд застосунків у високовимогливій фінансовій сфері.

Від обмеженої смуги пропускання мережі, яка привела до технології Hadoop 15 років тому, до різних технологій носіїв даних від жорсткого диска (HDD) до твердотільного диска (SSD), багато цих технологічних змін сформували мою поточну точку зору на екосистему AI та інфраструктуру даних.

MinIO визнаний за свої високопродуктивні можливості об’єктного сховища. Як MinIO конкретно задовольняє потреби підприємств, які керуються AI?

Коли AB і Гарима концептуалізували MinIO, їхньою першою пріоритетністю було подумати про проблемну заяву — вони знали, що дані продовжуватимуть зростати, а існуючі технології сховища були не сумісними з цим зростанням. Швидке виникнення AI зробило їхнє передбачливе бачення ринку реальністю. З тих пір об’єктне сховище стало фундаментальним для інфраструктури AI (всі великі LLM, такі як OpenAI та Anthropic, побудовані на об’єктних сховищах), а сучасний центр даних побудований на основі об’єктного сховища.

MinIO недавно запустив нову платформу об’єктного сховища з критично важливими корпоративними функціями для підтримки організацій у їхніх ініціативах AI: MinIO Enterprise Object Store. Вона призначена для продуктивності та масштабних викликів, введених величезними робочими навантаженнями AI, і дозволяє клієнтам легше подолати виклики, пов’язані з мільярдами об’єктів, а також сотнями тисяч криптографічних операцій на вузол за секунду. Вона має шість нових комерційних функцій, які націлені на ключові оперативні та технічні виклики, з якими стикаються робочі навантаження AI: Каталог (це розв’язує проблему простору імен об’єктного сховища та пошуку метаданих), Брандмауер (спеціально розроблений для даних), Система керування ключами (розв’язує проблему роботи з мільярдами криптографічних ключів), Кеш (функціонує як служба кешування), Спостереження (дозволяє адміністраторам переглядати всі компоненти системи через кожну інстанс), і нарешті, Enterprise Console (служить єдиною панеллю керування для всіх інстансів MinIO).

Обробка AI у масштабі стає все більш критичною. Чи можете ви роз’яснити, чому це так і як MinIO задовольняє ці вимоги для сучасних підприємств?

Практично все, що організації будують, зараз знаходиться на об’єктному сховищі, що тільки прискориться, оскільки ті, хто керує інфраструктурою з апаратним забезпеченням, врізалися в стіну у віці сучасних даних та AI. Організації розглядають нові інфраструктури для керування всіма даними, які надходять до їхньої системи, а потім будують дані-орієнтовані застосунки на вершині цього — це вимагає виняткової масштабованості та гнучкості, яку тільки об’єктне сховище може підтримувати. Саме тут вступає MinIO, і саме тому компанія завжди стояла на милі попереду конкурентів, оскільки вона спроектована для того, що потрібно AI — зберігання величезних обсягів структурованих та неструктурованих даних та забезпечення продуктивності у масштабі.

Аналогічно до потреб машинного навчання (ML) у попередніх поколіннях AI, дані та сучасні озера даних були критичними для успіху будь-якої “передбачувальної” AI. Однак із розвитком “генеративної” AI цей ландшафт розширився та включив багато інших компонентів, таких як дані AI Ops, документальні потоки, фундаментальні моделі та векторні бази даних.

Всі ці додаткові компоненти використовують об’єктне сховище, а більшість з них безпосередньо інтегруються з MinIO. Наприклад, Milvus, векторна база даних, використовує MinIO, а багато сучасних запитних двигунів інтегруються з MinIO через API S3.

AI технічний борг стає все більш серйозною проблемою для багатьох організацій. Які стратегії MinIO застосовує для допомоги клієнтам у避免анні цієї проблеми, особливо щодо використання GPU більш ефективно?

Ланцюг є лише так сильним, як його найслабіший ланцюг – і ваша інфраструктура AI/ML є лише так швидко, як ваш найповільніший компонент. Якщо ви тренуєте моделі машинного навчання з GPU, ваш слабкий ланцюг може бути вашим рішенням сховища. Результатом є те, що я називаю “Проблемою голодної GPU”. Проблема голодної GPU виникає, коли ваша мережа чи рішення сховища не можуть служити навчальним даним вашій логіці навчання достатньо швидко, щоб повністю використати ваші GPU, залишаючи цінну обчислювальну потужність на столі. Щось, що організації можуть зробити, щоб повністю використати свої GPU, — це спочатку зрозуміти ознаки поганої архітектури даних та як це може безпосередньо призвести до недооцінки технології AI. Щоб уникнути технічного боргу, компанії повинні змінити свій погляд (і зберігання) даних.

Організації можуть налаштувати рішення сховища, яке знаходиться в тому ж центрі даних, що і їхня інфраструктура обчислень. Ідеально було б, якщо це було б у тому ж кластері, що і ваше обчислення. Оскільки MinIO є програмним рішенням сховища, воно здатне забезпечити продуктивність, необхідну для годування голодних GPU – недавній бенчмарк досяг 325 ГБ/с на GET-запитах та 165 ГБ/с на PUT-запитах з лише 32 вузлами NVMe SSD.

Ви маєте багаті досвід у створенні високопродуктивної інфраструктури даних для глобальних фінансових інститутів. Як ці досвіди інформують вашу роботу в MinIO, особливо щодо проектування рішень для різноманітних галузевих потреб?

Я допоміг побудувати перший приватний хмарний сервіс для Bank of America, і ця ініціатива заощадила мільярди доларів, надавши функції та функціональність, доступні у публічних хмарах, внутрішньо за нижчу ціну. Не лише ця велика ініціатива, але й багато інших різноманітних вимог до застосунків, над якими я працював у BofA Merrill Lynch, сформували мою роботу в MinIO щодо проектування рішень для наших клієнтів сьогодні.

Наприклад, вивчення цього неправильного або “важкого” шляху з командою, яка побудувала кластери Hadoop, які використовували лише компоненти сховища даних сервера, залишаючи серверні процесори недооціненими або майже неактивними. Прості приклади або висновки, такі як цей, дозволили мені використовувати розв’язки сховища даних та обчислень у сучасній інфраструктурі даних сьогодні, допомагаючи нашим клієнтам та партнерам, які є технічно кращими та нижчими за вартість розв’язками, що використовують сучасні технології високопропускної мережі та високопродуктивне об’єктне сховище, таке як MinIO, та будь-який запитний або обробний двигун.

Гібридна хмара представляє унікальні виклики та складності. Чи можете ви обговорити ці питання докладно та пояснити, як гібридна модель “бурсту” до хмари MinIO допомагає контролювати хмарні витрати ефективно?

Перехід до мультихмарності не повинен призвести до зростання ІТ-бюджетів та нездатності досягнути орієнтирів — це повинно допомогти керувати витратами та прискорити шлях організації. Щось, що варто розглянути, — це репатріація хмари — реальність полягає в тому, що перенесення операцій з хмари до інфраструктури на місці може привести до суттєвої економії коштів, залежно від випадку, і ви завжди повинні розглядіти хмару як операційний модель, а не пункт призначення. Наприклад, організації запускають екземпляри GPU, але потім витрачають час на попередню обробку даних, щоб вони помістилися у GPU. Це марнує дорогоцінний час і гроші — організації повинні оптимізувати краще, обираючи хмарно-орієнтовані та, що ще важливіше, хмарно-портативні технології, які можуть розблокувати силу мультихмарності без суттєвих витрат. Використання принципів хмарної першої операційної моделі та дотримання цього框у забезпечує гнучкість для адаптації до змінних операційних вимог.

Рішення, роджені для Kubernetes, є важливими для сучасної інфраструктури. Як інтеграція MinIO з Kubernetes підвищує її масштабованість та гнучкість для інфраструктури даних AI?

MinIO є родженим для Kubernetes за своєю суттю та сумісним з S3 з моменту створення. Розробники можуть швидко розгорнути постійне об’єктне сховище для всіх своїх хмарно-орієнтованих застосунків. Комбінація MinIO та Kubernetes забезпечує потужну платформу, яка дозволяє застосункам масштабуватися через будь-яку мультихмарну та гібридну хмарну інфраструктуру та все ще керуватися центрально та захищатися, уникнувши блокування публічної хмари.

З Kubernetes як своїм двигуном, MinIO здатний запускатися будь-де, де запускається Kubernetes — що, у сучасному, хмарно-орієнтованому/ AI світі, є практично всюди.

Оглядаючи майбутнє, які майбутні розробки чи покращення користувачі можуть очікувати від MinIO у контексті інфраструктури даних AI?

Наші недавні партнерства та запуски продуктів є ознакою для ринку того, що ми не сповільнюємося будь-коли скоро, і ми продовжимо рухатися туди, де це має сенс для наших клієнтів. Наприклад, ми недавно партнерували з Carahsoft, щоб зробити портфель програмного забезпечення MinIO для об’єктного сховища доступним для державних, оборонних, розвідувальних та освітніх секторів. Це дозволяє організаціям державного сектора будувати будь-яку різноманітну інфраструктуру даних, від великих сучасних озер даних до спеціальних рішень сховища даних на автономному краю. Разом ми приносимо ці інноваційні, унікальні рішення клієнтам державного сектора, наділяючи їх можливістю легко та ефективно подолати виклики інфраструктури даних. Це партнерство відбувається в той час, коли існує підвищений поштовх до надання державному сектору можливості бути готовим до AI, з недавніми вимогами OMB, які вказують, що всі федеральні агентства повинні мати головного офіцера AI (серед іншого). Загалом, партнерство допомагає зміцнити позиції галузі щодо AI та надає державному сектору цінні інструменти, необхідні для успіху.

Крім того, MinIO дуже добре позиціонований для майбутнього. Інфраструктура даних AI ще в своїй дитинстві. Багато областей її будуть більш очевидними за наступні пару років. Наприклад, більшість підприємств хочуть використовувати свої власні дані та документи з фундаментальними моделями та генерацією RAG. Дальша інтеграція до цього шаблону розгортання буде легкою для MinIO, оскільки всі ці архітектурні вибори та шаблони розгортання мають одну спільну річ — всі ці дані вже зберігаються на MinIO.

Нарешті, для технологічних лідерів, які хочуть побудувати або покращити свою інфраструктуру даних для AI, яку пораду ви дали б на основі свого досвіду та висновків у MinIO?

Щоб зробити будь-яку ініціативу AI успішною, існують три ключових елементи, яких ви повинні дотримуватися: мати правильні дані, правильну інфраструктуру та правильні застосунки. Все починається з розуміння того, що вам потрібно — не виходьте та не купуйте дорогі GPU тільки через те, що ви бояєтеся пропустити корабель AI. Я твердо вірю, що корпоративні стратегії AI зазнають невдачі в 2024 році, якщо організації будуть зосереджені лише на самих моделях, а не на даних. Думати “модель вниз” проти “дані вгору” — це критична помилка — вам потрібно починати з даних. Будувати належну інфраструктуру даних. Потім подумайте про свої моделі. Коли організації рухаються до архітектури AI-першої, це важливо, щоб ваша інфраструктура даних дозволяла вашим даним — а не обмежувала їх.

Дякую за велике інтерв’ю, читачам, які бажають дізнатися більше, слід відвідати MinIO.