Переправа між інфраструктурою та командами продукту: уроки, здобуті під час побудови платформ Генеративного ІІ

Немає сумнівів у тому, що Генеративний ІІ, або ГенІІ, є темою дня, і був таким уже протягом останніх кількох років. Чи то автоматизація процесів, генерація нових дизайнів продукту, створення контенту чи будь-які інші функції в різних галузях, зараз час для організацій почати робити роботу, яка найбільш важлива, і реалізовувати свої стратегії ГенІІ.

Успіх ГенІІ, що охоплює роботу від дослідження до навчання та, врешті-решт, висновку, залежить від тісної координації навколо розгортання, спостереження, управління витратами, телеметрії та цілей затримки основної інфраструктури та послуг. Це допомагає забезпечити досягнення ефективної ефективності для навантаження ІІ, забезпечуючи ефективний баланс між обчисленнями та комунікацією, забезпечуючи постійну наявність необхідних даних на GPU.

Проблема полягає в тому, що часто існує структурна прогалина: інженерія інфраструктури зосереджена на стеку обчислень та розгортання, тоді як команди програмного забезпечення та продукту зосереджені на побудові програм, орієнтованих на користувача, які вводять ГенІІ у реальний світ. Коли ці групи не повністю узгоджені, це часто призводить до затримок у доставці, проблем з продуктивністю та проблем з користуванням.

Отже, який вигляд має ця прогалина у реальному світі, і які стратегії можуть використовувати організації для узгодження інфраструктури та команд продукту для успіху ГенІІ?

Проблеми з неправильним узгодженням

Коли інфраструктура та команди продукту не узгоджені, симптоми часто очевидні, але не завжди швидко усунені. Одним із ознак незузгоджених команд є неузгодженні припущення щодо очікувань затримки або можливостей моделі. Наприклад, команди інженерії інфраструктури можуть планувати функції чи розгортання, які припускають рівні продуктивності, яких дизайн інфраструктури не відповідає. Це призводить до переробки на пізніх стадіях, змін у складі та затримок у доставці.

Незузгодженість також може призвести до поганої продуктивності через розгортання на інфраструктурі, не оптимізованій для рейок, що проявляється у варіаціях затримки та проблемах з масштабованістю, які впливають на продуктивність навчання чи великих розподілених робіт висновку. Також ризики безпеки та відповідності hạточаться, оскільки відсутність ранньої співпраці між двома командами означає, що вимоги щодо конфіденційності даних та відповідності можуть бути проігноровані.

І, нарешті, незузгодженість команд призводить до поганого досвіду користувача, що змушує команди інженерії інфраструктури вдаватися до обхідних шляхів, коли обмеження неясні, що сповільнює цикли ітерації та збільшує технічний борг. Очевидно, що незузгодженість між командами продукту та інфраструктури може бути дорогою у будь-якому проєкті програмного забезпечення, але особливо у ГенІІ — збільшені операційні неефективності, ерозія конкурентної переваги та ризики безпеки серед них.

Переправа до успіху

Успіх ГенІІ залежить не тільки від наявності потужної інфраструктури, але також від створення тактичної основи, яка поєднує процеси інфраструктури та продукту. Наприклад, ідея внутрішніх самозасобних API для надання GPU. Для команд інфраструктури ці API стандартизують доступ, зменшують накладні витрати на квитки та забезпечують відповідність; для команд продукту вони забезпечують швидкий, передбачуваний доступ до обчислень без очікування у черзі. Результатом є те, що обидві групи працюють з одного й того ж “контракту” API, усуваючи瓶 cổ та уточнюючи очікування.

Панелі використання в режимі реального часу грають подібну роль. Вони надають інженерам інфраструктури видимість системної завантаженості та ефективності, одночасно показуючи командам продукту, як їх робота перетворюється на фактичне споживання. Оскільки обидві сторони бачать одні й ті ж дані, обговорення продуктивності чи瓶 cổ стають більш співробітничими та менш суперечливими — існує єдиний джерело правди.

Автомасштабування є ще одним уніфікованим механізмом. Воно звільняє інженерів інфраструктури від постійної пожежної боротьби, одночасно забезпечуючи, щоб розробники продукту не досягали продуктивних стель під час піків навантаження. Те, що могло б бути тяганиною між стабільністю та гнучкістю, стає спільною стратегією: масштаб керується автоматично, узгоджено з операційною стійкістю та продуктивністю.

Нарешті, огляд витрат додає фінансовий вимір до цього спільного погляду. Команди інфраструктури можуть оптимізувати виділи, виправдовувати планування потужностей, тоді як команди продукту отримують розуміння того, як їх архітектурні чи модельні вибори впливають на витрати. Ця прозорість сприяє спільній відповідальності, перетворюючи ефективність на колективну відповідальність, а не на приховану проблему.

Але узгодженість вимагає більше, ніж спільні інструменти — вона також вимагає спільної бачення. Це місце, де спільні плани дій вступають у гру: кожна команда повинна не тільки зрозуміти загальні цілі, але й кроки, необхідні для їх досягнення. Для інфраструктури це означає погляд за межі глибоких технічних коренів у апаратному та програмному забезпеченні для взаємодії з тим, як розробники та кінцеві користувачі фактично переживають систему. Для команд продукту це означає повагу до обмежень, таких як затримка, вартість та ефективність моделі, розуміння операційних реалій, які роблять інновації сталими.

Нарешті, жоден партнерський зв’язок не може тривати без взаємної зобов’язання щодо безпеки та відповідності. Чи то SOC2, HIPAA, ISO чи інші рамки застосовуються, конкретні вимоги змінюються з клієнтською базою та галузевою вертикаллю — але відповідальність є спільною. Обидві команди інфраструктури та продукту повинні внутрішньо поглинати ці зобов’язання, визнаючи, що відповідність не є перевіркою увімкнення, а фундаментом довіри з користувачами.

Взяті разом, ці практики та настанови сплітають інфраструктуру та продукт у єдину цілісну одиницю, з спільною мовою, спільною видимістю та спільною відповідальністю за прогрес, стійкість та довіру.

Освічені команди

Мати правильних людей є так само важливо, як мати правильні системи. Ідеально, команди повинні включати членів команд, які вже знають свій шлях навколо ГенІІ, або тих, хто походять з високопродуктивних обчислень та гіпермасштабних центрів даних. Що справді важливо, це практичний досвід та уроки, які ви отримуєте лише від побудови та підтримки платформ GPU як послуги. Це означає розуміння того, як GPU спілкуються один з одним, як тісно пов’язані навчальні запуски поводяться, і як чутливі вони до затримки, синхронізації та доставки даних.

Коли моделі продовжують зростати та розгортання масштабуються, команди також повинні зробити крок назад і подумати про повний шлях клієнта. Це починається з раннього дослідження та експериментів, переходить у великомасштабне навчання, потім настройку та, нарешті, висновок. Кожа з цих фаз виглядає трохи інакше, і потреби змінюються по дорозі. Ітеративна природа розвитку моделі постійно вчить нас, яких інфраструктурних, робочих процесів та можливостей потрібно, щоб ГенІІ-датацентр був придатний для виконання завдань.

Занадто часто команди інфраструктури та продукту працюють у своїх власних бульбуляторах. Для будь-якої компанії, яка серйозно ставиться до масштабування ГенІІ у виробництво, це має змінитися. Успіх залежить від розбиття цих силових структур та створення спільної власності платформи. З правильними людьми, чітким баченням та практичною основою обидві сторони можуть узгодитися на одному й тому ж грі: одному, який допомагає їм рухатися швидше, залишатися відповідальними та, врешті-решт, доставляти успішні розгортання ГенІІ.