Вибір сховища для підтримки ініціатив штучного інтелекту та машинного навчання

Від імені Кандіди Валойс, технічного директора компанії Scality в Америці, Scality

Прийняття технологій машинного навчання та штучного інтелекту продовжує зростати, що не дивно, враховуючи бізнес-інсайти та трансформацію галузі, яку передбачають ці технології. За прогнозами компанії PwC, до 2030 року штучний інтелект може додати майже 16 трильйонів доларів до світової економіки. Це означатиме зростання ВВП місцевих економік на 26%.

Ці технології вимагають величезних обсягів неструктурованих даних для роботи, а ці дані часто надходять у вигляді відео, зображень, тексту та голосу. Робочі навантаження такого типу вимагають нового підходу до зберігання даних; старі методи вже не достатні. З появою таких робочих навантажень програми потребують швидкого доступу до величезних обсягів даних – даних, які створюються всюди: у хмарі, на краях та на місці. Ці інтенсивні робочі навантаження вимагають низької затримки, можливості підтримувати різні типи та розміри вантажів, а також можливості масштабувати лінійно.

Що потрібно, то новий підхід до доставки даних, який буде орієнтований на програми, а не на місце чи технології. З великомасштабним прийняттям штучного інтелекту та машинного навчання лідери підприємств повинні суттєво змінити свій підхід до управління даними та сховищем.

Обробка всіх розмірів файлів

У контексті робочих навантажень штучного інтелекту та машинного навчання організації потребують рішення, яке може обробляти різні типи робочих навантажень, як великі, так і малі файли. У деяких випадках вам потрібно мати справу лише з декількома десятками терабайт, тоді як у інших випадках є багато петабайт. Не всі рішення призначені для великих файлів, так само як і не всі можуть обробляти дуже малі файли. Секрет полягає в тому, щоб знайти рішення, яке може обробляти обидва варіанти гнучким чином.

Масштабованість є суттєвою

Для забезпечення точності та швидкості організації потребують величезних наборів даних, оскільки це те, що потрібно алгоритмам штучного інтелекту та машинного навчання для правильної підготовки моделей. Організації хочуть зростати за рахунок збільшення потужності та продуктивності, але часто гальмуються традиційними рішеннями сховищ. Коли вони намагаються масштабувати лінійно, їм це не вдається. Робочі навантаження штучного інтелекту та машинного навчання потребують рішення сховищ, яке може масштабуватися нескінченно при зростанні даних.

Десять тисяч терабайт – це максимум, якого можуть досягти стандартні рішення сховищ файлів та блоків; після цього вони не можуть масштабуватися. Сховище об’єктів може масштабуватися необмежено, еластично та безперебійно залежно від попиту. І те, що важливо щодо сховищ об’єктів порівняно з традиційними рішеннями сховищ, полягає в тому, що це повністю плоский простір, у якому немає обмежень. Користувачі не зустрічають обмежень, яких зустрічають при традиційних рішеннях сховищ.

Зустріч вимог до продуктивності

Масштабування потужності важливо, але цього недостатньо. Організації також потребують можливості масштабувати лінійно за рахунок продуктивності. На жаль, у багатьох традиційних рішеннях сховищ масштабування потужності відбувається за рахунок продуктивності. Тому, коли організація потребує масштабувати лінійно за рахунок потужності, продуктивність починає знижуватися.

Стандартна парадигма сховищ складається з файлів, організованих у ієрархію, з каталогами та підкаталогами. Ця архітектура працює досить добре, коли обсяг даних малий, але при зростанні обсягу даних продуктивність починає знижуватися через системні вузли та обмеження таблиць пошуку файлів. Однак сховище об’єктів забезпечує необмежений плоский простір імен, тому, просто додаючи додаткові вузли, можна масштабуватися до петабайт та більше. Тому можна масштабувати продуктивність так само, як і потужність.

Сховище, яке може підтримувати проекти штучного інтелекту та машинного навчання

Організації повинні прийняти новий підхід до сховищ із зростанням популярності штучного інтелекту та машинного навчання. Цей новий підхід повинен дати їм можливість створювати, запускати та масштабувати свої ініціативи штучного інтелекту та машинного навчання належним чином. Навчання штучного інтелекту та машинного навчання – це явна потреба, тому деякі сучасні програми сховищ об’єктів підприємства створені для задоволення цієї потреби. Організації можуть розпочинати свої ініціативи з малих масштабів, починаючи з одного сервера, а потім масштабувати за потребою як за рахунок потужності, так і продуктивності. Ці проекти також потребують продуктивності для своїх програм аналізу даних, а швидке сховище об’єктів забезпечує її. Крім того, сховище об’єктів забезпечує повне управління життєвим циклом даних у кількох хмарах та забезпечує гнучкість від країв до ядра.

Підприємствам потрібно обробляти дані ефективно, а сховище об’єктів робить це, дозволяючи програмам легко доступитися до даних на місці, навіть у кількох хмарах. Низька затримка, масштабованість та гнучкість сховищ об’єктів роблять його потужним союзником для ініціатив штучного інтелекту та машинного навчання.