Уможливлення розгортання штучного інтелекту в реальному світі у великому масштабі

Від Бреда Кінга, технічного директора компанії Scality

Інструменти штучного інтелекту/машинного навчання та великих даних мають одну спільну рису – їм потрібні дані, і багато даних. Загальне переконання говорить про те, що чим більше даних, тим краще. Аналітики прогнозують, що створення даних у світі зросте до більше 180 зеттабайт до 2025 року – а у 2020 році кількість створених і реплікованих даних досягла нового максимуму у 64,2 зеттабайта.

Ці дані дуже цінні – часто незамінні і іноді представляють одиничні або разові події. Ці дані потрібно зберігати в безпеці та безпеки; і хоча, як передбачається, тільки мала частина цих нових даних зберігається, попит на зберігання продовжує зростати. Насправді, встановлена база зберігання даних очікується зростати на 19,2% щорічно між 2020 і 2025 роками, згідно з даними дослідників компанії Statista.

З більшою кількістю створених даних – особливо такими інтенсивними та масивними робочими навантаженнями штучного інтелекту/машинного навчання – організації потребують більше місця для зберігання, але не всі рішення для зберігання даних можуть справитися з цими інтенсивними та масивними робочими навантаженнями. Що потрібно, це новий підхід до зберігання даних. Давайте розглянемо, як організації долають ці виклики через призму трьох випадків використання.

Туриндустрія

Хоча багато з нас тільки починають звикати до подорожей знову після більш ніж року карантину, туриндустрія намагається повернутися до рівня, який був до пандемії. І це робить значення даних – зокрема, відповідного застосування та використання цих даних – ще більш важливим.

П уявіть, що ви могли б зробити з знанням того, куди більшість пасажирів світу будуть подорожувати наступного разу або куди вони прямують завтра. Для турагентства, наприклад, це було б величезним успіхом.

Але ці турорганізації мають справу з такою великою кількістю даних, що розібратися в них, щоб визначити, які дані мають значення, – це приголомшлива перспектива. Близько петабайта даних генерується щодня, і частина даних дублюється сайтами, такими як Kayak. Ці дані мають обмежений термін дії, і туркомпанії需要 швидко виявити, які дані мають значення. їм потрібно інструмент, щоб керувати цим рівнем масштабу більш ефективно.

Автомобільна промисловість

Інший приклад походить з автомобільної промисловості, яка, безсумнівно, є однією з найбільш обговорюваних випадків використання. Ця галузь уже довгий час працює над інструментами допомоги, такими як тримання смуги руху, уникнення зіткнень тощо. Все ці датчики генерують велику кількість даних. І, звичайно, вони розробляють, тестують і верифікують алгоритми самоїди.

Цій галузі потрібно краще зрозуміти ці збережені дані, щоб використовувати їх для аналізу випадків, коли щось пішло не так, створення тестових випадків із датчиків, тестування алгоритмів проти даних датчиків тощо. їм потрібно тестування QA, щоб уникнути регресій, і їм потрібно задокументувати випадки, які не пройшли.

Цифрова патологія

Інший цікавий випадок використання штучного інтелекту/машинного навчання, який також бореться з потоком даних і потребує кращого використання даних, – це цифрова патологія. Як і в інших прикладах, їм потрібно можливість краще використовувати ці дані, щоб робити речі, такі як автоматичне виявлення патологій у зразках тканин, виконання віддалених діагнозів тощо.

Але сьогоднішнє зберігання даних обмежує використання. Зображення з корисною роздільною здатністю занадто великі, щоб зберігати їх економічно. Однак швидке об’єктне зберігання даних дозволить нові можливості – наприклад, створення банків зображень, які можуть бути використані як ключовий навчальний ресурс, і використання просторових кривих для зберігання та отримання багатозначних зображень в об’єктному сховищі. Воно також дозволяє розширення та гнучке тегування метаданих, що полегшує пошук та розуміння цієї інформації.

Робочі навантаження штучного інтелекту потребують нового підходу

Як ми бачили в трьох випадках вище, критично важливо能够 агрегувати та оркеструвати величезну кількість даних, пов’язаних з робочими навантаженнями штучного інтелекту/машинного навчання. Набори даних часто досягають масштабу چند петабайт, з вимогами до продуктивності, які можуть наситити всю інфраструктуру. При роботі з такими великомасштабними навчальними та тестовими наборами даних подолання проблем зберігання даних (задержки та/або проблем з пропускною здатністю) та обмежень/бар’єрів є ключовими елементами успіху.

Робочі навантаження штучного інтелекту/машинного навчання/глибокого навчання потребують архітектури зберігання даних, яка може підтримувати потік даних через трубопровід, забезпечуючи як високу продуктивність, так і можливість масштабування. Інфраструктура зберігання даних повинна відповідати все більш вимогливим вимогам на всіх етапах трубопроводу штучного інтелекту/машинного навчання/глибокого навчання. Рішенням є інфраструктура зберігання даних, спеціально побудована для швидкості та безмежного масштабу.

Видобування цінності

Не проходить тижня, щоб не з’являлися історії про потенціал штучного інтелекту та машинного навчання змінити бізнес-процеси та повсякденне життя. Є багато випадків використання, які чітко демонструють переваги використання цих технологій. Реальність штучного інтелекту в підприємствях сьогодні – це реальність надзвичайно великих наборів даних та рішень для зберігання даних, які не можуть керувати цими масивними робочими навантаженнями. Інновації в автомобільній, медичній та багатьох інших галузях не можуть просуватися далі, поки проблема зберігання даних не буде вирішена. Швидке об’єктне зберігання даних подолає виклик зберігання великих даних, щоб організації могли видобувати цінність з цих даних та рухатися вперед.