Уможливлення розгортання штучного інтелекту в реальному світі у великому масштабі

Від Бреда Кінга, технічного директора, Scality

Інструменти штучного інтелекту/машинного навчання та великих даних мають одну спільну нитку – їм потрібні дані, і їм потрібні великі обсяги даних. Традиційна мудрість говорить, що чим більше, тим краще. Аналітики передбачають, що створення даних у світі зросте до більше 180 зеттабайт до 2025 року – а у 2020 році кількість створених і дубльованих даних досягла нового максимуму в 64,2 зеттабайта.

Ці дані надзвичайно цінні – часто незамінні і іноді представляють одиничні або разові події. Ці дані потрібно зберігати в безпеці та безпеки; і хоча передбачається, що лише малий відсоток цих нових даних зберігається, попит на місткість зберігання продовжує зростати. Насправді, встановлена база місткості зберігання передбачається зростати на 19,2% щорічно між 2020 і 2025 роками, згідно з даними дослідників з Statista.

З більшою кількістю створених даних – особливо штучним інтелектом/машинним навчанням – організації потребують більше місця для зберігання, але не всі рішення для зберігання можуть впоратися з такими інтенсивними та масивними робочими навантаженнями. Що потрібно, це новий підхід до зберігання. Давайте розглянемо, як організації долають ці виклики через призму трьох випадків використання.

Галузь подорожей

Хоча багато з нас тільки звикають до подорожей знову після більш ніж року карантинів, галузь подорожей хоче повернутися до докарантинного рівня в великому масштабі. І це робить важливість даних – зокрема, актуальне застосування та використання цих даних – ще більш важливими.

Представьте, що ви можете зробити з знанням про те, куди більша частина світових авіапасажирів буде подорожувати наступного разу або куди вони будуть завтра. Для туристичної агенції, наприклад, це було б величезно.

Але ці організації подорожей мають справу з такою великою кількістю даних, що сортування їх для визначення того, що є значимим, є ошеломлючим. Близько петабайта даних генерується щодня, і деякі дані дублюються сайтами, такими як Kayak. Ці дані є часочутливими, і компанії подорожей потрібно швидко визначити, які дані є значимими. їм потрібно інструмент для управління цим рівнем масштабу більш ефективно.

Автомобільна промисловість

Інший приклад походить з автомобільної промисловості, яка, безумовно, є однією з найбільш обговорюваних випадків використання. Галузь уже довгий час працює над інструментами допомоги, такими як контроль смуги руху, уникнення зіткнень тощо. Всі ці датчики приносять великі обсяги даних. І, звичайно, вони розробляють, тестують і верифікують алгоритми самоїди.

Чим галузь потрібно, це кращий спосіб зробити розумний висновок із цих збережених даних, щоб вони могли використовувати їх для аналізу випадків, коли щось пішло не так, кураторських виходів датчиків як тестового випадку, тестування алгоритмів проти даних датчиків тощо. їм потрібно тестування QA, щоб уникнути регресій, і їм потрібно задокументувати випадки, які не пройшли.

Цифрова патологія

Інший цікавий випадок використання штучного інтелекту/машинного навчання, який також бореться з потоком даних і потребою кращого використання даних, є цифрова патологія. Як і інші приклади, їм потрібно можливість кращого використання цих даних, щоб вони могли робити речі, такі як автоматичне виявлення патологій у зразках тканин, виконання віддаленої діагностики тощо.

Але сьогоднішнє зберігання обмежує використання. Зображення з корисною роздільністю занадто великі, щоб зберігати їх економічно. Однак швидке об’єктне зберігання дозволить нові можливості – наприклад, банки зображень, які можуть бути використані як ключовий ресурс навчання, і використання кривих, що заповнюють простір, для назви/збереження та отримання багатозрозрядних зображень в об’єктному сховищі. Це також дозволяє розширювані та гнучкі теги метаданих, що робить його легшим пошук і розуміння цієї інформації.

Робочі навантаження штучного інтелекту потребують нового підходу

Як ми бачимо в трьох випадках вище, це критично важливо бути能够 агрегувати і оркеструвати великі обсяги даних, пов’язаних з робочими навантаженнями штучного інтелекту/машинного навчання. Набори даних часто досягають масштабу мультипетабайт, з вимогами продуктивності, які можуть наситити всю інфраструктуру. Коли справа стосується таких великомасштабних навчальних і тестових наборів даних, подолання проблем зберігання (затримка і/або проблеми з пропускною здатністю) і обмежень місткості/бар’єрів є ключовими елементами для успіху.

Робочі навантаження штучного інтелекту/машинного навчання/глибокого навчання потребують архітектури зберігання, яка може підтримувати потік даних через трубопровід, з якісною сутою продуктивністю вводу/виводу та можливістю масштабування місткості. Інфраструктура зберігання повинна відповідати дедалі більш вимогливим вимогам на всіх етапах трубопроводу штучного інтелекту/машинного навчання/глибокого навчання. Рішенням є інфраструктура зберігання, спеціально побудована для швидкості та безмежного масштабу.

Вилучення цінності

Не проходить тиждень, щоб не було історій про потенціал штучного інтелекту та машинного навчання змінити бізнес-процеси та щоденне життя. Є багато випадків використання, які чітко демонструють переваги використання цих технологій. Реальність штучного інтелекту в підприємстві сьогодні є реальністю надзвичайно великих наборів даних та рішень для зберігання, які не можуть впоратися з цими масивними робочими навантаженнями. Інновації в автомобілях, охороні здоров’я та багатьох інших галузях не можуть продовжуватися, поки проблема зберігання не буде вирішена. Швидке об’єктне зберігання подолає проблему збереження великих даних, щоб організації могли витягнути цінність з цих даних, щоб рухатися вперед.