Habilitar implementaciones de IA en el mundo real a gran escala

Por Brad King, director de tecnología de campo, Scality

Las herramientas de AI/ML y big data tienen un hilo común – necesitan datos, y necesitan muchos. La sabiduría convencional dice que cuanto más, mejor. Los analistas predicen que la creación de datos a nivel mundial crecerá a más de 180 zettabytes para 2025 – y en 2020, la cantidad de datos creados y replicados alcanzó un nuevo máximo de 64,2 zettabytes.

Esos datos son extremadamente valiosos – a menudo irremplazables y a veces representan eventos únicos o de una sola vez. Estos datos necesitan ser almacenados de manera segura y segura; y aunque se estima que solo un pequeño porcentaje de estos datos recién creados se conserva, la demanda de capacidad de almacenamiento sigue creciendo. De hecho, la base instalada de capacidad de almacenamiento se prevé que crezca a una tasa de crecimiento anual compuesta del 19,2% entre 2020 y 2025, según los investigadores de Statista.

Con más datos siendo creados – particularmente por estas cargas de trabajo de AI/ML – las organizaciones necesitan más almacenamiento, pero no todas las soluciones de almacenamiento pueden manejar estas cargas de trabajo intensivas y masivas. Lo que se necesita es un nuevo enfoque para el almacenamiento. Veamos cómo las organizaciones están superando estos desafíos a través de la lente de tres casos de uso.

La industria del viaje

Mientras que muchos de nosotros apenas nos estamos acostumbrando a viajar de nuevo después de más de un año de bloqueos, la industria del viaje está tratando de regresar a los tiempos pre-pandémicos de una manera importante. Y esto está haciendo que la importancia de los datos – específicamente, la aplicación y el uso relevantes de esos datos – sea aún más importante.

Imagina lo que podrías hacer con el conocimiento de dónde la mayoría de los viajeros aéreos del mundo van a viajar mañana o dónde van a ir. Para una agencia de viajes, por ejemplo, eso sería enorme.

Pero estas organizaciones de viajes están tratando con tanta cantidad de datos que clasificarlos para determinar qué es significativo es una perspectiva abrumadora. Se genera aproximadamente un petabyte de datos cada día, y algunos de los datos son duplicados por sitios como Kayak. Estos datos son sensibles al tiempo, y las empresas de viajes necesitan descubrir rápidamente qué datos son significativos. Necesitan una herramienta para poder gestionar este nivel de escala de manera más efectiva.

La industria del automóvil

Otro ejemplo proviene de la industria del automóvil, que ciertamente es uno de los casos de uso más hablados. La industria ha estado trabajando duro durante mucho tiempo con herramientas de asistencia como los indicadores de carril, la evitación de colisiones y similares. Todos estos sensores están generando grandes cantidades de datos. Y, por supuesto, están desarrollando, probando y verificando algoritmos de conducción autónoma.

Lo que la industria necesita es una mejor manera de dar sentido a estos datos almacenados para que puedan utilizarlos para analizar incidentes en los que algo salió mal, curar las salidas de los sensores como un caso de prueba, probar algoritmos contra datos de sensores y más. Necesitan pruebas de QA para evitar regresiones, y necesitan documentar los casos que fallan.

Patología digital

Otro caso de uso interesante para AI/ML que también está tratando con la avalancha de datos y la necesidad de hacer un mejor uso de los datos es la patología digital. Al igual que los otros ejemplos, lo que realmente necesitan es la capacidad de hacer un mejor uso de estos datos para que puedan hacer cosas como detectar automáticamente patologías en muestras de tejido, realizar diagnósticos remotos y así sucesivamente.

Pero el almacenamiento actual es limitante. Las imágenes con resolución útil son demasiado grandes para almacenarlas económicamente. Sin embargo, el almacenamiento de objetos rápido permitirá nuevas capacidades – como bancos de imágenes que se pueden utilizar como un recurso de capacitación clave y el uso de curvas de relleno de espacio para nombrar / almacenar y recuperar imágenes multiresolución en un almacenamiento de objetos. También permite la etiquetado de metadatos extensible y flexible, lo que facilita la búsqueda y la comprensión de esta información.

Las cargas de trabajo de IA requieren un nuevo enfoque

Como hemos visto en los tres casos anteriores, es fundamental poder agregar y orquestar vastas cantidades de datos relacionados con las cargas de trabajo de AI/ML. Los conjuntos de datos a menudo alcanzan una escala de varios petabytes, con demandas de rendimiento que podrían saturar toda la infraestructura. Al tratar con conjuntos de datos de entrenamiento y prueba de gran escala, superar los cuellos de botella de almacenamiento (problemas de latencia y / o rendimiento) y las limitaciones / barreras de capacidad son elementos clave para el éxito.

Las cargas de trabajo de AI/ML/DL requieren una arquitectura de almacenamiento que pueda mantener los datos fluyendo a través de la tubería, con un excelente rendimiento de E/S bruto y capacidad de escalado. La infraestructura de almacenamiento debe mantener el ritmo de los requisitos cada vez más exigentes en todas las etapas de la tubería de AI/ML/DL. La solución es una infraestructura de almacenamiento específicamente diseñada para velocidad y escala ilimitada.

Extraer valor

No pasa una semana sin historias sobre el potencial de la IA y el ML para cambiar los procesos empresariales y la vida cotidiana. Hay muchos casos de uso que claramente demuestran los beneficios de utilizar estas tecnologías. La realidad de la IA en la empresa hoy en día es una de conjuntos de datos abrumadoramente grandes y soluciones de almacenamiento que no pueden gestionar estas cargas de trabajo masivas. Las innovaciones en automóviles, atención médica y muchas más industrias no pueden avanzar hasta que el problema de almacenamiento se resuelva. El almacenamiento de objetos rápido supera el desafío de retener grandes datos para que las organizaciones puedan extraer el valor de estos datos y avanzar en sus negocios.