Selección de almacenamiento para respaldar iniciativas de AI/ML

Por Candida Valois, Field CTO, Américas, Scality

La adopción de ML y AI continúa aumentando rápidamente, lo que no es sorprendente, dado los conocimientos comerciales y la transformación de la industria que sus muchos casos de uso prometen. PwC predice que para 2030, la IA podría contribuir casi $16 billones a la economía global. Eso se traduce en un aumento del 26% en el PIB de las economías locales.

Estas tecnologías requieren vastas cantidades de datos no estructurados para operar, y esos datos a menudo se presentan en forma de videos, imágenes, texto y voz. Las cargas de trabajo de estos tipos requieren un nuevo enfoque para el almacenamiento de datos; las viejas formas no son suficientes. Con el advenimiento de dichas cargas de trabajo, las aplicaciones necesitan un acceso más rápido a cantidades masivas de datos – datos que se crean en todas partes: en la nube, en los bordes y en las instalaciones. Estas cargas de trabajo intensivas requieren baja latencia, la capacidad de admitir diferentes tipos y tamaños de cargas, y la capacidad de escalar linealmente.

Lo que se necesita es un enfoque fresco para la entrega de datos, uno que sea centrado en la aplicación en lugar de centrado en la ubicación o la tecnología. Con la adopción a gran escala de AI/ML y análisis, los líderes de TI de las empresas necesitan un cambio significativo en la forma en que piensan sobre la gestión y el almacenamiento de datos.

Manejo de todos los tamaños de archivos

En términos de cargas de trabajo de AI/ML y almacenamiento de datos, las organizaciones necesitan una solución que pueda manejar diferentes tipos de cargas de trabajo, tanto archivos pequeños como grandes. En algunos casos, es posible que deba lidiar con solo unos pocos decenas de terabytes, mientras que en otros, hay muchos petabytes. No todas las soluciones están diseñadas para archivos grandes, al igual que no todas pueden manejar archivos muy pequeños. El truco es encontrar una que pueda manejar ambos de manera flexible.

La escalabilidad es esencial

Para garantizar la precisión y la velocidad, las organizaciones requieren conjuntos de datos masivos porque eso es lo que los algoritmos de AI/ML necesitan para entrenar adecuadamente los modelos subyacentes. Las organizaciones quieren crecer en términos de capacidad y rendimiento, pero a menudo se ven obstaculizadas por soluciones de almacenamiento tradicionales. Cuando intentan escalar linealmente, no pueden hacerlo. Las cargas de trabajo de AI/ML requieren una solución de almacenamiento que pueda escalar infinitamente a medida que crece el dato.

Unos pocos cientos de terabytes agotan las soluciones de almacenamiento de archivos y bloques estándar; después de eso, no pueden escalar. El almacenamiento de objetos puede escalar ilimitadamente, elástica y perfectamente según la demanda. Y lo que es importante sobre el almacenamiento de objetos en comparación con el almacenamiento tradicional es que es un espacio completamente plano en el que no hay limitaciones. Los usuarios no encontrarán las limitaciones que encontrarían con el almacenamiento tradicional.

Reunir los requisitos de rendimiento

La escalabilidad de la capacidad es importante, pero no es suficiente. Las organizaciones también necesitan la capacidad de escalar linealmente en términos de rendimiento. Desafortunadamente, con muchas soluciones de almacenamiento tradicionales, la escalabilidad de la capacidad se produce a expensas del rendimiento. Así, cuando una organización necesita escalar linealmente en términos de capacidad, el rendimiento tiende a estancarse o disminuir.

El paradigma de almacenamiento estándar consiste en archivos organizados en una jerarquía, con directorios y subdirectorios. Esta arquitectura funciona bastante bien cuando la capacidad de datos es pequeña, pero a medida que la capacidad crece, el rendimiento se resiente en un cierto punto debido a cuellos de botella del sistema y limitaciones con las tablas de búsqueda de archivos. Sin embargo, el almacenamiento de objetos proporciona un espacio de nombres plano ilimitado, por lo que al simplemente agregar nodos adicionales, se puede escalar a petabytes y más. Por esta razón, se puede escalar para el rendimiento al mismo tiempo que se escala para la capacidad.

Almacenamiento que puede respaldar proyectos de AI/ML

Las organizaciones deben adoptar una nueva forma de ver el almacenamiento a medida que AI y ML aumentan en popularidad. Este nuevo enfoque debe permitirles establecer, ejecutar y escalar sus iniciativas de AI/ML de la manera adecuada. El entrenamiento de AI/ML es una necesidad clara, por lo que algunos de los software de almacenamiento de objetos de nivel empresarial disponibles hoy están diseñados para satisfacer esa necesidad. Las empresas pueden comenzar sus iniciativas a pequeña escala, comenzando con un servidor, y luego escalar según sea necesario para la capacidad y el rendimiento. Estos proyectos también necesitan crucialmente rendimiento para sus aplicaciones de análisis, y el almacenamiento de objetos rápido lo proporciona. Además, el almacenamiento de objetos proporciona una gestión completa del ciclo de vida de los datos en múltiples nubes y permite flexibilidad desde el borde hasta el núcleo.

Las empresas necesitan procesar los datos de manera eficiente, y el almacenamiento de objetos lo hace al permitir que las aplicaciones accedan fácilmente a los datos en las instalaciones, incluso en múltiples nubes. Su baja latencia, escalabilidad y flexibilidad hacen que el almacenamiento de objetos sea un aliado sólido para las iniciativas de AI/ML.