Het inschakelen van AI-implementaties in de praktijk op grote schaal

Door Brad King, field CTO, Scality

De tools van AI/ML en big data hebben een gemeenschappelijke draad – ze hebben data nodig, en ze hebben veel data nodig. Conventionele wijsheid zegt dat meer beter is. Analisten voorspellen dat de wereldwijde dataproductie tegen 2025 zal groeien tot meer dan 180 zettabytes – en in 2020 bereikte de hoeveelheid gegenereerde en gerepliceerde data een nieuw record van 64,2 zettabytes.

Die data is extreem waardevol – vaak onvervangbaar en soms vertegenwoordigt het eenmalige of eenmalige gebeurtenissen. Deze data moet veilig en zeker worden opgeslagen; en hoewel het wordt geschat dat slechts een klein percentage van deze nieuw gegenereerde data wordt bewaard, blijft de vraag naar opslagcapaciteit groeien. In feite wordt de geïnstalleerde basis van opslagcapaciteit tussen 2020 en 2025 naar verwachting met een compound jaarlijkse groeipercentage van 19,2% groeien, volgens onderzoekers bij Statista.

Met meer data die wordt gegenereerd – met name door deze AI/ML-werklasten – hebben organisaties meer opslag nodig, maar niet alle oplossingen voor opslag kunnen deze intensieve en massale werklasten aan. Wat nodig is, is een nieuwe aanpak van opslag. Laten we kijken hoe organisaties deze uitdagingen overwinnen met behulp van drie use cases.

De reisindustrie

Terwijl veel van ons weer gewend raken aan reizen na meer dan een jaar van lockdowns, probeert de reisindustrie terug te keren naar de pre-pandemische tijden op een grote manier. En dit maakt de belangrijkheid van data – met name de relevante toepassing en het gebruik van die data – nog belangrijker.

Stel je voor wat je zou kunnen doen met de kennis van waar de meerderheid van de luchtreizigers in de wereld morgen naar toe zal reizen of waar ze morgen naartoe zullen gaan. Voor een reisbureau, bijvoorbeeld, zou dat enorm zijn.

Maar deze reisorganisaties hebben te maken met zo veel data dat het doorspitten ervan om te bepalen wat belangrijk is, een overweldigende prospect is. Ongeveer een petabyte aan data wordt elke dag gegenereerd, en sommige van de data wordt gedupliceerd door sites zoals Kayak. Deze data is tijdsgevoelig, en reisbedrijven moeten snel ontdekken welke data belangrijk is. Ze hebben een tool nodig om deze niveau van schaal effectiever te kunnen beheren.

De automobielindustrie

Een ander voorbeeld komt uit de automobielindustrie, die zeker een van de meest besproken use cases is. De industrie werkt al lang aan hulpmiddelen zoals lane minders, collision avoidance en dergelijke. Al deze sensoren brengen grote hoeveelheden data met zich mee. En, natuurlijk, ontwikkelen, testen en verifiëren ze zelfrijdende algoritmen.

Wat de industrie nodig heeft, is een betere manier om deze opgeslagen data te begrijpen, zodat ze deze kunnen gebruiken om incidenten te analyseren waar iets misging, sensoruitvoer als testcase te cureren, algoritmen tegen sensordata te testen en meer. Ze hebben QA-testen nodig om regressies te voorkomen, en ze moeten gevallen documenteren die falen.

Digitale pathologie

Een ander interessant use case voor AI/ML dat ook worstelt met de datavloed en de noodzaak om beter gebruik te maken van data, is digitale pathologie. Net als de andere voorbeelden, hebben ze echt de mogelijkheid nodig om beter gebruik te maken van deze data, zodat ze dingen kunnen doen zoals automatisch pathologieën in weefselmonsters detecteren, remote diagnostiek uitvoeren enz.

Maar de opslag van vandaag beperkt het gebruik. Afbeeldingen met een nuttige resolutie zijn te groot om economisch op te slaan. Echter, snelle objectopslag zal nieuwe mogelijkheden mogelijk maken – zoals afbeeldingsbanken die als een belangrijke trainingsbron kunnen worden gebruikt en het gebruik van ruimte-vullende curves om multiresolutie-afbeeldingen in een objectopslag te benoemen en op te halen. Het maakt ook extensieve en flexibele metadatamarkering mogelijk, waardoor het gemakkelijker wordt om naar deze informatie te zoeken en het te begrijpen.

AI-werklasten vereisen een nieuwe aanpak

Zoals we in de drie bovenstaande gevallen hebben gezien, is het cruciaal om in staat te zijn om grote hoeveelheden data te aggregeren en te orkestreren die verband houden met AI/ML-werklasten. Dataverzamelingen bereiken vaak een schaal van meerdere petabytes, met prestatie-eisen die het hele infrastructurele systeem kunnen verzadigen. Bij het omgaan met dergelijke grote trainings- en testdataverzamelingen, zijn het overwinnen van opslagbeperkingen (latentie- en/of doorvoerproblemen) en capaciteitsbeperkingen/barrières sleutel-elementen voor succes.

AI/ML/DL-werklasten vereisen een opslagarchitectuur die de data door de pijplijn kan laten stromen, met zowel uitstekende brute I/O-prestaties als capaciteitsvergrotingsmogelijkheden. De opslaginfrastructuur moet de steeds veeleisender wordende eisen over alle fasen van de AI/ML/DL-pijplijn bijhouden. De oplossing is een opslaginfrastructuur die specifiek is ontwikkeld voor snelheid en onbeperkte schaal.

Waarde extraheren

Er gaat geen week voorbij zonder verhalen over het potentieel van AI en ML om bedrijfsprocessen en het dagelijks leven te veranderen. Er zijn veel use cases die duidelijk de voordelen van het gebruik van deze technologieën demonstreren. De realiteit van AI in het bedrijfsleven van vandaag is echter een van overweldigend grote dataverzamelingen en oplossingen voor opslag die deze massale werklasten niet aankunnen. Innovaties in auto’s, gezondheidszorg en vele andere industrieën kunnen niet verder gaan totdat het opslagprobleem is opgelost. Snelle objectopslag overwint de uitdaging van het behouden van big data, zodat organisaties de waarde uit deze data kunnen halen om hun bedrijven vooruit te helpen.