stomp Aktiveer Real-World KI-ontplooiings op skaal - Unite.AI
Verbinding met ons

Gedagte Leiers

Aktiveer Real-World KI-ontplooiings op skaal

mm

Gepubliseer

 on

Deur Brad King, veld CTO, Scality

Die gereedskap van AI/ML en groot data het 'n gemeenskaplike draad – hulle het data nodig, en hulle het baie daarvan nodig. Konvensionele wysheid sê hoe meer, hoe beter. Ontleders voorspel dat globale dataskepping sal groei tot meer as 180 zettagrepe teen 2025 – en in 2020 het die hoeveelheid data wat geskep en gerepliseer is, 'n nuwe hoogtepunt van 64.2 zettagrepe bereik.

Daardie data is uiters waardevol – dikwels onvervangbaar en verteenwoordig soms eenmalige of eenmalige gebeurtenisse. Hierdie data moet veilig en veilig gestoor word; en hoewel daar beraam word dat net 'n klein persentasie van hierdie nuutgeskepte data behoue ​​bly, groei die vraag na bergingskapasiteit steeds. Trouens, daar word voorspel dat die geïnstalleerde basis van bergingskapasiteit teen 'n saamgestelde jaarlikse groeikoers van 19.2% tussen 2020 en 2025 sal groei, volgens navorsers by statista.

Met meer data wat geskep word – veral deur hierdie KI/ML-werkladings – het organisasies meer berging nodig, maar nie alle bergingsoplossings kan hierdie intensiewe en massiewe werkladings hanteer nie. Wat nodig is, is 'n nuwe benadering tot berging. Kom ons kyk na hoe organisasies hierdie uitdagings oorkom deur die lens van drie gebruiksgevalle.

Die reisbedryf

Terwyl baie van ons net gewoond raak aan reis na meer as 'n jaar van inperkings, soek die reisbedryf om op 'n groot manier terug te keer na pre-pandemie tye. En dit maak die belangrikheid van data – spesifiek die relevante toepassing en gebruik van daardie data – nog belangriker.

Stel jou voor wat jy kan doen met die wete van waarheen die meerderheid van die wêreld se lugrederyreisigers volgende gaan reis of waarheen hulle môre gaan. Vir 'n reisagentskap, byvoorbeeld, sou dit groot wees.

Maar hierdie reisorganisasies het te doen met soveel data dat dit 'n oorweldigende vooruitsig is om daardeur te sorteer om uit te vind wat betekenisvol is. Ongeveer 'n petagreep data word elke dag gegenereer, en sommige van die data word gedupliseer deur webwerwe soos Kayak. Hierdie data is tydsensitief, en reismaatskappye moet vinnig ontdek watter data betekenisvol is. Hulle het 'n instrument nodig om hierdie vlak van skaal meer effektief te kan bestuur.

Die motorbedryf

Nog 'n voorbeeld kom van die motorbedryf, wat sekerlik een van die mees besproke gebruiksgevalle is. Die bedryf is al lank hard aan die werk met bystandshulpmiddels soos baanoppassers, botsingvermyding en dies meer. Al hierdie sensors bring groot hoeveelhede data in. En natuurlik ontwikkel, toets en verifieer hulle selfbestuuralgoritmes.

Wat die industrie nodig het, is 'n beter manier om sin te maak van hierdie gestoorde data sodat hulle dit kan gebruik om voorvalle te ontleed waar iets verkeerd geloop het, sensoruitsette as 'n toetsgeval saam te stel, algoritmes teen sensordata te toets en meer. Hulle het QA-toetse nodig om regressies te vermy, en hulle moet gevalle wat misluk, dokumenteer.

Digitale patologie

Nog 'n interessante gebruiksgeval vir KI/ML wat ook worstel met die datavloed en die behoefte om data beter te gebruik, is digitale patologie. Net soos die ander voorbeelde, wat hulle regtig nodig het, is die vermoë om hierdie data beter te gebruik sodat hulle dinge kan doen soos om patologieë in weefselmonsters outomaties op te spoor, afstanddiagnostiek uit te voer ensovoorts.

Maar stoor vandag beperk die gebruik. Prente met nuttige resolusie is te groot om ekonomies te stoor. Vinnige objekberging sal egter nuwe vermoëns moontlik maak – soos beeldbanke wat as 'n sleutelopleidingshulpbron gebruik kan word en die gebruik van spasievulkurwes om multiresolusiebeelde in 'n objekwinkel te benoem/berg en op te spoor. Dit maak ook uitbreidbare en buigsame metadata-etikettering moontlik, wat dit makliker maak om na hierdie inligting te soek en sin te maak.

KI-werkladings vereis 'n nuwe benadering

Soos ons in die drie gevalle hierbo gesien het, is dit van kritieke belang om groot hoeveelhede data wat met KI/ML-werkladings verband hou, te kan saamvoeg en orkestreer. Datastelle bereik dikwels multi-petagrepe-skaal, met prestasie-eise wat die hele infrastruktuur kan versadig. Wanneer sulke grootskaalse opleiding- en toetsdatastelle hanteer word, is die oorkom van stoorknelpunte (latentie- en/of deurvloeiprobleme) en kapasiteitsbeperkings/-hindernisse sleutelelemente vir sukses.

KI/ML/DL-werkladings vereis 'n bergingsargitektuur wat data deur die pyplyn kan laat vloei, met beide uitstekende rou I/O-werkverrigting en kapasiteitskaalvermoë. Die berging-infrastruktuur moet tred hou met toenemend veeleisende vereistes oor alle stadiums van die KI/ML/DL-pyplyn. Die oplossing is 'n berging-infrastruktuur wat spesifiek gebou is vir spoed en onbeperkte skaal.

Onttrek waarde

Daar gaan nie 'n week verby sonder stories oor die potensiaal van KI en ML om sakeprosesse en alledaagse lewens te verander nie. Daar is baie gebruiksgevalle wat die voordele van die gebruik van hierdie tegnologieë duidelik demonstreer. Die realiteit van KI in die onderneming vandag is egter een van oorweldigend groot datastelle en bergingsoplossings wat nie hierdie massiewe werkladings kan bestuur nie. Innovasies in motors, gesondheidsorg en vele meer nywerhede kan nie voortgaan totdat die bergingskwessie opgelos is nie. Vinnige objekberging oorkom die uitdaging om groot data te behou sodat organisasies die waarde uit hierdie data kan onttrek om hul besighede vorentoe te beweeg.

As veld-CTO is Brad King verantwoordelik vir die ontwerp van die grootste stelsels Scality ontplooi regoor die wêreld. Dit sluit in multi-petagrepe, multi-werf stelsels met honderde bedieners. Brad is een van die medestigters van Scality. Hy het sy veelvlakkige loopbaan as vlootargitek by die Franse vloot begin en numeriese simulasies van skip se omslaan en golwe rondom groot skepe uitgevoer. Hy het toe vir etlike jare by 'n Schlumberger-navorsingslaboratorium in Parys aangesluit, waar hy gewerk het aan onstuimige vloeistofdinamika, laboratorium-outomatisering, grootskaalse parallelle numeriese simulasies en nuwe internettegnologieë, insluitend monitering van NCSA-projekte (soos Mosaïek) wat deur Schlumberger befonds is.