Uw ML- en AI-inspanningen met gegevenstransformatie – Thought Leaders

Hoe groter de variëteit, snelheid en volume van de gegevens die we hebben, hoe haalbaarder het wordt om voorspellende analyses en modellen te gebruiken om groei te voorspellen en gebieden van kansen en verbetering te identificeren. Echter, om de grootste waarde te krijgen uit rapportage-, machine learning- (ML-) en artificial intelligence- (AI-) tools, moet een organisatie toegang hebben tot gegevens uit veel bronnen en ervoor zorgen dat de gegevens van hoge kwaliteit en betrouwbaar zijn. Dit is vaak de grootste barrière om big data om te zetten in een bedrijfsstrategie.

Data-professionals besteden zo veel tijd aan het verzamelen en valideren van gegevens om ze voor te bereiden op gebruik, dat ze weinig tijd over hebben om zich te concentreren op hun primaire doel: het analyseren van de gegevens en het afleiden van bedrijfswaarde ervan. Het is niet verwonderlijk dat 76 procent van de datawetenschappers zegt dat gegevensvoorbereiding het minst leuke deel van hun baan is. Bovendien vereisen de huidige gegevensvoorbereidingsinspanningen, zoals data-wrangling en traditionele ETL, handmatige inspanningen van IT-professionals en zijn ze niet in staat om de schaal en complexiteit van big data aan te kunnen.

Bedrijven die de kracht van AI willen benutten, moeten afstappen van deze saaie en grotendeels handmatige processen die het risico van “ongeldige invoer, onjuiste uitvoer” vergroten. In plaats daarvan hebben ze gegevenstransformatieprocessen nodig die ruwe gegevens in meerdere bronnen en formaten extraheren, samenvoegen en normaliseren, en waarde toevoegen met bedrijfslogica en metrieken om ze klaar te maken voor analyse. Met complexe gegevenstransformatie kunnen ze ervoor zorgen dat AI/ML-modellen zijn gebaseerd op schone, nauwkeurige gegevens die betrouwbare resultaten opleveren.

De kracht van de cloud benutten met ELT

De beste plek om gegevens vandaag voor te bereiden en te transformeren is een cloudgegevensopslag (CDW) zoals Amazon (AMZN ) Redshift, Google (GOOGL ) BigQuery, Microsoft Azure Synapse of Snowflake. Terwijl traditionele benaderingen van datawarehousing vereisen dat gegevens worden geëxtraheerd en getransformeerd voordat ze kunnen worden geladen, benut een CDW de schaalbaarheid en prestaties van de cloud voor snellere gegevensinname en -transformatie en maakt het mogelijk om gegevens vanuit veel uiteenlopende gegevensbronnen te extraheren en te laden voordat ze binnen de CDW worden getransformeerd.

Ideaal gezien verplaatst het ELT-model de gegevens eerst naar een gedeelte van de CDW dat is gereserveerd voor ruwe stagedata. Van daaruit kan de CDW zijn bijna onbeperkte rekenbronnen gebruiken die beschikbaar zijn voor gegevensintegratie- en ETL-taken die de gestage gegevens reinigen, aggregaten, filteren en samenvoegen. De gegevens kunnen vervolgens worden getransformeerd in een ander schema – gegevenskluis of Ster-schikking, bijvoorbeeld – om de gegevens te optimaliseren voor rapportage en analyse

De ELT-benadering stelt u ook in staat om ruwe gegevens binnen de CDW te repliceren voor later voorbereiding en transformatie wanneer en zoals nodig. Dit stelt u in staat om business intelligence-tools te gebruiken die het schema bepalen op basis van lezen en specifieke transformaties op aanvraag produceren, waardoor u effectief dezelfde gegevens op meerdere manieren kunt transformeren naarmate u nieuwe toepassingen ervoor ontdekt.

Machine learning-modellen versnellen

Deze real-world voorbeelden laten zien hoe twee bedrijven in verschillende branches gegevenstransformatie in een CDW gebruiken om AI-initiatieven aan te drijven.

Een boutique marketing- en reclamebureau heeft een eigen klantbeheerplatform gebouwd om zijn klanten beter te helpen hun klanten te identificeren, te begrijpen en te motiveren. Door gegevens te transformeren binnen een CDW, integreert het platform in real-time klantgegevens uit meerdere kanalen in een 360-graden klantbeeld dat de AI/ML-modellen van het platform informeert om klantinteracties meer consistent, tijdig en gepersonaliseerd te maken.

Een wereldwijd logistiek bedrijf dat 100 miljoen leveringen doet aan 37 miljoen unieke klanten in 72 landen, heeft enorme hoeveelheden gegevens nodig om zijn dagelijkse operaties aan te drijven. Het adopteren van gegevenstransformatie binnen een CDW stelde het bedrijf in staat om 200 machine learning-modellen in één jaar te implementeren. Deze modellen doen 500.000 voorspellingen per dag, waardoor de efficiëntie aanzienlijk wordt verbeterd en een superieure klantenservice wordt geboden, wat heeft geleid tot een vermindering van 40 procent van de inkomende callcentergesprekken.

Beste praktijken om te beginnen

Bedrijven die hun AI/ML-initiatieven willen ondersteunen met de kracht van gegevenstransformatie in de cloud, moeten hun specifieke gebruiksscenario en behoeften begrijpen. Beginnen met wat u met uw gegevens wilt doen – brandstofkosten verlagen door leveringsroutes te optimaliseren, verkoop stimuleren door de beste aanbiedingen in real-time aan klantenserviceagenten te leveren, enz. – stelt u in staat om uw processen omgekeerd te engineeren, zodat u kunt bepalen welke gegevens relevante resultaten zullen opleveren.

Zodra u heeft bepaald welke gegevens uw AI/ML-project nodig heeft om zijn modellen te bouwen, heeft u een cloud-native ELT-oplossing nodig die uw gegevens geschikt maakt voor gebruik. Zoek naar een oplossing die:

• Vendor-neutraal is en kan werken met uw huidige technologie-stack

• Voldoende flexibel is om op te schalen en aan te passen aan veranderingen in uw technologie-stack

• Complexere gegevenstransformaties van meerdere gegevensbronnen aankan

• Een pay-as-you-go-prijzenmodel biedt waarbij u alleen betaalt voor wat u gebruikt

• Specifiek is ontworpen voor uw voorkeurs-CDW, zodat u de functies van die CDW volledig kunt benutten om taken sneller uit te voeren en gegevens naadloos te transformeren.

Een cloudgegevenstransformatieoplossing die is afgestemd op de gemeenschappelijke noemers van alle CDW’s, kan een consistente ervaring bieden, maar alleen een oplossing die de krachtige differentiërende functies van uw gekozen CDW activeert, kan de hoge prestaties leveren die de tijd tot inzicht versnellen. De juiste oplossing stelt u in staat om uw AI/ML-projecten te laten draaien met meer schone, betrouwbare gegevens van meer bronnen in minder tijd – en snellere, betrouwbaardere resultaten te genereren die eerder onverwachte bedrijfswaarde en innovatie stimuleren.