Ge din ML och AI-insatser med dataomvandling – Tankeledare

Ju större variation, hastighet och volym av data vi har, desto mer möjligt blir det att använda prediktiv analys och modellering för att förutse tillväxt och identifiera områden för förbättring. Men för att få ut det mesta av rapportering, maskinlärning (ML) och artificiell intelligens (AI) verktyg krävs det att en organisation har tillgång till data från många källor och säkerställer att data är av hög kvalitet och pålitlig. Detta är ofta den största barriären för att omvandla stora mängder data till affärsstrategi.

Dataproffs spenderar så mycket tid på att samla in och validera data för att förbereda dem för användning att de har lite tid kvar att fokusera på sitt primära syfte: att analysera data och dra affärsnytta av dem. Det är inte förvånande att 76 procent av dataforskare säger att dataförberedelse är den minst trevliga delen av deras jobb. Dessutom kräver nuvarande dataförberedelseinsatser som datahantering och traditionell ETL manuell ansträngning från IT-proffs och räcker inte för att hantera omfattningen och komplexiteten av stora mängder data.

Företag som vill utnyttja kraften av AI måste bryta sig loss från dessa tråkiga och i stor utsträckning manuella processer som ökar risken för “skräp in, skräp ut”-resultat. Istället behöver de dataomvandlingsprocesser som extraherar rådata från flera källor och format, sammanfogar och normaliserar dem och lägger till värde med affärslogik och mått för att göra dem redo för analys. Med komplex dataomvandling kan de vara säkra på att AI/ML-modeller baseras på ren, exakt data som levererar pålitliga resultat.

Utnyttja kraften av molnet med ELT

Den bästa platsen att förbereda och omvandla data idag är ett molnbaserat datawarehouse (CDW) som Amazon (AMZN ) Redshift, Google (GOOGL ) BigQuery, Microsoft Azure Synapse eller Snowflake. Medan traditionella tillvägagångssätt för datawarehousing kräver att data extraheras och omvandlas innan de kan laddas, utnyttjar ett CDW molnets skalbarhet och prestanda för snabbare datainmatning och omvandling och gör det möjligt att extrahera och ladda data från många olika datakällor innan de omvandlas inom CDW.

Idealt sett flyttar ELT-modellen initialt data till en sektion av CDW som är reserverad för råstagningsdata. Därifrån kan CDW använda sina nästan obegränsade beräkningsresurser som är tillgängliga för dataintegration och ETL-jobb som rensar, aggregerar, filtrerar och sammanfogar de stagnerade data. Datan kan sedan omvandlas till en annan schema – data vault eller Star Schema, till exempel, optimerar datan för rapportering och analys

ELT-tillvägagångssättet tillåter också att du replikerar rådata inom CDW för senare förberedelse och omvandling när och som behövs. Detta låter dig använda affärsintelligensverktyg som bestämmer schema på läsning och producerar specifika omvandlingar på begäran, effektivt låter dig omvandla samma data på flera sätt när du upptäcker nya användningar för den.

Accelerera maskinlärningsmodeller

Dessa realistiska exempel visar hur två företag i olika branscher utnyttjar dataomvandling i ett CDW för att driva AI-initiativ.

En boutique-marknadsförings- och annonsbyrå byggde en egen kundhanteringsplattform för att hjälpa sina kunder att bättre identifiera, förstå och motivera sina kunder. Genom att omvandla data inom ett CDW integrerar plattformen snabbt och enkelt realtidskunddata över kanaler i en 360-graders kundvy som informerar plattformens AI/ML-modeller för att göra kundinteraktioner mer konsekventa, tidiga och personliga.

Ett globalt logistikföretag som gör 100 miljoner leveranser till 37 miljoner unika kunder i 72 länder behöver stora mängder data för att driva sin dagliga verksamhet. Genom att anta dataomvandling inom ett CDW kunde företaget distribuera 200 maskinlärningsmodeller på ett år. Dessa modeller gör 500 000 förutsägelser varje dag, vilket avsevärt förbättrar effektiviteten och driver en överlägsen kundservice som har minskat inkommande samtal till kundtjänst med 40 procent.

Bästa praxis för att komma igång

Företag som vill stödja sina AI/ML-initiativ med kraften av dataomvandling i molnet måste förstå sitt specifika användningsfall och behov. Att börja med vad du vill göra med din data – minska bränslekostnaderna genom att optimera leveransrutter, öka försäljningen genom att leverera nästa bästa erbjudanden till kundtjänstmedarbetare i realtid, etc. – låter dig backa processerna så att du kan identifiera vilken data som kommer att leverera relevanta resultat.

När du har bestämt vilken data ditt AI/ML-projekt behöver för att bygga sina modeller, behöver du en molnbaserad ELT-lösning som kommer att göra din data redo för användning. Sök efter en lösning som:

• Är leverantörsneutral och kan arbeta med din nuvarande teknikstack

• Är tillräckligt flexibel för att skala upp och ned och anpassa sig när din teknikstack förändras

• Kan hantera komplexa dataomvandlingar från flera datakällor

• Erbjuder en betal-per-användningsmodell där du bara betalar för vad du använder

• Är specialbyggt för din föredragna CDW så att du kan utnyttja CDW:s funktioner fullt ut för att köra jobb snabbare och omvandla data sömlöst.

En molnbaserad dataomvandlingslösning som tillgodoser de gemensamma nämnarna för alla CDW kan ge en konsekvent upplevelse, men endast den som möjliggör de kraftfulla differentierande funktionerna i din valda CDW kan leverera den höga prestanda som påskyndar insiktstiden. Rätt lösning kommer att möjliggöra för dig att driva dina AI/ML-projekt med mer ren, pålitlig data från flera källor på kortare tid – och generera snabbare, mer tillförlitliga resultat som driver tidigare ouppnådda affärsnyttor och innovation.