X'inhi x-Xjenza tad-Dejta?

Il-qasam tax-xjenza tad-dejta jidher li jikber u aktar popolari kuljum. Skont LinkedIn, ix-xjenza tad-dejta kien wieħed mill-oqsma tax-xogħol li kiber bl-aktar mod mgħaġġel fl-2017 u fl-2020 Glassdoor ikklassifika l-impjieg tax-xjenza tad-dejta bħala wieħed mill-aqwa tliet impjiegi fl-Istati Uniti. Minħabba l-popolarità dejjem tikber tax-xjenza tad-dejta, mhix sorpriża li aktar nies qed jinteressaw ruħhom f'dan il-qasam. Iżda x'inhi eżattament ix-xjenza tad-dejta?

Ejja nieħdu familjari max-xjenza tad-dejta, nieħdu ftit ħin biex niddefinixxu x-xjenza tad-dejta, nesploraw kif il-big data u l-intelliġenza artifiċjali qed ibiddlu l-qasam, nitgħallmu dwar xi għodod komuni tax-xjenza tad-dejta, u neżaminaw xi eżempji tax-xjenza tad-dejta.

X'inhi x-Xjenza tad-Dejta?

Qabel ma nkunu nistgħu nesploraw kwalunkwe għodda jew eżempji tax-xjenza tad-dejta, irridu nġibu definizzjoni konċiża ta' xjenza tad-data.

Id-definizzjoni ta '"xjenza tad-dejta" hija fil-fatt xi ftit delikata, minħabba li t-terminu huwa applikat għal ħafna kompiti u metodi differenti ta' inkjesta u analiżi. Nistgħu nibdew billi nfakkru lilna nfusna dwar xi jfisser it-terminu “xjenza”. Ix-xjenza hija l-istudju sistematiku tad-dinja fiżika u naturali permezz ta 'osservazzjoni u esperimentazzjoni, bil-għan li javvanza l-fehim tal-bniedem tal-proċessi naturali. Il-kliem importanti f'dik id-definizzjoni huma "osservazzjoni" u "fehim".

Jekk ix-xjenza tad-dejta hija l-proċess ta 'fehim tad-dinja minn mudelli fid-dejta, allura l- responsabbiltà ta’ xjenzat tad-data huwa li tittrasforma d-dejta, tanalizza d-dejta, u estratt mudelli mid-dejta. Fi kliem ieħor, xjenzat tad-dejta jingħata d-dejta u juża għadd ta’ għodod u tekniki differenti biex jipproċessa d-dejta minn qabel (lestiha għall-analiżi) u mbagħad janalizza d-dejta għal mudelli sinifikanti.

Ir-rwol ta 'xjenzat tad-dejta huwa simili għar-rwol ta' xjenzat tradizzjonali. It-tnejn huma kkonċernati bl-analiżi tad-dejta biex tappoġġja jew tiċħad ipoteżijiet dwar kif topera d-dinja, tipprova tagħmel sens ta 'mudelli fid-dejta biex intejbu l-fehim tagħna tad-dinja. Ix-xjentisti tad-dejta jagħmlu użu mill-istess metodi xjentifiċi li jagħmel xjenzat tradizzjonali. Xjentist tad-dejta jibda billi jiġbor osservazzjonijiet dwar xi fenomeni li jixtiequ jistudjaw. Imbagħad jifformulaw ipoteżi dwar il-fenomenu in kwistjoni u jippruvaw isibu data li b'xi mod tħassar l-ipoteżi tagħhom.

Jekk l-ipoteżi ma tkunx kontradetta mid-dejta, jistgħu jkunu kapaċi jibnu teorija, jew mudell, dwar kif jaħdem il-fenomenu, li jistgħu jkomplu jittestjaw għal darb'oħra billi jaraw jekk jgħoddx għal settijiet ta' dejta simili oħra. Jekk mudell huwa robust biżżejjed, jekk jispjega x-xejriet sew u ma jiġix annullat waqt testijiet oħra, jista 'saħansitra jintuża biex ibassar okkorrenzi futuri ta' dak il-fenomenu.

Xjentist tad-dejta tipikament mhux se jiġbor id-dejta tiegħu stess permezz ta 'esperiment. Normalment ma jiddisinjawx esperimenti b'kontrolli u provi double-blind biex jiskopru varjabbli ta' konfużjoni li jistgħu jinterferixxu ma' ipoteżi. Il-biċċa l-kbira tad-dejta analizzata minn xjenzat tad-dejta se tkun dejta miksuba permezz ta’ studji u sistemi ta’ osservazzjoni, li huwa mod li bih ix-xogħol ta’ xjenzat tad-dejta jista’ jkun differenti mill-impjieg ta’ xjenzat tradizzjonali, li għandu t-tendenza li jagħmel aktar esperimenti.

Cela dit, xjenzat tad-dejta jista 'jissejjaħ biex jagħmel forma ta' esperimentazzjoni imsejjaħ ittestjar A/B fejn isiru tweaks lil sistema li tiġbor id-dejta biex tara kif il-mudelli tad-dejta jinbidlu.

Irrispettivament mit-tekniki u l-għodod użati, ix-xjenza tad-dejta fl-aħħar mill-aħħar timmira li ttejjeb il-fehim tagħna tad-dinja billi tagħmel sens mid-dejta, u d-dejta tinkiseb permezz tal-osservazzjoni u l-esperimentazzjoni. Ix-xjenza tad-dejta hija l-proċess tal-użu tal-algoritmi, il-prinċipji tal-istatistika, u diversi għodod u magni biex tiġbed għarfien mid-dejta, għarfien li jgħinna nifhmu l-mudelli fid-dinja ta’ madwarna.

X'jagħmel ix-Xjentisti tad-Data?

Jista' jkun li qed tara li kwalunkwe attività li tinvolvi l-analiżi tad-dejta b'mod xjentifiku tista' tissejjaħ xjenza tad-dejta, li hija parti minn dak li jagħmel id-definizzjoni tax-xjenza tad-dejta tant diffiċli. Biex tagħmilha aktar ċara, ejja nesploraw xi wħud mill-attivitajiet li xjentist tad-dejta jista 'jagħmel fuq bażi ta 'kuljum.

Ix-xjenza tad-dejta tgħaqqad ħafna dixxiplini u speċjalitajiet differenti flimkien. Ritratt: Calvin Andrus permezz ta' Wikimeedia Commons, CC BY SA 3.0 (https://commons.wikimedia.org/wiki/File:DataScienceDisciplines.png)

Fi kwalunkwe jum partikolari, xjenzat tad-dejta jista’ jintalab biex: joħloq skema ta’ ħażna u rkupru tad-dejta, joħloq pipelines tad-dejta ETL (estratt, jittrasforma, tagħbija) u jnaddaf id-dejta, juża metodi statistiċi, jagħmel viżwalizzazzjonijiet tad-dejta u dashboards, jimplimenta intelliġenza artifiċjali u algoritmi tat-tagħlim tal-magni, jagħmlu rakkomandazzjonijiet għal azzjonijiet ibbażati fuq id-dejta.

Ejja nkissru ftit il-kompiti elenkati hawn fuq.

Xjentist tad-dejta jista’ jkun meħtieġ li jimmaniġġja l-installazzjoni tat-teknoloġiji meħtieġa biex jaħżen u jirkupra d-dejta, filwaqt li jagħti attenzjoni kemm lill-ħardwer kif ukoll lill-softwer. Il-persuna responsabbli għal din il-pożizzjoni tista’ tissejjaħ ukoll bħala “Inġinier tad-Dejta”. Madankollu, xi kumpaniji jinkludu dawn ir-responsabbiltajiet taħt ir-rwol ta 'xjentisti tad-dejta. Xjentist tad-dejta jista' jkollu bżonn ukoll joħloq, jew jassisti fil-ħolqien ta', Pipelines ETL. Id-dejta rari ħafna tiġi fformattjata eżatt kif jeħtieġ xjenzat tad-dejta. Minflok, id-dejta trid tiġi riċevuta f'forma mhux maħduma mis-sors tad-dejta, tinbidel f'format li jista 'jintuża, u tiġi pproċessata minn qabel (affarijiet bħall-istandardizzazzjoni tad-dejta, it-twaqqigħ ta' redundancies, u t-tneħħija tad-dejta korrotta).

Metodi Statistiċi tax-Xjenza tad-Data

il applikazzjoni ta' l-istatistika huwa meħtieġ li ddawwar sempliċement tħares lejn id-data u tinterpretaha f'xjenza attwali. Metodi statistiċi jintużaw biex jiġu estratti mudelli rilevanti minn settijiet ta' dejta, u xjenzat tad-dejta jeħtieġ li jkun kapaċi sew fil-kunċetti statistiċi. Jeħtieġ li jkunu kapaċi jagħrfu korrelazzjonijiet sinifikanti minn korrelazzjonijiet falzi billi jikkontrollaw varjabbli li jfixklu. Jeħtieġ ukoll li jkunu jafu l-għodda t-tajba li għandhom jużaw biex jiddeterminaw liema karatteristiċi fis-sett tad-dejta huma importanti għall-mudell tagħhom/għandhom setgħa ta 'tbassir. Xjentist tad-dejta jeħtieġ li jkun jaf meta juża approċċ ta’ rigressjoni vs approċċ ta’ klassifikazzjoni, u meta jieħu ħsieb il-medja ta’ kampjun vs. il-medjan ta’ kampjun. Xjenzjat tad-dejta sempliċement ma jkunx xjenzat mingħajr dawn il-ħiliet kruċjali.

Viżwalizzazzjoni tad-Data

Parti kruċjali tax-xogħol ta' xjenzat tad-dejta hija li tikkomunika s-sejbiet tagħhom lil oħrajn. Jekk xjenzat tad-dejta ma jistax jikkomunika b'mod effettiv is-sejbiet tiegħu lil oħrajn, l-implikazzjonijiet tas-sejbiet tagħhom ma jimpurtax. Xjenzjat tad-dejta għandu jkun storja effettiv ukoll. Dan ifisser li tipproduċi viżwalizzazzjonijiet li jikkomunikaw punti rilevanti dwar is-sett tad-dejta u l-mudelli skoperti fih. Hemm numru kbir ta 'differenti viżwalizzazzjoni tad-dejta għodod li xjenzat tad-dejta jista’ juża, u jistgħu jivviżivaw id-dejta għall-iskopijiet ta’ esplorazzjoni inizjali u bażika (analiżi esploratorja tad-dejta) jew jivviżwalizzaw ir-riżultati li jipproduċi mudell.

Rakkomandazzjonijiet u Applikazzjonijiet tan-Negozju

Xjentist tad-dejta jeħtieġ li jkollu xi intwizzjoni tar-rekwiżiti u l-għanijiet tal-organizzazzjoni jew tan-negozju tiegħu. Xjentist tad-dejta jeħtieġ li jifhem dawn l-affarijiet għaliex jeħtieġ li jkun jaf x'tipi ta 'varjabbli u karatteristiċi għandhom ikunu qed janalizzaw, jesploraw mudelli li jgħinu lill-organizzazzjoni tagħhom tilħaq l-għanijiet tagħha. Ix-xjentisti tad-dejta jeħtieġ li jkunu konxji tar-restrizzjonijiet li qed joperaw taħthom u tas-suppożizzjonijiet li qed tagħmel it-tmexxija tal-organizzazzjoni.

Tagħlim bil-Magni u AI

Tagħlim bil-magni u algoritmi u mudelli oħra ta 'intelliġenza artifiċjali huma għodod użati minn xjentisti tad-dejta biex janalizzaw id-dejta, jidentifikaw mudelli fi ħdan id-dejta, jagħrfu r-relazzjonijiet bejn il-varjabbli, u jagħmlu tbassir dwar avvenimenti futuri.

Xjenza tad-Data Tradizzjonali vs Xjenza tal-Big Data

Hekk kif il-metodi tal-ġbir tad-dejta saru aktar sofistikati u d-databases akbar, qamet differenza bejn ix-xjenza tad-dejta tradizzjonali u "dejta kbira" ix-xjenza.

L-analiżi tad-dejta tradizzjonali u x-xjenza tad-dejta ssir b'analitika deskrittiva u esploratorja, bil-għan li ssib mudelli u tanalizza r-riżultati tal-prestazzjoni tal-proġetti. Metodi tradizzjonali ta' analiżi tad-dejta ħafna drabi jiffokaw fuq dejta tal-passat u dejta attwali. L-analisti tad-dejta ħafna drabi jittrattaw data li diġà ġiet imnaddfa u standardizzata, filwaqt li x-xjentisti tad-dejta spiss jittrattaw data kumplessa u maħmuġa. Analitika tad-dejta u tekniki tax-xjenza tad-dejta aktar avvanzati jistgħu jintużaw biex ibassru l-imġiba futura, għalkemm dan isir aktar spiss b'dejta kbira, peress li l-mudelli ta' tbassir ħafna drabi jeħtieġu ammonti kbar ta' dejta biex jinbnew b'mod affidabbli.

"Data kbira" tirreferi għal data li hija kbira wisq u kumplessa biex tiġi ttrattata b'analiżi tad-data tradizzjonali u tekniki u għodod tax-xjenza. Id-dejta kbira ħafna drabi tinġabar permezz ta’ pjattaformi onlajn u jintużaw għodod avvanzati ta’ trasformazzjoni tad-dejta biex il-volumi kbar ta’ dejta jkunu lesti għall-ispezzjoni mix-xjenza tad-dejta. Hekk kif aktar data tinġabar il-ħin kollu, aktar xogħol ta’ xjenzati tad-data jinvolvi l-analiżi ta’ big data.

Għodod tax-Xjenza tad-Data

Xjenza tad-dejta komuni għodod jinkludu għodod biex jaħżnu d-dejta, iwettqu analiżi esploratorja tad-dejta, jimmudellaw id-dejta, iwettqu ETL, u jivviżwalizzaw id-dejta. Pjattaformi bħall-Amazon Web Services, Microsoft Azure u Google Cloud kollha joffru għodda biex jgħinu lix-xjenzati tad-dejta jaħżnu, jittrasformaw, janalizzaw u jimmudellaw id-dejta. Hemm ukoll għodod awtonomi tax-xjenza tad-dejta bħall-Airflow (infrastruttura tad-dejta) u Tableau (viżwalizzazzjoni u analitika tad-dejta).

F'termini ta 'tagħlim tal-magni u algoritmi ta' intelliġenza artifiċjali użati biex jimmudellaw id-dejta, ħafna drabi huma pprovduti permezz ta 'moduli u pjattaformi tax-xjenza tad-dejta bħal TensorFlow, PyTorch, u l-istudjo Azure Machine-learning. Dawn il-pjattaformi bħax-xjentisti tad-dejta jagħmlu modifiki fis-settijiet tad-dejta tagħhom, jikkomponu arkitetturi tat-tagħlim tal-magni, u jħarrġu mudelli ta 'tagħlim tal-magni.

Għodod u libreriji oħra komuni tax-xjenza tad-dejta jinkludu SAS (għall-immudellar statistiku), Apache Spark (għall-analiżi tad-dejta streaming), D3.js (għal viżwalizzazzjonijiet interattivi fil-browser), u Jupyter (għal blokki u viżwalizzazzjonijiet interattivi u sharable tal-kodiċi) .

Ritratt: Seonjae Jo permezz ta' Flickr, CC BY SA 2.0 (https://www.flickr.com/photos/130860834@N02/19786840570)

Eżempji tax-Xjenza tad-Data

Eżempji tax-xjenza tad-dejta u l-applikazzjonijiet tagħha jinsabu kullimkien. Ix-xjenza tad-dejta għandha applikazzjonijiet f'kollox mill-kunsinna tal-ikel, l-isports, it-traffiku u s-saħħa. Id-dejta tinsab kullimkien u għalhekk ix-xjenza tad-dejta tista’ tiġi applikata għal kollox.

F'termini ta' ikel, Uber qed tinvesti f'espansjoni tas-sistema tagħha ta' ride-sharing iffukata fuq il-kunsinna tal-ikel, Uber Eats. Uber Eats jeħtieġ li jwassal lin-nies l-ikel tagħhom fil-ħin, waqt li jkun għadu sħun u frisk. Sabiex dan iseħħ, ix-xjenzati tad-dejta għall-kumpanija jeħtieġ li jużaw mudellar statistiku li jqis aspetti bħad-distanza mir-ristoranti sal-punti tal-kunsinna, il-ġirja tal-vaganzi, il-ħin tat-tisjir, u anke l-kundizzjonijiet tat-temp, kollha kkunsidrati bil-għan li jottimizzaw il-ħinijiet tal-kunsinna. .

L-istatistika tal-isport tintuża mill-maniġers tat-tim biex jiddeterminaw min huma l-aqwa plejers u jiffurmaw timijiet b'saħħithom u affidabbli li se jirbħu l-logħob. Eżempju notevoli huwa x-xjenza tad-dejta dokumentata minn Michael Lewis fil-ktieb Moneyball, fejn il-maniġer ġenerali tat-tim ta 'Oakland Athletics analizza varjetà ta' statistika biex jidentifika plejers ta 'kwalità li jistgħu jiġu ffirmati mat-tim bi spiża relattivament baxxa.

L-analiżi tax-xejriet tat-traffiku hija kritika għall-ħolqien ta' vetturi li jsuqu waħedhom. Vetturi li jsuqu waħedhom iridu jkunu kapaċi jbassru l-attività ta’ madwarhom u jirrispondu għall-bidliet fil-kundizzjonijiet tat-toroq, bħall-żieda fid-distanza ta’ waqfien meħtieġa meta tkun ix-xita, kif ukoll il-preżenza ta’ aktar karozzi fit-triq matul is-siegħa rush. Lil hinn mill-vetturi li jsuqu waħedhom, apps bħal Google Maps janalizzaw ix-xejriet tat-traffiku biex jgħidu lil dawk li jivvjaġġaw kemm se jdumu biex jaslu fid-destinazzjoni tagħhom billi jużaw diversi rotot u forom ta’ trasport.

F'termini ta ' xjenza tad-dejta tas-saħħa, il-viżjoni tal-kompjuter hija ta 'spiss magħquda ma' tagħlim tal-magni u tekniki oħra tal-AI biex joħolqu klassifikaturi tal-immaġni li kapaċi jeżaminaw affarijiet bħal raġġi-X, FMRIs, u ultrasounds biex tara jekk hemmx xi kwistjonijiet mediċi potenzjali li jistgħu jidhru fl-iskan. Dawn l-algoritmi jistgħu jintużaw biex jgħinu lill-kliniċi jiddijanjostikaw il-mard.

Fl-aħħar mill-aħħar, ix-xjenza tad-dejta tkopri bosta attivitajiet u tiġbor flimkien aspetti ta 'dixxiplini differenti. Madankollu, ix-xjenza tad-dejta hija dejjem imħassba li tgħid stejjer konvinċenti u interessanti mid-dejta, u bl-użu tad-dejta biex tifhem aħjar id-dinja.