Anais Dotis-Georgiou, InfluxData:n kehitysadvokaatti – Haastattelusarja

Anais Dotis-Georgiou on InfluxData:n kehitysadvokaatti, jolla on intohimo tehdä datasta kaunista data-analytiikan, tekoälyn ja koneoppimisen avulla. Hän kerää dataa, tekee siihen tutkimusta, tutkii ja insinöörikohtaa sitä, jotta se muuttuisi joksikin toiminnalliseksi, arvokkaaksi ja kauniiksi. Kun hän ei ole ruudun takana, hänet löytää ulkoilta piirtämässä, venyttämässä, laudalla tai jalkapallon perässä.

InfluxData on yhtiö, joka rakentaa InfluxDB:tä, avoimen lähdekoodin aikasarjatietokantaa, jota käyttää yli miljoona kehittäjää ympäri maailmaa. Heidän tehtävänsä on auttaa kehittäjiä rakentamaan älykkäitä, reaaliaikaisia järjestelmiä aikasarjatietojen avulla.

Voitko kertoa hieman matkastasi tutkimusavustajasta InfluxData:n johtavaksi kehitysadvokaatiksi? Miten taustasi data-analytiikassa ja koneoppimisessa on vaikuttanut nykyiseen rooliisi?

Sain alempiarvosanan kemian insinööritieteestä, jossa painopisteenä oli biolääketieteellinen insinööritiede, ja työskentelin laboratorioissa, joissa kehitettiin rokotteita ja toteutettiin autismidiagnostiikkaa. Siitä lähtien aloin ohjelmoida nestehyttysiä ja auttaa data-analyytikkoja ymmärtämään poikkeamien havaitsemisen parametreja, mikä herätti minussa kiinnostuksen ohjelmointiin.

Tulin teknisestä taustasta, joten se auttoi muotoilemaan nykyistä rooliani. Vaikka minulla ei ollut kehityskokemusta, pystyin samaistumaan ja ymmärtämään ihmisiä, joilla oli insinööritausta ja -mieli, mutta jotka yrittivät myös oppia ohjelmointia. Kun loin sisältöä tai teknisiä opetusohjeita, pystyin auttamaan uusia käyttäjiä voittamaan tekniset haasteet ja asettamaan keskustelun asiayhteyteen, joka oli heille relevantti ja kiinnostava.

Työsi näyttää yhdistävän luovuutta tekniseen osaamiseen. Miten yhdistät intohimosi tehdä datasta “kaunista” päivittäiseen työhösi InfluxData:ssa?

Viime aikoina olen keskittynyt enemmän data-insinööritieteeseen kuin data-analytiikkaan. Vaikka en keskity data-analytiikkaan yhtä paljon kuin ennen, pidän edelleen matematiikasta – luulen, että matematiikka on kaunista, ja hyppään tilaisuuteen selittää algoritmin taustalla olevaa matematiikkaa.

InfluxDB on ollut aikasarjatietojen avainasemassa. Miten näet avoimen lähdekoodiyhteisön vaikuttavan InfluxDB:n kehitykseen ja evoluutioon?

InfluxData on sitoutunut avoimeen data-arkkitehtuuriin ja Apache-ekosysteemiin. Viime vuonna ilmoitimme InfluxDB 3.0:sta, uudesta InfluxDB:n ydinkomponentista, joka on kirjoitettu Rustilla ja rakennettu Apache Flightin, DataFusionin, Arrowin ja Parquetin (FDAP-pino) avulla. Kun InfluxData:n insinöörit jatkavat osallistumista näihin ylävirran projekteihin, yhteisö kasvaa, ja Apache Arrow -projektisarja tulee helpommaksi käyttää, tarjoaa enemmän ominaisuuksia ja toiminnallisuutta sekä laajempaa yhteensopivuutta.

Mitä ovat joitakin jännittävimmistä avoimen lähdekoodin projekteista tai avustuksista, joita olet näkemässä aikasarjatietojen ja tekoälyn yhteydessä?

On ollut mielenkiintoista nähdä LLMien (suurten kielen mallien) lisääminen tai soveltaminen aikasarjoihin nollauslaskelmien ennustamiseen. Autolabilla on kokoelma avoimia aikasarjamalleja, ja TimeGPT on toinen hyvä esimerkki.

Lisäksi erilaiset avoimet lähdekoodin suoratoimintakirjastot, kuten Bytewax ja Mage.ai, jotka sallivat käyttäjien hyödyntää ja sisällyttää Hugging Facen malleja, ovat mielenkiintoisia.

Miten InfluxData varmistaa, että sen avoimen lähdekoodin aloitteet pysyvät relevantteina ja hyödyllisinä kehittäjäyhteisölle, erityisesti tekoälyn ja koneoppimisen nopean kehityksen aikana?

InfluxData:n aloitteet pysyvät relevantteina ja hyödyllisinä keskittymällä avoimen lähdekoodin projekteihin, joita myös tekoälyyritykset hyödyntävät. Esimerkiksi jokaisella kertaa, kun InfluxDB osallistuu Apache Arrow’hon, Parquetiin tai DataFusioniin, se hyödyttää kaikkia muita tekoälytekniikkaa ja yrityksiä, jotka käyttävät niitä, mukaan lukien Apache Spark, DataBricks, Rapids.ai, Snowflake, BigQuery, HuggingFace ja monet muut.

Aikasarjamallit ovat tulevaisuuden ennustamisen kannalta yhä tärkeämpiä. Voitko selittää, miten nämä mallit muuttavat aikasarjan ennustamista ja poikkeamien havaitsemista?

Aikasarjamallit suorittavat paremmin kuin lineaariset ja tilastolliset mallit ja tarjoavat nollauslaskelmien ennustamista. Tämä tarkoittaa, että sinun ei tarvitse kouluttaa mallia omilla tiedoillasi ennen sen käyttämistä. Sinun ei myöskään tarvitse säätää tilastollista mallia, joka vaatii syvää asiantuntemusta aikasarjatilastossa.

Huolimatta siitä, että aikasarjatilastot poikkeavat luonnollisen kielen prosessoinnista, aikasarjatilastojen kenttä kärsii julkisesti saatavilla olevien suurten aineistojen puutteesta. Useimmat olemassa olevat esikoulutetut mallit aikasarjoille on koulutettu pienillä otoksilla, jotka sisältävät vain muutaman tuhannen – tai ehkä jopa satojen – otoksen. Vaikka nämä vertailuaineistot ovat olleet merkittäviä aikasarjayhteisön edistymisessä, niiden rajoitetut otoskoot ja yleisyyden puute aiheuttavat haasteita syvien koneoppimismallien esikoulutukselle.

Tämä on se, mikä tekee aikasarjan avoimen lähdekoodin malleista vaikeita löytää. Google (GOOGL ):n TimesFM ja IBM:n Tiny Time Mixers on koulutettu valtavilla aineistoilla, joissa on satoja miljardeja data-pisteitä. TimesFM:n esimerkiksi esikoulutusprosessi on tehty Google Cloud TPU v3-256:lla, joka koostuu 256 TPU-ytimestä ja yhteensä 2 teratavun muistista. Esikoulutusprosessi kestää noin kymmenen päivää ja tuloksena on malli, jossa on 1,2 miljardia parametriä. Esikoulutettu malli on sitten hienosäädetty tiettyihin laskentatehtäviin ja aineistoihin alempaa oppimisnopeutta ja vähemmän jaksoja käyttäen.

Toivottavasti tämä muutos tarkoittaa, että enemmän ihmisiä voi tehdä tarkkoja ennusteita ilman syvää alaan liittyvää tietämystä. On kuitenkin paljon työtä tehtävissä, jotta voidaan punnita tekoälymallien, kuten aikasarjamallien, hyödyt ja haitat sekä taloudellisesta että ympäristöllisestä näkökulmasta.

Tämä Hugging Face -blogikirjoitus esittää toisen hyvän esimerkin aikasarjan ennustamisesta.

Mitä ovat aikasarjamallien tärkeimmät etuja perinteisiin menetelmiin verrattuna, erityisesti monimutkaisten kuvioiden käsittelyssä ja nollauslaskelmien suorituskyvyssä?

Kriittinen etu on se, että sinun ei tarvitse kouluttaa ja uudelleenkouluttaa mallia omilla aikasarjatiedoillasi. Tämä poistaa mahdollisesti verkossa olevan koneoppimisen ongelman, jossa mallin harhatilaa tarkkaillaan ja uudelleenkoulutus käynnistetään, mikä voi poistaa ennustusputken monimutkaisuuden.

Sinun ei myöskään tarvitse kamppailla arvioiden määrittämiseksi monimuuttujamallien tilastollisissa malleissa eikä lisätä lisää vaihtelua arvioilla, mikä voi vahingoittaa tuloksellisia ennusteita ja aiheuttaa mallin oppimisen epäiltyjä korrelaatioita.

Voitko antaa joitakin käytännön esimerkkejä siitä, miten mallit, kuten Google:n TimesFM, IBM:n TinyTimeMixer ja Autolab:n MOMENT, on toteutettu todellisissa tilanteissa?

Tämä on vaikea kysymys; koska nämä mallit ovat suhteellisen nuoria, niistä tiedetään vain vähän siitä, miten yritykset käyttävät niitä todellisissa tilanteissa.

Miten organisaatiot yleensä kohtaavat haasteita, kun ne yhdistävät aikasarjamalleja nykyiseen data-infrastruktuuriinsa, ja miten he voivat voittaa nämä haasteet?

Aikasarjamallit ovat niin uusia, etten tiedä tarkalleen, mitä haasteita organisaatiot kohtaavat. Oletan kuitenkin, että he kohtaavat samat haasteet, joita kohtaavat, kun yhdistävät minkä tahansa GenAI-mallin data-putkeen. Nämä haasteet sisältävät:

• Tiedon yhdenmukaisuus- ja integrointiongelmat: Aikasarjamallit vaativat usein tietyn muodon, yhdenmukaiset aikaleimat ja säännölliset väliajat, mutta olemassa oleva data-infrastruktuuri voi sisältää epäjohdonmukaisia tai epäyhtenäisiä aikasarjatietoja, jotka on jaettu eri järjestelmiin, kuten perinteisiin tietokantoihin, pilvitallennukseen tai reaaliaikaisiin virroksiin. Ratkaisuksi tiimien on toteutettava robusteja ETL- (extract, transform, load) -putkia aikasarjatietojen esikäsittelyyn, puhdistukseen ja kohdistukseen.
• Mallin skaalautuvuus ja suorituskyky: Aikasarjamallit, erityisesti syvät oppimismallit kuten transformerit, voivat olla resursseja vaativia, vaativat merkittäviä laskenta- ja muistiresursseja aikasarjatietojen prosessointiin reaaliajassa tai lähes reaaliajassa. Tämä edellyttää tiimien käyttää skaalautuvia alustoja, kuten Kubernetestä tai pilvipalvelun hallitsemia ML-palveluita, hyödyntää GPU-kiihdytystä tarvittaessa ja käyttää jakeluun prosessointirunkoja, kuten Daskia tai Rayta, mallin päättelyä varten.
• Selkohtavuus ja luotettavuus: Aikasarjamallit, erityisesti monimutkaiset LLM:t, voidaan nähdä “mustina laatikoina”, mikä tekee ennusteiden tulkitsemisen hankalaksi. Tämä voi olla erityisen ongelmallista säänneltyissä aloissa, kuten rahoituksessa tai terveydenhuollossa.
• Tiedon turvallisuus ja suojaus: Aikasarjatietojen käsittely sisältää usein arkaluontoisia tietoja, kuten IoT-sensordataa tai rahoitustransaktioita, joten on tärkeää varmistaa, että data-putket ja mallit noudattavat parhaita turvallisuus- ja suojeluvaatimuksia, kuten salauksen ja pääsytason valvonnan avulla.

Miten näet aikasarjamallien roolin kehittyvän ennustavan analytiikan ja tekoälyn alalla? Onko jotain uusia trendejä tai teknologioita, jotka erityisesti innostavat sinua?

Mahdollinen seuraava askel aikasarjamallien evoluutiossa voisi olla työkalujen kehittäminen, jotka mahdollistavat mallien helpomman käytön ja käyttöönoton. Monet aikasarjamalleista, joita olen käyttänyt, vaativat erityisiä ympäristöjä ja niistä puuttuu laaja valikoima tutoriaaleja ja dokumentaatiota. Lopulta nämä projektit ovat alkuvaiheessa, mutta on jännittävää nähdä, miten ne kehittyvät tulevina kuukausina ja vuosina. Kiitos haastattelusta, lukijat, jotka haluavat oppia lisää, voivat vierailla InfluxData:ssa.