AI-mallit ja alustat

YOLOv7: Edistynein kohteiden havaitsemisalgoritmi?

Kunal Kejriwal
Lisää Unite.AI suosikkilähteisiisi Google-palvelussa
Keskeiset kohdatYOLOv7 esittelee yhdistelmäskalausmenetelmän, joka on suunniteltu erityisesti…
Näytä lisää
  • YOLOv7 esittelee yhdistelmäskalausmenetelmän, joka on suunniteltu erityisesti ketjuttamiseen perustuvia arkkitehtuureja, kuten sen oma, varten.
  • Algoritmi korvaa dynaamisen nimikkeiden osoituksen uudella karkeasta hienoon -periaatteella toimivalla johto-ohjatulla lähestymistavalla koulutuksen vakauden parantamiseksi.
  • YOLOv7 optimoi koulutusta 'koulutettavien ilmaisten lisävarusteiden' avulla, mikä parantaa tarkkuutta nostamatta päätelmäkustannuksia.

6. heinäkuuta 2022 jäi tekoälyn historiaan YOLOv7:n julkaisupäivänä. Julkaisun jälkeen mallista tuli suosittu puheenaihe konenäön kehittäjäyhteisössä, ja sitä pidettiin merkittävänä edistysaskeleena kohteiden havaitsemisessa.

Pian YOLOv7-tutkimuksen julkaisemisen jälkeen mallia kuvailtiin nopeimmaksi ja tarkimmaksi reaaliaikaiseksi kohteiden havaitsemismalliksi. Miten se ylittää edeltäjänsä, ja mikä tekee siitä tehokkaan konenäön tehtävissä?

Tässä artikkelissa tarkastellaan YOLOv7-mallia ja sen asemaa alan standardina. Ensin käydään lyhyesti läpi kohteiden havaitsemisen historiaa.

Mitä kohteiden havaitseminen on?

Kohteiden havaitseminen on konenäön osa-alue, jossa tunnistetaan ja paikannetaan kohteita kuvasta tai videotiedostosta. Se on monien sovellusten, kuten itseohjautuvien autojen, valvontajärjestelmien ja robotiikan, perusta.

Havaitsemismallit voidaan jakaa single-shot- ja multi-shot-tunnistimiin.

Reaaliaikainen kohteiden havaitseminen

YOLOv7:n ymmärtäminen edellyttää sen päätavoitteen eli reaaliaikaisen kohteiden havaitsemisen ymmärtämistä. Se on modernin konenäön keskeinen osa. Mallit tunnistavat ja paikantavat kiinnostavia kohteita reaaliajassa sekä mahdollistavat niiden tehokkaan seurannan liikkuvassa kuvassa, esimerkiksi videossa tai suorassa valvontakamerasyötteessä.

Reaaliaikaiset havaitsemismallit menevät tavallisia kuvantunnistusmalleja pidemmälle: edelliset seuraavat kohteita videotiedostoissa, kun taas jälkimmäiset paikantavat ja tunnistavat kohteita yksittäisestä paikallaan olevasta kuvasta.

Siksi reaaliaikaiset mallit soveltuvat videoanalytiikkaan, autonomisiin ajoneuvoihin, kohteiden laskentaan, useiden kohteiden seurantaan ja moniin muihin tehtäviin.

Mikä YOLO on?

YOLO eli You Only Look Once (”katsot vain kerran”) on reaaliaikaisten havaitsemismallien perhe. Joseph Redmon esitteli YOLO-konseptin vuonna 2016. Sen nopeus ja tarkkuus suhteessa olemassa oleviin algoritmeihin herättivät nopeasti huomiota, ja algoritmista tuli pian konenäköalan standardi.

YOLOn perusidea on käyttää päästä päähän toimivaa neuroverkkoa, joka tuottaa reaaliaikaisia ennusteita rajauslaatikoiden ja luokkatodennäköisyyksien avulla. Se poikkesi aiemmista malleista käyttämällä luokittelijoita uudella tavalla kohteiden havaitsemiseen.

Lähestymistapa toimi, ja YOLOn merkittävä suorituskykyero muihin reaaliaikaisiin havaitsemisalgoritmeihin nosti sen alan standardiksi. Mistä tehokkuus johtui?

Aiemmat algoritmit käyttivät Region Proposal Network -verkkoja kiinnostavien alueiden löytämiseen ja tunnistivat kohteet erikseen kullakin alueella. Samasta kuvasta tehtiin siksi usein useita laskentakierroksia, mikä heikensi tarkkuutta ja lisäsi suoritusaikaa. YOLO puolestaan käyttää yhtä täysin kytkettyä kerrosta ennusteen tekemiseen yhdellä kertaa.

Miten YOLO toimii?

Toimintaa voidaan kuvata kolmella vaiheella.

Kohteiden havaitseminen yhtenä regressio-ongelmana

YOLO muotoilee kohteiden havaitsemisen yhdeksi regressio-ongelmaksi, jossa kuvapikseleistä ennustetaan luokkatodennäköisyydet ja rajauslaatikoiden koordinaatit. Algoritmin tarvitsee tarkastella kuvaa vain kerran kohteiden ennustamiseksi ja paikantamiseksi.

Kuvan tarkastelu kokonaisuutena

YOLO huomioi ennusteissaan koko kuvan. Toisin kuin alue-ehdotuksiin tai liukuvaan ikkunaan perustuvat menetelmät, se näkee koko kuvan koulutuksen ja testauksen aikana. Näin se voi koodata kontekstitietoa luokista ja niiden esiintymisestä.

Aiemmin suosittu Fast R-CNN ei huomioinut kuvan laajempaa kontekstia yhtä hyvin ja sekoitti tausta-alueita kohteisiin. Englanninkielisen artikkelin mukaan YOLO on taustavirheiden osalta 50 % tarkempi kuin Fast R-CNN.

Kohteiden esitysten yleistäminen

YOLO pyrkii myös yleistämään kohteiden esityksiä. Kun sitä koulutettiin luonnollisilla kuvilla ja tuloksia testattiin, se ylitti R-CNN-mallit selvästi. Hyvä yleistettävyys vähensi epäonnistumisen riskiä odottamattomilla syötteillä tai uusilla sovellusalueilla.

YOLOv7: mitä uutta?

Kun reaaliaikaisten havaitsemismallien ja YOLOn perusteet ovat selvillä, voidaan tarkastella YOLOv7:n uudistuksia.

Koulutusprosessin optimointi

YOLOv7 optimoi arkkitehtuurin lisäksi koulutusprosessia. Optimointimoduuleilla ja -menetelmillä parannetaan havaitsemistarkkuutta koulutuksen laskentapanosta muuttamalla ilman päättelykustannuksen kasvua. Näitä menetelmiä kutsutaan nimellä trainable bag of freebies: koulutusvaiheen parannuksia, jotka eivät lisää päättelyvaiheen kustannusta.

Päähaaran ohjaama karkea ja hienojakoinen merkintöjen kohdistus

YOLOv7 käyttää tavanomaisen dynaamisen merkintöjen kohdistuksen sijaan päähaaran ohjaamaa karkeasta hienojakoiseen etenevää menetelmää. Dynaaminen kohdistus aiheuttaa useiden ulostulokerrosten mallissa ongelmia, erityisesti dynaamisten tavoitearvojen kohdistamisessa eri haaroille ja niiden ulostuloille.

Mallin uudelleenparametrisointi

Uudelleenparametrisointi on tärkeä käsite kohteiden havaitsemisessa, mutta siihen liittyy koulutusvaiheen haasteita. YOLOv7 analysoi gradientin etenemisreittejä määrittääkseen, millaiset uudelleenparametrisointikäytännöt sopivat verkon eri kerroksiin.

Laajennettu ja yhdistetty skaalaus

YOLOv7 esittelee myös laajennetun ja yhdistetyn skaalauksen menetelmiä, joilla parametrit ja laskenta voidaan hyödyntää tehokkaasti reaaliaikaisessa havaitsemisessa.

YOLOv7: aiempi tutkimus

Reaaliaikainen kohteiden havaitseminen

YOLO on alan standardi, ja useimmat reaaliaikaiset tunnistimet perustuvat YOLO- tai FCOS-algoritmeihin (Fully Convolutional One-Stage Object Detection). Huipputason reaaliaikaisella tunnistimella on yleensä seuraavat ominaisuudet:

  • Vahvempi ja nopeampi verkkoarkkitehtuuri.
  • Tehokas piirteiden yhdistämismenetelmä.
  • Tarkka kohteiden havaitsemismenetelmä.
  • Vakaa häviöfunktio.
  • Tehokas merkintöjen kohdistusmenetelmä.
  • Tehokas koulutusmenetelmä.

YOLOv7 ei käytä itseohjattua oppimista tai tiedon tislausta, jotka usein vaativat paljon dataa. Sen sijaan siinä käytetään trainable bag of freebies -menetelmiä.

Mallin uudelleenparametrisointi

Uudelleenparametrisointi voidaan nähdä ensemble- eli yhdistelmämenetelmänä, jossa useita laskentamoduuleja yhdistetään päättelyvaiheessa. Se jakautuu mallitason ja moduulitason yhdistämiseen.

Lopullinen päättelymalli voidaan muodostaa mallitason menetelmällä kahdella tavalla: kouluttamalla useita identtisiä malleja eri aineistoilla ja laskemalla niiden painojen keskiarvo tai laskemalla eri koulutusiteraatioiden mallipainojen keskiarvo.

Moduulitason uudelleenparametrisointi on yleistynyt. Koulutusvaiheessa moduuli jaetaan useiksi erilaisiksi tai identtisiksi haaroiksi, jotka yhdistetään päättelyvaiheessa vastaavaksi yhtenäiseksi moduuliksi.

Menetelmät eivät kuitenkaan sovi kaikkiin arkkitehtuureihin. Siksi YOLOv7 käyttää uusia uudelleenparametrisointimenetelmiä ja eri arkkitehtuureille sopivia soveltamisstrategioita.

Mallin skaalaus

Skaalauksessa olemassa olevaa mallia suurennetaan tai pienennetään eri laskentalaitteille sopivaksi. Tekijöitä ovat kerrosten määrä eli syvyys, syötekuvan koko eli resoluutio, piirrepyramidien määrä eli vaiheet ja kanavien määrä eli leveys. Näiden avulla tasapainotetaan parametrit, päättelynopeus, laskentamäärä ja tarkkuus.

Yksi yleinen menetelmä on verkkoarkkitehtuurin haku eli NAS. Se etsii sopivia skaalauskertoimia automaattisesti hakuavaruudesta ilman monimutkaisia sääntöjä. Haittapuolena on haun suuri laskentakustannus.

Useissa malleissa skaalauskertoimia analysoidaan ja optimoidaan erikseen, sillä NAS-arkkitehtuureissa kertoimet voivat olla toisistaan riippumattomia.

Yhdistämiseen eli konkatenointiin perustuvissa malleissa, kuten VoVNetissa ja DenseNetissa, syvyyden muuttaminen muuttaa joidenkin kerrosten syöteleveyttä. YOLOv7:n konkatenointiin perustuva arkkitehtuuri käyttää siksi yhdistettyä skaalausta.

Kuva vertaa eri mallien laajennettuja tehokkaita kerrosten yhdistämisverkkoja eli E-ELAN-verkkoja. E-ELAN säilyttää alkuperäisen gradientin etenemisreitin mutta kasvattaa lisättyjen piirteiden kardinaliteettia ryhmäkonvoluutiolla. Tämä voi parantaa eri piirrekarttojen oppimia piirteitä sekä laskennan ja parametrien tehokkuutta.

YOLOv7:n arkkitehtuuri

YOLOv7 pohjautuu YOLOv4-, YOLO-R- ja Scaled YOLOv4 -malleihin. Niillä tehdyillä kokeilla pyrittiin parantamaan tuloksia ja tarkkuutta.

Laajennettu tehokas kerrosten yhdistämisverkko E-ELAN

E-ELAN on YOLOv7:n keskeinen rakennusosa. Se perustuu aiempiin verkkotehokkuutta käsitteleviin malleihin, erityisesti ELANiin.

Tehokkaan arkkitehtuurin suunnittelussa huomioidaan parametrien määrä, laskentatiheys ja laskentamäärä. Muita tekijöitä ovat syöte- ja ulostulokanavien suhde, verkon haarat, päättelynopeus ja konvoluutioverkon tensorien alkioiden määrä.

CSPVoNet huomioi nämä tekijät sekä analysoi gradienttireittiä monipuolisempien piirteiden oppimiseksi eri kerrosten painoja hyödyntämällä. Tavoitteena on nopeampi ja tarkempi päättely. ELAN puolestaan hallitsee lyhintä ja pisintä gradienttireittiä oppimisen ja suppenemisen tehostamiseksi.

ELAN saavuttaa vakaan tilan laskentalohkojen pinoamismäärästä ja gradienttireitin pituudesta riippumatta. Rajaton lohkojen pinoaminen voi kuitenkin rikkoa vakauden ja heikentää parametrien käyttöastetta. E-ELAN vastaa tähän laajentamalla, sekoittamalla ja yhdistämällä kardinaliteettia. Oppimiskyky paranee alkuperäisen gradienttireitin säilyessä.

E-ELANin ja ELANin ero on laskentalohkossa; siirtymäkerroksen arkkitehtuuri säilyy ennallaan.

E-ELAN laajentaa lohkojen kardinaliteettia ja kanavia ryhmäkonvoluutiolla. Piirrekartat lasketaan, sekoitetaan ryhmiin ryhmäparametrin mukaan ja konkatenoidaan. Kunkin ryhmän kanavamäärä säilyy alkuperäisen arkkitehtuurin mukaisena. Lopuksi ryhmien piirrekartat yhdistetään kardinaliteetin kokoamiseksi.

Konkatenointiin perustuvien mallien skaalaus

Skaalauksella mukautetaan mallien ominaisuuksia, jotta voidaan muodostaa eri tarpeisiin ja päättelynopeuksiin sopivia erikokoisia malleja.

Kuvissa (a) ja (b) laskentalohkon ulostuloleveys kasvaa mallin syvyyden kasvaessa. Tällöin myös siirtymäkerrosten syöteleveys kasvaa. Kuva (c) havainnollistaa syvyysskaalausta konkatenointiin perustuvassa arkkitehtuurissa.

Näiden mallien skaalauskertoimia ei siksi voi analysoida toisistaan riippumatta, vaan niitä on tarkasteltava yhdessä. Yhdistetty skaalaus sopii tähän: syvyyskertoimen muuttuessa myös lohkon ulostulokanavia on skaalattava.

Trainable bag of freebies -menetelmät

Bag of freebies tarkoittaa menetelmiä, joilla muutetaan koulutusstrategiaa tai -kustannuksia tarkkuuden parantamiseksi ilman ylimääräistä päättelykustannusta. Millaisia koulutettavia parannuksia YOLOv7 käyttää?

Suunniteltu uudelleenparametrisoitu konvoluutio

YOLOv7 analysoi gradientin etenemisreittejä määrittääkseen, miten uudelleenparametrisoitu konvoluutio kannattaa yhdistää verkkoon. Tämä vastaa RepConvin ongelmaan: se toimii hyvin VGG:ssä mutta huonosti suoraan DenseNetiin ja ResNetiin sovellettuna.

RepConv yhdistää 3 × 3- ja 1 × 1-konvoluutiot. Sen rakenteen tarkastelu osoittaa, että se voi rikkoa DenseNetin konkatenointia ja ResNetin residuaaliyhteyksiä.

Kuvassa esitetään suunniteltu uudelleenparametrisoitu malli. Konkatenointi- tai residuaaliyhteyksiä sisältävän kerroksen RepConvissa ei tulisi olla identiteettiyhteyttä. Tällöin voidaan käyttää RepConvN:ää, josta identiteettiyhteys puuttuu.

Karkea kohdistus apuhaaralle ja hienojakoinen päähaaralle

Syvä ohjaus on syvien verkkojen koulutuksessa käytetty menetelmä. Siinä verkon keskikerroksiin lisätään apuhaara, jonka apuhäviö ohjaa oppimista yhdessä matalamman verkon painojen kanssa. YOLOv7 kutsuu lopullisesta ulostulosta vastaavaa haaraa päähaaraksi ja koulutusta tukevaa haaraa apuhaaraksi.

YOLOv7 käyttää myös uutta merkintöjen kohdistustapaa. Tavallisesti merkinnät muodostetaan suoraan oikeista vertailuarvoista eli ground truth -tiedoista sääntöjoukon mukaan. Ennusteiden jakauma ja laatu vaikuttavat kuitenkin merkintöjen luotettavuuteen. YOLOv7 muodostaa pehmeän merkinnän rajauslaatikkoennusteiden ja oikeiden vertailuarvojen avulla.

Uusi kohdistusmenetelmä ohjaa sekä pää- että apuhaaraa päähaaran ennusteilla. Siihen ehdotetaan kahta strategiaa.

Päähaaran ohjaama merkintöjen kohdistus

Strategia laskee päähaaran ennustetulosten ja oikeiden vertailuarvojen perusteella pehmeät merkinnät optimoinnin avulla. Niitä käytetään sekä pää- että apuhaaran koulutuksessa.

Oletuksena on, että päähaaran parempi oppimiskyky tuottaa edustavampia merkintöjä, jotka yhdistävät lähteen ja kohteen paremmin.

Päähaaran ohjaama karkea ja hienojakoinen kohdistus

Myös tämä strategia muodostaa pehmeitä merkintöjä päähaaran ennusteista ja oikeista vertailuarvoista. Erona on kaksi merkintäjoukkoa: karkea ja hienojakoinen.

Karkeat merkinnät muodostetaan löysäämällä positiivisten näytteiden kohdistusrajoituksia, jolloin useammat ruudut hyväksytään positiivisiksi kohteiksi. Tavoitteena on vähentää apuhaaran heikomman oppimiskyvyn aiheuttamaa tiedon menettämisen riskiä.

Kuva näyttää karkean kohdistuksen apuhaaralle ja hienojakoisen päähaaralle. Mallissa (b) on apuhaara, jota tavallisessa mallissa (a) ei ole.

Kuva (c) näyttää riippumattoman kohdistuksen. Kuvat (d) ja (e) esittävät päähaaran ohjaamaa kohdistusta ja sen karkeasta hienojakoiseen etenevää versiota.

Muut koulutusvaiheen parannukset

YOLOv7 käyttää lisäksi aiemmin ehdotettuja menetelmiä:

  • Eränormalisointi Conv-Bn-Activation-rakenteessa: konvoluutiokerros yhdistetään suoraan eränormalisointikerrokseen.
  • YOLORin implisiittinen tieto: strategia yhdistetään konvoluution piirrekarttaan.
  • EMA-malli: eksponentiaalisesti painotettua liukuvaa keskiarvoa hyödyntävää mallia käytetään lopullisena viitemallina, vaikka tekniikka tunnetaan erityisesti mean teacher -menetelmästä.

YOLOv7: kokeet

Koeasetelma

YOLOv7:n havaitsemismallia koulutetaan ja validoidaan Microsoft COCO -aineistolla. Englanninkielinen artikkeli toteaa, etteivät kaikki kokeet käytä esikoulutettua mallia. Kehittäjät käyttivät vuoden 2017 koulutusjoukkoa koulutukseen ja validointijoukkoa hyperparametrien valintaan. Tuloksia verrattiin alan johtaviin havaitsemisalgoritmeihin.

Perusmallit suunniteltiin reunalaskennan GPU:lle (YOLOv7-tiny), tavalliselle GPU:lle (YOLOv7) ja pilvi-GPU:lle (YOLOv7-W6). Niitä skaalataan palveluvaatimusten mukaan. YOLOv7:n neck-osassa käytetään lohkojen pinoamiseen perustuvaa skaalausta, ja yhdistetyllä skaalauksella kasvatetaan mallin syvyyttä ja leveyttä.

Vertailumallit

Vertailukohtina ovat aiemmat YOLO-versiot ja YOLOR-havaitsemisalgoritmi.

Englanninkielinen artikkeli vertaa YOLOv7:ää YOLOv4:ään ja ilmoittaa 75 % vähemmän parametreja, 15 % vähemmän laskentaa ja 0,4 % paremman tarkkuuden. Lähteen vertailulukuihin liittyvä huomio on tämän artikkelin lopussa.

Vertailu johtaviin havaitsemismalleihin

Kuva vertaa YOLOv7:ää mobiili- ja yleiskäyttöisille GPU-laitteille tarkoitettuihin johtaviin malleihin. Ehdotettu menetelmä tarjoaa parhaan nopeuden ja tarkkuuden välisen tasapainon.

Ablaatiotutkimus: yhdistetty skaalaus

Kuva vertailee skaalausstrategioita. YOLOv7 kasvattaa laskentalohkon syvyyden 1,5-kertaiseksi ja leveyden 1,25-kertaiseksi.

Englanninkielinen artikkeli ilmoittaa yhdistetylle skaalaukselle 0,5 % paremman tuloksen pienemmällä parametri- ja laskentamäärällä sekä toisessa vertailussa 0,2 % tarkkuusparannuksen, kun parametrit lisääntyvät 2,9 % ja laskenta 1,2 %. Se kutsuu molempia vertailukohtia pelkkää syvyyttä skaalaaviksi; tämä lähteen ristiriita on huomioitu lopussa.

Suunniteltu uudelleenparametrisoitu malli

Yleispätevyyttä testataan sekä konkatenointiin että residuaaliyhteyksiin perustuvissa malleissa. Ensimmäisenä käytetään kolmen ELAN-lohkon pinoa ja jälkimmäisenä CSPDarknetia.

Kolmen ELAN-lohkon 3 × 3-konvoluutiokerroksia korvataan RepConvilla. Kuva näyttää Planned RepConvin ja kolmen ELAN-lohkon tarkan kokoonpanon.

Residuaalimallissa käytetään käänteistä Dark-lohkoa, koska alkuperäisestä puuttuu 3 × 3-konvoluutiolohko. Käänteinen CSPDarknet vaihtaa 3 × 3- ja 1 × 1-konvoluutiokerrosten järjestyksen.

Apuhaaran ehdotettu apuhäviö

YOLOv7 vertailee apu- ja päähaarojen riippumattomia merkintöjen kohdistusmenetelmiä.

Kuva esittää apuhaaraa koskevan tutkimuksen tulokset. Artikkelin mukaan kokonaissuorituskyky paranee apuhäviön lisääntyessä. Päähaaran ohjaama kohdistus toimii riippumatonta kohdistusta paremmin.

YOLOv7:n tulokset

Edellä kuvattujen kokeiden perusteella YOLOv7:n suorituskykyä voidaan verrata muihin havaitsemisalgoritmeihin.

Kuva vertaa mallien keskimääräistä tarkkuutta eli AP:tä eräkohtaisen päättelyn suhteen. YOLOv7 ylittää vertailumallit.

Seuraava kuva vertaa YOLOv7:ää muihin reaaliaikaisiin havaitsemisalgoritmeihin. Se menestyy kokonaisuutena suorituskyvyssä, tarkkuudessa ja tehokkuudessa.

Artikkeli esittää lisäksi seuraavat havainnot:

  • YOLOv7-Tiny on YOLO-perheen pienin malli, jossa on yli kuusi miljoonaa parametria. Sen AP on 35,2 %, ja se ylittää vertailukelpoisen parametrimäärän YOLOv4-Tiny-mallit.
  • YOLOv7:ssä on yli 37 miljoonaa parametria, ja se ylittää suuremman parametrimäärän malleja, kuten YOLOv4:n.
  • YOLOv7 saavuttaa korkeimman mAP- ja FPS-tuloksen 5–160 FPS:n alueella.

Johtopäätös

YOLO on modernin konenäön johtava kohteiden havaitsemismalli. Sen tarkkuus ja tehokkuus ovat johtaneet laajaan käyttöön reaaliaikaisissa sovelluksissa. Vuonna 2016 esitellyn ensimmäisen version jälkeen kokeet ovat mahdollistaneet mallin jatkuvan parantamisen.

Artikkelin kirjoitushetkellä YOLOv7 oli YOLO-perheen uusin ja tehokkain versio. Tässä on tarkasteltu sen perusteita ja tehokkuuden syitä.

Lähdehuomio: englanninkielinen artikkeli käyttää useissa kohdissa sanaa ”interference”, vaikka kyse on päättelystä eli inferenssistä. Myös NASin ”search engines” tarkoittaa tässä hakuavaruutta. Lisäksi artikkelin vertailuluvut sekoittavat YOLOv4- ja YOLOR-CSP-vertailuja ja skaalausvertailu nimeää saman syvyysvertailun kahdesti. Alkuperäinen, yllä linkitetty tutkimus erottaa nämä vertailut ja toteaa, että kaikki mallit koulutettiin ilman esikoulutettuja painoja. Näitä lähteen ristiriitoja ei tule pitää käännöksen vahvistamina tutkimustuloksina.

Kunal Kejriwal on backend‑insinööri, joka on erikoistunut Pythoniin, PostgreSQL:ään, Redis:iin ja pilvi‑infrastruktuuriin GCP:ssä ja AWS:ssä. Kolmen vuoden kokemuksella tuotantojärjestelmien rakentamisesta ja skaalaamisesta hän kirjoittaa AI‑infrastruktuurista, hajautetuista järjestelmistä ja koneoppimisen työkuormien käyttöönoton arkkitehtuurista.