Kaksi opiskelijaa kehittää ohjelmistoa, joka kamppailee AI:n aiheuttamaa CO2:ta vastaan

Asiantuntijat ovat yksimielisiä siitä, että nykyinen tekoälykehityksen polku johtaa siihen, että se tulee olemaan yksi johtavista CO2:n tuottajista, vaikka sitä käytetään juuri tämän ongelman ratkaisemiseen. Tämä on johtanut siihen, että eri osat teollisuudesta ovat alkaneet kiinnittää huomiota siihen, miten tilannetta voitaisiin parantaa, ja yksi viimeisimmistä kehityksistä on tullut kahdelta Tanskan yliopiston opiskelijalta.

Edistyneet tekoälymenetelmät, kuten syväoppiminen, kehittyvät hämmästyttävää vauhtia, mutta tämä johtaa valtaviin energiankulutuslukuihin. Kun tämä jatkuu kasvamista, tekoälytekniikat ja -menetelmät, erityisesti syväoppiminen, tulevat todennäköisesti olemaan merkittäviä ilmastonmuutoksen vaikuttajia, ellei mitään toimia tehdä nykyisen kehityspolun muuttamiseksi.

Vuodesta 2012 vuoteen 2018 syväoppimisen laskentakapasiteetti on kasvanut 300 000 %. Yksi alan suurimmista ongelmista on, että energiankulutus ja hiilijalanjälki algoritmien kehittämisen vuoksi mitataan harvoin. Samalla monet tutkimukset kuvaavat tätä ongelmaa ja vaativat toimia.

Carbontracker

Tätä ongelmaa ratkaisemaan Lasse F. Wolff Anthony ja Benjamin Kanding Tanskan yliopiston tietojenkäsittelytieteen laitokselta, apulaisprofessori Raghavendra Selvanin kanssa, ovat kehittäneet uuden ohjelmistohjelman nimeltä Carbontracker. Tämä ohjelmisto voi tarkasti laskea ja ennustaa, kuinka paljon energiaa ja CO2-päästöjä koulutettaessa syväoppimismalleja.

“Kehitys tässä alassa on hurjaa vauhtia ja syväoppimismallit ovat jatkuvasti kasvamassa ja kehittyvät”, Lasse F. Wolff Anthony sanoo. “Tällä hetkellä on eksponentiaalinen kasvu. Ja se tarkoittaa energiankulutuksen kasvua, josta useimmat ihmiset näyttävät olevan tietämättömiä.”

Syväoppimismallit jatkavat kasvamistaan ja ratkaisevat yhä monimutkaisempia ongelmia, mikä vaatii merkittävän energiankulutuksen kasvua.

“Kun tietokannat kasvavat päivä päivältä suuremmiksi, algoritmien ratkaistaviksi ongelmiksi tulee yhä monimutkaisempia”, Benjamin Kanding sanoo.

Avoin lähdekoodin Carbontracker-ohjelma on saatavilla täältä.

GPT-3

Yksi parhaista esimerkeistä tästä on edistynyt kielimalli GPT-3. Se on yksi suurimmista ja monimutkaisimmista syväoppimismalleista, jotka on kehitetty tähän mennessä, mutta se tulee kalliiksi. GPT-3 vaatii saman verran energiaa kuin 126 tanskalaisen kotitalouden energiankulutus vuodessa, kaikki vain yhdessä koulutussessiossa. Päästöjen määrä on vastaava kuin 700 000 kilometrin ajon päästöt.

Lasse F. Wolff Anthonyn mukaan “muutamassa vuodessa on todennäköisesti useita malleja, jotka ovat moninkertaisia suurempia.”

“Jos trendi jatkuu, tekoäly voi lopulta olla merkittävä ilmastonmuutoksen vaikuttaja. Teknologisen kehityksen jarrutus ei ole pointti. Nämä kehitykset tarjoavat fantastisia mahdollisuuksia ilmaston auttamiseen. Sen sijaan on tärkeää tulla tietoiseksi ongelmasta ja ajatella: Miten voimme parantaa?” Benjamin Kanding sanoo.

Carbontracker seuraa CO2:n määrää, jota tuotetaan energian tuottamiseen syväoppimisen koulutuksen aikana, mikä mahdollistaa CO2-päästöjen ennustamisen energiankulutuksen muuntamisen jälkeen.

Opiskelijoiden mukaan syväoppimisen käyttäjien tulisi kiinnittää huomiota siihen, minkälaista laitteistoa ja algoritmeja käytetään ja milloin mallin koulutus tapahtuu, koska on alueita, joissa on suuremmat vihreät energianlähteet.

“On mahdollista vähentää ilmaston vaikutusta merkittävästi. Esimerkiksi on relevanttia, jos valitset kouluttaa mallisi Viroon tai Ruotsiin, missä mallin koulutuksen hiilijalanjälki voidaan vähentää yli 60 kertaa vihreämmän energian ansiosta. Algoritmit vaihtelevat suuresti energiatehokkuudessaan. Jotkut vaativat vähemmän laskentaa ja siten vähemmän energiaa saavuttaakseen samanlaisia tuloksia. Jos voidaan säätää näitä parametreja, asiat voivat muuttua merkittävästi”, Lasse F. Wolff Anthony sanoo.