Rob Feldman, EnterpriseDB:n pääjuristina – Haastattelusarja

Rob Feldman, pääjuristina, vastaa maailmanlaajuisista oikeudellisista ja tuen toiminnoista EnterpriseDB:ssä. Kokenut johtaja ja lakimies, hän luo korkean suorituskyvyn oikeudellisia tiimejä tukemaan kasvavia teknologiayrityksiä dynaamisissa liiketoimintaympäristöissä. Viimeksi hän johti 45 hengen oikeudellista tiimiä Citrix Systems, Inc.:ssä sen yleisenä asianajajana, mukaan lukien yli 16 miljardin dollarin arvoinen yksityistäminen vuonna 2022. Ennen Citrixia hän työskenteli yksityisessä harjoituksessa teknologiayritysten oikeudellisena asiantuntijana, keskittyen arvopaperivirheiden puolustamiseen, immateriaalioikeudellisiin riitoihin ja hallituksen ja sisäisiin tutkimuksiin. Rob toimii myös YK:n Global Compact -oikeudellisessa neuvostossa, jossa hän antaa strategista ohjausta globaaleille sääntelyympäristöille, jotta yritykset voivat ajaa muutosta ja pitkän aikavälin vaikutusta.

EnterpriseDB on ohjelmistoyritys, joka tarjoaa yritystason tietokantaratkaisuja, jotka perustuvat avoimen lähdekoodin PostgreSQL:ään, jotta organisaatiot voivat suorittaa kriittisiä työkuormia suuremmalla suorituskyvylle, turvallisuudelle ja luotettavuudelle. Perustettu vuonna 2004, EnterpriseDB tarjoaa pilvi- ja paikalliset alustat, globaalin tuen ja Oracle-yhteensopivuustyökalut, ja keskittyy yhä enemmän AI-valmiisiin ja hybridi-data-alustoihin Postgres AI -tarjontansa kautta.

Miten näet vastuun kehittyvän yrityksille, jotka ottaa käyttöön agenteja AI:ta kriittisten tietojen infrastruktuurissa

AI:n ja tietojen maailma riippuu edelleen samista periaatteista, jotka olisi pitänyt ohjata yrityksiä jo ennen agenteja: vastuu, hillittyys ja selkeä vastuu.

Aiemmin nämä periaatteet sovellettiin ihmisiin ja pääosin inerttiin järjestelmiin, kojuihin, raportteihin ja automaattisiin työkaluihin, jotka eivät itse käynnistäneet toimia. Agenteja AI tuo järjestelmiä, jotka käyttäytyvät osallistujien kaltaisesti. Ne voivat toimia itsenäisesti, sopeutua ajan myötä ja vuorovaikuttaa sekä ihmisten että muiden agenttien kanssa.

Jos organisaatio ei ole vahvaa hallintaa ja valvontaa, se kamppailee tässä ympäristössä. Agenteja AI ei luo uusia vastuuongelmia, vaan paljastaa olemassa olevia. Yrityksille, joilla on vankka perusta, tämä muutos vahvistaa käytäntöjä, joita he jo noudattavat, mitä me kuvaamme “digitaalisella käsittelyllä”. Muiden yritysten osalta se on selkeä merkki siitä, että käytännön varotoimia on asetettava ennen agenteja AI:n käyttöönottoa laajassa mittakaavassa.

Vain noin 13%:a yrityksistä on saavuttanut tämän agenteja AI:n mittakaavan menestyksekkäästi. He tekevät kaksi kertaa enemmän agenteja kuin muut ja saavat viisi kertaa enemmän tuottoa. Mutta mitä enemmän autonomiaa AI-järjestelmällä on, sitä nopeammin organisaatioiden on vastattava vastuusta. Kun AI-agentti ohjaa vaatimusta, siirtää rahaa tai käsittelee herkkää tietoa väärin, vastuu seuraa yritystä, joka määritteli ympäristön, asetti lupaukset ja päätti, kuinka paljon vapautta järjestelmällä oli.

Tämän vuoksi yritysten on tuotava selkeä valvonta agenteja AI-käyttötapauksiinsa, ja siksi organisaatiot ovat kannustettuja keskittymään varotoimiinsa ja hallintiohjelmiinsa. Koiranomistuksen ja digitaalisen käsittelyn analogia on hyödyllinen. Koirilla on tietty autonomian taso, toimivat itsenäisesti, vaikka joskus odottamattomasti, mutta ne eivät ole oikeudellisia henkilöitä. Tämä yhdistelmä, autonomia ilman henkilöllisyyttä, on samankaltainen kuin nykyisten agenteja AI-järjestelmien asema, ja omistajien on ymmärrettävä, että ilman valvontaa ja hallintaa he vastaavat huonoista lopputuloksista.

Miten yritykset tulisi erottaa avustava AI ja agenteja AI oikeudellisesta ja operatiivisesta näkökulmasta ennen käyttöönottoa?

Yksinkertaisella tasolla ero tulee valtuutuksesta. Avustava AI tukee ihmisten päätöksentekoa, kun taas agenteja AI käynnistää toimia ja toteuttaa päätöksiä. Molemmat voivat vaikuttaa työprosesseihin ja muotoilla käyttäytymistä esimerkiksi asiakaspalvelussa tai toiminnan priorisoinnissa, mutta vain agenteja järjestelmät toimivat itsenäisesti.

Jos järjestelmä voi käynnistää työprosesseja, hyväksyä lopputuloksia, muuttaa järjestelmän tilaa tai tehdä toimia ilman reaaliaikaisen ihmisen hyväksyntää, se tulisi käsitellä agenteina. Tämä määritys on tehtävä ennen käyttöönottoa, koska kun valtuutus on annettu agentille, oikeudellinen ja operatiivinen vastuu siirtyy siihen. Organisaatioiden on oltava tietoisia tästä erosta, jotta ne eivät myöhemmin havaitse, että ovat tahattomasti delegoineet päätöksentekovallan ja sitä kautta vastuun.

Voivatko vakiintuneet oikeudelliset oppitunnit, kuten huolimattoman valtuutuksen ja respondeat superior, soveltua realistisesti autonomisten AI-järjestelmien tapauksiin, ja missä kohdissa nämä kehykset alkavat murtua?

Ne soveltuvat enemmän kuin monet olettavat. Nämä oppitunnit on luotu käsittelemään tilanteita, joissa valtuutus on delegoitu ja vahinko tapahtuu, mikä on yksi mahdollinen haaste, jonka agenteja AI tuo mukanaan.

Ongelma ei ole oikeudellisessa oppitunnissa, vaan siinä, ovatko organisaatiot ymmärtäneet vastuun, jonka he ottavat käyttöön autonomisen AI:n, ja tarpeen hallita näitä järjestelmiä asianmukaisesti.

Kun organisaatiot eivät määrittele alaa, lupauksia ja valvontaa, ne luovat oikeudellisen vastuun. Ongelma ei ole siinä, ettei laki voi käsitellä agenteja AI, vaan siinä, etteivät yritykset ole selkeästi määritelleet, mitä heidän järjestelmilleen on valtuutettu tekemään tai miten niitä on hallittava.

Mitkä käytännön toimet CIO:iden ja oikeudellisten tiimien tulisi tehdä tänään määrittääkseen ja vähentääkseen vastuun, kun AI-työprosessit jatkavat oppimista ja sopeutumista tuotantoympäristöissä?

Ensimmäinen askel on kohdella suvereenia valvontaa AI:sta ja tietoja kuin olennaisina. Organisaatiot eivät voi mielekkäästi hallita vastuuta, jos heidän AI-järjestelmänsä ja tietonsa ovat hajanaisia ympäristöissä, joita he eivät voi täysin havainnoida tai hallita. 13%:a yrityksistä, jotka onnistuvat agenteja AI:lla laajassa mittakaavassa, aloittaa tästä perustasta.

Käytännössä se tarkoittaa tietojen käyttöoikeuksien rajoittamista, selkeän määrittelyä siitä, mitkä toimet agenteja voivat suorittaa itsenäisesti, ja asettamista ihmisten valvontaa korkean vaikutuksen päätöksiin. Se vaatii myös lokien ja jäljitettävyyden, jotta käyttäytyminen voidaan tarkastella, jos ja kun tarve vaatii. Organisaatiot, jotka ottavat nämä toimenpiteet aikaisin, vähentävät sekä oikeudellista altistumista että operatiivista kitkaa myöhemmin.

Miten suosittelisit yritysten hallitsevan agenteja AI:ta kautta poliittisen, teknisen valvonnan tai sopimuksellisen turvallisuuden, jotta vähennetään tahattoman vahingon riskiä?

Lähtökohta on suvereniteetti. Yritysten on oltava ympäristössä, jossa heidän AI-järjestelmänsä, tietonsa ja suorituskontekstinsa ovat havainnottavissa ja pakottavissa laajassa mittakaavassa. Hallinta ei voi riippua pelkästään politiikasta. Politiikka asettaa odotuksia, mutta tekniset valvontatoimenpiteet määrittävät, mitä järjestelmät voivat todella tehdä, onko tieto levossa vai liikkeessä, ja miten malleja sallitaan toimia.

Jotkut agenteja kuuluvat aidatuille alueille, joilla ei ole tuotantoon pääsyä. Toiset voivat toimia rajoitettuilla lupauksilla ja hyväksymisen kynnyksillä. Täysin autonomiset agenteja tulisi olla harvinaisia ja tarkkaan valvottuja. Sopimukset voivat auttaa selventämään vastuuta, mutta ne eivät korvaa sisäisen valvonnan ja vastuun tarvetta.

Muuttaako siirtyminen yritysten hallitsemiin tai suvereeniin AI-ympäristöihin lopulta sitä, kuka kantaa riskiä, kun AI-agentti aiheuttaa taloudellista tai operatiivista vahinkoa?

Se ei muuta sitä, kuka kantaa riskin. Se tekee vastuun selvemmäksi ja monin tavoin vähentää riskiä. Kun yritykset hallitsevat tietoja, infrastruktuuria ja suorituskontekstia, ne poistavat muuttujat, jotka esitetään, kun tietoja ja työkaluja hallitsee kolmas osapuoli.

Tietojen ja AI-työkalujen hallinta on vahvuus. Suvereniteetti antaa organisaatioille näkyvyyden ja valtuutuksen, jotka tarvitaan riskin hallitsemiseen vastuullisesti. Ilman tätä valvontaa yritykset laajentavat riskiprofiiliaan.

Miten läpinäkyvyys ja jäljitettävyys vaikuttavat oikeudelliseen altistumiseen, kun suoritetaan autonomisia AI-sovelluksia?

Ne ovat perustavanlaatuisia. Jäljitettävyys muuttaa autonomiset järjestelmät puolustettaviksi järjestelmiksi.

Kun tapahtuu vaaratilanteita, sääntelijät ja tuomioistuimet esittävät käytännön kysymyksiä: mitä järjestelmä tiesi, mitä sille oli valtuutettu tekemään ja miksi se toimi? Yritykset, jotka voivat osoittaa valvontaa ja jäljitettävyyttä, ovat paljon vahvemmassa asemassa verrattuna niiden vastineisiin, jotka tulevat tyhjin käsin.

Miten yritykset tulisi valmistautua vaihteleviin osavaltion tasolla oleviin oikeudellisiin velvollisuuksiin liittyen AI-vastuun, kun liittovaltion AI-ohjeistus jatkuu kehittymistään?

Yritykset eivät voi odottaa, että sääntelijät antavat yksityiskohtaisia sääntöjä, jotka koskevat AI:ta. Olemassa oleva osavaltion ja liittovaltion laki antaa meille 95%:a selkeyttä, jota tarvitaan käyttääkseen AI:ta vastuullisesti ja välttääkseen merkittäviä vastuutapahtumia.

Se selkeys käsittää järjestelmien suunnittelun, jotta ne täyttävät vaativimmat tuotelain standardit, mikä sisältää asioita, kuten vastuullisen AI-ominaisuuksien kehittämisen, ennen julkaisua tapahtuvan testauksen, läpinäkyvyyden ja riskin ilmoittamisen, julkaisun jälkeisen tarkastelun, ihmisen valvonnan ja AI-ominaisuuksien käyttäjien koulutuksen. Nämä perus- ja tutut toimenpiteet ovat tärkeämpiä kuin yrittää ennustaa tiettyjä sääntelytuloksia.

Mitkä ovat tärkeimmät kysymykset, joita teknologian ostajien tulisi kysyä toimittajilta autonomiasta, valvonnasta ja vastuusta ennen agenteja AI-järjestelmien käyttöönottoa?

Agenteja AI:ssa vastuu lopulta lepää puolella, joka valtuuttaa autonomian. Niinpä neljä pääkysymystä, joita tulisi vastata, ovat:

1. Kuka hallitsee järjestelmää tuotannossa?
2. Miten lupaukset testataan ja pakotetaan?
3. Miten oppiminen rajoitetaan?
4. Mitä auditinäyttöä on tarjolla, jos jotain menee pieleen?

Jos toimittaja ei voi antaa selkeitä vastauksia, yritysten tulisi edetä varovasti. Palatakseni koiranomistusvertaukseen: kasvattajat ovat tärkeitä, mutta jos jotain menee pieleen, vastuu voi lepää omistajalla.

Kiitos haastattelusta, lukijat, jotka haluavat oppia lisää, voivat vierailla EnterpriseDB:ssä.