Hallusinaatioiden hallinta: LLM:n hyödyt ja riskit turvallisuusprosessien osana

Suuret kielen mallit (LLM) voidaan kouluttaa suurille määrille dataa, jotta turvallisuusoperaatiotiimit voivat toimia älykkäämmin. LLM:t tarjoavat suorat ehdotukset ja ohjeet vastauksista, tarkastuksista, asennuksen hallinnasta ja muusta. Useimmat turvallisuustiimit kokeilevat tai käyttävät LLM:iä vähentämään manuaalista työtä työnkulkussa. Tämä voidaan tehdä sekä arkisille että monimutkaisille tehtäville.

Esimerkiksi LLM voidaan kysyä työntekijältä sähköpostitse, halusiko hän jakaa asiakirjan, joka oli omistettu, ja prosessoida vastaus suosituksesta turvallisuuspäällikölle. LLM voidaan myös tehtävänä kääntää pyynnöt etsimään avoimen lähdekoodin hyökkäyksiä ja käynnistää agentteja, jotka keskittyvät tiettyihin olosuhteisiin – uusiin avustajiin laajasti käytettyihin kirjastoihin, virheellisiin koodin malleihin – ja kunkin agentin valmisteluun kyseisiin olosuhteisiin.

Turvallisuusprosessit ja AI-käytäntö LLM:n käytöstä ja työnkulkujen osana tulevat olemaan tärkeämmäksi, kun nämä järjestelmät tulevat yleisemmiksi turvallisuusoperaatioiden ja tutkimuksen parissa. Varmistaminen, että nämä prosessit noudatetaan, ja ne mitataan ja kirjataan hallintajärjestelmiin, osoittautuu tärkeäksi CISO:iden tarjoamiseksi riittävää GRC (hallinto, riski ja mukaisuus) -kattavuutta uusien määräysten, kuten Cybersecurity Framework 2.0, täyttämiseksi.

Turvallisuuspäälliköt ja heidän tiiminsä kamppailevat jatkuvasti pysymään mukana kasvavan uusien kyberhyökkäysten aallon kanssa. Qualysin mukaan vuonna 2023 ilmoitettiin uusi ennätysmäärä 26 447 CVE:tä. Tämä on yli 5-kertainen kasvu vuodesta 2013.

Haaste on vain kasvanut, kun keskivertoyrityksen hyökkäyspinta-ala on kasvanut suuremmaksi joka vuosi. Sovellusturva-tiimit on turvattava ja valvottava useampia ohjelmistoja. Pilvilaskenta, API:t, monipilvi- ja virtualisointiteknologiat ovat lisänneet monimutkaisuutta. Nykyaikaisen CI/CD-työkalujen ja prosessien avulla sovellusryhmät voivat toimittaa enemmän koodia nopeammin ja useammin. Mikropalvelut ovat hajottaneet monoliittiset sovellukset useiksi API:ksi ja hyökkäyspinnaksi ja myös tehneet useampia reikiä globaaleihin palomuureihin ulkoisten palvelujen tai asiakaslaitteiden kanssa kommunikoimiseksi.

Edistyneet LLM:t lupaavat vähentää turvallisuustiimien työtaakkaa ja parantaa heidän kykyjään. AI-pohjaiset koodausvälineet ovat jo laajasti levinneet ohjelmistokehitykseen. Github-tutkimuksen mukaan 92 % kehittäjistä käyttää tai on käyttänyt AI-työkaluja koodin ehdotukseen ja täydentämiseen. Useimmat näistä “copilot”-työkaluista sisältävät joitain turvallisuusominaisuuksia. Itse asiassa ohjelmistokehityksessä ja CI/CD-putkistossa AI voi olla arvokas turvallisuustiimille useilla tavoin:

• Parannettu analyysi: LLM:t voivat prosessoida valtavia määriä turvallisuustietoja (lokeja, hälytyksiä, uhkien tiedustelua) tunnistamaan kuviota ja korrelaatioita, joita ihmiset eivät voi nähdä. Ne voivat tehdä tämän useilla kielillä, ympäri vuorokauden, ja useilla ulottuvuuksilla samanaikaisesti. Tämä avaa uusia mahdollisuuksia turvallisuustiimille. LLM:t voivat käsitellä hälytyspinon lähes reaaliajassa ja merkitä ne, jotka ovat todennäköisesti vakavimpia. Vahvistusoppimisen kautta analyysi paranee ajan myötä.
• Automaatio: LLM:t voivat automatisoida turvallisuustiimien tehtäviä, jotka normaalisti vaativat keskustelua. Esimerkiksi kun turvallisuustiimi saa IoC:n ja tarvitsee kysyä laitteen omistajalta, onko hän todella kirjautunut laitteeseen tai onko hän jossain muualla kuin työnsä aikana, LLM voi suorittaa nämä yksinkertaiset toiminnot ja seurata kysymyksiä ja linkkejä tai ohjeita tarpeen mukaan. Tämä oli aiemmin vuorovaikutus, jota IT- tai turvallisuustiimin jäsen oli itse suorittanut. LLM:t voivat myös tarjota edistyneempää toiminnallisuutta. Esimerkiksi Microsoft Copilot for Security voi generoida incidentin analyysiraportteja ja kääntää monimutkaisen malware-koodin luonnollisen kielen kuvausten muotoon.
• Jatkuva oppiminen ja säätö: Toisin kuin aikaisemmat koneoppimisen järjestelmät turvallisuuspoliittisille ja ymmärrykselle, LLM:t voivat oppia lennossa ihmisten arvioiden perusteella ja uusien tietojen muodostamisella, jotka eivät välttämättä sisälly sisäisiin lokitiedostoihin. Itse asiassa saman perustavanlaatuinen mallin avulla voidaan turvallisuus-LLM:t säätää eri tiimien ja heidän tarpeidensa, työnkulkujen tai aluekohtaisen tai pystykohtaisen tehtävien mukaan. Tämä tarkoittaa myös, että koko järjestelmä voi olla yhtä älykäs kuin malli, ja muutokset voivat leviä nopeasti kaikille käyttöliittymille.

LLM:n riskit turvallisuudelle

Uutena teknologiana lyhyellä käyttöhistorialla LLM:llä on vakavia riskejä. Pahimmassa tapauksessa näiden riskien täysimääräinen ymmärtäminen on haasteellista, koska LLM:n tulosteet eivät ole 100 % ennustettavissa tai ohjelmoitavissa. Esimerkiksi LLM:t voivat “hallusinoida” ja keksitä vastauksia tai vastata kysymyksiin väärin perustuen kuvitteellisiin tietoihin. Ennen kuin LLM:iä otetaan käyttöön turvallisuuskäyttökohteissa, on tärkeää ottaa huomioon mahdolliset riskit, kuten:

• Kyselyjen injektio: Hyökkääjät voivat luoda väärää tietoa, joka voi aiheuttaa harhaanjohtavia tai vahingollisia tulosteita. Tämäntyyppinen hyökkäys voi hyödyntää LLM:n taipumusta generoida sisältöä saadun kyselyn perusteella. Turvallisuuskäyttökohteissa kyselyjen injektio voi olla riskialtinna sisäisen hyökkäyksen tai valtuutetun käyttäjän hyökkäyksen muodossa, joka käyttää kyselyjä muuttamaan järjestelmän tulosteita lopullisesti. Tämä voi johtaa epätarkoihin tai virheellisiin tuloksiin muiden järjestelmän käyttäjien osalta.
• Tietojen myrkyttäminen: LLM:iin perustuvat mallit voivat olla vaarassa, jos niiden koulutusdataa muutetaan tahallisesti. Turvallisuuskäyttökohteissa, joissa organisaatiot ovat todennäköisesti käyttäneet työkalutoimittajien kouluttamia malleja, tietojen myrkyttäminen voi tapahtua mallin mukauttamisen aikana tietyn asiakkaan ja käyttötapauksen osalta. Riski voi olla, että valtuutettu käyttäjä lisää pahaa dataa – esimerkiksi vahingoittuneita lokitiedostoja – subvertataksesi koulutusprosessin. Valtuutettu käyttäjä voi myös tehdä tämän vahingossa. Tuloksena on LLM:n tulokset, jotka perustuvat huonoon dataan.
• Hallusinaatiot: Kuten aiemmin mainittiin, LLM:t voivat generoida tosiasiallisesti virheellisiä, järjettömiä tai jopa vahingollisia vastauksia kyselyjen tai perustavanlaatuisten tietojen virheiden vuoksi. Turvallisuuskäyttökohteissa hallusinaatiot voivat johtaa kriittisiin virheisiin, jotka voivat vahingoittaa uhkien tiedustelua, haavoittuvuuksien priorisointia ja korjausta ja muuta. Koska turvallisuus on kriittinen toiminta, LLM:iä on pidettävä korkeampaa standardia hallitsemaan ja estämään hallusinaatioita näissä yhteyksissä.

Kun AI-järjestelmät tulevat yhä kykykkäämmiksi, niiden tietoturvakäyttö on laajentumassa nopeasti. Selkeästi monet turvallisuusyhtiöt ovat jo kauan käyttäneet mallin tunnistamista ja koneoppimista dynaamiseen suodattamiseen. Uutta generatiivisen AI:n aikakaudella ovat vuorovaikutteiset LLM:t, jotka tarjoavat älykerroksen olemassa olevien työnkulkujen ja tietojen varantojen päälle, parantaen toiminnan tehokkuutta ja turvallisuustiimien kykyjä. Toisin sanoen GenAI voi auttaa turvallisuusinsinöörejä tekemään enemmän vähemmällä vaivalla ja samojen resurssien kanssa, johtuen paremmasta suorituskyvystä ja nopeutetusta prosesseista.