Valvonta tekoälyn aikakaudella: Miksi kokeen suunnittelu on edelleen ensisijainen

Verkko­kokeiden tulevaisuuden turvaaminen kasvavan kysynnän ja tiukentuvien tietosuojalakien keskellä.

Globaalin verkko­kokeiden ohjelmistomarkkinan arvo on $9.4b vuonna 2025, odotetaan nousevan $28.7b vuoteen 2034 mennessä, kun koulutuksen tarjoajat, ammattiliitot ja oppilaitokset siirtävät arvioinnit yhä enemmän verkkoon.

Verkko­kokeiden suosio on helppo ymmärtää, sillä oppilaitokset hallitsevat rahoitusrajoituksia ja rajoitettua kampus­tilaa, kun taas työnantajat ja ammattiliitot etsivät joustavampia tapoja arvioida hakijoita. Etätestaus mahdollistaa yksilöiden tasapainottaa oppimisen ja sertifioinnin työn ja henkilökohtaisten velvoitteiden kanssa, tehden arvioinneista saavutettavampia kuin perinteiset lähi­läsnä­olo­muodot.

Kuitenkin alan suurin haaste ei ole mittakaava; se on ikiaikainen hyödyke, luottamus. Kun tekoälytyökalut tekevät vilpin havaitsemisesta vaikeampaa, oppilaitokset kokevat kasvavaa painetta todistaa, että verkko­arvioinnit ovat oikeudenmukaisia, turvallisia ja säädösten mukaisia.

Äskettäin Association of Chartered Certified Accountants nousi uutisotsikoihin ilmoittaessaan päätöksensä lopettaa etä­kokeet tekoälyvilpin huolien vuoksi, kun taas Ofqual on raportoitu opettajien kohtaavan yhä vaikeampaa tekoälyn tunnistamista arvioidussa työssä. Jopa Princeton University, yksi maailman johtavista yliopistoista, on muokannut 133‑vuotiaaa Honor Code -koodiaan ottaakseen valvonnan käyttöön lähi­läsnä­olo­kokeissa.

Näiden paineiden valossa on helppo olettaa, että enemmän valvontaa on ratkaisu. Kuitenkin tietyssä vaiheessa lisää valvontaa ei välttämättä johda parempiin standardeihin tai tarkempiin tuloksiin. Monissa tapauksissa liiallinen seuranta voi haitata saavutettavuutta, heikentää hakijoiden luottamusta ja nostaa esiin tietosuojahuolia.

Valvonta ei ole oikotie hyvään arviointisuunnitteluun

Valvonta on tehokas väline väärinkäytösten estämiseen, mutta se ei ole itsenäinen ratkaisu huonolle arviointisuunnittelulle. Lähivalvojat eivät voi tarkkailla kaikkia hakijoita samanaikaisesti. Verkko­valvonnalla on omat rajoituksensa, sillä opiskelijoiden on tiedetty käyttävän älylaitteita verkko­seurannan kiertämiseen.

Kun koe keskittyy hakijan muistin testaamiseen, kuten standardoitu monivalintakoe, vilpin houkutus kasvaa, koska oikeiden vastausten määrä on rajoitettu. Jos kyseinen koe vaikuttaa merkittävästi lopulliseen arvosanaan, houkutus vain kasvaa. Nämä koe­muodot ovat luontaisesti alttiimpia tekoälylle, joka on erinomainen hakemaan ja toistamaan tällaisia tietoja.

Kun kokeet on suunniteltu testaamaan hakijan kykyä analysoida tietoa ja soveltaa teoriaa eri konteksteissa, tekoälyn tarjoama välitön etu vähenee nopeasti. Tämä vastaa paremmin nykyaikaisia ammatillisia ympäristöjä, joissa työntekijöiden ei harvoin tarvitse toimia pelkästään muistista.

Käytännössä tämä näyttää kontekstuaaliselta kysymykseltä, joka on asetettu hypoteettisen tilanteen ympärille ja pyytää hakijoita perustelemaan vastauksensa. Kun siihen lisätään aikarajoituksia, selaimen lukituksia tai kopioi-liitä‑rajoituksia, jopa hyvin rakennettu tekoälyn vastaus on vaikea käyttää hyödyllisesti. Nämä kysymykset vaativat alkuperäistä päättelykykyä, eivät pelkästään haettavissa olevia faktoja.

Tarjoamalla avoimen kirjan kokeita, tapaustutkimuksia ja muita kriittisen ajattelun tehtäviä hallituissa olosuhteissa, oppilaitokset voivat kehittää arviointimalleja, joissa turvallisuustoimenpiteet jakautuvat useisiin arviointiprosessin osiin. Tämä mahdollistaa valvonnan riippuvuuden vähentämisen, koska eheyden rakentaminen sisältyy kokeen rakenteeseen eikä sitä pakoteta valvonnan kautta.

Vaikka muistipohjainen testaus on edelleen tärkeää hakijan perustietojen arvioimiseksi, oppilaitokset voivat saada paljon tarkemman käsityksen hakijan kyvyistä, kun se yhdistetään muihin soveltaviin testausmuotoihin.

Kokeiden painotuksia voidaan myös uudelleenjärjestellä vilpin ehkäisemiseksi. Jos arvosanojen jakautuminen on tasaisempi kokeiden välillä, hakijat kokevat huomattavasti vähemmän painetta saavuttaa korkea pistemäärä, mikä luonnollisesti vähentää vilpin houkutusta. Tämä tarjoaa toisen vaihtoehdon kokeiden turvaamiseen ilman voimakasta valvontaa.

Valvonta on olennaista kaikissa kokeissa, mutta sen ei koskaan saisi olla ainoa keino eheyden ylläpitämiseen. Sen sijaan, että keskitytään erilaisiin tapoihin valvoa hakijoita, kokeiden muodot ja kysymykset tulisi suunnitella niin, että kaikki vilpin muodot, ei pelkästään tekoäly, ovat vaikeampia toteuttaa.

Miksi noudattaminen on ensiarvoisen tärkeää

Kun oppilaitokset ottavat käyttöön valvontatoimenpiteitä verkko­kokeissa, niiden on myös navigoitava tietosuoja- ja tietoturvalainsäädännön läpi varmistaakseen, että valvontamenetelmät ovat oikeudenmukaisia ja lainmukaisia.

GDPR:n mukaan video‑syötteiden, ääni­tallenteiden ja muiden biometristen tietojen kerääminen katsotaan erittäin arkaluontoiseksi; siksi kerääminen on perusteltava ja hakijoiden on tiedettävä, miten heidän tietojaan käytetään. 

The EU AI Act on myös asettanut rajoituksia täysin automatisoidulle kokeiden valvonnalle korostaen, että korkean riskin arvioinnit on säilytettävä ihmisen valvonnan alaisina, auditoitavina tuloksina ja että henkilökunnalla on mahdollisuus puuttua tai ohittaa automatisoidut päätökset.

Samanaikaisesti oppilaitosten tulisi pohtia pitkän aikavälin riskiä, joka liittyy suurten määriä valvontatietoja tallentamiseen, sillä mitä enemmän valvontaa verkko­kokeessa otetaan käyttöön, sitä enemmän tietoja on hallittava ajan myötä. Tämä edustaa merkittävää riskiä, kun otetaan huomioon korkea määrä kyberturvallisuushyökkäyksiä, jotka kohdistuvat Ison-Britannian koulusektoriin.

Tämän vuoksi yksi kaikille sopiva valvontamalli ei ole enää lainmukaisesti puolustettavissa. Välttääkseen yleisvalvonnan, oppilaitosten tulisi omaksua tietojen minimoinnin ajattelutapa ja konfiguroida valvontamallit kokeen riskitason perusteella.

Kun harkittu kokeen suunnittelu tukee kohtuullinen valvonta, verkko­kokeet muuttuvat turvallisemmiksi. Vielä tärkeämpää on, että se osoittaa sääntelijöille ja hakijoille, että testausolosuhteet ovat oikeudenmukaisia ja säädösten mukaisia, samalla kun se tarjoaa auditointijalan, joka tarvitaan tulosten vahvistamiseen.

Arvioinnin tulevaisuus

Verkko­kokeiden kasvunopeus tarjoaa valtavan mahdollisuuden oppimiseen ja ammatilliseen kehitykseen. Se kuitenkin nostaa esiin perustavanlaatuisen haasteen siitä, miten kokeiden turvallisuus määritellään ja hallitaan.

Koulutuksen tarjoajat, ammattiliitot ja oppilaitokset, jotka menestyvät, ovat ne, jotka pitävät kokeen suunnittelua ja valvontaa komplementaarisina sen sijaan, että turvautuisivat pelkästään valvontaan. Eheyden ei voi valvoa ulkopuolelta. Se on rakennettava alusta alkaen.