Ennusteen varmistamisesta vastuulliseen toimintaan: Epävarmuuden suunnittelu Femtech-ai:ssa

Naisten terveydenhuollossa tarkkuus on välttämätöntä, mutta se on vain ensimmäinen kerros tuotteen turvallisuudessa. On tärkeää, että järjestelmä tiedä, kun ennuste on tarpeeksi vahva toimia sen mukaan, ja se on rakennettu sanomaan, kun se ei ole.

Avaa useimmat hedelmällisyys- tai kuukautiskalenterisovellukset, ja näet puhdas tulokset: ovulaatio päivänä 15, korkea hedelmällisyysmerkintä, 78%:n luottamusaste. Numero näyttää tarkalta. Biologia sen alla ei ole.

Kuukautispäivämäärä on se, mitä käyttäjä on havainnut. Ovulaatio on latentti tapahtuma, jota kuluttajalaitteet eivät mitä mukaan. Se voidaan johtaa välittömistä osoittimista. Iho-oireiden mittaaminen heijastaa sekä progesteronia että unta, alkoholia, sairautta, ympäristöolosuhteita ja siitä, missä anturi on ollut edellisyönä. Oireiden kirjaaminen yhdistää fysiologiaa, havaintoa, muistia ja käyttäjän päätöstä kirjata se.

Tuotteissa, joissa olen työskennellyt naisten terveydenhuollon parissa, vaikea ongelma ei ole tarkkuus. Malli, johon usein palataan, on päätösten eheys. Tarkkuus kertoo, miten hyvin malli ennustaa. Se ei kerro mitään siitä, tunteecko tuote, kun ennuste on tarpeeksi vahva toimia sen mukaan. Alalla, jossa sama tulos voi ohjata joko vapaa-ajan suunnittelua tai ehkäisyä, se aukko on siellä, missä luottamus voitetaan tai menetetään.

Joten argumenttini on, että Femtech-ai:lla ei ole enää tarve paremmalle ennustamiselle. Sille on tarve paremmalle epävarmuuden suunnittelulle. Ja epävarmuuden suunnittelu ei ole varoitus, joka kiinnitetään ennen laskua. Se on arkkitehtuuri. Rakennan sen kuuteen kerrokseen, jotka kantavat signaalia raakatuotosta toimintaan, jonka järjestelmä voi oikeuttaa ja tarkastaa. Käytän kuusikerroksista Calibrated Decision-to-Action Product -menetelmää, joka on suunniteltu hallitsemaan, miten epävarmat terveyssignaalit muunnetaan sallituiksi ja vastuullisiksi toimiksi. Menetelmä sisältää datan laadun, johtopäätöksen kalibroinnin, seuraamisen, ohjauspolitiikan, työnkulun suorittamisen ja vastuun kierron. Sen hallitseva polku alkaa terveystiedoista, joka johtaa päätöksen arkkitehtuuriin ja päättyy vastuulliseen toimintaan.

1. Laadunvarmistus ennen luottamista

Ensimmäinen kerros päättää, mitä järjestelmä todella tietää. Femtech-tuotteet poimivat hyvin erilaisista lähteistä. Ne voivat sisältää asioita, joita käyttäjä on suoraan havainnut, kuten kuukautispäivämääriä tai subjektiivisia raportteja kuten kipua tai mielialaa, sekä wearable-ominaisuuksia kuten iho-oireiden mittaamista ja sydämen sykevaihtelua, sekä muuttujia, jotka malli on itse generoinut. Nämä ovat vaihdettavissa syötteissä.

Jokaisen signaalin on oltava peräisin järjestelmästä, joka voi lukea sen: mistä se tulee, milloin, kuinka usein se on otettu, mitkä seikat sitä häikäisevät, ja miten se liittyy asiaan, jonka olet todella ennustamassa. Ovulaatio on tapahtuma. Lämpötila, kohdun lima, LH ja kuukautispäivämäärät ovat todisteita siitä tapahtumasta, kullakin omalla viiveellä ja omalla virheellä.

Puuttuvat tiedot ansaitsevat erityistä huomiota, koska terveyden seuraamisessa ne ovat harvoin satunnaisia. Ihmiset kirjaavat enemmän, kun he ovat huolissaan, ja lopettavat, kun he tuntevat itsensä hyvin, joten aukko voi sisältää yhtä paljon tietoa kuin merkintä. Todellisessa analyysissä yli 600 000 ovulaatiota, ovulaatiota ei voitu havaita 665 603:sta 1,4 miljoonasta alun perin tarkastellusta syklisyydestä. Kolme neljäsosaa niistä oli kelvollisia lämpötilalukemia vähemmän kuin puolella syklisen päivänä. Tiedon riittävyys oli suuri rajoittava tekijä siinä, mitä algoritmi voisi johtaa.

2. Johtopäätöksen kalibrointi todisteiden mukaan

Yksittäinen luottamusaste ei voi edustaa sitä, mitä todella tapahtuu, koska nämä järjestelmät kohtaavat useita erillisiä epävarmuuden lähteitä kerran. Nämä sisältävät biologisen vaihtelun itse prosessissa, mittauslaadun, puuttuvuuden itse seuraamisesta, mallin epävarmuuden niukasta koulutusaineistosta ja jakautumisen siirtymisen, kun nykyinen käyttäjä ei muistuta väestöä, jolle malli on validoituna.

Samassa analyysissä vain 13%:ssa sykleistä kestoa oli tasan 28 päivää, ja keskimääräinen follikulaarinen vaihe kesti 16,9 päivää, ja se oli tarpeeksi laaja tehdäkseen minkä tahansa kiinteän “päivä 14” -oletuksen harhaanjohtavaksi. Apple Women’s Health Study -tutkimus osoitti, että syklisen pituus ja yksilöllinen vaihtelu liittyivät ikään, itseilmoitettuun etnisyyteen ja painoindeksiin. Henkilökohtaisuus tarkoittaa siis, että väestökeskiarvoa ei voida korvata yksittäisellä henkilökohtaisella pisteellä. Se tarkoittaa jakautumisen tuottamista, joka kiristyy, kun näyttö kertyy.

Tarkastellaan kahta ai-pohjaista ennustetta, jotka molemmat lukevat “75%”. Toinen perustuu yhden vuoden historiaan ja tiheisiin mittauksiin, ja sen epävarmuus on enimmäkseen todellista biologiaa. Toinen perustuu kahteen sykliin, viiteen lämpötilalukemaa, äskettäin matkustamiseen ja tuntemattomaan lääkehoitoon. Tässä epävarmuus on enimmäkseen puuttuvan tiedon vuoksi. Sama numero. Tuotteen ei pitäisi saada reagoida niihin samalla tavalla. Tämä on myös syy, miksi kalibrointi on tarkistettava alaryhmissä – yhteinen suorituskyky voi piilottaa mallin, joka on erityisesti epävarma, erityisesti epäsäännöllisille sykleille tai perimenopaussia käyttäjille. Kliinisen ai-kirjallisuus erottaa nyt erottelun, kalibroinnin ja päätöksen hyödyn tarkoituksiin.

3. Seuraamisen kartoittaminen väärästä

Kolmas kerros kysyy, mitä tapahtuu, kun järjestelmä on väärä, ja sitoo sallitun vastauksen siihen kustannukseen. Kuukautiskatsaus, hedelmällisyysikkunan arvio, matalan hedelmällisyyden merkintä, jota luetaan ehkäisyohjeeksi, ja oireiden tulkinta, joka päättää, etsiikö joku hoitoa, eivät ole sama tuote, vaikka malli niiden takana on identtinen.

Järjestän tulokset neljään ryhmään seuraamisen mukaan: tieto, käyttäytyminen, lisääntyminen ja kliininen. Kullekin on oma näyttöraja, sallittu kieli ja eskaloitimispolku. 70%:n todennäköisyys voi olla tarpeeksi hyvä arvaamaan, milloin kuukautinen alkaa, ja se ei ole lähelläkään tarpeeksi vakuuttaa, että joku ei tule raskaaksi.

Tässä suunnittelu kohtaa sääntelyä. Onko ohjelmisto siirtynyt lääkinnälliseen laitteeseen, riippuu sen tarkoituksesta ja roolista, jonka sen tulos esittää terveyden päätöksessä. FDA:n nykyinen Clinical Decision Support Software -ohjeistus on selkeä siinä, että toiminnot, jotka on tarkoitettu potilaille ja hoitajille, voivat täyttää laitteen määritelmän.

4. Epävarmuuden muuttaminen ohjauspolitiikaksi

Yleinen “tulokset saattavat olla epätarkkoja” antaa koko tulkintavaikeuden takaisin käyttäjälle. Ohjauspolitiikka tekee vastakkaisen. Tietylle näytölle järjestelmä päättää, näyttääkö se havaintoa, tarjoaako se rajoitetun alueen, pyytääkö se toista mittauksen, osoittaakö se lääkäriin vai kieltäytyykö se vastaamasta. Kieltäytyminen on tuotteen ominaisuus, ei virhe. “Emme ole varmoja vielä” on suunniteltu tila, jossa on seuraava askel, ei virheilmoitus.

Käytännössä, sen sijaan, että “Ovulaatio: Päivä 15, 78%:n luottamus”, hallitseva vastaus lukee lähemmäs tätä: ovulaatio on todennäköisimmin neljän päivän aikana; luottamus on rajoitettu puuttuvilla lämpötilatiedoilla ja häiriintyneellä unella; muutamia lukemia voisi teroittaa arviota, ja LH-testi voisi lisätä prospektiivisen näytön ja kapeuttaa todennäköisen aikajanan. Käyttäjä saa arvion, syyn sille, miksi se on epävarma, ja yhden toiminnan, joka muuttaa sen.

5. Toiminnan tukeminen, jota tulos implikoi

Jopa kuluttajasoftware luo työnkulun: kirjaa toinen lukema, toista testi, jatka havainnointia, vie tietoja, soita lääkäriin. Järjestelmän on tiedettävä, mihin toiminta kunkin vastaus osoittaa, ja onko se turvallista tukea sitä toimintaa.

Raja tuotteen ohjeistuksen ja lääkinnällisen neuvon välillä asuu täällä, eikä se ole kiinteä viiva. Koulutusmateriaali, joka selittää, mitä signaali yleensä tarkoittaa, asettuu turvallisesti ohjeistuksen puolelle. Tuote siirtyy korkeamman riskin alueelle, kun se tulkitaan yhden henkilön tietoja sairautena, ohjaa hoitoa tai tarjoaa varmuuden, joka kantaa todellista kliinistä painoa. Se raja on pidettävä jokaisessa vuorovaikutuksessa, ei vain palveluehdoissa.

6. Vastuun kierron sulkeminen

Viimeinen kerros arvioi koko järjestelmää, ei vain mallia. Standardimallin metriikat ovat edelleen tärkeitä ja keskittyvät erotteluun, kalibrointiin, alaryhmien suorituskykyyn, ulkoiseen ja aikaiseen validointiin. Mutta tuotteen metriikat ovat yhtä tärkeitä. Pitäisi kysyä, kuinka usein järjestelmällä on ollut tarpeeksi syötettä toimia, kuinka usein se kieltäytyi. Plus yksi, jota vaadin, on väärän varmuuden määrä, eli kuinka usein se kertoi jonkun, että kaikki näytti hyvältä, vaikka näyttöä ei ollut tukena.

Jokainen merkittävä vastaus on oltava jälleenrakennettavissa myöhemmin. Sääntelijät, standardointielimet ja kansainväliset terveydenhuollon hallintoelimet omaksuvat yhä enemmän tämän elinkaaren näkemyksen. IMDRF:n hyvän koneoppimisen periaatteet käsittelevät luotettavaa lääkinnällistä ai:ta kokonaisena elinkaaren vastuutena, joka kattaa suunnittelun, käyttöönoton ja valvonnan, jolloin WHO:n ai-ohjeistus terveydenhuollossa.

Miten arkkitehtuuri näyttää käytännössä

Oletetaan, että tuotteella on kolme kuukautta kuukautispäivämääriä, kuusi yötä lämpötilaa, yksi positiivinen LH-testi, satunnainen oireiden kirjaaminen ja viikon huono unenlaatu. Mallin korkein ovulaatiotodennäköisyys laskee päivään 15. Pisteennustussovellus näyttää “Ovulaatio: Päivä 15, 78%:n luottamusaste”.

Arkkitehtuuri tuottaa jotain muuta. Se merkitsee lämpötilatiedot niukaksi ja häiriintyneeksi unella. Se luo jakautumisen useiden ehdokasvuorokausien ylitse eikä yhdelle. Se soveltaa lempeää kynnystä kuukautiskatsaukseen, mutta tiukempaa, jos tulos koskee ehkäisypäätöstä. Se tarjoaa alueen ja seuraavan hyödyllisen mittauksen. Ja se tallentaa koko näytön, jotta päätös voidaan jälleenrakentaa myöhemmin. Sama perusmalli ja hyvin erilainen tuote.

Oikeus toimia

Femtech-järjestelmät ovat vain tulevaisuudessa tulevaisuudessa dataa, sovelluksia, wearable-laitteita, kotitestejä, lääkintätietoja ja keskustelukerroksia. Enemmän dataa voi teroittaa johtopäätöksiä, mutta se laajentaa myös pinnan väärälle tarkkuudelle. Tiimit, jotka ansaitsevat luottamuksen, eivät ole niitä, joilla on siistein näyttöluottamusaste. Ne ovat niitä, joiden tuotteet tietävät, mitä ne eivät tiedä, ja jotka on rakennettu sanomaan niin, kun ne eivät tiedä.

Tarkkuus kuvaa ennusteen laatua. Päätöksen eheys päättää, onko tuotteella ansaittu oikeus toimia sen mukaan.