USA zaznamenaly první případ nesprávného zadržení kvůli špatnému algoritmu

Minulý týden The New York Times uvedl první případ nesprávného zadržení způsobeného špatným algoritmem ve Spojených státech. Incident se udál v Detroitu, když byl Robert Julian-Borchak Williams, afroamerický muž, zadržen poté, co byl falešně identifikován na bezpečnostních záznamech, které ukazovaly osobu, která spáchala krádež.

Americká unie občanských svobod (ACLU) okamžitě zasáhla a podala stížnost proti detroitské policii. Po tom, co ACLU požadovala, aby byl Williamsův případ zrušen a jeho informace odstraněny z trestních databází v Detroitu, žalobci pokračovali v těchto действияch.

Tento vývoj je první svého druhu ve Spojených státech a poukazuje na vážné obavy, které začínají vznikat po celém světě s používáním technologie rozpoznávání obličeje státem.

Problémy s systémy rozpoznávání obličeje

Systémy rozpoznávání obličeje jsou předmětem kontroverze již nějakou dobu, stále více se stávají bodem debaty mezi těmi, kdo se zajímají o soukromí a falešné obvinění.

S nedávnými protesty po celé zemi a ve mnoha částech světa proti policejní brutalitě a diskriminaci se tato kontrola ještě zvýšila.

Tyto algoritmy přinesly nový aspekt do vymáhání práva a jsou plné chyb.

Falešné obvinění

Loupež, za kterou byl Williams falešně identifikován, se udál v říjnu 2018. Bezpečnostní video bylo poté nahráno do michiganské státní databáze rozpoznávání obličeje v březnu 2019.

Williamsův foto se dostalo do fotografického výběru, kde ho bezpečnostní stráž identifikoval jako toho, kdo spáchal zločin.

Podle ACLU stráž nikdy osobně neviděl loupež.

V lednu Williams dostal telefonát od detroitského policejního oddělení, který ho informoval o jeho zadržení. Když telefonoval jako žert, policie přijela k jeho domu jen hodinu později.

Williams byl poté odvezen do detenčního centra, kde mu byla pořízena fotografie, otisky prstů a DNA, a následně byl držen celou noc na stanici.

Co následovalo, byla výslech o zločinu, který nikdy nespáchal, vše kvůli chybnému rozpoznávacímu systému.

Williamsův případ byl zrušen dva týdny po jeho zadržení, ale v širším měřítku tento incident znamenal mnohem více a má obrovské důsledky pro soukromí. S rostoucím používáním softwaru pro rozpoznávání obličeje vládami a policejními orgány může tento případ být začátkem vážných porušení, která se již dějí v zemích jako Čína, ale dosud belum veřejně známá ve Spojených státech.

Jedním z takových porušení je, že Williamsův vzorek DNA, fotografie a otisky prstů jsou nyní všechny na souboru jako přímý výsledek technologie. Nejen to, ale jeho zadržení je také na záznamu.

Soukromé společnosti a vymáhání práva

Williamsův případ nastal, když velké společnosti jako IBM, Microsoft a Amazon přestaly poskytovat svou technologii rozpoznávání obličeje policejním orgánům.

První velkou společností, která tak učinila, byla IBM, když generální ředitel Arvind Krishna poslal dopis Kongresu o neposkytování obecné technologie rozpoznávání obličeje nebo analytického softwaru. Společnost také zastavila výzkum a vývoj této technologie.

„IBM pevně odmítá a nebude schvalovat použití jakékoliv technologie rozpoznávání obličeje, včetně technologie rozpoznávání obličeje nabízené jinými dodavateli, pro hromadnou surveanci, rasové profilování, porušování základních lidských práv a svobod nebo jakýchkoliv účelů, které nejsou v souladu s našimi hodnotami a zásadami důvěry a transparentnosti,“ podle dopisu. „Věříme, že nyní je čas zahájit národní dialog o tom, zda a jak by měla být technologie rozpoznávání obličeje používána domácími policejními orgány.“

Amazon následoval, když oznámil jednoletou moratorium na používání platformy pro rozpoznávání obličeje Rekognition policejními orgány.

Oznámení přišlo jen několik dní po rozhodnutí IBM.

Jedním z nejvýznamnějších prací týkajících se problému diskriminace a technologie rozpoznávání obličeje byla práce z roku 2018, kterou spoluautorsky připravili Joy Buolamwini a Timnit Gebru. Buolamwini je výzkumník v MIT Media Lab a Gebru je členkou Microsoft Research.

Práce z roku 2018 zjistila, že „algoritmy strojového učení mohou diskriminovat na základě tříd, jako je rasa a pohlaví“, a dalších věcí.

Případ Roberta Juliana-Borchaka Williamse je extrémně znepokojivý pro mnoho lidí, kteří žijí ve Spojených státech, ale je to také indikátor toho, co se děje po celém světě. Používání technologie rozpoznávání obličeje vládami a policejními orgány je teprve na začátku a je velmi málo toho, co by tomu mohlo zabránit, aby byla používána neeticky. Bez ohledu na to, zda je to čínské široké používání technologie rozpoznávání obličeje pro surveanci nebo případ Williamse, který byl falešně identifikován ve Spojených státech, tato technologie otevírá světové obyvatelstvo novým sadám porušení soukromí a lidských práv, které dříve neexistovaly.