Etiska överväganden när man utvecklar AI för känslig erkännande

Artificiell intelligens för känslig reglering är en av de senaste tekniska framstegen inom maskinlärningsområdet. Trots att det visar stort potential, är etiska frågor på väg att påverka dess antagande och livslängd. Kan AI-utvecklare övervinna dem? 

Vad är känslig erkännande AI? 

Känslig erkännande AI är en typ av maskinlärningsmodell. Den förlitar sig ofta på datorseende-teknik som fångar och analyserar ansiktsuttryck för att tolka humör i bilder och videor. Men den kan också fungera på ljudklipp för att bestämma tonen i rösten eller skriven text för att bedöma språkets betydelse.

Denna typ av algoritm representerar fascinerande framsteg inom AI-området, eftersom modellerna hittills inte har kunnat förstå mänskliga känslor. Medan stora språkmodeller som ChatGPT kan simulera humör och personligheter övertygande, kan de bara kombinera ord logiskt — de kan inte känna någonting och visar inte emotionell intelligens. Medan en känslig erkännande-modell inte kan ha känslor, kan den fortfarande upptäcka och katalogisera dem. Denna utveckling är betydande, eftersom den signalerar att AI snart kan förstå och visa äkta glädje, sorg eller ilska. Tekniska språng som dessa indikerar accelererad utveckling.

Användningsfall för AI-känslig erkännande

Företag, utbildare, konsulter och mentala hälsovårdspersonal är några av de grupper som kan använda AI för känslig erkännande.

Att bedöma risker på kontoret

Mänskliga resursteam kan använda algoritmer för att utföra sentimentanalys på e-postkorrespondens eller in-app-chattar mellan teammedlemmar. Alternativt kan de integrera sin algoritm i sin övervakning eller datorseende-system. Användare kan spåra humör för att beräkna mått som personalomsättning, utbrändhet och anställd tillfredsställelse.

Att assistera kundtjänstpersonal

Detaljister kan använda in-house AI-kundtjänstpersonal för slutanvändare eller virtuella assistenter för att lösa högstressiga situationer. Eftersom deras modell kan känna igen humör, kan den föreslå avskalnings-tekniker eller ändra sin ton när den inser att en konsument blir arg. Motåtgärder som dessa kan förbättra kundtillfredsställelse och kundbehållning. 

Att hjälpa studenter i klassrummet

Utbildare kan använda denna AI för att hålla distanslärande från att halka efter. En startup har redan använt sitt verktyg för att mäta muskelpunkter på studenters ansikten medan de katalogiserar deras hastighet och betyg. Denna metod bestämmer deras humör, motivation, styrkor och svagheter. Startupens grundare påstår att de får 10% högre betyg när de använder programvaran.

Att genomföra in-house marknadsundersökning 

Företag kan genomföra in-house marknadsundersökning med en känslig erkännande-modell. Den kan hjälpa dem att förstå exakt hur deras målgrupp reagerar på deras produkt, tjänst eller marknadsföringsmaterial, vilket ger dem värdefulla data-drivna insikter. Som ett resultat kan de påskynda tid-till-marknad och öka sin omsättning. 

Problemet med att använda AI för att upptäcka känslor

Forskning visar att noggrannhet är starkt beroende av utbildningsinformation. En forskargrupp — som försökte tolka känslor från bilder — bevisade anekdotiskt denna koncept när deras modell uppnådde 92,05% noggrannhet på den japanska kvinnliga ansiktsuttrycks-databasen och 98,13% noggrannhet på den utvidgade Cohn-Kanade-databasen.

Medan skillnaden mellan 92% och 98% kan tyckas obetydlig, är det viktigt — denna smärre diskrepans kan ha betydande konsekvenser. För referens, en datatrafik-föroreningsfrekvens så låg som 0,001% har visat sig vara effektiv för att etablera modellbakdörrar eller avsiktligt orsaka felklassificeringar. Även en bråkdel av en procent är betydande.

Dessutom, även om studier verkar lovande — noggrannhetsgrader över 90% visar potential — genomförs de i kontrollerade miljöer. I den verkliga världen är suddiga bilder, fejkade ansiktsuttryck, dåliga vinklar och subtila känslor mycket vanligare. Med andra ord kan AI inte prestera konsekvent.

Den nuvarande tillståndet för känslig erkännande AI

Algoritmisk sentimentanalys är processen att använda en algoritm för att bestämma om tonen i texten är positiv, neutral eller negativ. Denna teknik är förmodligen grunden för moderna känslig-erkännande-modeller, eftersom den banade väg för algoritmiska humör-utvärderingar. Liknande tekniker som ansiktsigenkänning har också bidragit till framsteg. 

Dagens algoritmer kan primärt upptäcka bara enkla humör som glädje, sorg, ilska, rädsla och förvåning med varierande grad av noggrannhet. Dessa ansiktsuttryck är medfödda och universella — vilket betyder att de är naturliga och globalt förstådda — så att träna en AI för att identifiera dem är relativt enkelt. 

Dessutom är grundläggande ansiktsuttryck ofta överdrivna. Människor rynkar på ögonbrynen när de är arga, ser sura ut när de är ledsna, ler när de är glada och vidgar ögonen när de är chockade. Dessa enkla, dramatiska uttryck är lätta att differentiera. Mer komplexa känslor är svårare att peka ut eftersom de antingen är subtila eller kombinerar grundläggande uttryck.

Eftersom denna undergrupp av AI för det mesta förblir i forskning och utveckling, har den inte utvecklats för att täcka komplexa känslor som längtan, skam, sorg, avund, lättnad eller förvirring. Även om det sannolikt kommer att täcka fler senare, finns det ingen garanti för att det kommer att kunna tolka dem alla.

I verkligheten kan algoritmer aldrig kunna konkurrera med människor. För referens, medan OpenAI:s GPT-4-databas är ungefär 1 petabyte, innehåller en enda kubikmillimeter av en mänsklig hjärna cirka 1,4 petabyte data. Neurovetenskapsmän kan inte fullständigt förstå hur hjärnan uppfattar känslor trots decennier av forskning, så att bygga en högprecis AI kan vara omöjligt.

Medan användningen av denna teknik för känslig erkännande har föregångare, är detta område fortfarande tekniskt sett i sin linda. Det finns en överflöd av forskning om konceptet, men få exempel på storskalig distribution finns. Vissa tecken indikerar att efterföljande antagande kan bero på bekymmer om inkonsekvent noggrannhet och etiska frågor.

Etiska överväganden för AI-utvecklare

Enligt en undersökning, 67% av respondenterna är överens om att AI bör regleras något eller mycket mer. För att sätta människors sinnen i ro, bör utvecklare minimera bias, se till att deras modeller beter sig som förväntat och förbättra resultaten. Dessa lösningar är möjliga om de prioriterar etiska överväganden under utvecklingen.

1. Samtyckt datainsamling och användning 

Samtycke är allt i en tid då AI-reglering ökar. Vad händer om anställda upptäcker att deras ansiktsuttryck katalogiseras utan deras vetskap? Behöver föräldrar ge sitt samtycke för utbildningsbaserad sentimentanalys eller kan studenter bestämma själva?

Utvecklare bör uttryckligen avslöja vilken information modellen kommer att samla in, när den kommer att vara i drift, vad analysen kommer att användas för och vem som kan komma åt dessa detaljer. Dessutom bör de inkludera funktioner för att avbryta så att individer kan anpassa behörigheter. 

2. Anonymiserad sentimentanalys-utdata 

Dataanonymisering är lika mycket ett säkerhetsproblem som ett integritetsproblem. Utvecklare bör anonymisera de känslor som de samlar in för att skydda de involverade individerna. På sin höjd bör de starkt överväga att använda kryptering i vila. 

3. Människa-i-slingan-beslutsfattande

Den enda anledningen att använda AI för att bestämma någons känslotillstånd är att informera beslutsfattande. Oavsett om det används i en mental hälsokapacitet eller en detaljhandelsmiljö, kommer det att påverka människor. Utvecklare bör använda människa-i-slingan-skydd för att minimera oväntat beteende. 

4. Människo-centrerad återkoppling för AI-utdata

Även om en algoritm har nästan 100% noggrannhet, kommer den fortfarande att producera falska positiva. Med tanke på att det inte är ovanligt för modeller att uppnå 50% eller 70% — och det är utan att röra vid bias eller hallucinationsproblem — bör utvecklare överväga att implementera ett återkopplingssystem. 

Människor bör kunna granska vad AI säger om deras känslotillstånd och överklaga om de tror att det är falskt. Medan ett sådant system skulle kräva skydd och ansvarsåtgärder, skulle det minimera negativa effekter som härrör från felaktig utdata. 

Konsekvenserna av att ignorera etik

Etiska överväganden bör vara en prioritet för AI-ingenjörer, maskinlärningsutvecklare och företagsägare eftersom det påverkar dem. Med tanke på att alltmer osäker allmän mening och stramare regleringar är i spel, kan konsekvenserna av att ignorera etik vara betydande.