감정 인식을 위한 AI 개발 시 윤리적 고려 사항

감정 조절을 위한 인공 지능은 기계 학습 분야의 최신 기술 발전 중 하나입니다. 큰 잠재력을 보여주지만 윤리적 문제는 채택률과 수명에 영향을 미칠 준비가 되어 있습니다. AI 개발자들은 이를 극복할 수 있을까? 

감정인식 AI란? 

감정인식 AI는 머신러닝 모델의 일종이다. 얼굴 표정을 캡처하고 분석하여 이미지와 비디오의 분위기를 해독하는 컴퓨터 비전 기술에 의존하는 경우가 많습니다. 그러나 오디오 조각을 사용하여 음성 톤이나 문자 텍스트를 결정하여 언어의 감정을 평가할 수도 있습니다.

이런 종류의 알고리즘은 지금까지 모델이 인간의 감정을 이해할 수 없었기 때문에 AI 분야의 놀라운 발전을 나타냅니다. ChatGPT와 같은 대규모 언어 모델은 분위기와 페르소나를 설득력 있게 시뮬레이션할 수 있지만 논리적으로만 단어를 연결할 수 있습니다. 즉, 아무것도 느낄 수 없고 감성 지능도 표시하지 않습니다. 감정 인식 모델은 감정을 가질 수 없지만 여전히 감정을 감지하고 분류할 수 있습니다. 이러한 발전은 AI가 곧 행복, 슬픔 또는 분노를 진정으로 이해하고 보여줄 수 있다는 신호를 보내기 때문에 중요합니다. 이와 같은 기술적 도약은 가속화된 발전을 의미합니다.

AI 감정 인식 사용 사례

기업, 교육자, 컨설턴트 및 정신 건강 관리 전문가는 감정 인식을 위해 AI를 사용할 수 있는 그룹 중 일부입니다.

사무실에서의 위험 평가

인사팀은 알고리즘을 사용하여 팀 구성원 간의 이메일 서신이나 인앱 채팅에 대한 감정 분석을 수행할 수 있습니다. 또는 알고리즘을 감시 또는 컴퓨터 비전 시스템에 통합할 수 있습니다. 사용자는 기분을 추적하여 이직 위험, 소진율, 직원 만족도와 같은 지표를 계산할 수 있습니다.

고객 서비스 상담원 지원

소매업체는 최종 사용자나 가상 비서를 위한 사내 AI 고객 서비스 에이전트를 사용하여 스트레스가 심한 상황을 해결할 수 있습니다. 그들의 모델은 기분을 인식할 수 있기 때문에 소비자가 화를 내고 있다는 것을 인식하면 단계적 완화 기술을 제안하거나 톤을 변경할 수 있습니다. 이와 같은 대책은 고객 만족도와 유지율을 향상시킬 수 있습니다. 

교실에서 학생들을 돕기

교육자는 이 AI를 사용하여 원격 학습자가 뒤처지는 것을 방지할 수 있습니다. 한 스타트업은 이미 자사 도구를 사용하여 학생들의 얼굴 근육 지점을 측정하고 속도와 성적을 분류했습니다. 이 방법은 그들의 기분, 동기, 강점과 약점을 결정합니다. 스타트업의 창업자 자신의 점수가 10% 더 높다고 주장 소프트웨어를 사용할 때 테스트 중입니다.

사내 시장조사 실시 

기업은 감정 인식 모델을 사용하여 사내 시장 조사를 수행할 수 있습니다. 이를 통해 타겟 고객이 제품, 서비스 또는 마케팅 자료에 어떻게 반응하는지 정확하게 이해하고 귀중한 데이터 기반 통찰력을 얻을 수 있습니다. 결과적으로 출시 기간을 단축하고 수익을 늘릴 수 있습니다. 

감정을 감지하기 위해 AI를 사용하는 문제

연구에 따르면 정확성은 훈련 정보에 크게 좌우됩니다. 이미지에서 감정을 해독하려는 한 연구 그룹은 모델을 통해 이 개념을 일화적으로 입증했습니다. 92.05%의 정확도를 달성했습니다. 일본 여성 얼굴 표정 데이터세트의 정확도는 98.13%이고 Extended Cohn-Kanade 데이터세트의 정확도는 XNUMX%입니다.

92%와 98% 사이의 차이가 사소해 보일 수 있지만 이는 중요합니다. 이 작은 차이가 상당한 결과를 가져올 수 있습니다. 참고로 데이터세트 중독률은 최저 0.001 % 모델 백도어를 설정하거나 의도적으로 잘못된 분류를 유발하는 데 효과적인 것으로 입증되었습니다. 백분율의 일부라도 중요합니다.

더욱이, 연구가 유망해 보이지만(90% 이상의 정확도가 잠재력을 보여줌), 연구자들은 통제된 환경에서 이를 수행합니다. 현실 세계에서는 흐릿한 이미지, 가짜 표정, 나쁜 각도, 미묘한 감정이 훨씬 더 흔합니다. 즉, AI가 일관되게 성능을 발휘하지 못할 수도 있습니다.

감정인식 AI 현황

알고리즘 감정 분석은 알고리즘을 사용하여 텍스트의 어조가 긍정적인지, 중립적인지, 부정적인지 결정하는 프로세스입니다. 이 기술은 알고리즘적 기분 평가를 위한 길을 열었기 때문에 현대 감정 감지 모델의 기초가 되었습니다. 얼굴 인식 소프트웨어와 같은 유사한 기술도 발전에 기여했습니다. 

오늘날의 알고리즘은 주로 행복, 슬픔, 분노, 두려움, 놀라움과 같은 단순한 기분만을 다양한 정확도로 감지할 수 있습니다. 이러한 얼굴 표정은 타고난 보편적인 것입니다. 즉, 자연스럽고 전 세계적으로 이해된다는 의미입니다. 따라서 얼굴 표정을 식별하도록 AI를 훈련시키는 것은 상대적으로 간단합니다. 

게다가 기본적인 표정도 과장된 경우가 많다. 사람들은 화가 나면 눈썹을 찌푸리고, 슬플 때는 눈살을 찌푸리고, 기쁠 때는 미소를 짓고, 충격을 받으면 눈을 크게 뜹니다. 이러한 단순하고 극적인 모습은 쉽게 구별할 수 있습니다. 더 복잡한 감정은 미묘하거나 기본 표정이 결합되어 있기 때문에 정확히 찾아내기가 더 어렵습니다.

AI의 이 하위 집합은 주로 연구 개발에 남아 있기 때문에 그리움, 수치심, 슬픔, 질투, 안도감 또는 혼란과 같은 복잡한 감정을 다루는 데에는 진전이 없습니다. 결국 더 많은 내용을 다룰 가능성이 높지만 모든 내용을 해석할 수 있다는 보장은 없습니다.

실제로 알고리즘은 결코 인간과 경쟁할 수 없습니다. 참고로 OpenAI의 GPT-4 데이터세트는 대략 1페타바이트 정도이다.즉, 인간 두뇌의 1.4입방밀리미터에는 약 XNUMX페타바이트의 데이터가 들어 있습니다. 신경과학자들은 수십 년간의 연구에도 불구하고 뇌가 감정을 인식하는 방식을 완전히 이해할 수 없기 때문에 고도로 정밀한 AI를 구축하는 것이 불가능할 수 있습니다.

감정 인식을 위해 이 기술을 사용한 선례가 있지만 이 분야는 기술적으로 아직 초기 단계입니다. 이 개념에 대한 연구는 많지만 대규모 배포에 대한 실제 사례는 거의 없습니다. 일부 징후는 일관성 없는 정확성과 윤리적 문제에 대한 우려로 인해 채택이 지연될 수 있음을 나타냅니다.

AI 개발자를 위한 윤리적 고려 사항

한 조사에 따르면, 응답자의 67%가 동의함 AI는 다소 또는 훨씬 더 규제되어야 합니다. 사람들의 마음을 편하게 하기 위해 개발자는 편견을 최소화하고 모델이 예상대로 작동하는지 확인하고 결과를 개선해야 합니다. 이러한 솔루션은 개발 과정에서 윤리적 고려 사항을 우선시한다면 가능합니다.

1. 합의에 따른 데이터 수집 및 활용 

AI 규제가 강화되는 시대에는 동의가 전부다. 직원들이 자신도 모르는 사이에 자신의 얼굴 표정이 목록에 등록되어 있다는 사실을 발견하면 어떻게 됩니까? 부모가 교육 기반 정서 분석에 동의해야 합니까, 아니면 학생들이 스스로 결정할 수 있습니까?

개발자는 모델이 수집할 정보, 작동 시기, 분석 용도, 해당 세부 정보에 액세스할 수 있는 사람을 명시적으로 공개해야 합니다. 또한 개인이 권한을 사용자 정의할 수 있도록 옵트아웃 기능을 포함해야 합니다. 

2. 익명화된 감정 분석 출력 

데이터 익명화는 보안 문제인 동시에 개인 정보 보호 문제이기도 합니다. 개발자는 관련 개인을 보호하기 위해 수집하는 감정 정보를 익명화해야 합니다. 최소한 미사용 암호화 활용을 적극 고려해야 합니다. 

3. 인간 참여형 의사결정

누군가의 감정 상태를 판단하기 위해 AI를 사용하는 유일한 이유는 의사 결정에 정보를 제공하기 위한 것입니다. 따라서 정신 건강 분야에서 사용되든 소매 환경에서 사용되든 사람들에게 영향을 미칠 것입니다. 개발자는 예상치 못한 동작을 최소화하기 위해 인간 참여형(Human-In-The-Loop) 보호 장치를 활용해야 합니다. 

4. AI 출력에 대한 인간 중심 피드백

알고리즘의 정확도가 거의 100%에 가깝더라도 여전히 오탐지가 발생합니다. 모델이 50% 또는 70%를 달성하는 것이 드문 일이 아니며 이는 편견이나 환각 문제를 건드리지 않는다는 점을 고려하여 개발자는 피드백 시스템 구현을 고려해야 합니다. 

사람들은 AI가 자신의 감정 상태에 대해 말하는 내용을 검토하고 그것이 거짓이라고 생각하는 경우 매력을 느낄 수 있어야 합니다. 이러한 시스템에는 가드레일과 책임 조치가 필요하지만 부정확한 결과로 인한 부정적인 영향을 최소화할 수 있습니다. 

윤리 무시의 결과

윤리적 고려사항은 AI 엔지니어, 머신러닝 개발자 및 비즈니스 소유자에게 우선순위가 되어야 합니다. 왜냐하면 이는 그들에게 영향을 미치기 때문입니다. 여론이 점점 더 불확실해지고 규제가 강화되고 있다는 점을 고려하면, 윤리를 무시한 결과는 심각할 수 있습니다.