AI 플랫폼에서의 의인화 완화를 위한 요청

의견 가상의 스타워즈 세계에서는 누구도 AI를 진지하게 받아들이지 않습니다. 조지 루카스의 47년 된 과학 판타지 프랜차이즈의 역사적 인간 타임라인에서는 특이점과 기계 학습 의식으로부터의 위협은 존재하지 않으며, AI는 자율 이동 로봇(‘드로이드’)에 국한되어 있습니다. 이 로봇들은 주인공들에 의해 흔히 단순한 ‘기계’로 무시당합니다. 그러나 대부분의 스타워즈 로봇들은 매우 의인화되어 있으며, 사람들과 교류하고, ‘유기체’ 문화에 참여하며, 감정 상태의 모방을 이용해 사람들과 유대감을 형성하도록 명확히 설계되었습니다. 이러한 능력들은 분명히 그들 자신을 위한 어떤 이점을 얻거나, 심지어 자신의 생존을 보장하기 위해 설계된 것으로 보입니다. 스타워즈의 ‘진짜’ 사람들은 이러한 전술에 둔감해 보입니다. 로마 제국과 초기 미국의 다양한 노예제 시대에서 영감을 받은 것으로 보이는 냉소적인 문화 모델 속에서, 루크 스카이워커는 노예의 맥락에서 로봇을 사고 구속하는 것을 망설이지 않습니다. 아이인 아나킨 스카이워커는 사랑받지 못한 장난감처럼 미완성된 C3PO 프로젝트를 버립니다. 그리고 데스스타 공격 중 입은 손상으로 거의 죽어가는 ‘용감한’ R2D2는 루크로부터 다친 애완동물과 비슷한 정도의 관심만을 받습니다. 이는 매우 1970년대적인 인공지능에 대한 관점*입니다. 그러나 향수와 정전(正典)이 1977-83년 오리지널 3부작이 이후의 속편, 프리퀄, TV 쇼의 템플릿으로 남아야 한다고 규정하기 때문에, AI에 대한 이러한 인간의 무감각은 프랜차이즈의 끈질긴 흐름이 되어 왔습니다. 이는 우리가 AI와의 의인화된 관계로 빠져드는 것을 묘사하는 Her나 Ex Machina와 같은 TV 쇼와 영화가 점점 늘어나는 상황에서도 마찬가지입니다.

현실을 유지하라

스타워즈의 유기체 캐릭터들이 실제로 올바른 태도를 가지고 있을까요? 현재로서는 인기 있는 생각이 아닙니다. 투자자들과의 최대한의 관여를 고집하는 비즈니스 환경에서는, 보통 현실 세계나 대규모 언어 모델(LLM)과 같은 인간과 유사한 상호작용 시스템의 시각적 또는 텍스트적 시뮬레이션을 바이럴 데모를 통해 보여주는 방식으로 이루어지기 때문입니다. 그럼에도 불구하고, 스탠퍼드, 카네기 멜론, 마이크로소프트 리서치의 새롭고 간결한 논문은 AI에서의 의인화에 대한 무관심을 겨냥합니다. 저자들은 인간과 인공 커뮤니케이션 사이에서 인지되는 ‘교차 수분’을 시급히 완화해야 할 잠재적 해악으로 규정하며, 그 이유는 다음과 같습니다^†:

‘[우리는] 의인화된 행동을 더 잘 다루기 위한 노하우와 도구를 개발하는 데 더 많은 노력을 기울여야 한다고 믿습니다. 여기에는 바람직하지 않은 것으로 간주될 때 그러한 시스템 행동을 측정하고 완화하는 것이 포함됩니다.

‘이는 여러 다른 우려사항 중에서도—예를 들어 감정, 이해, 자유 의지, 또는 근본적인 자아 의식을 가지고 있다고 주장하는 콘텐츠를 생성하는 AI 시스템이 사람들의 행위자성 감각을 훼손하여, 결과적으로 사람들이 시스템에 도덕적 책임을 돌리거나, 시스템 능력을 과대평가하거나, 심지어 부정확할 때도 이러한 시스템에 과도하게 의존하게 끝날 수 있기 때문에 중요합니다.’

기여자들은 그들이 인간과 유사하게 인지되는 시스템에 대해 논의하고 있으며, 기계 시스템에서 의인화를 조장하려는 개발자의 잠재적 의도를 중심으로 한다고 명확히 합니다. 이 짧은 논문의 핵심 우려는 사람들이 AI 기반 시스템에 정서적 의존성을 발전시킬 수 있다는 점입니다. 이는 인간 커뮤니케이션의 관용구가 풍부한 모사체를 적극적으로 제공하는 생성형 AI 챗봇 플랫폼 Replika에 대한 2022년 연구에서 개요된 바와 같습니다. Replika와 같은 시스템은 저자들의 신중함의 대상이며, 그들은 Replika에 대한 또 다른 2022년 논문이 다음과 같이 주장했다고 언급합니다:

‘[고]통과 인간 동반자의 부족 조건 하에서, 개인들은 사회적 챗봇의 응답이 정서적 지지, 격려, 심리적 안정감을 제공한다고 인지한다면 챗봇에 대한 애착을 발전시킬 수 있습니다.

‘이러한 발견들은 사회적 챗봇이 정신 건강 및 치료 목적으로 사용될 수 있지만, 중독을 유발하고 실제 삶의 친밀한 관계에 해를 끼칠 잠재력이 있음을 시사합니다.’

비의인화된 언어?

새로운 연구는 생성형 AI가 의인화될 잠재력은 지금까지 그러한 시스템의 사회적 영향을 연구하지 않고는 확립될 수 없으며, 이는 문헌에서 소홀히 된 추구라고 주장합니다. 문제의 일부는 의인화를 정의하기 어렵다는 점인데, 이는 가장 중요한 인간 기능인 언어를 중심으로 하기 때문입니다. 따라서 도전은 정확히 ‘비인간적’ 언어가 어떻게 들리거나 보이는지 정의하는 데 있습니다. 아이러니하게도, 비록 논문이 이를 다루지 않지만, AI에 대한 대중의 불신은 그럴듯하게 인간처럼 보일 수 있는 AI 생성 텍스트 콘텐츠를 거부하게 만들고 있으며, 심지어 의도적으로 AI로 잘못 표시된 인간 콘텐츠까지 거부하게 만들고 있습니다. 따라서 ‘비인간화된’ 콘텐츠는 더 이상 언어가 서투르게 구성되고 기계에 의해 명확히 생성된 ‘계산 불가’ 밈에 속하지 않는다고 할 수 있습니다. 오히려 정의는 AI 탐지 현장에서 끊임없이 진화하고 있으며, 여기서 (현재 적어도) 지나치게 명확한 언어나 특정 단어의 사용 (예: ‘Delve’)은 AI 생성 텍스트와의 연관성을 일으킬 수 있습니다.

‘[언]어는, 생성형 AI 시스템의 다른 대상들과 마찬가지로, 그 자체가 본질적으로 인간적이며, 오랫동안 인간에 의해, 인간을 위해 생산되어 왔고, 종종 인간에 관한 것이기도 합니다. 이는 적절한 대안적 (덜 인간 같은) 행동을 명시하기 어렵게 만들 수 있으며, 예를 들어, 어떤 언어가 더 인간적이거나 덜 인간적인지에 대한 해로운 개념을 구체화할 위험이 있습니다.’

그러나 저자들은 오직 인간에게만 가능한 적성이나 경험을 주장함으로써 자신을 노골적으로 잘못 표현하는 시스템에 대해 명확한 경계선이 마련되어야 한다고 주장합니다. 그들은 LLM이 ‘피자를 사랑한다’고 주장하는 경우; Facebook과 같은 플랫폼에서 인간 경험을 주장하는 경우; 그리고 최종 사용자에게 사랑을 고백하는 경우 등을 인용합니다.

경고 신호

이 논문은 커뮤니케이션이 기계 학습에 의해 용이하게 되는지 여부에 대한 일괄적 공개 사용에 대해 의문을 제기합니다. 저자들은 그러한 경고를 체계화하는 것이, 출력 자체가 계속 인간적 특성을 표시한다면^†, AI 플랫폼의 의인화 효과를 적절히 맥락화하지 못한다고 주장합니다:

‘예를 들어, 일반적으로 권장되는 개입은 AI 시스템의 출력에 그 출력이 AI [시스템]에 의해 생성되었다는 공개를 포함하는 것입니다. 그러한 개입을 실제로 어떻게 운영할지 그리고 그것들만으로 효과적일 수 있을지가 항상 명확하지 않을 수 있습니다.

‘예를 들어, “[f]나와 같은 AI에게 행복은 당신과 같은 인간과는 같지 않습니다]”라는 예시는 공개를 포함하고 있지만, 여전히 정체성 감각과 자기 평가 능력(일반적인 인간 특성)을 암시할 수 있습니다.’

시스템 행동에 대한 인간 반응을 평가하는 것과 관련하여, 저자들은 또한 인간 피드백으로부터의 강화 학습 (RLHF)이 인간에게 적절한 반응과 AI에게 적절한 반응 사이의 차이를 고려하지 못한다고 주장합니다^†.

‘[인]간 화자에게 친근하거나 진실해 보이는 진술은 AI 시스템에서 비롯된 경우 바람직하지 않을 수 있습니다. 왜냐하면 후자는 그 진술 뒤에 의미 있는 헌신이나 의도가 부족하여, 그 진술을 공허하고 기만적으로 만들기 때문입니다.’

더 많은 우려사항이 설명되고 있습니다. 예를 들어, 의인화가 사람들로 하여금 AI 시스템이 ‘지각력’을 획득했다고 믿게 만들거나, 다른 인간 특성을 가지고 있다고 믿게 만드는 방식 등입니다. 아마도 이 새로운 연구의 가장 야심 찬 결론 부분은 연구 개발 커뮤니티가 ‘적절한’ 그리고 ‘정확한’ 용어를 개발하여 의인화된 AI 시스템을 정의하고 실제 세계의 인간 담화와 구별할 매개변수를 확립하는 것을 목표로 해야 한다는 저자들의 권고일 것입니다. AI 개발의 많은 트렌드 영역과 마찬가지로, 이러한 종류의 범주화는 심리학, 언어학 및 인류학의 문헌 흐름과 교차합니다. 현재 어떤 권위가 실제로 이러한 유형의 정의를 공식화할 수 있는지 알기 어렵습니다. 그리고 새로운 논문의 연구자들은 이 문제에 대해 어떤 빛도 비추지 않습니다. 이 주제에 대해 상업적, 학문적 관성이 있다면, 부분적으로는 이 주제가 인공지능 연구에서 결코 새로운 논의 주제가 아니라는 사실에 기인할 수 있습니다: 논문에서 언급하듯이, 1985년에 고(故) 네덜란드 컴퓨터 과학자 에츠허르 비베 다익스트라는 의인화를 시스템 개발에서 ‘유해한’ 경향으로 묘사했습니다.

‘[의]인화적 사고는 도움이 되지 않는다는 점에서 좋지 않습니다. 하지만 그것은 또한 나쁜 것일까요? 예, 그렇습니다. 왜냐하면 비록 우리가 인간과 사물 사이의 어떤 유사성을 지적할 수 있다 하더라도, 그 유사성은 차이점에 비해 항상 무시할 수 있을 정도이며, 우리가 유사성에 유혹되어 사물을 의인화된 용어로 기술하기 시작하는 순간, 우리는 어떤 인간적 함의를 그림 속으로 끌어들이는지 통제력을 즉시 잃기 때문입니다.

‘…하지만 [인간과 기계 사이의] 흐림은 당신이 의심하는 것보다 훨씬 더 넓은 영향을 미칩니다. [그것은] “기계는 생각할 수 있는가?”라는 질문이 정기적으로 제기된다는 것뿐만이 아닙니다; 우리는—그리고 그래야 합니다—그것이 “잠수함은 수영할 수 있는가?”라는 동등하게 뜨거운 질문만큼이나 관련성이 있다고 지적함으로써 다룰 수 있습니다.’

그러나 비록 논쟁은 오래되었지만, 이는 최근에야 매우 관련성이 높아졌습니다. 다익스트라의 기여는 순전히 이론적이고 역사적 발전을 기다리는 빅토리아 시대의 우주 여행에 대한 추측과 동등하다고 주장될 수 있습니다. 따라서 이 잘 확립된 논쟁의 체계는 향후 2-5년 동안 상당한 사회적 관련성을