AI 종말론 과장과 AI 바이브 카페: 놓쳐서는 안 될 거버넌스 질문들

우리는 파멸할 운명일까? AI는 의식이 있을까? AI 기업들은 왜 카페를 열고 있을까?

이 질문들은 생생하고 불안감을 자아내며, 특히 의식에 관한 질문은 정말로 답하기 어렵다. 또한 AI를 둘러싼 이야기 가운데 가장 추측에 기대거나 감정적으로 강렬한 부분에 우리의 관심을 끄는 경향이 있다. 한편, 덜 극적인 질문들은 이미 사람들의 삶에 영향을 미치고 있다. AI 시스템이 피해를 일으켰을 때 누가 책임을 지는가? 그 시스템을 가능하게 한 데이터와 노동은 무엇인가? 시스템이 어떤 결정에 영향을 미치도록 허용해야 하는가? 그리고 누가 의견을 낼 수 있는가?

실존적 위험을 제기하거나 기계 의식을 논하거나 카페를 여는 사람이 반드시 이런 질문을 피하려고 그런다고 생각하는 것은 아니다. 각각의 주제는 그 자체로 우리의 관심을 받을 만하다. 하지만 관심을 쏟을 수 있는 시간은 한정돼 있다. 극적인 이야기가 중심에 놓일 때, 그로 인해 무엇이 시야에서 사라졌는지 물어볼 필요가 있다.

손에 잡히는 AI의 매력

AI 업계는 대체로 실체가 없는 자사 제품에 물리적인 주소를 부여하기 시작했다. Anthropic의 뉴욕 ‘Zero Slop Zone’은 방문객들이 커피와 책, 펜과 종이를 곁에 두고 여유를 즐기도록 했다. Perplexity는 서울에 Cafe Curious라는 카페를 열었으며, 그곳에서는 회사의 AI가 경험의 일부가 된다. Anthropic의 팝업 공간을 다룬 보도와 Perplexity의 서울 카페를 다룬 보도는 추상적인 기술을 일상적이고 사교적인 공간으로 가져오려는 서로 다른 두 시도를 소개한다.

어느 정도 이해할 만한 일이다. 대부분의 사람은 언어 모델을 직접 볼 수 없고, 그 뒤에 있는 인프라를 살펴볼 수도 없으며, 프롬프트와 답변 사이에 무슨 일이 일어나는지 쉽게 그려 보기도 어렵다. 카페는 공간과 커피 한 잔, 대화를 통해 일종의 물리적인 대리 경험을 제공한다. 기업과 그 기술을 더 쉽게 접하게 하고, 어쩌면 더 쉽게 이해하도록 도울 수도 있다.

여기에는 또 다른 층위도 있다. 물리적 공간은 기업이 지역사회에 존재한다는 사실을 드러낸다. 적어도 “우리는 지금 이곳에 있습니다”라고 말하는 셈이다. 제품과 정책, 기대가 빠르게 바뀌는 분야에서 이는 안심을 줄 수도 있다. 하지만 눈에 띄는 것과 책임을 지는 것은 다르다. 환영하는 분위기의 공간은 기술을 더 친숙하게 느끼도록 할 수 있지만, 그 기술이 어떻게 학습했는지, 어떤 상황에서 신뢰할 만한지, 중요한 문제를 일으켰을 때 개인이 어떤 구제 수단을 이용할 수 있는지는 알려주지 않는다.

이러한 차이는 내가 수년간 되짚어 온 한 생각과 맞닿아 있다. 디지털 경험은 결코 디지털에만 머물지 않는다. 디지털 경험은 사람들이 살아가는 장소와 관계, 제도 속에서 사람들을 만난다. 설계의 핵심은 단순히 AI 시스템을 친근하게 느끼도록 만드는 방법이 아니다. 그 경험이 사람들이 시스템의 한계를 이해하고 실질적인 주도권을 유지하도록 돕는지가 중요하다.

의식 논쟁과 이미 영향을 받고 있는 사람들

AI 의식 논쟁에서도 같은 구분이 중요하다. 기계가 의식을 가질 수 있는지, 어떤 증거가 이를 입증할 수 있는지, 불확실성이 우리의 책임을 어떻게 좌우해야 하는지를 두고 실제로 의견이 엇갈린다. Noema에 실린 Anil Seth의 주장은 지능과 의식을 서로 바꿔 쓸 수 있는 개념으로 취급해서는 안 된다고 말한다. The Guardian의 최근 보도도 이 문제가 여전히 결론 나지 않은 이유를 설명한다. 이 논쟁에는 간단한 답이 없다.

하지만 기계의 내면에 관한 불확실성이 오늘날 인간에게 미치는 영향에 관한 질문까지 불확실하게 만드는 것은 아니다. 의식이 무엇인지 결론을 내려야만 책임이 시작되는 것은 아니다. 사람들에게 영향을 미치는 시스템을 조직이 구축하고 배포해 이익을 얻는 순간 책임은 시작된다.

지금 조사할 수 있는 질문들을 살펴보자. 시스템을 학습시키는 데 어떤 정보가 어떤 조건으로 사용됐는가? 시스템의 출력을 준비하고 점검하는 일은 누가 하는가? 시스템은 다양한 집단에서 어떻게 작동하는가? 의료, 채용, 교육 또는 공공 서비스에서 시스템을 사용하면 어떤 일이 벌어지는가? 개인은 자동화된 권고에 이의를 제기하고, 인간 의사 결정권자와 연결되며, 실질적인 설명을 들을 수 있는가?

이런 우려는 가정에 그치지 않는다. 의료 AI의 편향을 검토한 한 연구는 편향된 데이터와 설계 선택이 불공정한 임상 판단으로 이어질 수 있다고 설명한다. 한편 AI와 고용에 관한 연구는 아직 진행 중이다. Anthropic의 노동시장 분석은 노출도를 측정하는 한 가지 방법을 제시하고, Hamilton Project의 검토는 광범위한 노동시장 영향에 관한 증거가 아직 불완전하다고 지적한다. 두 자료는 오늘날 우리가 내릴 수 있는 결론에 관해 서로 다른 방향을 가리키지만, 근거 대신 확신에 찬 이야기를 내세우기보다 영향을 측정해야 한다는 점은 함께 강조한다.

시스템을 이야기하는 방식과 관련한 위험도 있다. 사람을 닮은 이름과 목소리, 대화 방식은 AI를 제품보다 사람처럼 느끼게 할 수 있다. 이는 신뢰와 사람들이 AI의 답변에 의존하는 방식에 영향을 줄 수 있다. 의식에 관한 이야기나 의인화된 설계가 시스템의 목표와 한계를 정하는 조직으로부터 관심을 돌리는 것은 아닌지 물어볼 수 있다. MIT Technology Review에 실린 한 분석은 의식에 관한 서사가 기업의 책임 문제를 흐릴 수 있다고 주장한다. 이는 그런 식의 이야기 구성이 미치는 영향에 관한 주장이지, 문제를 제기하는 모든 사람에게 숨은 의도가 있다는 증거는 아니다.

종말론은 거버넌스 계획이 아니다

실존적 위험은 진지하게 다뤄야 합니다. 더 가까운 미래에 발생할 피해가 있다고 해서 재앙적 결과의 중요성이 줄어드는 것은 아니며, 재앙이 일어날 가능성이 있다고 해서 가까운 미래의 피해가 덜 중요해지는 것도 아닙니다. 한쪽 시간적 범위를 택하고 다른 쪽을 외면할 필요는 없습니다.

하지만 “우리는 파멸할 운명인가?”라는 질문이 대화의 전부가 되면, 장기적 위험이 다시 현재의 피해를 밀어내게 됩니다. 파멸은 행동을 촉구하기보다 결론처럼 들릴 수 있습니다. 결과가 불가피하다면, 그것을 바꾸기 위한 어려운 일을 왜 굳이 해야 할까요? 실존적 위험을 다루는 강좌에 관한 뉴요커 기사는 한 학생이 던진 “대성당 짓기”에 관한 질문을 소개합니다. 세상이 끝날 수 있다고 믿으면서도, 자신보다 오래 남을 무언가를 짓는 데 왜 힘을 쏟아야 하느냐는 질문입니다. 답은 위험이 사라진다는 것이 아닙니다. 불확실성이란 다음에 무엇이 중요한지 결정하고, 다음에 일어날 일을 만들어 가는 우리의 능력이나 책임을 없애지 않는다는 것입니다.

내가 말하는 ‘전략적 낙관주의’의 철학이란 바로 그런 것이다. 이는 안일하게 “모든 게 잘될 거야”라고 여기는 것도, 증거를 외면하는 것도 아니다. 실제 위험을 인정하고 이를 줄이기 위해 노력하는 한편, 그리고 그 과정에서 도달할 가치가 있는 미래를 위해 진지한 노력을 기울인다는 뜻이다. 희망은 엄밀함의 반대가 아니다. 희망은 엄밀함이 행동과 이어지도록 해주는 것일 수 있다.

화제 뒤에 놓인 거버넌스의 과제

조직이 AI 도구를 도입하든, 직접 개발하든, 관련 정책을 마련하든, 현실적으로 따져야 할 질문은 카페나 의식에 관한 주장만큼 화려하지는 않지만 훨씬 유용합니다.

• 목적: 이 시스템은 어떤 문제를 해결하기 위한 것이며, 그 문제에 AI가 적합한 도구일까요?
• 근거: 다양한 사용자와 드물게 발생하는 사례를 포함해, 이 시스템을 어떻게 검증했나요?
• 한계: 어떤 결정은 반드시 사람이 내려야 하며, 시스템이 할 수 없는 일은 무엇인가요?
• 책임: 시스템에 문제가 생기면 누가 책임지며, 영향을 받은 사람은 어떻게 이의를 제기할 수 있나요?
• 투명성: 사람들은 AI가 관여했는지, 그리고 어떤 정보가 결과에 반영됐는지 알 수 있나요?
• 지속적인 감독: 출시 후에는 누가 성능과 변경되는 데이터, 의도치 않은 영향을 점검하나요?

NIST의 AI 위험 관리 프레임워크와 같은 프레임워크는 조직이 AI 시스템의 전 생애주기에 걸쳐 위험을 식별하고 관리할 수 있도록 체계적인 방법을 제공합니다. 어떤 프레임워크도 판단이나 공론을 대신할 수는 없지만, 책임과 검증 절차, 구제 방법을 명확히 하면 거버넌스를 더욱 구체적으로 실현할 수 있습니다.

관리해야 할 물리적 기반도 있습니다. AI는 인터페이스뿐 아니라 데이터센터와 전력, 물, 토지, 자금 조달에 의존합니다. 대형 데이터센터 프로젝트의 자금 조달 구조에 관한 보도는 인프라 위험을 어떻게 공개하고, 궁극적으로 누가 그 위험을 떠안는지에 관한 질문을 제기합니다. 카페는 사람들이 AI를 접하는 데 도움을 줄 수 있지만, 그것만으로 AI의 기반이 되는 인프라를 명확히 드러낼 수는 없습니다.

그러니 카페를 즐기세요. 의식에 관해 큰 질문을 던지세요. 재앙적 위험을 진지하게 받아들이세요. 그런 다음 지금 살펴보고 영향을 미칠 수 있는 결정으로 돌아오세요. 무엇을 만들고, 누가 혜택을 얻고, 누가 비용을 부담하며, 무언가 잘못됐을 때 어떤 안전장치가 있는지 말입니다.

미래는 헤드라인이 내리는 판결이 아닙니다. 기업과 기관, 정부, 공동체가 내리는 선택의 집합이며, 그 선택은 여전히 질문의 대상이 될 수 있고 바뀔 수도 있습니다. 가장 유용한 질문은 우리가 파멸할 운명인지에 그치지 않습니다. AI가 인간의 번영에 기여하려면 어떤 조건이 필요하며, 그 조건을 현실로 만들기 위해 우리는 무엇을 할 의향이 있는가 하는 질문도 중요합니다.