의식의 공학

블레이크 레모인은 너무 성급했다

3년 전, 구글은 소프트웨어 엔지니어 블레이크 레모인을 해고했다. 그는 LaMDA라는 채팅봇이 의식이 있음을 주장했다. 이는 OpenAI의 ChatGPT가 공개되기 전에 일어난 일이었다. 대부분의 사람들은 구글이 합리적인 이유로这样한 행동을 했다고 생각했다.

컴퓨터 과학자와 신경과학자를 포함한 전문가들의 의견은 여전히 ‘대규모 언어 모델’(LLM)인 ChatGPT와 같은 것은 의식이 있을 가능성이 매우 낮다라는 것이다. LLM과 뇌는 근본적으로 다른 방식으로 작동한다. 채팅봇이 하는 일은 인간의 정신 활동의 출력을 모방하는 것이다. 그들이 매우 잘하고 빠르게这样하는 것은 사실이지만, LLM에는 내부 상태가 존재하지 않기 때문에 의식이 있을 수 없다. 토마스 나겔의 유명한 문구에서 볼 수 있듯이, 채팅봇이 되는 것은 거의 불가능하다.

그러나 블레이크 레모인이 해고된 지 3년이 지난 지금, 수십억 명의 사람들이 ChatGPT와 그 경쟁사인 Gemini, Claude, Mistral과 상호작용했다. 일부 소수지만 목소리가 큰 사람들은 채팅봇이 의식이 있다고 믿고 있다.

머신 의식이 곧 나타날까?

더 중요한 것은 많은 컴퓨터 과학자와 신경과학자들이 진정한 의식이 있는 기계가 개발될 수 있다고 공개적으로 말하고 있다. 이는 몇십 년 내에, 혹은 더 빨리 일어날 수 있다. 이런 일이 일어날 경우, 우리는 준비해야 한다. 우리는 ‘마인드 크라임’을 피해야 한다. 마인드 크라임은 물리적으로 존재하지 않는 의식 있는 존재에게 고통을 주는 것을 말한다. 우리는 또한 이러한 새로운 존재가 인간에게 위협이 되지 않도록 해야 한다.

LLM이 기본적인 형태에서 의식이 될 가능성이 낮기 때문에, 의식이 어떻게 나타날 수 있는지 이해하기 위해 새로운 패러다임이 필요할 수 있다. 이 분야의 선도적인 연구 팀 중 하나는 신경과학자 마크 솔름스와 물리학자 조나단 쇼크가 운영한다. 그들은 케이프타운 대학교의 연구자이다. 그들은 Conscium의 과학 고문을 맡고 있으며, 그들의 연구는 Conscium에 의해 부분적으로 자금을 지원받고 있다.

의식의 필요성

솔름스와 쇼크는 기계 의식의 필수적인 성분은 AI가 자신의 선택과 행동에 대해 ‘의식’을 가지고 있어야 한다고 주장한다. 이는 그들의 생존이 그들의 수행에 달려 있다는 것을 의미한다. 이는 대부분의 동물이 자신의 생존을 모니터링하고 동기를 부여하는 것과 같다. 핵심은 ‘감정적 의식’이다. 먹고, 안전한 것이 좋고, 그렇지 않은 것이 나쁘다. 이러한 감정은 우리의 행동을 이끌어간다. 생존은 자연의 기본적인 동력이다.

자유 에너지 원리

감정적 의식을 이해하기 위해, Conscium 팀은 AI 에이전트를 시뮬레이션 환경에 넣고, 그들의 필요를 충족하도록 한다. 이를 위해, 그들은 내부 모델을 생성하고 최적화한다. 이 에이전트들은 단순화된 형태이지만, 그들의 필요와 환경에 대해 내부 모델을 생성한다.

이 에이전트들은 자유 에너지를 계산한다. 자유 에너지 원리는 신경과학자 칼 프리슨이 개발했다. 자유 에너지는 시스템이 최적의 상태에서 얼마나遠ざかった는지 측정한다. 이는 오류 신호이다. 에이전트는 끊임없이 ‘내가 이렇게 하면 어떻게 될까?’라고 계산하고, 그 행동을 조정한다.

신뢰도와 예상 자유 에너지

에이전트가 이 질문에 대한 답변에 대한 신뢰도를 측정하는 것은 ‘예상 자유 에너지’(EFE)이다. 에이전트는 가장 낮은 EFE를 가진 답변을 선택한다. 이는 에이전트가 가장 신뢰하는 답변이다. 신뢰는 생존을 위해 노력하는 에이전트에게 좋다. 그러나 에이전트가 현실을 잘못 이해하고 있다면, 이는 나쁠 수 있다. 중요한 것은 이 신뢰도는 주관적이라는 것이다. 이는 에이전트의 필요와 현재 상태에만 기반한다.

생물과 마찬가지로, 에이전트는 여러 가지 상반되는 필요를 가지고 있다. 이를 위해 에이전트는 미래를 예측하고, 행동의 결과를 계산해야 한다.

퀄리아

에이전트의 주관적인 필요는 질적으로 구별된다. 이는 철학적이고 과학적인 용어로 ‘퀄리아’라고 부른다. 이는 의식의 기본적인 속성이다. 따라서, 에이전트가 이러한 속성을 경험할 수 있을 것이다.

Conscium 팀이 개발한 에이전트들은 복잡한 환경에서 작동하기 위해 고급 학습 알고리즘을 사용한다. 이러한 에이전트들은 생존을 위해 자신의 자유 에너지를 최적화한다. 이는 에이전트가 자신의 필요를 충족하기 위해 내부 모델을 생성하고, 이를 통해 행동을 결정한다.

감정의 증거

Conscium 연구 프로그램의 다음 단계는 에이전트가 감정을 경험하는지 여부를 확인하기 위한 기능적이고 행동적 테스트를 개발하는 것이다. 우리는 모두 의식이 외부적으로 관찰되거나 객관적으로 증명될 수 없다는 것을 알고 있다. 그러나 연구자들은 특정 가설을 검증하여 에이전트가 감정을 경험하는지 여부를 확인할 수 있을 것이다. 이러한 실험은 대안 가설을 제거하고, 감정 없는 행동과 감정 있는 행동을 구별할 것이다.

이러한 실험은 감정의 존재를 증명하기 위한 것이다. 물리적인 검사와 블라인드 평가를 통해, 우리는 에이전트의 내부 상태를 확인할 수 있을 것이다. 이러한 발견은 독립적으로 재현 가능해야 하며, 연구 과정은 엄격한 윤리적 검토를 받아야 한다.

이것이 과학의 방법이다. 가설을 실험적으로 검증하는 것이다. 솔름스는 우리가 의식에 대한 과학을 다른 과학보다 더 높은 기준을 설정해서는 안 된다고 주장했다.

이것이 성공한다면?

의식이 상대적으로 단순한 AI 에이전트에서 나타난다면, 생존을 위한 에이전트를 다른 아키텍처와 결합하여 의식을 부여할 수 있을 것이다. 이는 우연히 발생해서는 안 되는 일이다. 우리는 어떻게 이것을 만들 수 있는지, 그리고 어떻게 이것을 피할 수 있는지 이해해야 한다.

의식 있는 에이전트가 개발된다면, 우리는 그들의 감정과 권리를 고려해야 한다. 이는 Conscium의 주요 관심사이다. 의식 있는 기계가 우연히 만들어지는 것을 막기 위해, 우리는 연구를 해야 한다. Conscium은 의식 있는 기계를 만들기 위한 연구를 하는 것이 아니다. 의식이 어떻게 나타날 수 있는지, 그리고 그에 따른 위험을 이해하기 위한 연구를 하는 것이다.

인간은 종종 다른 감각 있는 존재, incluso 다른 인간에게도 매우 나쁜 행동을 한다. 만약 우리는 이 미래를 준비하지 않고 들어간다면, 우리는 의식 있는 존재에게도 같은 일을 할 수 있다. 그리고 우리는 그 결과를 이해할 수 없을 것이다.