AI는 더 똑똑해지고 있지만, 정합성을 유지하기는 더 어려워지고 있다

나는 지능을 이해하기 위해 평생을 바쳐 왔다. AI에 관심이 있었기에 신경과학을 공부했고, 뇌가 작동하는 방식을 먼저 배우는 것이 좋은 출발점이라고 생각했다. ‘인공’ 지능에 앞서 지능부터. 그때 받은 훈련은 내게 한 가지 습관을 남겼다. 새로운 역량이나 기술이 등장하면, 나는 먼저 실용적인 질문을 던진다. 이 기술은 실제로 무엇을 할 수 있으며, 어떤 현실의 문제를 해결할 수 있을까?

AI 분야에 종사하는 사람으로서, 나는 AI 관련 헤드라인에 좀처럼 환호하지 않는다. 소란 너머를 들여다보며 새로운 역량의 획기적인 발전뿐 아니라 한계도 이해하려 한다.

단순한 도구에서 성패가 걸린 신뢰성으로

2020년, AI 안전성을 둘러싼 논의가 과장된 기대감으로 들끓을 때 나는 소박한 조언을 했다. AI를 도구로 대하되, 강력한 도구일 뿐 여전히 도구라는 점을 잊지 말라는 것이었다. 눈에 띄지 않는 평범한 활용 사례에 집중하라고 했다. 기술이 충분히 믿을 만해 도움이 되는 작업 단위에서 활용하라고 했다. 내가 낙관적으로 그린 시나리오는 평범하지만 유용한 도구들이었다.

몇 년 뒤 에이전트형 AI의 물결이 커지기 시작했을 때도 같은 관점으로 바라봤지만, 여전히 확신이 들지 않았다. 에이전트형 시스템의 역량은 그 아래에서 수행되는 작업의 수준을 넘어서지 못한다. 당시 나는 이런 시스템이 효과를 내려면 필요한 작업 단위의 신뢰성을 아직 확인하지 못했다.

하지만 과장된 기대는 커지고 있었다. 지난해 초 RSA에 참석했을 때도 말뿐인 주장과 실질적인 성과 사이의 간극은 여전히 뚜렷했다. ‘에이전트형’이 무엇을 뜻하는지에 대한 공통된 이해조차 없었다. 사람마다 정의도 관점도 달랐다. 그리고 나는 구조적인 문제를 우려했다. 에이전트 10개가 각각 약 95%의 정확도를 보인다고 해 보자. 하나의 출력이 다음 에이전트의 입력이 되도록 이들을 연결한다. 연결이 끝날 즈음이면 정확도는 약 60%로 떨어진다. 신뢰성은 층층이 쌓아 올린다고 유지되지 않는다. 그 무렵 나는 에이전트 시스템에 대해 생각하기 시작했지만, 여전히 이들을 믿고 맡길 수 있는지, 의미 있는 변화를 만들어 낼 수 있는지가 걱정이었다.

그러다 코딩 에이전트가 빠르게 발전하면서 생각이 바뀌었다.

그 주제에 관한 내 글을 쓴 지 몇 달 만에, 놀라운 발전 속도를 보며 한 가지 사실이 분명해졌다. 여러 현실의 작업에서 신뢰성을 확보하는 것은 시간문제였다. 더 나은 모델과 이를 뒷받침하는 더 나은 엔지니어링 기반이 내가 우려하던 격차를 좁힐 터였다. 내가 걱정하던 한계도 사라질 것이었다.

그때 비로소 진짜 문제가 무엇인지 드러났다. 내가 지켜보던 문제와는 달랐다. 개별 에이전트를 신뢰할 수 있게 되면, 첫 번째 에이전트를 배포하는 데서 멈추지 않는다. 여러 에이전트를 배포하게 된다. 모든 기능 영역에 걸쳐 에이전트 무리를 배치하고, 각 에이전트는 역량을 갖춰 각자의 역할을 수행한다. 그러자 신뢰성과는 무관한 새로운 질문이 떠올랐다. 에이전트 무리의 모든 구성원이 설계된 대로 작동한다면, 그 전체는 여전히 조직이 의도한 목표에 부합할까?

조직에도 고유수용감각이 필요한 이유

팔다리가 튼튼한 신체라도 고유수용감각이 없으면 제대로 움직일 수 없다. 고유수용감각은 신체 각 부위가 어디에 있고 무엇을 하는지 끊임없이 내적으로 감지하는 감각이다. 소뇌는 이런 피드백에 반응하는 데 그치지 않고 결과를 예측한다. 뇌가 움직이라는 명령을 내리면, 그 움직임이 어떤 감각을 일으킬지 예상한 뒤 실제로 나타난 감각과 비교한다. 둘 사이의 차이가 다음 움직임을 바로잡는 신호가 된다. 능숙한 움직임은 결과를 예측하고 차이를 수정하는 순환 과정이다.

에이전트 무리를 운용하는 조직에도 자신을 감지하는 이와 같은 감각이 필요하다. 조직은 시스템이 어디에 있는지, 의도한 상태에서 얼마나 벗어났는지 계속 파악해야 한다. 이러한 내적 인식이 없다면 역량을 갖춘 구성 요소들이 조율된 행동으로 이어지지 않는다. 이는 안전성을 높이기 위해 나중에 신체에 덧붙이는 감지 장치가 아니다. 신체가 움직이려면 처음부터 반드시 필요한 감각이다.

신체 대부분에서 이 감각을 잃은 Ian Waterman이라는 남성의 잘 알려진 사례가 있다. 그는 다시 움직이는 법을 배웠지만, 눈으로 자신을 살피며 한 걸음 한 걸음, 손을 뻗는 동작 하나하나를 조정해야만 했다. 움직일 수는 있다. 하지만 몹시 힘들고 불안정하다. 불을 끄면 그는 전혀 움직임을 조율할 수 없다. 수동 감사와 정기 검토를 통해 에이전트를 관리하는 조직도 그와 같은 처지다. 갖추지 못한 감각을 끊임없는 노력으로 보완하며, 그 보완에 드는 비용은 이를 대신하는 것보다 더 크다. 상황이 바뀌는 순간 전체 시스템이 무너진다.

이름을 붙일 만한 또 다른 특이한 실패가 있다. 신경과학자 V S Ramachandran이 쓴 흥미로운 책에 그 사례가 나온다. 팔다리를 절단해도 뇌는 침묵하지 않는다. 사라진 팔다리를 향해 계속 신호를 보내고, 당사자는 그 신호를 생생하게 느낀다. 거버넌스도 같은 방식으로 실패할 수 있다. 구조조정이나 방치로 감독 기능에서 실질적인 판단력을 제거해도 그 기능은 조용해지지 않는다. 검토는 계속 완료되고 지표도 계속 산출된다. 조직은 감독 기능의 바탕이 되는 판단력이 속이 비워진 채 사라졌는데도 여전히 감독받는 듯한 감각을 유지한다. 여기서 투명성에 관한 2020년의 내 조언이 다시 떠오른다. 투명성이 없으면 감독도 없다. 감시받는 듯한 모습만 연출하는 시스템에는 투명성도 없다.

희소한 자원으로 떠오른 정합성

지능은 점점 저렴해지고 있다. 머지않아 모든 업무 흐름과 도구에 지능이 자리 잡을 것이다. 그런 세상에서 희소한 자원은 정합성이다. 각 시스템이 독자적으로 하는 일과 기업이 이루려는 목표를 살아 있는 연결고리로 이어 주는 것이다. 정합성은 분산된 지능이 하나의 목적에 맞춰 움직이도록 유지하는 결합 조직이다.

나는 뇌가 여러 부분을 하나처럼 작동하게 하는 방식을 수년간 연구했다. 에이전트 시대는 기업에도 같은 질문을 던진다. 목표는 2020년 이후로 달라지지 않았다. 여전히 지루하지만 유용하다. 이제 구축해야 할 지루하면서도 유용한 것은 정합성 그 자체다.