당신의 AI 에이전트는 모든 것을 알지만 아무것도 이해하지 못합니다

“우리도 부모님의 아일랜드 여행에 함께 가야겠어요.” 겉보기에는 아무렇지 않은 이 한마디에 등골이 오싹해졌습니다.

아내와 저는 여행을 많이 다니며 무엇을 좋아하는지도 잘 압니다. 반면 아내의 부모님은 집에서 몇백 마일 이상 떨어진 곳으로 좀처럼 여행하지 않으며, 두 분이 함께 해외에 나간 것은 저희 결혼식 때 단 한 번뿐입니다.

게다가 이번 여행은 장인어른이 장모님께 드린 크리스마스 선물이었습니다. 장모님이 가족을 만나러 가도록 마련한 것으로, 어쩌면 마지막 방문이 될 수도 있었습니다.

저는 이 여행의 전개를 한 단어로 떠올릴 수 있었습니다. 재앙이었습니다. 이렇게 다른 경험과 기대를 어떻게 조율해야 멋진 여행을 할 수 있을까요? 적어도 여행이 끝날 때 서로를 미워하지 않으려면 어떻게 해야 할까요?

기술을 좋아하는 사람답게 저는 기술, 구체적으로 AI에 의지했습니다.

하지만 AI 기반 가족 여행 계획 앱을 바이브 코딩으로 만들어 보는 작은 실험이 기업 IT에 AI를 적용할 때 알아야 할 거의 모든 것을 가르쳐 줄 줄은 몰랐습니다.

AI에 정보를 더 많이 줄수록 더 어리석어집니다

대부분의 기업 AI 도입은 예측 가능한 패턴을 따릅니다. 조직은 에이전트에게 일련의 지침을 주고 정보원에 연결하는 것으로 시작합니다. 그 정보원은 RAG(검색 증강 생성) 프레임워크나 기존 지식 베이스, 심지어 MCP 서버일 수도 있습니다. 그런 다음 대규모 언어 모델인 LLM을 더하고 일을 하도록 둡니다.

문제는 LLM이 근본적으로 어리석다는 점입니다. 활용할 수 있는 모든 정보의 우선순위를 어떻게 정해야 할지 몰라 맥락의 각 부분을 같은 비중으로 다루는 경향이 있습니다. 사람이 정보를 선별하고 정리하는 큐레이션 계층을 더해 무엇이 중요하고 무엇이 그렇지 않은지 모델에 가르쳐야 합니다. 큐레이션이 없으면 모든 것을 알지만 아무것도 이해하지 못하는 AI가 됩니다.

중요한 세 가지 기억

기업 AI를 위한 효과적인 정보 큐레이션은 세 가지 특정한 기억을 최대한 활용하는 것입니다.

첫째는 조직의 기억으로, 처음에는 꽤 기본적인 것으로 보일 수 있습니다. 누군가 “금융 서비스”라고 하면 에이전트는 업계 전체가 아니라 회사의 금융 서비스 부서를 뜻한다는 것을 압니다. 이는 자주 바뀌지 않는 정의, 선호, 관례로 채워진 지속적인 조직 지식이 됩니다. 이 지식이 전략적 우선순위, 핵심 추진 과제, 조직의 역학에 관한 지식으로 확장되면 풍부한 조직 맥락의 원천이 됩니다.

다음은 중요한 결정, 작업, 사건에 초점을 맞추는 행동 이력입니다. 서비스 티켓이 접수되거나 시스템이 배포되면 에이전트는 그 특정 행동을 인식하고 행동 이력에 기록합니다. 이렇게 조직의 맥락을 이어 주는 역사적 기록이 만들어집니다.

마지막은 단기 대화 맥락입니다. 에이전트와 순간순간 주고받는 상호작용이라고 생각하면 됩니다. 당장은 유용하지만 관련성이 빠르게 사라지는 경향이 있습니다.

이 세 가지 기억을 합치면 일반적인 AI 모델에 없는 가중치 체계가 만들어집니다. 이제 누군가 에이전트에게 사업에 대해 설명할 때 모든 기억을 분류하고 우선순위를 정하며 중요한 정보를 큐레이션합니다. 이것이 AI가 제공해야 할 것의 핵심입니다. 단순한 분야별 데이터가 아니라 그 분야에 대한 판단력입니다.

큐레이션된 기억은 대규모로 어떻게 작동할까요?

틀에 관한 이야기는 이쯤 하고 실제로는 어떤 모습일까요? 저희가 직접 이런 에이전트를 만들면서 발견한 내용은 다음과 같습니다.

흔한 IT 시나리오 중 하나는 헬프데스크 에이전트에 문제 티켓을 보내는 것입니다. Outlook이 작동하지 않는다면 문제를 설명해 입력하고 에이전트가 검토한 뒤 해결책을 제안하기를 기다립니다.

하지만 큐레이션된 기억이 있다면 Outlook 오류가 보이는 화면을 캡처해 에이전트에 올리는 더 나은 절차도 가능할 수 있습니다. 이제 에이전트는 (1) 조직의 기억을 활용해 작업 환경을 이해하고, (2) 행동 이력에서 관련 사건을 확인하며, (3) 일반적인 답변이 아니라 구체적인 해결책을 위해 맥락에 따른 판단을 적용합니다.

그 결과 스크린샷만 보고 답을 추측할 필요가 없는 지능형 에이전트가 만들어집니다. 실제로 조사하고 현재의 모든 정보를 살펴 더 유용한 답을 제공하는 것입니다. 에이전트의 작동 범위는 네트워크 효과나 스웜 효과로까지 확장될 수도 있습니다. 시스템의 다른 사용자들을 살펴 Outlook 문제가 나에게만 발생하는지, 기업 전체의 문제인지 확인하는 것입니다.

차이를 만드는 것은 이력이나 기억에 맥락을 부여하는 일입니다. 기억을 효과적으로 큐레이션하지 않으면 그렇게 하는 조직들에 뒤처집니다. 시간이 흐르면서 데이터를 관리하고 무엇을 보존하고, 무엇을 드러내고, 무엇을 버릴지 이해하는 아키텍처가 필수입니다.

다시 여행 이야기로

그렇다면 AI 기반 여행 계획 앱은 기업 IT에서 AI를 활용하는 방식에 관한 제 생각을 어떻게 바꿨을까요?

제가 만든 앱은 저희의 개인 여행 컨시어지 역할을 하며 참가자 한 명 한 명을 “인터뷰”하는 것으로 시작했습니다. 모두가 여행에서 중요하게 여기는 것, 꼭 해야 할 것, 건너뛰어도 되는 것을 설명했습니다. 더 중요한 것은 “왜”를 물었다는 점입니다. 왜 중요한지, 우리에게 어떤 의미인지 말입니다.

이 정보를 이용해 앱은 두 가지 일을 했습니다. 먼저 모두가 즐길 것을 얻도록 균형 잡힌 여행 계획을 구성했습니다. 만들어진 계획에서 모두가 자신의 바람과 선호가 반영된 모습을 볼 수 있었습니다.

물론 첫 일정은 초안일 뿐이었습니다. 답해야 할 질문이 여전히 많았습니다.

바로 그때 진짜 마법이 일어났습니다. 호텔이나 관광 명소, 차로 이동할 구간을 에이전트에 물으면 저희만의 상황에 관한 맥락이 답변을 풍부하게 만들었습니다. “아이들에게는 긴 드라이브가 되겠지만 장인어른은 그 성을 아주 좋아하실 겁니다. 바로 옆에 있는 독특한 커피숍도요. 그리고 아내가 원하던 마사지를 받기에도 바로 이곳이 적당할 수 있습니다.”

앱은 저희에게 무엇이 중요한지 깊이 이해했기에, 다른 방법으로는 불가능했으리라고 생각하는 방식으로 여행을 계획하고 다듬도록 도와줄 수 있었습니다.

그런 초기 순간 중 하나에 저는 저희가 기업 고객을 위해 무엇을 만들어야 하는지 깨달았습니다. 조직, 거래, 개인의 맥락을 아주 풍부하게 갖춰 모든 답변과 상호작용이 지문처럼 그 순간과 그 상호작용에 완전히 고유해지는 지능형 시스템입니다. 그렇게 하면 다른 어떤 방식으로도 생겨날 수 없는 종류의 가치를 제공할 수 있습니다.