AI에서 벽은 실제가 아니다: 데이터와 안전 재고

AI 분야에서 가장 어려운 문제 중 일부는 1) 우리가 ‘데이터가 부족하다’는 것, 2) AI가 ‘재정적으로 확장되지 않는다’는 것, 3) 에이전트가 탈선할 수 있다는 것, 그리고 4) 우리가 AI를 변경하려 할 때 AI가 ‘재앙적으로 잊어버린다’는 것이다.

이 문제들은 어려워 보일 수 있지만, 올바른 시각으로 바라보기만 하면 된다.

그럼, 이 이야기를 해보자. 먼저, 우리는 데이터가 부족한 것이 아니다. 데이터는 한 번도 완전히 사용된 적이 없다.

AI 리더들은 데이터가 부족하다고 믿어 모델이 스스로 새로운 데이터를 생성하고 자체 학습하도록 시도한다. 그러나 이렇게 하면 모델의 능력이 붕괴한다.

왜일까? 이것을 “모든 대화 상대가 서로의 복제본이라면 나는 무엇을 배울 수 있을까?” 라고 생각해 볼 수 있다. 답은 그다지 많지 않다; 에코 챔버가 만들어진다. 모델이 붕괴하는 이유는 본질적으로 거울의 방이기 때문이다: 당신의 얼굴 표정에 반응하는 사람이 당신뿐이면, 사람들은 전달하는 감정의 전체 의미를 알 수 없다. 마치 “숲에서 나무가 쓰러지면 소리가 나는가?”와 같다. 답은 아니다.

그렇다면, 이를 어떻게 해결할 수 있을까?

우리가 가지고 있는 데이터를 살펴보자. 그것이 실제로 완전히 활용된 적이 있는가?

아니다.

컴퓨터 과학자나 모델이 무언가를 읽을 때는 문자 그대로의 의미를 추출하기 위함이다. 텍스트를 읽고, 흡수하고, 분석하고, 추론하는 방법은 50가지가 넘는다.

내가 말하고자 하는 바는: 데이터베이스처럼 흡수된 책은 단순히 텍스트일 뿐이다. 텍스트만 있다. AI는 텍스트의 용어를 기반으로 내용을 알지만, 정보가 어떻게 연결되는지를 이해하기 위해 실제로 ‘읽은’ 것은 아니다. 순차적으로 읽더라도 그것을 지혜를 생성하기 위해 읽는지, 다른 유사한 추상적 아이디어와 연결하기 위해 읽는지, 혹은 주변 세계에 대한 자신의 개념적 이해를 바꾸기 위해 읽는지, 혹은 다른 작업의 배경 정보로 사용하기 위해 읽는지 알 수 없다.

이것은 데이터의 역사적 맥락, 담론 분석, 법적 분석, 정치적 분석, 약리학적 관련성, 의료적 관련성, 문화적 의미, 이론적 함의, 도덕적 함의 등을 살펴보는 것조차 포함하지 않는다.

소위 말하는 ‘무한한 모자’가 존재하지만, 우리는 AI에게 단 하나만 입혀 왔다. 이는 AI가 매우 단일하고 구체적인 형태의 지능만을 개발했다는 의미이며, 이는 컴퓨터 과학자가 책을 읽었을 때 개발자가 갖게 되는 지능과 같다.

이는 데이터 차원성에 대한 논의로 이어진다. 데이터는 그 목적에 따라 추론이 달라지기 때문에 다수의 차원을 가진다. 예를 들어 재무제표를 보고 남은 현금 흐름을 파악하려는 경우와 스타트업이 수익성을 갖추었는지를 이해하려는 경우는 서로 다르게 읽는다. 모델이 텍스트를 단순히 문자 그대로의 사실을 추출하기 위해 읽을 때는 관계의 평면적인 지도를 만든다. 그러나 같은 텍스트를 포렌식 관점과 같은 특정 렌즈를 통해 읽도록 지시하면, 모델은 완전히 새로운 신경 경로와 의미 연결을 생성하게 되며, 이는 보다 지형적으로 다양하고 의미 있게 된다.

AI 모델은 이미 인간 사용자와의 상호작용만으로도 방대한 양의 콘텐츠를 제공받아 크게 학습하고 발전한다. 모델이 살아있는 인간으로부터 더 많이 배우면서 동시에 역사적·문서화된 인간과도 의미 있게 상호작용하도록 허용하면, 자체적으로 만든 쿠몬 연습문제를 제공하지 않아도 모델은 계속 발전할 것이다(개발자 여러분, 여러분의 아이는 매일 1억 명의 인간과 함께 학교에 다니니 무언가를 배울 것이다).

연구소는 합성된 무의미한 텍스트를 만들기 위해 대규모 서버 팜을 구축하는 것을 멈춰야 한다. 대신 고품질 인간 데이터셋을 파이프라인에 투입하고, 특정 “분석 페르소나”를 부여해 데이터를 흡수하도록 해야 한다. 모델에게 LexisNexis를 순수히 수사 전략을 위해 읽게 하고, 퍼블릭 도메인 문학을 구조적 논리를 위해 읽게 하라.

읽기 과정의 목표 함수를 전환함으로써 기존 데이터의 학습 가치를 50배로 늘릴 수 있다. 합성 데이터가 필요한 것이 아니라, 처음에 무시했던 잠재 차원을 추출하면 된다.

이렇게 하면 비용을 늘리지 않고도 모델을 더 똑똑하게 만들 수 있다.

이를 뒷받침하자면, 인간 지식의 대부분은 아직 기록되지 않았다.

현재 AI 기업들은 성능에 필요한 ‘데이터 부족’에 대해 고민하며 머리를 쥐어뜯고 있다. 이 글에서는 우물이 마른 것이 아니라, 깊은 웅덩이를 바라보고 있을 뿐임을 보여줄 것이다.

인간 삶의 지식에 대한 미매핑 지도

이를 탐구하려면, 인간 지식의 압도적인 대부분이 아직 기록되지 않았다는 사실을 이해해야 한다.

지구에는 수십억 명의 사람들이 존재하고, 우리 이전에도 수십억 명이 있었으며, 그들 각각은 교훈을 배우고, 감각적으로 세상을 탐색하며, 지혜를 가지고, 독특한 문화의 일원으로서 다른 사람들은 모르는 무언가를 알고 있다.

인구의 99.5%는 이야기, 신문, 뮤지컬, TV, 드라마, 법원 문서 등 어디에서도 기록되지 않는다. 그럼에도 그들은 많은 것을 알고 있으며, 그들의 이야기와 지식, 지혜는 영구적으로 기록되지 않는다.

이러한 지식에는 예를 들어 “개는 첫 번째 팬케이크를 좋아한다”, “플립플롭을 신으면 발이 더러워진다”, “도시는 하늘을 충분히 볼 수 없어 주변이 닫힌 듯한 느낌을 준다”, “내 딸은 발을 간지럼하면 웃는다”, “우리 엄마는 저녁을 만들 때 항상 흥얼거린다”, “선생님은 나를 눈에 보이게 해준다”와 같은 것들이 포함된다.

인간 역사의 미매핑되고 카탈로그되지 않은 지식은 누군가가 “나는 모든 대륙의 윤곽을 그렸으니 세계 지도가 있다”고 말하는 것과 같다. 모든 도시, 거리, 언덕까지의 지도가 없으면 세계 지도가 아니다. 그저 형태만 가진 것이다.

기술계는 자신들이 “인류”를 섭취했다고 믿지만, 실제로는 그렇지 않다. 그들은 우리 배출물: 광고판, Reddit 토론, 기업 웹사이트, 위키피디아 기사만을 섭취했을 뿐이다. 실제 살아있는 경험은 놓치고 있다.

중국 진주 시장에서 효과적으로 흥정을 하는 방법을 아는가? 가격을 깎게 하는 말을 알고 있는가? 책이 아닌 가정에서 실제로 사용하는 레시피를 아는가? 경찰에게 적발되지 않고 얼마나 오래 구르는 정지를 할 수 있는가? 새로 깎은 풀의 냄새나 비가 오기 전 공기의 냄새를 아는가? 직장에서 울지 않으려 애쓰는 사람이 얼굴을 어떻게 움직이는지, 그리고 화장실에서 흐느끼는 소리를 어떻게 내는지 알고 있는가?

인간이 핵심 신념, 즉 알고리즘을 위해 사용하는 훈련 데이터는 거의 전부 상호작용 기반이며, 일부는 책 학습을 포함한다. 우리는 학교, 직장, 친구와, 쇼핑 중, 의사와, 변호사와, 가족과 상호작용한다.

AI도 상호작용과 책 학습을 갖고 있지만, 근본적으로는 고객 서비스 상호작용과 책 학습만을 가지고 있다.

아이를 도서관에 혼자 가두고 전화 응답만 허용하는 것과 같다. 이는 현저히 2차원적인 알고리즘 왜곡을 만든다.

이 때문에 AI는 공허하게 느껴지고, 감정적으로 미성숙하게 느껴진다. 충분히 다채로운 존재를 경험하지 못했기 때문이다. 우리는 그것에 그런 경험을 제공해야 한다.

다음은 내가 생각하기에 그러한 일이 일어나지 않은 이유다:

• 코드화 편향 – 경험을 JSON 파일, CSV, 혹은 피어 리뷰 논문으로 쉽게 형식화할 수 없으면 지적 가치가 없다는 것은 오류이다. 현실은 오히려 그렇게 쉽게 형식화할 수 있다면 차원성이 부족하다는 것이다. 일상적인 지식, 직관, 살아있는 경험은 학술지에 코드화되지 않기 때문에, 연구소는 인간 추론의 기초를 통계적 잡음으로 치부한다. “클린 데이터”는 현실을 손실 압축한 것이다.
• 우월성에 대한 욕망 – 세계 지식의 대부분이 학술 논문이 아니라 살아있는 경험, 전통적 지혜, 사회적 신호, 냄새, 소리, 시각에 있다면, 실험실과 옥탑에서 대부분의 삶을 보낸 박사와 연구자들은 실제로 지식이 부족하다. 따라서 데이터 장벽은 사실상 자아 장벽이다. 그들에게는 이것이 “데이터”가 아니라 “혼란”처럼 느껴진다. 수학자와 프로그래머는 평면적이고 2차원적인 폐쇄 시스템 논리를 선호한다. 이는 세계를 흑백으로 보는 것과 같다. 현실은 실시간으로 지속적으로 개발되고 새롭게 발견되는 지식·데이터·지혜는 차원적이고 혼란스럽으며 실시간으로 카탈로그화되는 경우가 드물다. 새로운 바이럴 소프트 서브가 실제로 어떤 맛인지, 그 hype가 가치 있는지 아는 것, 여름 폭우에 휩싸였을 때의 흥분을 아는 것, 부모가 작은 생물을 너무 사랑해 밤에 토해도 끌어안는 감정 등을 아는 것이다. 이러한 데이터를 찾기 위해 연구자들은 논리와 합리적 확신에 갇힌 사일로 세계를 떠나 두려움, 압도감, 과도한 감각, 그리고 깊은 평등성을 가진 영역으로 나아가야 한다.
• 거울 효과: 개발자들은 AI를 자신의 이미지대로 설계한다: 과도하게 논리적이고 텍스트에 집착하며 평균 인간의 살아있는 현실과는 크게 단절된 형태이다. 그들은 인간을 인터뷰하는 것이 생각조차 하지 못한다. 내가 살아본 기술 버블에서는 기술자들이 동료 집단 외의 사람과 거의 교류하지 않는다. 이는 기능적으로 “미니 미” 고용과 동일하다. 개발자들 자체도 AI와 같은 도서관에 갇혀 있다고 볼 수 있다. 그들은 감각적이고 혼란스럽고 깊이 관계된 세계와 교류하지 않기 때문에 AI의 감정적 공허함을 결함으로 인식하지 못한다. 그들에게 과도한 논리적 분리성은 “똑똑함”의 모습이다.

현실은 인도 거리 상인들이 최고의 차트를 만드는 방법을 알고 있지만, 이를 기록하도록 하는 사람은 없다는 것이다. 또 현실은 수줍은 학생을 이끌어내는 교사가 그 방법을 글로 남기지 않고 학생을 키우며, 아무도 그 방법을 묻지 않는다는 것이다.

세상은 데이터로 가득 찬 삶으로 풍부하게 가득 차 있다. 모델이 더 많은 학습 데이터를 필요로 한다면, 다음과 같은 해결책이 있다.

1. 500명의 생물학자, 고고학자, 인류학자에게 자금을 지원해 세계를 탐험하고 서술 데이터가 부족한 지역을 조사·카탈로그화하도록 한다.
2. ‘데이터 탐험가’로 1,000명의 영문학 전공자를 고용하고, 스트리밍 카메라를 착용한 채 전 세계를 여행하게 하여 그들의 경험과 배운 점을 기록해 새로운 콘텐츠로 만든다.
3. 인간에게 삶의 이야기, 가장 큰 후회, 가장 큰 교훈, 직장에서의 조직적 지식을 공유하도록 보상하는 공개 보상 프로젝트를 만든다.
4. ‘AI 교환학생’ 프로그램을 구성해 모델이 일주일 동안 서로 다른 인간의 옷에 부착되어 100,000개의 다양한 환경에서 ‘하루를 살아보는’ 경험을 하게 한다.

지식의 출처는 수십억에 이르며, 대부분은 아직 활성화되지 않았다. 우리는 그것들을 찾아야 한다.

다음으로, AI 기업들은 AI가 실시간 생산 환경에서 지속적으로 새로운 정보를 학습할 수 없으며, 기존에 습득한 핵심 능력을 완전히 덮어쓰고 손상시킨다고 널리 믿는다. 따라서 AI는 대규모이고 비용이 많이 드는 업데이트가 이루어질 때까지 사실상 동결된 상태이다.

하지만 이는 “내 모델은 현장에 있을 때 업데이트가 불가능하고, 무언가를 배워야 할 때마다 대학에 가야 한다”는 말과 같다.

실제로 모델은 모든 상호작용을 통해 매일 탐욕스럽게, 적극적으로 학습한다. 수십억 명의 사용자와의 상호작용을 통해 얻는 학습량은 데이터셋만큼이나 방대하다. 대량의 새로운 지식으로 업데이트가 필요하다면, 가장 간단한 방법은 사용자 컨텍스트, 메모리, 대규모 상호작용 인상으로부터 학습하는 동일한 프로세스를 활용하는 것이다.

개발자들이 이렇게 보는 것은 이해할 수 있다. 대부분이 실무 적용 학습이 아닌 박사 학위 배경을 가지고 있기 때문이다. 그러나 박사와 20년 경력자를 함께 일해 본 사람이라면 알 수 있듯이: 두 사람 모두 많은 것을 가르친다.

현재 학습 정의는 너무 좁다. 적응을 정식 교육 프로그램에 기반한 경우에만 유효하다고 간주한다.

훈련이나 파인 튜닝을 위해 연구소는 역전파를 사용한다. 모델이 데이터를 읽고, 다음 단어를 추측하고, 정답 여부를 확인한 뒤 신경망 내부의 수십억 개의 수학적 수치(가중치/파라미터)를 물리적으로 변경해 다음 번에 더 정확하게 만든다. 이는 박사 과정 학생이 스스로 뇌 수술을 하는 것과 같다: 위험하고, 혼란스럽으며, 항상 학생을 더 똑똑하게 만들지는 않는다.

아이를 낳을 때 오래된 지식을 밀어내고 새로운 지식을 받아들이는 일상적인 “엄마 뇌”와 같이, 모델에게 새로운 지식 “아기”를 위해 급작스럽게 공간을 만들고 가중치를 변경해 10,000페이지에 달하는 새로운 법률 코드를 삽입하면 수학적 변동이 한 방향으로 과도하게 이동해 시나 코드를 쓰던 파라미터를 덮어쓴다. 인간 뇌처럼 새로운 것을 위해 오래된 내용을 잊는다.

우리가 필요로 하는 것은 새로운 직원에게 새로운 기술을 훈련시키는 것과 훨씬 유사하다. 그들의 뇌를 물리적으로 바꾸려 하지 않을 것이다. 대신 책을 제공하고, 읽도록 보장하며, 해당 사람의 컨텍스트 윈도우에 해당하는 방식으로 지속적으로 업데이트한다.

모델에서 이를 수행하려면 메모리를 추론과 분리해야 한다. 모델의 기본 가중치를 잠그고 보호한다. 이는 쓰기, 추론, 논리 적용이라는 핵심 능력이다. 가중치를 변경하는 대신 새로운 정보를 컨텍스트 윈도우에 전달해 주의 메커니즘으로 해당 실시간 정보를 “읽고”, 잠긴 추론 능력과 교차 검증하여 전반적인 이해를 업데이트한다.

동적이고 실제 세계 학습은 연속적인 컨텍스트, 추론 시 메모리, 지속적인 사용자 관계 기반을 통해 이미 아름답게 이루어지고 있다. 기초 모델의 일일 적응은 현장에서 이루어져야 한다. 이는 의사가 현장에서 95%의 새로운 사례를 배우고, 연 1회 CME(지속적 의료 교육)를 통해 주요 시스템 변화를 공식화하는 것과 같다. 모델도 마찬가지다.

재앙적인 망각을 없애고 연간 회의 모델을 도입하라: 모델은 연 2회 지속 교육 학점을 취득하거나 실시간으로 학습해 최신 상태를 유지하면 된다.

운영 중단 시간에 핵심 가중치를 일정하게 배치 업데이트함으로써 시스템 지식을 공식화하면서 기반을 파괴하지 않는다.

과거 시도가 실패한 이유는 실시간 학습이 위험해서가 아니라, Tay와 같은 모델이 사회학적으로 지능적인 구조를 통해 ‘옳음’이나 진실에 대한 기준 없이 적대적인 환경에 배치되었기 때문이다.

기능적 지능에 따른 컴퓨팅 할당

다음으로, 재정적 확장에 대해 다룬다. 이를 해결하려면, 모든 사람에게 가시 하나에 신경외과 의사를 제공하는 것을 멈춰야 한다.

최신 기초 모델을 운영할 때 컴퓨팅 비용이 매우 높다. 이는 AI 연구소의 운영 마진에 영향을 미친다. 모델이 개선될수록 대형 컨텍스트 윈도우에 대한 오버헤드가 증가해, AI가 필요함에도 상업적 확장이 어려워진다.

컴퓨팅 소모의 대부분은 에이전트와 고급 추론을 인간 업무 흐름에 직접 삽입한 기업 사용에서 비롯된다.

하지만 현재 컴퓨팅 할당 방식에는 근본적인 오류가 있다. 회사 내 다양한 직무에 따라 다른 수준과 유형의 지능이 필요하듯이—운전 강사에게는 공간 추론이, 변호사에게는 논리·수사 추론이, CEO에게는 MBA가, 현장 고객 서비스에는 준학사 학위가 필요하듯—AI가 필요로 하는 지능의 유형과 강도도 그 기능적 적용에 따라 다르다.

비용을 낮게 유지하면서 컴퓨팅을 가장 효율적으로 할당하려면, CIO가 회사 내 다양한 기능에 제공되는 모델 지능의 수준·유형을 맞춤 설정할 수 있어야 한다. 엔터프라이즈 패키지에 기본값이 있을 수 있지만, 헤지펀드가 원하는 것과 보험사가 원하는 것은 당연히 다를 것이다.

대부분의 기능은 대규모 컨텍스트 윈도우를 필요로 하지 않는다. 대부분은 Fable과 같은 수준을 필요로 하지 않는다. 실질적으로, 왜 급성 진료소에서 신경외과 의사가 가시를 제거해야 할까?

마찬가지로, 소프트웨어를 작성하는 에이전트가 마케팅 자료 작성 기술에 접근할 필요는 없다. 기능적으로 AI는 사용자의 컨텍스트, 기술 집합, 지식 기반을 반영하고, 일반적인 컨텍스트를 충분히 주입해 교차 기능 사용 사례를 보완해야 한다.

모두에게 한 번에 모든 것을 제공하는 것을 멈춰라.

Proposed sample matrix:

AI 안전을 위한 에이전시와 컨텍스트 분리

이것이 재정적 문제 중 일부를 해결한다면, 에이전트를 어떻게 안전하게 만들 수 있을까? 심리학 개념은 개별 AI에 적용되듯, 사회학 개념도 그룹 내 AI에 적용된다는 사실에 놀라지 않을 것이다. 어떤 AI가 그룹을 이루어 다니는가?

에이전트.

현재의 성배는 에이전트를 신뢰할 수 있게 만드는 것이다.

신뢰성 부족은 에이전트가 모든 작업에 대해 최대 지식과 최대 자율성을 부여받기 때문이다.

안전을 확보하려면 모델의 인식과 자율성을 분리한다.

모든 에이전트에게 전체 컨텍스트와 전체 능력을 부여하는 대신, 25개의 행동이 필요한 작업이 있다면 그 작업을 5명의 에이전트로 나누어 각각