์ฌ์ ๋ฆฌ๋
AI ์ ๋ขฐ์ฑ ๋ฌธ์ : ์๋ฌด๋ ๋งํ์ง ์๋ ๊ฒ
AI 신뢰성에 대한 지배적인 이야기는 간단하다: 모델은 환상이다. 따라서 기업이 모델에서 최대 효용을 얻으려면 모델이 개선되어야 한다. 더 많은 매개변수, 더 나은 훈련 데이터, 더 많은 강화 학습, 더 나은 정렬.
그리고 아직, 가장 앞선 모델이 더 능숙해짐에도 불구하고, 신뢰성 논의는 사라지지 않는다. 기업 리더들은 여전히 에이전트가 핵심 시스템 내에서 의미 있는 행동을 취하는 것을 주저한다. 이사회는 여전히 물어본다: “우리가 그것을 신뢰할 수 있습니까?”
그러나 환상은 주로 모델 문제가 아니다. 그것은 문맥 문제이다. 우리는 기업 인프라에서 에이전트를 운영하도록 요청하지만, 안전하게推論하기 위해 필요한 구조적 가시성을 제공하지 않는다. 그러면 우리는 추측할 때 모델을 비난한다.
실제 신뢰성 격차는 가중치에 있는 것이 아니라 정보 계층에 있다.
이미징 없이 수술하는 외과수
이미징 없이 수술하는 외과수를 상상해 보라. MRI가 없다. CT 스캔이 없다. 주변 조직의 실시간 시각화가 없다. 일반적인 해부학적 이해와 수술용 메스만 있다. 가장熟練한 외과수도 추측해야 한다. 근사해야 한다. 확률적推論에 의존해야 한다.
이것이 현재 기업 에이전트가 하는 일이다.
에이전트가 워크플로를 수정하거나 ERP 규칙을 업데이트하거나 도구 간에 자동화를 트리거할 때, 종종 환경에 대한 전체 종속성 그래프를 가지고 있지 않다. 사용되지 않는 필드가 다운스트림 대시보드를 구동하는지 모른다. 자동화가 유효성 검사 규칙을 참조하는지 보지 못한다. 두 번째 순위의 영향을 신뢰성 있게 시뮬레이션할 수 없다.
그러므로 그것은 큰 언어 모델이 훈련된 대로 한다: 예측한다. 예측은 이해가 아니다. 구조적 문맥 없이 예측하는 것은 환상으로 보인다.
우리는 잘못된 논쟁을 제기하고 있다
AI 커뮤니티는 모델 중심의 신뢰성 논의에 갇혀 있다. 확장 법칙에 대한 논문. 사슬-생각 이유에 대한 연구. 검색 보강 기술. 평가 벤치마크.
모두 필요하다. 모두 가치 있다. 그러나 누락된 것을 注意해 보라: 기업 시스템 토폴로지에 대한 논의.
기업 환경에서 신뢰성은 단순히 “모델이 올바른 텍스트를 생성한다”는 것을 의미하지 않는다. 그것은 “시스템이 안전하고 추적 가능하며 예측 가능한 변경을 만든다”는 것을 의미한다.
그것은 근본적으로 다른 요구 사항이다.
OpenAI와 Anthropic이 모델 성능 평가를 게시할 때, 그들은 이유에 대한 작업, 코드 벤치마크 또는 지식 회상에 대한 정확도를 측정한다. 이러한 신호는 유용하다. 그러나 에이전트가 15년간 축적된 자동화 부채가 있는 라이브 수익 시스템을 안전하게 수정할 수 있는 능력을 측정하지 않는다.
문제는 모델이 구문적으로 올바른 코드를 작성할 수 있는지 여부가 아니라, 모델이 코드가 배포되는 환경을 이해하는지 여부이다.
생명 시스템은 엔트로피를 축적한다
기업 시스템은 정적 데이터베이스가 아니다. 그것들은 생명 시스템이다. 새로운 통합은 흔적을 남긴다. 새로운 캠페인은 필드를 도입한다. 각 “快速 수정”은 추가적인 자동화 계층을 도입한다. 시간이 지남에 따라 이러한 계층은 아무도 완전히 이해하지 못하는 방식으로 상호 작용한다.
이것은 성장의 기능이다. 복잡한 적응 시스템은 자연스럽게 엔트로피를 축적한다. MIT 슬론 스쿨의 연구는 조직 내부의 정보 비대칭이 운영 위험을 어떻게 합성하는지 오랫동안 강조해 왔다. 한편, Gartner는 데이터 품질이 나쁨으로 인해 조직에 평균 12.9 백만 달러의 비용이 발생한다고 추정한다.
이제 이러한 환경에 구조적 불투명성을 해결하지 않고 자율 에이전트를 삽입하는 것을 상상해 보라.
우리가 결과가 예측할 수 없게 느껴질 때 놀라는 것이 아니다. 에이전트가 악의적이거나愚かな 것이 아니다. 그것은 맹인이다. 그것은 어둠 속에서 구축되고 있다.
검색은 충분하지 않다
일부 사람들은 검색 보강 생성(RAG)이 이 문제를 해결한다고 주장할 것이다. 모델에 문서를 제공하라. 스키마 설명을 제공하라. API에 연결하라.
그것은 도움이 된다.
그러나 문서는 토폴로지가 아니다.
워크플로가 “어떻게” 작동해야 하는지 설명하는 PDF는 17개의 다른 자동화와 상호 작용하는 실제 그래프와 같지 않다.
기업 현실은 거의 기업 문서와 일치하지 않는다.
2023년에 Communications of the ACM에 발표된 연구에 따르면, 구식 문서는 소프트웨어 유지 보수 실패의 주요 기여자이다. 시스템은 내러티브보다 더 빠르게 진화한다.
따라서 우리는 에이전트에게 문서를 제공할 때, 우리는 종종 부분적이거나 이상적인 맵을 제공한다.
부분 맵은 여전히 자신감 있는 실수를 생성한다.
에이전트 레이어는 실제 안전 레이어이다
우리는 안전을 모델 정렬 훈련, 가드레일, 레드 팀, 정책 필터로 생각하는 경향이 있다. 모두 중요하다. 그러나 기업 환경에서 안전은 문맥적이다. 그것은 다음을 아는 것이다:
- 이 필드에 의존하는 것은 무엇인가?
- 이 객체를 참조하는 자동화는 무엇인가?
- 어떤 다운스트림 보고서가 깨질 것인가?
- 이 프로세스의 소유자는 누구인가?
- 이것이 마지막으로 수정된 때는 언제인가?
- 이 현재 구성 이전에 어떤 역사적인 변경이 있었는가?
이 레이어가 없으면, 에이전트는 효과적으로 블랙 박스 내에서 즉흥적으로 행동한다. 이 레이어가 있으면, 에이전트는 행동하기 전에 영향을 시뮬레이션할 수 있다. 환상과 신뢰성의 차이는 종종 가시성이다.
모델이 비난을 받는 이유
그러면 왜 논의가 모델에 इतन 집중하는가? 모델은 가독성이 있다. 우리는 퍼플렉시티를 측정할 수 있다. 우리는 벤치마크 점수를 비교할 수 있다. 우리는 확장 곡선을 게시할 수 있다. 우리는 훈련 데이터의 품질을 논의할 수 있다.
기업 내의 정보 토폴로지는 훨씬 더 더럽다. 그것은跨機能적 조정을 요구한다. 그것은 治理 규율을 요구한다. 그것은 조직이 자신의 시스템의 축적된 복잡성을 직면하도록 강요한다.
“모델이 준비가 안 되었다”라고 말하는 것이 “우리 인프라가 불투명하다”라고 말하는 것보다 쉽다.
그러나 에이전트가 콘텐츠 생성에서 운영 실행으로 이동할 때, 이러한 프레임은 위험해진다.
우리가 신뢰성을 모델 문제로만 다루면, 우리는 에이전트를 의미 있게 인식할 수 없는 환경에 계속 배치할 것이다.
자율성은 문맥을 필요로 한다
Anthropic의 최근 실험에 따르면, 다중 에이전트 소프트웨어 개발 팀은 구조화된 문맥과 지속적인 메모리를 제공할 때 복잡한 작업을跨越하여 조정할 수 있다. 능력 프론티어는迅速하게 발전하고 있다. 그러나 환경 인식이 없는 이러한 자율성은 취약하다.
자율 주행 자동차는 강력한 신경망만을頼하지 않는다. 그것은 라이더, 카메라, 매핑 시스템, 실시간 환경 센싱에 의존한다. 모델은 더广い 感知 스택 내의 한 레이어이다.
기업 AI는 동일한 것을 필요로 한다. 단지 API 액세스가 아니다. 단지 문서가 아니다. 구조화된, 동적 시스템 종속성 이해이다.
그것이 존재하지 않는 한, 환상에 대한 논의는 계속해서 근본 원인을 잘못 진단할 것이다.
숨겨진 위험: 과신
현재 프레임에 또 다른 미묘한 위험이 있다.
모델이 개선됨에 따라, 그 출력은 더 유창해지고, 더 설득력있게 되고, 더 권위적이 된다.
유창성은 과신을 증폭한다.
에이전트가 문맥 없이 시스템을 수정할 때, 실패는 즉시 명백하지 않을 수 있다. 그것은 몇 주 후에 보고서 불일치, 규정 격차 또는 수익 예측 오류로 나타날 수 있다. 모델이 유능해 보이기 때문에, 조직은 그들의 운영 안전을 과대평가할 수 있다. 실제 실패 모드는 설득력 있는 계산 오차이다.
그리고 설득력 있는 계산 오차는 어둠 속에서 번창한다.
신뢰성 질문을 재구성하는 것
우리가 “모델이 충분히 좋은가?”라는 질문을 하는 대신, “에이전트가 안전하게 행동하기 위해 충분한 구조적 문맥을 가지고 있는가?”라는 질문을 해야 한다. 벤치마크 정확도를 측정하는 대신, 우리는 환경 가시성을 측정해야 한다. 매개변수 수를 논의하는 대신, 우리는 시스템 불투명성을 감사해야 한다.
AI 신뢰성의 다음 프론티어는 더 큰 모델이 아니다. 그것은 더 풍부한 문맥 레이어이다.
이것은 다음을 포함한다:
- 기업 시스템의 종속성 그래프
- 실시간 변경 추적
- 소유권 매핑
- 歴史적 구성 인식
- 실행 이전 시뮬레이션
이것은 모두 화려하지 않다. 소셜 미디어에서 트렌드하지 않는다. 그러나 이것은 जह기에 신뢰성이 이길 것이다.
불을 켜고 구축하기
기업 리더들은 에이전트에게 운영 권한을 부여하기 전에 신뢰성을 요구하는 것이 옳다. 그러나 앞으로의 길은 환상이 없는 모델을 기다리는 것이 아니다.
그것은 지능적인 행동을 가능하게 하는 가시성 인프라에 투자하는 것이다.
우리는 종속성을 이해하지 못하는 주니어 관리자가 생산 시스템을 변경하지 못하게 한다. 우리는 에이전트도 그렇게 하지 못하게 해야 한다.
목표는 블라인드 스폿을 줄이는 것이다.
에이전트가 구조적 인식으로 작동할 때, 환상률은 모델이 변경된 것이 아니라, 추측 표면이 줄어들기 때문에 감소한다.
예측은 推論이 된다. 推論은 시뮬레이션이 된다. 시뮬레이션은 안전한 실행이 된다.
불가피한 전환
다음 5년 동안, AI 스택은 분할될 것이다. 한 레이어는 모델 능력에 집중할 것이다: 이유에 대한 깊이, 다중 모달 유창성, 비용 효율성. 다른 레이어는 정보적/문맥적 토폴로지에 집중할 것이다: 시스템 그래프, 메타데이터 지능, 治理 프레임워크.
신뢰성을 모델 선택 과제로만 다루는 조직은 어려움을 겪을 것이다.
신뢰성을 건축적 특성으로 다루는 조직은 더 빠르게 더 적은 위험으로 이동할 것이다.
환상 논의는 유치하게 보일 것이다. 실제 이야기는 가시성에 관한 것이다.
AI는 본질적으로 무책임하지 않다.
그것은 어둠 속에서 작동하고 있다.
우리가 그것을 해결하지 않는 한, 우리는 지능적인 시스템을 구축하고 있지 않다. 우리는 어둠 속의 강력한 예측기를 구축하고 있다.
