신뢰성은 에이전트형 AI의 진정한 시험이다

지난 2년 동안, 업계는 한 가지 질문을 던져왔습니다: AI 에이전트가 실제 업무를 처리할 만큼 충분히 능력이 있나요? 질문을 멈출 수 있습니다. 우리는 그들이 가능하다는 것을 알고 있지만, 에이전트가 비용이 큰 실수를 저지르기 직전인지 식별하고, 그 실수가 발생하기 전에 멈출 수 있는지에 레이저처럼 집중해야 합니다.

프로덕션에서 가장 심각한 실패는 보통 깔끔한 모델 오류처럼 보이지 않습니다. 에이전트는 모든 API 호출을 성공적으로 완료하더라도 오래된 컨텍스트에서 작업하거나, 실패 중인 도구를 재시도하거나, 규칙을 위반하는 행동을 향해 나아갈 수 있습니다. 신뢰성이 에이전트형 AI 프로그램이 파일럿 단계에서 벗어날 수 있는지를 좌우합니다.

“2025년 AI 현황: 에이전트, 혁신, 그리고 변혁”에 따르면, McKinsey 설문조사, 62%의 조직이 AI 에이전트를 실험하고 있지만, 이 중 약 10%만이 어떤 기능에서도 확장하고 있습니다. 동료에게 에이전트가 작동한다는 것을 보여주는 것은 쉽습니다. 실제 데이터와 연결된 시스템 전반에 걸쳐 안전하게 운영하는 것은 쉽지 않습니다.

에이전트형 AI가 위험을 가중시키는 이유

에이전트는 확률적 추론, 도구 사용, 그리고 어느 정도의 자율성을 결합합니다. 이는 에이전트를 유용하게 만들지만, 동시에 전통적인 애플리케이션보다 더 빠르게 오류가 누적되는 상황을 기업에 초래합니다.

컨텍스트

에이전트는 제공된 컨텍스트에서만 작업할 수 있습니다. 따라서 그 컨텍스트가 불완전하거나 오래되었거나 오류가 있다면, 초기의 잘못된 해석이 이후 모든 단계에 영향을 미칩니다. 결함이 있는 챗봇 답변은 성가실 수 있습니다. 접근 권한을 변경하거나 인프라에 영향을 주는 잘못된 해석은 사고가 됩니다. 문제가 발생했을 때 에이전트가 올바른 증거를 사용했는지, 정책을 따랐는지, 허용 가능한 범위 내에 머물렀는지를 파악하는 것이 중요합니다.

지식 베이스

에이전트는 또한 지식 베이스, 티켓팅 시스템, 결제 플랫폼에 연결되며, 각 연결은 공격 표면을 확대합니다. 에이전트가 잘못된 도구를 호출하거나, 올바른 도구를 잘못된 순서로 호출하거나, 검색된 콘텐츠에 숨겨진 지시를 수행할 수 있습니다. 이러한 경우는 알려진 실패 유형이며, 여기에는 허구 생성과 에이전트가 도구와 컨텍스트를 연결하는 과정에서 발생하는 보안 취약점이 포함됩니다.

녹색 대시보드는 오해를 일으킬 수 있습니다: 인프라는 정상으로 보이지만 에이전트가 같은 도구를 조용히 반복해서 조회하고 있습니다. 이는 정상적인 장애가 아니라 드리프트의 초기 징후입니다.

비결정성

비결정성은 사고 대응을 더욱 어렵게 만듭니다. 전통적인 서비스 장애는 보통 요청 ID와 알려진 소프트웨어 버전으로 재현할 수 있습니다. 에이전트 실행은 모델 버전, 검색한 문서, 반환된 도구 출력, 그리고 일련의 중간 결정에 의존합니다. 에이전트가 받은 내용과 시도한 내용을 기록하지 않으면 근본 원인 분석과 거버넌스 모두 크게 어려워집니다.

비용 및 지연

비용과 지연은 다른 관점에서 동일한 이야기를 전달합니다. 토큰 사용량이나 재시도가 급증하면 사용자가 결국 답을 얻더라도 잘못된 계획이나 루프를 나타낼 수 있습니다. 추론 비용이 급격히 감소했습니다 지난 몇 년 동안이며, 저렴한 추론으로 인해 비효율적인 행동을 무시하기가 쉬워지고, 그 행동이 수천 개의 워크플로우에 걸쳐 반복될 때까지 무시하게 됩니다. 비용, 지연 및 재시도를 신뢰성 신호로 간주하십시오 – 단순한 재무 지표가 아니라.

분산 AI도 중앙 집중식 가시성이 필요합니다

명확한 가드레일 없이는 분산이 실패합니다. 워크플로와 에스컬레이션 소유권을 최전선 팀에 두되, 신원, 접근, 사고 대응은 기업 차원에서 유지하십시오. 재무 팀은 일반적인 벤치마크가 절대 할 수 없는 방식으로 정당한 청구서 예외와 부적절한 결제 결정을 구분할 수 있습니다. 같은 설문조사에서, McKinsey는 실제 AI 영향을 보고한 조직이 실제로 AI를 기존 시스템에 억지로 붙이는 대신 워크플로를 재설계한 경우가 거의 세 배 더 많다고 밝혔습니다.

그렇지만, 트레이드오프는 현실적입니다: 사고가 시스템을 가로지를 때 소유권이 급격히 모호해집니다. 해결책은 모든 에이전트, 그 도구, 데이터 접근 및 사고 이력을 공유하는 운영 관점을 갖는 것입니다.

분산 아키텍처는 문제가 발생했을 때 전체 그림을 파악하기 어렵게 만듭니다. 많은 팀이 토큰 양과 비용은 확인할 수 있지만, 에이전트가 실제로 의도한 결과를 안전하게 달성했는지는 확인할 수 없습니다. 워크플로 전반에 걸친 기록이 서로 다른 위치에 존재하면, 팀은 원인 대신 증상을 쫓게 됩니다.

모델 식별자와 도구 호출과 같은 표준화된 텔레메트리 신호는 도움이 될 수 있습니다. 워크플로에서 정상적인 단계 수와 같은 행동 기준선도 시스템이 멈췄을 때 유용한 지속성을 식별하는 데 필요합니다. 평가는 출시 전 일회성 검사가 아니라 지속적인 루프입니다.

프로덕션에서 실제 신뢰할 수 있는 AI는 어떤 모습인가

신뢰할 수 있는 AI는 실수를 피하는 것이 아니라 관리하는 것입니다. 팀은 행동에 대한 가시성이 필요하고, 성능이 변동할 때 알림이 필요하며, 문제가 발생했을 때를 대비한 억제 계획이 필요합니다. 가장 중요한 것은, 모든 에이전트가 접근 및 자율 행동에 대한 명확한 가드레일을 가져야 한다는 점입니다. 또한 인간의 승인도 필요합니다. 

먼저 되돌릴 수 있는 저위험 작업부터 시작하십시오. 프로덕션 변경 및 금융 거래와 같은 중요한 작업은 실제 제어 장치 뒤에 두어야 합니다. 중요한 워크플로는 사후에 재구성될 수 있어야 하며, 여기에는 에이전트가 가져온 컨텍스트, 호출한 도구, 받은 승인, 그리고 결과가 실제로 올바른지 여부가 포함됩니다.

전통적인 서비스 수준 목표는 에이전트의 품질과 안전까지 포괄하도록 확장되어야 합니다; 여기에는 검증된 작업 성공률, 정책 준수율, 인간 에스컬레이션 비율, 성공적인 작업당 비용, 그리고 바람직하지 않은 결과가 발생하는 빈도가 포함됩니다. 임계값은 사용 사례에 따라 달라져야 합니다. 내부 지식 어시스턴트는 규제 데이터를 다루는 에이전트와는 다른 오류 프로파일을 허용할 수 있습니다.

가장 유용한 신뢰성 시스템은 실패가 발생하기 전에 나타나는 조건을 포착하는 방법을 학습합니다. 예를 들어 재시도 횟수의 비정상적인 급증이나 과거에 인간이 개입하게 만든 경로 등이 있습니다. 저위험 워크플로는 자동 수정을 트리거할 수 있습니다. 고위험 워크플로는 일시 중지하고 결정을 권한이 있는 사람에게 전달해야 합니다. 목표는 자율 행동 자체를 위한 것이 아니라, 증거가 뒷받침될 때 더 빠르고 안전한 행동을 구현하는 것입니다.

AI SRE가 루프를 닫는다

여기서 AI SRE가 등장합니다. AI SRE 에이전트는 사고 타임라인을 구성하고, 현재 행동을 과거 사고와 비교하며, 권장 조치를 준비할 수 있습니다. 동시에 조직은 가역적인 작업에 대해서는 통제된 복구를 유지하고, 중요한 작업에 대해서는 인간 승인을 유지합니다.

AI 도입은 빠르게 진행되고 있습니다. 그러나 도입이 곧 운영 성숙도와 동일한 것은 아닙니다. 에이전트형 AI를 성공적으로 확장하는 기업이 반드시 가장 강력한 모델을 단독으로 운영하는 기업은 아닙니다. 오히려 비즈니스 전반에서 에이전트의 행동을 파악하고, 변동의 초기 징후를 포착하며, 작은 오류가 고객, 보안 또는 규정 준수 사건으로 확대되기 전에 개입할 수 있는 기업이 성공합니다. 

AI SRE가 수행하는 역할은 바로 이렇습니다: 분산된 혁신을 중앙화된 가시성과 연결하고, 에이전트형 AI를 기업이 신뢰할 수 있는 시스템으로 전환하는 것입니다.