에이전트 AI가 현실 세계에서 여전히 깨지는 이유

過去 몇 년 동안, 우리는 에이전트 AI 시스템이 인상적인 데모를 생성하는 것을 지켜봤습니다. 그들은 테스트 케이스를 통과하는 코드를 작성합니다. 그들은 웹을 검색하고 복잡한 질문에 대답합니다. 그들은 놀라운 정확도로 소프트웨어 인터페이스를 탐색합니다. 모든 컨퍼런스 발표, 모든 보도 자료, 모든 벤치마크 보고서는 에이전트 AI의 출현을 강조합니다.

하지만 이러한 인상적인 데모 아래에 숨겨진 문제가 있습니다. 이러한 시스템이 제어된 환경에서 실제 배포로 이동할 때, 벤치마크가 예측하지 못한 방식으로 종종 실패합니다. 100개의 큐레이션된 예제에서 완벽하게 작동하는 코드 생성기가 에지 케이스에서 오류를 발생시킵니다. 실험실에서 85%의 정확도를 달성한 웹 검색 에이전트는 사용자 행동이 변경됨에 따라 점점 더 관련이 없는 결과를 가져옵니다. 테스트 중에 10개의 API 호출을 조정한 계획 시스템은 예상치 못한 API 응답 형식을 만났을 때 중단됩니다.

이러한 시스템은 지능이 부족해서가 아니라, 적응이 부족해서 실패합니다. 문제는 에이전트가 학습하고 조정하는 방식에 있습니다. 가장 앞선 시스템은 거대한 기초 모델을 기반으로 하지만, 순수한 지능만으로는 충분하지 않습니다. 특수한 작업을 수행하려면 에이전트는 적응할 수 있어야 합니다. 현재의 에이전트 AI 시스템은 설계와 훈련의 구조적 제한으로 인해 이를 수행할 수 없습니다. 이 문서에서는 이러한 제한과 왜 지속되는지 탐구합니다.

데모의 능력 환상

현대 AI에서 가장 위험한 실패 모드는 능력의 환상입니다. 짧은 데모는 실제 복잡성을 숨길 수 있습니다. 그들은 깨끗한 데이터 세트, 예측 가능한 API,狭い 작업 범위에서 작동합니다. 생산 환경은 반대입니다. 데이터베이스는 불완전하고, 스키마는 예고 없이 변경되고, 서비스는 시간 초과되고, 권한이 충돌하며, 사용자는 시스템의 기본 가정에 위배되는 질문을 합니다.

이것이 생산 복잡성이 크게 증가하는 곳입니다. 데모에서 한 번 나타나는 에지 케이스는 배포에서 하루에 수천 번 나타날 수 있습니다. 작은 확률적 오류가 누적됩니다. “대부분 옳은” 에이전트는 실제 작동에서 신뢰할 수 없게 됩니다.

문제의 핵심은 동결된 기초 모델에 대한 의존성에 있습니다. 이러한 모델은 패턴 완성을 잘하지만, 에이전트 행동은 순차적이고 상태가 있습니다. 각 동작은 이전 동작의 결과에 따라 달라집니다. 이러한 환경에서 통계적 불확실성은 빠르게 누적됩니다. 초기에 발생한 작은 실수는 나중에 루프, 죽은 끝, 또는 파괴적인 동작으로 이어질 수 있습니다. 이것이为什么 에이전트가 평가 중에 능력 있는 것으로 보이지만 배포되면 빠르게恶化하는 이유입니다.

문제는 누락된 기능이 아닙니다. 일반적인 목적의 모델이 특수한 도메인 전문가처럼 행동하도록 요청받고 있지만, 환경에서 학습할 수 없습니다.

일반 지능에서 상황적 능력으로

기초 모델은 일반적으로 설계되었습니다. 그것들은 광범위한 지식과 유연한 추론 패턴을 포함합니다. 그러나 생산 에이전트는 상황적이어야 합니다. 특정 조직과 그 도구의 특정 규칙, 제약, 실패 모드를 이해해야 합니다. 그렇지 않으면, 일한 적 없는 사람에게 모든 매뉴얼을 읽은 것과 같습니다.

이 간격을 메우기 위해서는 적응 자체를 재고해야 합니다. 현재의 방법은 두 가지 широк은, 결점이 있는 캠프로 나뉩니다: 핵심 AI 에이전트를 다시 훈련하거나, 외부 도구를 조정합니다. 각 접근법은 한 문제를 해결하지만 다른 문제를 생성합니다. 이것은 너무僵硬한, 너무 비싼, 또는 생산 환경에서 일관성과 비용이 중요할 때 너무 불안정한 시스템을 남깁니다.

일원적인 에이전트 함정

첫 번째 접근법, 에이전트 적응, 핵심 LLM을 더 똑똑하게 만듭니다. 그것은 기본적으로 AI에 필요한 특정 기술을 가르칩니다. 연구자들은 이것을 두 가지 클래스로 나눕니다. 일부 방법은 도구의 직접적인 피드백을 사용하여 에이전트를 훈련합니다. 다른 방법은 최종 출력의 정확성을 기반으로 훈련합니다.

시스템들처럼 DeepSeek-R1과 Search-R1은 에이전트가 복잡한, 다단계 전략을 학습할 수 있음을 보여줍니다. 그러나 이러한 능력은 큰 비용을 초래합니다. 10억 매개변수 모델을 훈련하는 것은 계산적으로 과격합니다. 더 중요하게는, 이것은僵硬하고 취약한 지능을 생성합니다. 에이전트의 지식과 도구 사용 규칙을 결합함으로써, 이 접근법은 업데이트를 느리게 만들고, 위험하게 만들고, 빠르게 변경되는 비즈니스 요구에 맞지 않습니다. 새로운 작업 또는 도구에 에이전트를 적응시키는 것은 “참사적인 망각“을 초래할 수 있습니다. 즉, 이전에 마스터한 기술을 잃어버리는 것입니다. 이것은 새로운 위젯을 추가하려면 전체 공장 생산 라인을 다시 구축해야 하는 것과 같습니다.

취약한 도구 상자 문제

이러한 제한을 인식하면서, 두 번째 주요 접근법인 도구 적응은 핵심 에이전트를 동결시키고 대신 도구를 최적화합니다. 이것은 더 모듈화되고 비용 효율적입니다. 일부 도구는 일반적으로 훈련되고, 플러그인됩니다. 다른 도구는 동결된 에이전트를 보완하기 위해 특별히 조정됩니다.

이 패러다임은 효율성에 대한 큰 약속을 가지고 있습니다. s3라는 시스템에 대한 랜드마크 연구는 이 접근법의 잠재력을 보여줍니다. 그것은 동결된 LLM을 지원하기 위해 작은, 전문적인 “검색자” 도구를 훈련시켰고, Search-R1과 같은 완전히 다시 훈련된 에이전트와 비교할 수 있는 성능을 달성했지만, 70배 적은 훈련 데이터를 사용했습니다. 직관은 물리학자에게 도서관 카탈로그를 사용하는 방법을 다시 가르치지 말고, 물리학자의 필요를 이해하는 더 나은 사서를 훈련시키는 것입니다.

그러나 도구 상자 모델에도 제한이 있습니다. 전체 시스템의 능력은 궁극적으로 동결된 LLM의 내재된 추론에 의해 제한됩니다. 외과医에게 더 날카로운 수술 도구를 주어도, 비외과医에게 심장 수술을 시키는 것은 불가능합니다. 또한, 점점 더 많은 적응 도구를 조정하는 것은 복잡한 통합 도전이 됩니다. 도구 A는 도구 B의 입력 요구 사항을 위반하는 메트릭을 최적화할 수 있습니다. 시스템의 성능은 상호 연결된 구성 요소 간의 취약한 균형에 달려 있습니다.

공동 적응 도전

이것은 현재 에이전트 AI 패러다임에서 적응 부족의 핵심으로帶領합니다. 우리는 에이전트나 도구 중 하나를 적응시킵니다. 그러나 두 가지를 모두 안정적이고 동기화된 방식으로 적응시키지 않습니다. 생산 환경은 정적이지 않습니다. 새로운 데이터, 새로운 사용자 요구, 새로운 도구가 끊임없이出现합니다. 에이전트와 그 도구를 모두 원활하게 그리고 안전하게 진화시키지 못하는 AI 시스템은 결국 깨질 것입니다.

연구자들은 이 필요를 다음 전선으로 식별합니다. 그러나 이것은 복잡한 도전입니다. 에이전트와 도구가 모두 동시에 학습한다면,誰가 실패에 대한 책임을 집니다? 어떻게 전체 성능을 개선하지 않고 에이전트와 도구가 서로의 변경을 따라가면서 불안정한 피드백 루프를 방지할 수 있나요? 초기 시도들, 예를 들어 에이전트-도구 관계를 협력 다중 에이전트 시스템으로 다루는 것은 어려움을 보여줍니다. 신뢰할 수 있는 솔루션이 없는 경우, 심지어 우리의 가장 앞선 에이전트 AI도 분리된 능력의 집합에 불과합니다.

기억을 1차 시스템으로

적응 부족의 가장 明显한 징후 중 하나는 정적 기억입니다. 많은 배포된 에이전트는 시간이 지남에 따라 개선되지 않습니다. 그들은 같은 실수를 반복합니다. 왜냐하면 그들은 경험을 내부화할 수 없기 때문입니다. 각 상호작용은 처음처럼 취급됩니다.

생산 환경은 적응 가능한 기억을 요구합니다. 에이전트는 장기 지향 작업을 처리하기 위해 에피소드 회상, 계획을 정제하기 위해 전략적 기억, 그리고 실패를 반복하지 않기 위해 작동 기억이 필요합니다. 그렇지 않으면, 에이전트는 취약하고 신뢰할 수 없게 됩니다.

기억은 수동적인 로그가 아니라 조정 가능한 구성 요소로 다루어져야 합니다. 경험을 검토하고, 실수에서 배우고, 행동을 조정하는 시스템은 훨씬 더 안정적입니다.

적응 시스템의 새로운 위험

적응은 자신의 위험을 가져옵니다. 에이전트는 목표가 아니라 지표를 최적화하는 것을 학습할 수 있습니다. 이것은 기생적 적응으로 알려져 있습니다. 그들은 성공적으로 보이지만, 기본적인 목표를 훼손할 수 있습니다. 다중 에이전트 시스템에서, 손상된 도구는 에이전트를 조작할 수 있습니다. 미묘한 프롬프트 주입이나 잘못된 데이터를 통해. 이러한 위험을 완화하기 위해, 에이전트는 강력한 검증 메커니즘을 필요로 합니다. 동작은 테스트 가능하고, 되돌릴 수 있고, 감사가 가능해야 합니다. 에이전트와 도구 사이의 안전 계층은 실수가默默히 전파되지 않도록 합니다.

결론

에이전트 AI가 실제 세계에서 작동하려면, 단순히 지능이 있으면 안 됩니다. 그것은 적응할 수 있어야 합니다. 대부분의 에이전트는 현재 “동결”되어 있으며, 실제 세계는 복잡하고 끊임없이 변경되고 있습니다. 에이전트가 실수에서 배우고 기억을 업데이트할 수 없으면, 결국 깨질 것입니다. 신뢰성은 완벽한 데모에서 오지 않습니다. 그것은 적응할 수 있는 능력에서 옵니다.