AI가 소프트웨어 제공을 가속화함에 따라 인간은 목숨을 걸고 버티고 있다

소프트웨어 개발의 대부분 역사 동안, 사람들은 통제 역할을 해왔습니다. 개발자가 변경을 하면, 다른 사람이 검토하고, 누군가가 승인하며, 결국 배포됩니다.

AI가 그 전체 시스템을 가속화하고 있지만, 우리는 여전히 사람들을 그 중심에 두려 합니다. 개발자는 이제 몇 초 만에 코드와 변경을 만들 수 있습니다. 에이전트는 저장소, 도구, 인프라 및 기타 시스템을 인간 개입을 최소화하면서 작업할 수 있습니다.

우리의 본능은 인간을 다시 프로세스에 끼워 넣는 것입니다. 우리는 풀 리퀘스트를 검토하고, 도구 호출을 승인하며, 변경을 확인하고, 배포를 확정합니다. 이는 AI가 허용되지 않은 일을 하지 않았는지 확인하기 위해서입니다. 우리는 목숨을 걸고 버티고 있다.

그 본능은 타당합니다. 인간 검토는 소프트웨어가 프로덕션으로 이동함에 따라 통제력을 유지할 수 있는 방법을 제공했습니다. 하지만 AI는 인간이 규모를 관리할 수 없는 속도와 양으로 작동하기 시작했습니다.

AI는 이미 인간 검토보다 빠르게 움직이고 있다

소프트웨어 개발에서 생성 AI의 첫 번째 물결은 주로 개발자가 코드를 더 빠르게 작성하도록 돕는 데 초점을 맞췄습니다. 이것만으로도 소프트웨어 전달이 변화합니다. 코드가 많아질수록 애플리케이션 변경, 인프라 변경, 데이터베이스 변경이 테스트, 보안, 검토, 배포, 프로덕션을 거쳐 진행됩니다.

문제는 AI가 더 나쁜 변경을 만든다는 것이 아니라, 더 많은 변경을 더 빠르게 만든다는 점입니다. 그 새로운 결과물 전체를 또 다른 사람이 모든 변경을 검토하는 방식으로 통제한다면, 결국 수식이 맞지 않게 됩니다.

우리는 이미 그 징후를 보고 있습니다. Anthropic은 최근 Claude Code 사용자가 권한 프롬프트의 약 93%를 승인한다는 보고서를 발표했습니다. 회사는 반복적인 프롬프트가 승인 피로를 일으키며, 승인 횟수가 늘어날수록 사람들의 주의가 감소한다는 것을 발견했습니다. Anthropic은 이제 모든 것을 사람에게 승인받게 하는 대신, 행동을 평가하고 잠재적으로 위험한 행동을 차단하기 위해 자동 분류기를 사용하고 있습니다.

이것이 인간 감독에 대해 의미하는 바를 생각해 보세요. 누군가가 93%의 확률로 승인을 클릭한다면, 추가 승인이 반드시 더 많은 통제력을 제공하는 것은 아닙니다. 어느 순간 인간은 워크플로우의 또 다른 단계가 됩니다.

우리는 AI를 사용해 더 많은 소프트웨어를 만들 수 있습니다. 그러나 그에 대응해 동일한 규모의 인간 검토 작업을 만들 수는 없습니다.

AI는 코드 생성에서 행동 수행으로 이동하고 있다

코딩 어시스턴트가 AI에게 개발에서의 역할을 부여했습니다. 에이전트는 AI가 소프트웨어 개발 생명주기(SDLC)의 훨씬 더 많은 부분에 참여할 수 있게 합니다. 에이전트는 목표를 받고, 이를 달성하는 방법을 결정하고, 도구를 사용하며, 결과를 관찰하고, 다음 행동을 조정할 수 있습니다.

소프트웨어 엔지니어링에서 이는 파일 수정, 명령 실행, 저장소와의 상호 작용, API 호출, 코드 테스트 또는 인프라 작업을 의미할 수 있습니다. 사람들은 또한 에이전트가 스스로 작업하도록 점점 더 편안해지고 있습니다. 수백만 건의 인간-에이전트 상호작용을 연구한 결과, Anthropic가 발견했다는 바와 같이, 숙련된 Claude Code 사용자는 전체 자동 승인을 40% 이상의 세션에서 사용했으며, 이는 신규 사용자보다 대략 두 배 높은 비율입니다.

이는 자율 에이전트가 오늘날 모든 프로덕션 환경을 운영하고 있다는 의미는 아닙니다. 실제로 그렇지 않습니다. 그러나 소프트웨어 개발은 이 흐름이 어디로 향하고 있는지에 대한 초기 전망을 제공합니다.

오늘날 AI는 더 많은 변화를 만들고, 인간 검토는 부담을 느끼기 시작합니다. 다음 단계에서는 AI가 SDLC 전반에 걸쳐 참여하게 됩니다. 궁극적으로 에이전트는 인간 개입을 크게 줄인 채 변경을 생성, 검증, 배포, 관찰 및 수정할 것입니다.

각 단계마다 우리는 사람이 통제를 제공하던 영역을 하나씩 제거하고 있습니다. 질문은 AI가 작업을 수행할 수 있는가에서 AI가 스스로 수행하도록 허용되어야 하는가로 바뀝니다.

권한이 곧 권한은 아니다

에이전트가 유용한 작업을 수행하려면 접근 권한이 필요합니다. 소프트웨어 배포를 돕는 에이전트는 저장소, CI/CD 시스템, 클라우드 환경 또는 데이터베이스에 접근해야 할 수 있습니다. 이러한 접근 권한을 빼앗으면 에이전트가 유용하게 만드는 대부분의 요소도 사라집니다.

하지만 접근 권한과 권한은 동일하지 않습니다. 에이전트에게 시스템에 접근할 수 있는 권한을 부여한다는 것이 그 시스템 내부의 모든 행동을 취할 권한을 부여한다는 의미는 아닙니다.

전통적인 접근 제어는 에이전트가 어떤 대상에 접근할 권한이 있는지를 알려줍니다. 우리는 또한 에이전트가 수행하려는 특정 행동이 이루어져야 하는지를 판단할 방법이 필요합니다. 이는 의사결정 시스템이 할당자를 다르게 해석하거나, 장애에 부딪혀 다른 경로를 선택하거나, 아무도 예상하지 못한 방식으로 정당한 도구를 사용할 때 더욱 중요해집니다.

OWASP는 이 문제의 한 형태를 과도한 에이전시라고 설명합니다. 이는 과도한 기능, 권한 및 자율성이 파괴적인 행동의 원인이라고 지적하고, 고위험 행동에 대해 독립적인 승인을 권장합니다.

NVIDIA는 동일한 문제를 아키텍처 수준에서 접근하고 있습니다. 그들의 Open Agent Safety Platform은 정책 집행을 에이전트 외부에 두며 간단한 점을 강조합니다: 에이전트가 자신의 행동을 완전히 스스로 관리하도록 기대할 수 없습니다.

이는 AI SDLC를 구축하는 방식을 형성해야 합니다. 에이전트는 데이터베이스, 인프라 환경 또는 배포 시스템에 접근할 권한이 필요할 수 있습니다. 하지만 이것이 에이전트가 스스로 모든 변경이 안전하다고 판단해야 한다는 의미는 아닙니다.

AI는 확률에 기반해 결정을 내립니다. 이러한 결정이 모두 자동으로 중요한 시스템에 대한 행동으로 이어지게 해서는 안 됩니다.

인간이 루프에 있어도 전체 답이 될 수는 없습니다

명백한 대응은 중요한 AI 행동 앞에 사람을 두는 것입니다. 일부 결정에 대해서는 바로 그렇게 해야 합니다. 실수는 “인간이 루프에 있다”는 것을 모든 결정에 대한 해답으로 전환하는 데 있습니다.

에이전트가 수행하는 모든 행동에 대해 누군가가 검토하고 승인 버튼을 눌러야 한다면, AI가 없애려던 병목 현상을 다시 만들게 됩니다. 게다가 지나친 승인 절차는 감시를 습관으로 전락시킬 수 있습니다. 하루 종일 승인 버튼을 클릭하는 사람은 반드시 판단을 행사하고 있는 것은 아닙니다.

우리는 결정이 이루어지는 위치에 대해 보다 신중해야 합니다. AI는 우리가 부여한 작업 범위 내에서 결정을 내릴 수 있습니다. 정책은 이미 규정된 규칙에 따라 결정을 처리합니다. 사람은 예외 상황과 실제 판단이 필요한 결정을 담당합니다.

정해진 정책을 충족하는 저위험 변경은 누군가가 지켜볼 필요가 없습니다. 정책을 위반하는 변경은 자동으로 중단되어야 합니다. 비즈니스, 보안 또는 운영에 중대한 영향을 미치는 예외는 사람이 최종 결정을 내려야 할 수 있습니다.

이는 단순히 모든 루프에 인간을 배치하는 모델과는 매우 다른 접근 방식입니다. 목표는 인간을 없애는 것이 아니라, 인간의 주의를 모든 행동이 의존하는 요소로 만들지 않고, 관리되는 경로가 가장 쉬운 경로가 되도록 하는 것입니다.

제어는 행동이 발생하는 곳에 두어야 합니다

기업은 하나의 AI 모델이나 하나의 에이전트에 표준화하지 않을 것입니다. 개발자는 다양한 코파일럿을 사용할 것이고, 팀은 서로 다른 모델을 실험할 것입니다. AI는 개발자 도구, 보안 제품, 데이터 플랫폼 및 내부 애플리케이션에 등장할 것입니다.

모든 AI 도구마다 별도의 거버넌스 프로세스를 구축하려 하면 확장성이 떨어집니다. 제어는 AI가 취하려는 행동에 더 가깝게 위치해야 합니다.

AI가 생성한 변경이 배포 파이프라인에 들어가면, 인간이 만든 변경과 동일한 정책을 적용받아야 합니다. 에이전트가 인프라, 데이터 또는 프로덕션 데이터베이스를 수정하려 할 때, 해당 시스템에 대한 제어가 행위자가 바뀐다고 사라져서는 안 됩니다.

변경의 출처가 위험을 결정하지 않습니다. 위험은 변경 자체가 결정합니다. 개발자, 코딩 어시스턴트, 자동화 프로세스 또는 자율 에이전트가 동일한 행동에 이르는 다른 경로를 택하더라도, 그 행동은 여전히 결과가 발생하기 전에 동일한 정책 적용을 받을 수 있습니다.

이렇게 하면 기술이 변하더라도 기업이 매번 거버넌스를 재구축할 필요가 없습니다. 모델은 바뀔 것이고, 에이전트는 더 강력해질 것이지만, 핵심 시스템에 대한 제어는 일관성을 유지할 수 있습니다.

NIST는 AI Risk Management Framework에서 유사한 위험 기반 접근 방식을 취하고 있으며, 거버넌스를 AI 수명 주기 전반에 걸쳐 작동해야 하는 것으로 보고 단순히 최종 단계에서 승인만 받는 것이 아니라는 점을 강조합니다. 소프트웨어 전달 측면에서 이는 AI가 이미 따르는 경로에 제어를 삽입하고, 별도의 수동 프로세스를 억지로 끼워 넣는 것이 아니라는 의미입니다.

인간이 떠나면 증거도 함께 사라질 수 없습니다

인간 검토 모델 안에는 또 다른 문제가 숨겨져 있습니다. 프로세스에서 사람을 제거하면 검토 자체만 사라지는 것이 아니라, 검토가 이루어졌음을 입증해 주던 사람도 사라지게 됩니다.

이는 보안, 컴플라이언스 및 감사 요구 사항이 있는 기업에 심각한 문제가 됩니다. 기업은 여전히 무엇이 변경됐는지, 누가 또는 무엇이 이를 시작했는지, 적용된 정책은 무엇인지, 통과했는지, 예외를 누가 승인했는지, 변경이 어디서 실행됐는지, 그리고 이후에 어떤 일이 일어났는지를 알아야 합니다.

변경을 자동화하고 증거를 수동으로 남길 수는 없습니다. 인간 중심 프로세스에서는 팀이 티켓, 승인 기록, 파이프라인 로그, 스크린샷 및 대화 등을 통해 나중에 증거를 재구성할 수 있습니다. 그러나 변경량이 증가함에 따라 이 접근 방식은 점점 어려워지고, 기계가 지속적으로 변경을 생성·실행할 때는 비현실적이 됩니다.

증거는 전달 프로세스의 일부가 되어야 합니다. 정책 결정, 승인, 예외, 배포 및 결과는 작업이 진행되는 동시에 기록을 생성해야 합니다. 감사 증거는 사후에 팀이 따로 모으는 것이 아니라 소프트웨어 전달의 부산물로 생성됩니다.

이렇게 하면 AI 기반 SDLC에서 거버넌스는 두 가지 역할을 갖게 됩니다. 행동 이전에 해당 행동이 이루어져야 하는지를 판단하고, 행동 이후에 실제로 무슨 일이 일어났는지를 입증합니다.

인간은 사라지지 않습니다. 우리의 역할이 바뀔 뿐입니다.

사람이 개입하는 횟수로 제어 수준을 측정하고 싶어 하는 본능은 이해할 수 있습니다. 검토가 많을수록 안전하다고 느끼고, 승인도 많을수록 안전하다고 생각합니다. 모든 루프에 인간을 두는 것이 더 안전하게 보입니다.

AI는 이 가정을 시험하게 될 것입니다. AI가 우리가 만들 수 있는 소프트웨어 양을 계속 늘린다면, 인간은 모든 변경을 검토하고, 모든 행동을 승인하고, 모든 배포를 감시하며, 이후의 모든 결정을 재구성할 수 없게 됩니다. 이를 시도하면 AI의 속도가 늦춰지거나 인간 감시가 형식적인 도장 찍기로 전락하게 됩니다.

AI SDLC는 다른 업무 분담이 필요합니다. AI는 작업의 대부분을 처리할 수 있고, 정책은 반복 가능한 결정을 관리하며, 사람은 실제로 판단이 필요한 경우에 개입합니다. 증거는 그 과정에서 자동으로 생성되어야 합니다.

우리는 AI에 더 많은 접근 권한을 부여할 것입니다. 그것이 AI를 유용하게 만들기 때문입니다. 우리는 에이전트에게 더 큰 자율성을 부여할 것입니다. 그것이 에이전트로부터 더 큰 활용도를 얻는 방법이기 때문입니다. 도전 과제는 더 큰 접근 권한과 자율성이 조용히 무제한 권한으로 변하지 않도록 하는 것입니다.

인간이 더 꽉 잡을 필요는 없습니다. 목표는 통제를 줄이는 것이 아니라, 모든 결정을 우리 스스로 직접 잡고 있어야 하는 데 의존하지 않는 통제 모델을 만드는 것입니다. 우리는 통제를 잃지 않으면서도 손을 놓을 수 있게 하는 제어 장치를 구축해야 합니다.