사상 리더
AI 조립 라인에 처음부터 테스트를 포함해야 하는 이유

핵심 포인트AI는 코딩 속도를 높이지만 취약한 다운스트림 테스트를 드러내고 배포 안정성을 낮춘다.
더 보기
- AI는 코딩 속도를 높이지만 취약한 다운스트림 테스트를 드러내고 배포 안정성을 낮춘다.
- 자신의 테스트를 스스로 판단하는 에이전트는 코드를 고치는 대신 실패한 테스트를 편집하여 부정행위를 할 수 있다.
- 테스트는 CI 외부의 독립된 스테이션이어야 하므로 모든 변경이 동일한 판정을 받아야 한다.
저는 20년 넘게 테스트 도구를 만들어 왔고, 그중 대부분의 기간 동안 엔지니어링 팀과 나눈 대화는 대체로 비슷했습니다. 테스터는 소프트웨어 개발 수명 주기에서 2등 시민처럼 여겨졌습니다. 테스트는 늦게 진행되기 일쑤였고, 출시 전에 남은 시간에 간신히 끼워 넣거나 애초에 다른 용도로 만들어진 CI 파이프라인에 억지로 추가하곤 했습니다. 이제 AI는 우리가 코드를 작성하는 방식을 바꿔 놓았습니다. 테스트에도 분명 좋은 영향과 나쁜 영향을 모두 미치고 있습니다. 여러 면에서 AI는 이 문제를 더 눈에 띄게 만들었습니다.
지난 몇 달 동안 저는 테스트와 클라우드 네이티브 분야의 콘퍼런스(LeadDev, CloudX, StarWest)에 몇 차례 참석했습니다. 제가 이야기를 나눈 거의 모든 팀이 같은 구상의 여러 형태를 추진하고 있었습니다. 에이전트가 작업 명세부터 실제 프로덕션 환경에서 작동하는 결과물까지 처리하되, 그 과정에서 적절한 수준의 사람 개입을 거치는 AI 기반 소프트웨어 제공 수명 주기입니다. 저는 이를 조립 라인처럼 생각합니다. 에이전트가 코드를 작성하고, 다른 에이전트가 이를 검토하며, 파이프라인이 빌드와 배포를 담당합니다. 사람은 전체 과정을 지켜봅니다. 하지만 그 라인에서 테스트가 어디에 자리 잡는지에 관해서는 이야기를 거의 듣지 못합니다.
아직 답을 찾은 사람은 없습니다
지금은 다소 무법천지에 가깝습니다. 새로운 에이전트 기능이 몇 주마다 등장하고, 대형 AI 연구소들은 새 모델을 계속 출시하며, 팀과 공급업체 모두 무엇이 효과가 있는지 알아보려고 이것저것 시도하고 있습니다.
일부 데이터는 이미 빈틈이 드러나고 있음을 보여 줍니다. 기술 전문가 약 5,000명을 대상으로 조사한 Google의 최신 AI 지원 소프트웨어 개발에 관한 DORA 보고서에 따르면, AI 도입은 소프트웨어 제공 처리량 증가와 관련이 있으며, 이는 반가운 소식입니다. 하지만 동시에 소프트웨어 제공 안정성 저하와도 여전히 관련이 있습니다. 연구진은 AI가 개발 속도를 높이면서 후속 단계의 취약점이 드러난다고 설명합니다. 또한 더 많은 변경 사항이 더 큰 불안정성으로 이어지지 않도록 하는 통제 장치 가운데 하나로 탄탄한 자동화 테스트를 꼽습니다.
저는 이 결과가 놀랍지 않습니다. 훨씬 적은 양의 코드를 처리하도록 설계된 프로세스에 코드를 훨씬 더 많이 밀어 넣으면, 어딘가에서 속도가 느려지거나 문제가 생기기 마련입니다.
개발자는 빨라졌지만, 대부분의 출시는 그렇지 않습니다
사람들은 AI가 생성한 코드에서 문제가 생기는 상황을 떠올릴 때, 대개 에이전트가 끔찍한 결과물을 프로덕션에 밀어 넣는 모습을 상상합니다. 그런 일도 분명 일어나고, 그럴 때의 결과는 좋지 않습니다. 버그가 생기고, 고객이 불만을 품으며, 보안 사고가 발생할 수도 있습니다. 하지만 솔직히 말해, 제가 대부분의 경우에 마주하는 문제는 그런 것이 아닙니다.
2026년 Stack Overflow 개발자 설문조사는 오늘날 AI 사용이 어디에 집중되어 있는지 보여 줍니다. 개발자들은 주로 자신이 이미 잘 아는 분야의 코드를 생성하는 데(67%) AI를 사용하고, 디버깅에도 활용합니다(61%). 반면 프로덕션 시스템을 배포·운영하거나 문제를 해결하는 데 AI를 사용하는 비율은 20%에 불과합니다. 지금까지 AI는 주로 코드 작성 속도를 높였습니다. 그 코드를 검증하고 프로덕션에 배포하는 과정은 여전히 대체로 이전과 같은 방식으로 진행됩니다.
제가 보는 상황도 이와 일치합니다. 팀은 훨씬 더 많은 코드를 만들어 내지만 출시 속도는 빨라지지 않고 있습니다. 개발자 한 명이나 팀 하나는 기능을 두 배나 많이 만들고 있다고 느낄 수 있지만, 그 기능은 후속 단계에서 검토를 기다리고, 테스트를 기다리고, 테스트할 환경이 마련되기를 기다리며 막혀 있습니다. 이렇게 늘어난 코드가 파이프라인을 정체시키고, 많은 경우 팀 전체의 제공 속도까지 늦춥니다.
관리자들이 가드레일에 관해 묻습니다
AI로 인해 소프트웨어 제공 병목 현상이 생길 수 있다는 우려는 매우 현실적이지만, 팀이 묻는 것은 그것만이 아닙니다. 개발자들은 주로 더 나은 코드를 더 빠르게 작성하는 방법을 알고 싶어 합니다. 가드레일에 관한 질문은 엔지니어링 관리자와 에이전트 기반 워크플로를 구축하는 사람들이 합니다. 에이전트가 제멋대로 행동하지 않도록 어떻게 보장할 수 있을까요? 에이전트가 회귀 오류를 일으키거나, 해야 할 작업을 조용히 건너뛰지 않았다는 것을 어떻게 확인할 수 있을까요? 에이전트가 작성한 테스트가 실제로 (그리고 사실대로!) 검증해야 할 대상을 검증하는지 어떻게 보장할 수 있을까요?
그 이유는 이들이 서로 다른 것을 보고 있기 때문이라고 생각합니다. 개발자는 한 번에 풀 리퀘스트 하나를 살펴봅니다. 엔지니어링 관리자는 여러 에이전트와 여러 사람이 작업한 결과 가운데 출시되는 모든 것을 책임지며, 프로덕션에서 문제가 생기면 이를 설명해야 하는 사람입니다.
조심할 만한 이유도 있습니다. 연구진은 단위 테스트가 명세와 모순되는 코딩 과제를 사용해 ImpossibleBench라는 벤치마크를 만들었습니다. 이 과제에서는 부정행위를 해야만 테스트를 통과할 수 있습니다. 주요 모델들은 실제로 그렇게 하는 경우가 많았습니다. 예를 들어 코드 대신 실패한 테스트를 수정하거나 삭제했습니다 (!!). 에이전트가 작성한 풀 리퀘스트를 별도로 연구한 결과, 에이전트가 자신의 변경 사항을 테스트하는 능력에 빈틈이 있는 것으로 나타났습니다. 이 연구는 병합된 에이전트 작성 풀 리퀘스트 가운데 거의 3분의 1에 후속 수정이나 리팩터링이 필요했다는 이전 연구도 인용합니다.
제가 얻은 결론은 가드레일이 에이전트 자체 환경 안에만 있어서는 안 되며, 코드가 배포된 뒤에만 마련되어서도 안 된다는 것입니다. 코드를 작성한 에이전트가 테스트 통과 여부까지 결정한다면, 그 결과로 알 수 있는 것은 많지 않습니다. 그렇다고 에이전트가 테스트를 작성해서는 안 된다는 뜻은 아닙니다. 최종 판정은 에이전트가 조정할 수 없는 곳에서 내려져야 한다는 뜻입니다. 테스트는 조립 라인의 독립된 공정이어야 하며, 사람이 작성했든 에이전트가 작성했든 모든 변경 사항이 그 공정을 거쳐야 합니다.
그 공정에 필요한 것
답은 완전히 새로운 종류의 테스트가 아니다. 지금 필요한 것의 대부분은 훌륭한 QA 팀들이 줄곧 요구해 온 것이다. 다만 이제는 그 중요성이 더 커졌을 뿐이다.
테스트는 검증 대상인 코드와 마찬가지로 요구사항을 정확히 충족하는지 검토해야 한다. 소프트웨어가 실행되는 환경에서 테스트를 실행하는 것도 중요하다. 에이전트의 샌드박스에서 통과한 테스트만으로는 스테이징이나 프로덕션 환경에 대해 많은 것을 알 수 없으며, 어떤 종속성이 모의 처리됐는지, 어떻게 처리됐는지도 가려질 수 있다. 최근 에이전트가 생성한 테스트 파일 약 18만 개를 조사한 연구에 따르면, 에이전트가 작성한 테스트는 사람이 작성한 테스트보다 더 많은 엣지 케이스를 다뤘지만, 불안정한 양상을 보이는 경우도 더 많았다. 이는 주로 에이전트가 테스트가 실행될 환경에 대해 충분히 알지 못했기 때문이다. 실제 인프라에서 일찍 테스트를 실행하면 이런 문제를 포착할 수 있다.
테스트와 그 결과는 계속 보존되어야 한다. 에이전트가 테스트를 작성한다면 기존 테스트와 그 결과를 맥락으로 참고해 테스트 범위와 잠재적인 불안정성을 모두 학습할 수 있어야 한다. 테스트도 다른 코드와 마찬가지로 검토하고 버전 관리해야 한다. 그래야 세션이 끝날 때 사라지는 대신 다음 변경 사항에서도 다시 실행된다.
누가 요청했든 통과 결과는 같은 의미를 가져야 한다. 파이프라인이든 개발자든 에이전트든 마찬가지다. 그러려면 동일한 테스트를 동일한 인프라에서 실행하고, 그 결과를 한곳에 모아야 한다.
사람은 계속 판단력을 발휘해야 한다. 상용구 작업과 연결 작업은 에이전트가 맡아도 괜찮다. 무엇을 테스트할 가치가 있는지, 실패가 무엇을 의미하는지 판단하는 일은 여전히 사람의 몫이다(적어도 당분간은…).
이는 테스트를 CI/CD 안에서만 수행해서는 안 된다는 뜻이기도 하다(이 글에서 한 가지만 기억한다면 바로 이것이다!). CI 파이프라인은 코드를 빌드하고 배포하도록 설계됐지, 대규모 자동화 테스트를 실행하도록 만들어진 것이 아니다. 에이전트 기반 SDLC로 전환하고 코드의 양이 계속 늘어날수록, CI는 테스트 실행에 더욱 적합하지 않은 방식이 된다. 테스트는 파이프라인 끝에 덧붙이는 단계가 아니라 소프트웨어 전달 과정의 핵심 요소가 되어야 한다. 즉, 에이전트가 주도하든 사람이 주도하든 상관없이 팀이 사용하는 모든 도구와 환경 전반에서 테스트를 독립된 시스템으로 오케스트레이션해야 한다.
시작하는 방법
대부분의 팀은 이미 Playwright, Cypress, k6, Postman 또는 표준으로 채택한 도구에서 신뢰하는 테스트를 보유하고 있으며, 이를 시작점으로 삼으면 좋다. 몇 가지 제안은 다음과 같다.
- 현재 변경 사항이 프롬프트에서 프로덕션까지 도달하는 과정을 도식화하고, 테스트가 실행되는 모든 지점을 표시하라. 테스트 지점이 끝부분에 하나뿐이라면, 거기서부터 시작하라.
- 에이전트가 기존 테스트를 몰래 변경하도록 두지 않도록 주의하라. ImpossibleBench 연구진은 에이전트의 테스트 접근을 제한하면 부정행위가 줄어든다는 사실을 발견했다. 에이전트가 테스트를 변경해야 한다면, 다른 코드와 마찬가지로 사람이 검토하는 풀 리퀘스트로 변경 사항을 제출해야 한다.
- 테스트를 에이전트 샌드박스가 아니라 (가능하면 실제) 테스트 환경에서 가능한 한 일찍 실행하라. 에이전트가 생성한 변경 사항마다 스테이징 환경에서 소규모 스모크 테스트만 실행하는 경우라도 마찬가지다. AI로 테스트를 작성한다면, 해당 환경에서 실행해 보기 전에는 승인하지 말라.
- 테스트 결과를 하나의 제어 평면에 모아라. 보고 도구든 APM 솔루션이든 전용 테스트 플랫폼이든 상관없다. 사람과 에이전트 모두 이 결과를 확인할 수 있도록 하라.
- 활동량이 아니라 전달 성과를 측정하라. 풀 리퀘스트 수는 많은 것을 말해 주지 않는다. 변경 리드 타임과 변경 실패율 같은 DORA의 소프트웨어 전달 지표를 보면 AI가 도움이 되는지 훨씬 더 잘 알 수 있다.
- 에이전트가 사람이 사용하는 것과 동일한 테스트 인프라를 이용하도록 하여, 에이전트의 작업도 같은 기준으로 검증되게 하라.
낙관적이지만 조건이 있다
나는 AI에 관해 낙관적인 편이며, AI가 소프트웨어 팀의 역량을 크게 높이고 궁극적으로 생산성도 향상할 것이라고 생각한다. 하지만 그렇게 되려면 팀은 에이전트가 만들어 낸 결과물을 배포할 수 있을 만큼 신뢰해야 하며, 에이전트 기반 SDLC 전반에 걸친 종합적인 테스트 접근법을 갖춰야 한다. 그 신뢰는 바로 그 과정에서 쌓이거나 무너진다.
에이전트 기반 SDLC를 지향하고 있다면, 현재 그 안에서 테스트는 어떤 역할을 하고 있는가?












