지금 AI의 투자수익률이 가장 높은 곳은 새 코드 작성보다 기존 코드 개선이다

제가 보는 AI 제품 시연은 늘 같은 방식으로 시작합니다. 빈 프롬프트 창에 평범한 영어로 요청하면 몇 분 뒤 작동하는 앱이 나옵니다. 인상적인 시연입니다. 하지만 지금 기업용 AI에서 벌어지는 일 중 가장 덜 흥미로운 일이라고 저는 생각합니다.

더 중요한 작업은 훨씬 덜 화려한 곳에서 진행됩니다. 아무도 건드리고 싶어 하지 않는 15년 된 코드베이스, 10년 전 회사를 떠난 엔지니어들이 작성했고 수년간 누구도 온전히 이해하지 못한 업무 로직이 돌아가는 곳입니다. AI 보도 대부분은 이를 거꾸로 봅니다. 레거시 코드는 단순한 기술 부채가 아니라 축적된 비즈니스 지식입니다. 수십 년간의 결정이 소프트웨어에 담겨 있고 그 결정을 내린 사람들은 이미 떠났습니다.

새로 시작하는 개발은 기조연설의 무대를 차지합니다. 오래된 코드에도 돈은 배정되지만 마지못해서인 경우가 많고, 제대로 쓰는 데 필요한 이해도 대개 부족합니다.

정말 부족한 것은 개발자가 아니라 조직의 기억이다

드문 문제가 아닙니다. 조사기관 Savanta가 전 세계 IT 의사결정자 500명 이상을 대상으로 진행한 2025년 Pegasystems 연구에 따르면 평균적인 글로벌 기업은 레거시 시스템을 효율적으로 현대화하지 못해 매년 3억 7,000만 달러 이상 을 낭비합니다. 그중 약 1억 3,400만 달러는 느리고 자원을 많이 요구하는 전환 프로젝트에만 묶여 있습니다.

최근 저희는 15개 넘는 레거시 애플리케이션을 운영하는 배터리 유통사와 일했습니다. 20년에 걸친 인수합병, 일회성 통합, 미래보다 당장의 문제 해결에 집중한 개발이 만들어 낸 복잡한 구성입니다. 코드에는 수년간 조직이 결정한 가격 규칙, 재고 기준, 유통 제약이 묻혀 있었습니다. 누구도 완전히 파악하지 못한 로직 외에는 어디에도 기록돼 있지 않았습니다.

개발자를 더 고용하고 이전을 빨리하면 되는 인력 문제라고 부르기 쉽습니다. 하지만 모듈이 왜 그렇게 작동하는지 알던 사람이 2014년에 떠났다는 사실은 채용으로 해결할 수 없습니다. 대부분 기업에는 인재보다 조직의 기억이 부족합니다. 최근까지 이를 대규모로 해결할 실질적인 방법이 없었습니다. 소수의 선임 엔지니어에게 계속 비용을 지불해 지식을 머릿속에 보관하게 하거나 그들이 떠나는 날 잃는 수밖에 없었습니다.

AI가 실제로 바꾸는 것

저희는 코드 생성 도구에 기존 코드베이스 전체를 다시 쓰라고 하지 않았습니다. 존재하는지도 몰랐던 업무 로직을 조용히 지워 버리기 쉬운 방식이기 때문입니다. 먼저 AI 에이전트로 눈에 띄지 않는 기초 작업을 했습니다. 15개 넘는 애플리케이션이 실제로 어떻게 연결되는지 추적하고, 다른 곳에는 기록되지 않은 로직 속 결정을 찾아내며, 그 맥락을 한 엔지니어의 머릿속이 아니라 조직이 조회할 수 있는 지식으로 보존했습니다. 다른 AI 공급업체가 공개적으로 문서화하는 방식도 이와 같습니다. Claude Code를 이용한 COBOL 시스템 현대화에 관한 Anthropic 안내 도 바로 다시 쓰기보다 탐색과 분석을 먼저 자동화하는 같은 순서를 설명합니다.

에이전트는 얼마나 많은 코드를 생성했는지로 평가되지 않았습니다. 조직의 지식을 얼마나 찾아내고 보존했는지로 평가됐습니다. 이후 엔지니어가 에이전트와 함께 실제 이전과 테스트 생성을 진행하며, 업무 로직에 대한 해석을 믿고 맡기는 대신 실제 운영 환경의 행동과 대조했습니다. 저희가 확인한 유용한 신호는 규칙에 대한 설명이 운영 로그에서 독립적으로 검증할 수 있는 패턴과 맞는지, 아니면 그럴듯한 추측에 그치는지였습니다. 둘 사이의 간극이 바로 레거시 현대화 프로젝트가 흔히 잘못되는 지점입니다.

당초 예상 기간은 8개월 반이었지만 프로젝트는 4개월 만에 끝나 53% 단축됐습니다. 더 오래 남는 성과는 일정이 아니었습니다. 엔지니어가 떠날 때마다 사라지던 조직 지식을 실제로 보유할 수 있게 된 것입니다.

소프트웨어 엔지니어들은 수십 년간 소프트웨어를 써 왔습니다. 다음 10년은 그것을 발굴하는 데 쓰일 수 있습니다. AI가 작가보다 고고학자처럼 작동해 작성자보다 오래 살아남은 코드 속의 판단 근거를 조심스럽게 복원하는 것입니다.

시스템을 망가뜨리지 않고 진행하는 기본 절차

잘 진행되는 프로젝트는 가격 엔진이든 보험금 청구 처리 과정이든 대체로 같은 순서를 따릅니다.

발견: 2016년 아키텍처 도면이 아니라 시스템의 실제 연결 관계를 그립니다.

이해: 에이전트가 업무 로직과 그 전제를 도메인 전문가가 타당성을 확인할 수 있는 평이한 언어로 설명하게 합니다.

검증: 코드의 주석에만 기대지 말고 그 해석을 실제 운영 환경의 행동과 교차 확인합니다.

전환: 앞의 세 단계가 검증된 뒤에만 이전하거나 재구축하며 최종 승인은 사람이 맡습니다.

곧바로 전환 단계로 건너뛰면 현대화가 아니라 아직 이해하지 못한 로직을 걸고 도박하는 셈입니다.

엔지니어링 팀 밖에서도 중요한 이유

조직의 기억은 선임 엔지니어가 은퇴할 때 조용히 사라지는 데 그치지 않습니다. 기업이 가장 감당하기 어려운 순간에 심각한 부담이 됩니다. 예를 들어 인수 과정에서 새 소유자가 실제로 무엇을 샀는지 이해해야 할 때, ERP 이전에서 기존 로직을 처음부터 정확히 새 시스템으로 옮겨야 할 때, 규정 준수 감사나 사고 대응에서 왜 시스템이 특정 방식으로 작동했는지 기한 안에 규제기관에 설명해야 할 때입니다. “만든 사람이 2014년에 떠났습니다”라는 답은 받아들여지지 않습니다.

이 관점에서 레거시 현대화는 엔지니어링 예산 항목을 넘어 조직의 회복력 문제입니다. CTO만 관심을 가질 일이 아닙니다. 핵심 기술 인력 이탈의 영향을 판단하는 CIO, 실제 인수 대상의 가치를 산정하는 M&A팀, 아무도 읽지 않는 코드에만 존재하는 운영 지식이 얼마나 되는지 고민하는 이사회도 관련됩니다.

반드시 기억해야 할 한계

이 과정은 사람의 관여 없이 작동하지 않습니다. 가장 위험한 방식은 에이전트의 기존 업무 로직 해석을 검증 없이 믿는 것입니다. 레거시 시스템이야말로 자신 있게 틀린 AI의 가정이 가장 큰 비용을 초래하는 곳입니다. 최신 마이크로서비스에 완전한 자율성을 주는 것은 합리적인 시도일 수 있지만, 2011년부터 아무도 손대지 않은 가격 엔진에서는 그렇지 않습니다. AI의 가치는 현재 아무도 이해하지 못하는 시스템에서도 엔지니어가 다시 업무를 이해할 수 있게 해 준다는 데 있습니다. 엔지니어를 대체하는 것이 아닙니다.

앞으로의 방향에 대한 생각

20년 동안 기업은 레거시 소프트웨어를 벗어나야 할 대상으로 다뤘습니다. 마지못해 예산을 주는 비용 부문이자 예산이 허용하는 한 빨리 현대화해 없애야 할 대상이었습니다. 저는 AI가 그 코드의 상당 부분이 기업이 만든 가장 귀중한 지식 저장소 중 하나였음을 곧 보여 줄 것이라고 생각합니다. 읽어 낼 수 있는 수단이 필요했을 뿐입니다. 연구자들은 이미 이 순환의 반대쪽도 기록합니다. LLM 보조 개발에 관한 2026년 학술·실무 문헌 통합 검토 는 AI로 속도를 높이려는 오늘날의 추구 자체가 이해하는 속도보다 빨리 배포되는 코드, 즉 “빠른 통합 부채”를 만든다고 봅니다. 레거시 현대화는 그 청구서의 지불 시점이 한 세대 일찍 찾아온 것일 뿐입니다.

다른 엔지니어링·기술 리더들도 같은 변화를 보는지 궁금합니다. AI 투자수익은 새로 만드는 것에서 더 많이 나타나나요, 아니면 마침내 이해하고 보존할 수 있게 된 것에서 나타나나요? 오래되고 문서도 없는 시스템에 AI 에이전트를 적용해 본 분들이라면, 에이전트의 이해가 어디에서는 검증을 통과했고 어디에서는 조용히 무너졌나요?