사상 리더

AI 오케스트레이션 엔지니어링의 부상

Andrew Filev
Unite.AI를 Google의 선호 소스에 추가
A cinematic, wide-angle shot of a technical professional sitting at a futuristic curved workstation in a dark data center, orchestrating a complex digital workflow displayed on glowing holographic glass panels.
핵심 포인트OpenAI의 3인 팀은 코드를 직접 한 줄도 작성하지 않고 Codex를 통해 100만 줄을 배포했습니다.
더 보기
  • OpenAI의 3인 팀은 코드를 직접 한 줄도 작성하지 않고 Codex를 통해 100만 줄을 배포했습니다.
  • AI 오케스트레이션 엔지니어링은 DevOps 아키텍처와 AI 전문성을 하나의 중앙화된 역할로 융합합니다.
  • 에이전트 워크플로를 중앙화하는 조직은 처리량을 2배로 실현하는 반면, 다른 조직은 자동 완성 수준에 머무릅니다.

10배 엔지니어는 수십 년 동안 실리콘 밸리의 신화였다. 혼자서 일하는 천재, 헤드폰을 착용하고 초인적인 속도로 우아한 코드를 대량 생산하는 사람. 우리는 그들이 존재하는지에 대해 논의했고, 어떻게 그들을 고용할 것인지에 대해 논쟁했고, 그들이 10배 엔지니어라고 주장하는 사람을 조용히 미워했다.

하지만 AI 우선의 미래로 가는 도중에 흥미로운 일이 일어났다. 10배 엔지니어가 현실이 되었다. 다만 그 모습은 우리가 상상했던 것과 전혀 다르다.

OpenAI는 최근에 3명으로 구성된 팀이 Codex를 사용해 단 한 줄도 직접 작성하지 않고 풀 리퀘스트 1,500개와 코드 약 100만 줄을 만들어 전달했다는 사실을 공유했다. 3명의 엔지니어, 그리고 수동으로 작성된 코드는 없다. 수백명의 내부 사용자가 사용하는 프로덕션 제품이다.

그것은 10배가 아니다. 그것은 100배에 더 가깝다. 그리고 그것을 가능하게 한 기술은 타이핑 속도 또는 알고리즘을 더 잘 아는 것이 아니었다. 그것은 AI 에이전트를 생산적으로 만드는 시스템을 구축하는 것이었다. 워크플로우, 가드레일, 검증 루프, 에이전트가 연결되고 사람이 그 작업을 검토하는 데 사용하는 인터페이스.

나는 이것이 엔지니어링 조직에서 새로운 주요 기능의 출현이라고 믿는다. 나는 그것을 AI 오케스트레이션 엔지니어링이라고 부를 것이다.

세 가지 학문이 스탠드업에 들어간다

AI 오케스트레이션 엔지니어가 실제로 무엇을 하는지 살펴보면, 세 가지 친숙한 학문이 하나로 융합된 것을 알 수 있다.

가장 명백한 성분은 DevOps이다. DevOps는 배포 파이프라인을 중앙화했다. 한 팀이 모든 엔지니어가 코드를 전달할 때 사용하는 CI/CD 워크플로우를 구성했다. AI 오케스트레이션 엔지니어링도 같은 것을 하지만 에이전트 워크플로우에 대해 한다. 그것은 태스크가 에이전트에 할당되는 방법, 출력이 검증되는 방법, 재시도와 폴백이 작동하는 방법을 정의한다. 그것은 에이전트가 실행되는 공유 인프라이다.

그런 다음에는 아키텍처가 있다. 아키텍처는 예상보다 DevOps와 많이 겹친다. 아키텍트는 어떤 인터페이스가 잠겨 있는지, 어떤 패턴이 강제되는지, 어떤 경계를 넘어서는 안 되는지 결정한다. 에이전트 우선 세계에서 이것은 더 중요하다. 에이전트는 깨끗하고 잘 문서화된 코드베이스와 명확한 계약이 필요하다. AI 오케스트레이션 엔지니어는 이러한 제약을 정의한다. 그것은 인간의 가독성뿐만 아니라 에이전트의 이해를 위해이다. 지저분한 저장소는 더 이상 기술 부채만이 아니다. 그 저장소를 다루는 모든 에이전트의 생산성 상한선이 된다.

가장 이해되지 않는 부분은 AI 특정 계층이다. 프롬프트 엔지니어링, 컨텍스트 관리, 모델 선택, 에이전트 구성. 오늘날 대부분의 엔지니어는 이것을 산재한, 태스크별 방식으로 한다. 각자는 자신의 프롬프팅 스타일, 자신의 에이전트 설정, 자신의 워크어라운드를 결정한다. AI 오케스트레이션 엔지니어는 이것을 중앙화한다. 그들은 공유 플레이북과 재사용 가능한 구성을 만들고, 다양한 모델과 사용 사례에서 무엇이 효과가 있고 무엇이 효과가 없는지에 관한 조직의 지식을 축적한다.

별도로, 이러한 세 가지 기능은 대부분의 엔지니어링 조직에서 이미 존재한다. 논쟁은 이러한 것을 하나의 중앙 집중형 역할로 결합하면 무언가 질적으로 다른 것을 생성한다는 것이다.

쇼러너 메타포

영화 감독은 카메라를 작동시키지 않으며, 장면에 출연하지 않으며, 영상을 편집하지 않는다. 그러나 모든 프레임에는 감독의 결정이 반영된다.

그들은 샷 구성, 템포, 톤을 선택한다. 그들은 언제 클로즈업으로 다가가고 언제 넓은 화면으로 물러나야 하는지 결정한다. 그들은 촬영장의 모든 사람이 일관된 비전 아래 최선의 작업을 할 수 있도록 조명, 세트 디자인, 배우의 위치와 동선 등 환경을 조성한다. 크루는 개별적으로 재능이 있지만, 그런 조율이 없으면 작품을 완성해 내놓지도 못할 만큼 엉망이 된다.

AI 오케스트레이션 엔지니어링도 같은 방식으로 작동한다. 에이전트는 유능하다. 모델은 강력하다. 그러나 에이전트를 조정하는 시스템을 설계하는 사람이 없으면, 제약을 정의하지 않으면, 피드백 루프를 구축하지 않으면, 워크플로우를 구조화하지 않으면, 우리는 모두 경험한 것을 얻는다. 일관되지 않은 출력, 낭비되는 컴퓨팅 자원, 서로 목적이 충돌하는 에이전트, 그리고 직접 코드를 작성할 때보다 AI 생성 코드를 고치는 데 더 많은 시간을 쓰는 엔지니어들이다.

감독은 영화를 부분의 합보다 더 큰 것으로 만든다. AI 오케스트레이션 엔지니어도 에이전트 플릿에 대해 같은 것을 한다.

대부분의 조직이 충분히 투자하지 않는 이유

산업 전반에서 내가 보는 것은 다음과 같다. 회사들은 AI 도구에 많이 투자하지만, 도구 주변의 시스템에는 필요한 수준에 훨씬 못 미치게 투자한다.

엔지니어는 Copilot, Claude, Codex에 접근할 수 있다. 그들은 개인적으로 실험한다. 일부는 파워 유저가 된다. 대부분은 “화려한 자동 완성” 단계에서 고정된다. 연구에서 계속 보고하는 20%의 생산성 향상은 어떨까? 이는 시스템 차원의 사고 없이 도구만 도입했을 때 나타나는 증상이다.

돌파하는 조직, 2배 이상의 처리량을 보고하는 조직은 공통점이 있다. 그들은 오케스트레이션 작업을 중앙화했다. 누군가 또는 어떤 팀이 에이전트 워크플로우, 저장소 준비, 검증 인프라, 모든 에이전트가 접근할 수 있는 공유 컨텍스트를 책임진다.

역할이 실제로 어떻게 보이는가

AI 오케스트레이션 엔지니어의 일일 업무에는 다음이 포함될 수 있다.

  • 에이전트 워크플로우 설계: 기능 요청이 어떻게 스펙이 되고, 계획이 되고, 병렬 에이전트 태스크가 되고, 검토되고 병합되는 코드가 되는지 정의한다.
  • 검증 인프라 구축: 에이전트의 작업을 병합하기 전에 반드시 통과해야 하는 자동 테스트, 린팅 규칙, 보안 스캔, 평가 프레임워크를 구축한다.
  • 에이전트 소비를 위한 저장소 유지 보수: 문서화, 깨끗한 인터페이스, 의존성 관리, 코드베이스 단순화, 인간의 가독성뿐 아니라 에이전트의 이해를 위해 이 모든 것을 최적화한다.
  • 프롬프트 및 컨텍스트 전략 중앙화: 팀 전체가 사용하는 공유 시스템 프롬프트, 검색 파이프라인, 모델 라우팅 결정, 구성 템플릿을 마련한다.
  • 에이전트 성능 모니터링 및 개선: 전체 에이전트 집단의 성공률, 실패 유형, 작업당 비용, 병합까지 걸리는 시간을 추적하고 데이터에 따라 시스템을 조정한다.

이 사람들은 플랫폼 엔지니어링, 소프트웨어 아키텍처, AI 전문 지식의 교차점에 있다. 그들은 기능을 작성하지 않는다. 그들은 기능 전달이 빠르고, 신뢰할 수 있고, 확장 가능하게 하는 시스템을 구축한다.

역사적 패턴

클라우드 컴퓨팅의 초기에는 배포가 모든 엔지니어의 사이드 퀘스트였다. 각 팀은 자신의 스크립트, 자신의 서버 구성, 자신의 코드를 프로덕션으로 가져오는 방법을 가지고 있었다. DevOps는 이 작업을 중앙화하기 위해 등장했다. 플랫폼 엔지니어링은 이를 공유, 셀프 서비스 인프라로 구축하기 위해 진화했다.

AI도 같은 궤적을 따르고 있다. 지금 에이전트 활용은 모든 엔지니어의 부수적인 일이다. 각자는 자신만의 프롬프팅 스타일, 선호하는 도구, AI가 언제 도움이 되고 언제 그렇지 않은지에 대한 사고방식을 갖고 있다. 이를 개별적인 실험이 아니라 인프라로 보고 중앙화하는 조직은 성숙한 DevOps 관행을 갖춘 조직이 그렇지 않은 조직을 앞질렀던 것처럼 앞서갈 것이다.

차이는 속도이다. DevOps 전환에는 10년이 걸렸다. 이번 전환은 몇 분기 만에 일어날 수도 있다. 다만 이 예측은 조직들이 평소보다 더 빨리 그 패턴을 알아볼 것이라고 가정한다는 점은 인정한다.

앞으로의 길

만약 당신이 엔지니어링 리더라면, 나는 다음을 제안한다. 하지만 당신의 팀이 이미 얼마나 진행했는지에 따라 달라질 수 있다.

  1. 이미 이 작업을 비공식적으로 하는 사람을 식별한다. 모든 조직에는 이미 에이전트 워크플로우를 파악해서 다른 엔지니어들이 프롬프팅이나 도구 설정에 관한 조언을 구하러 찾아가는 사람이 있다. 그 사람이 당신의 프로토 AI 오케스트레이션 엔지니어이다.
  2. 명시적으로 만든다. 이 직무에 이름, 권한, 자원을 부여한다. 그것을 실제 작업에 부착된 사이드 프로젝트로 남겨 두지 않는다.
  3. 저장소 준비에서 시작한다. 복잡한 에이전트 워크플로우에 투자하기 전에 코드베이스가 에이전트가 실제로 탐색할 수 있는 것인지 확인한다. 깨끗한 인터페이스, 좋은 문서화, 포괄적인 테스트, 단순화된 아키텍처.
  4. 작동하는 것을 중앙화한다. 누군가가 에이전트 출력을 크게 개선하는 프롬프팅 전략이나 워크플로우 패턴을 발견했을 때, 그것을 포착한다. 그것을 팀 전체의 기본값으로 만든다. 한 사람의 머릿속에만 갇힌 암묵지로 남겨 두지 않는다.
  5. 시스템 수준에서 측정한다. 개별 도구 사용량만을 추적하지 않는다. 에이전트가 처음부터 끝까지 완료하는 작업의 수, 검토 및 재작업률, 병목 구간을 추적한다.

새로운 10배

10배 엔지니어의 신화는 항상 개인의 영웅적인 활약에 관한 것이었다. 오직 재능과 카페인만으로 다른 모두를 능가하는 한 사람.

AI 시대에 10배 엔지니어의 현실은 시스템사고에 관한 것이다. 다른 모든 엔지니어(그리고 모든 에이전트)가 더 생산적이 되도록 하는 인프라, 워크플로우, 제약을 구축하는 사람이다.

그들은 10배 더 많은 코드를 작성하지 않는다. 그들은 코드를 작성하는 시스템을 구축한다.

나는 이 역할이 내가 여기서 설명한 것과 정확히 같은 방식으로 결실할지 확신할 수 없다. 하지만 나는 오케스트레이션 레이어(그들이 그것을 무엇이라고 부르든)를 구축하는 조직이 실제로 다른 모든 사람이 이야기만 하는 생산성 향상을 실현할 것이라고 상당히 확신한다.

Andrew Filev는 Zencoder의 창립자이자 CEO입니다. 그는 Wrike(20,000명 이상의 고객, 22.5억 달러에 매각)를 창립함으로써 협업 작업 관리를 혁신하였으며, 포브스와 뉴욕 타임즈에 소개되었으며, 그의 AI와 혁신에 대한 열정은 계속해서 작업의 미래를 형성하고 있습니다.