Val Bercovici, WEKA 최고 AI 책임자 – 인터뷰 시리즈

Val Bercovici, WEKA 최고 AI 책임자, 는 차세대 인공지능을 뒷받침하는 기술을 발전시키는 데 집중하는 AI 및 데이터 인프라스트럭처 임원이다. 2025년 1월에 WEKA에 최고 AI 책임자로 합류한 이후, 그는 AI 에이전트 인프라 구축, 학습 및 추론 워크로드 가속화, AI 컴퓨팅 비용 효율성 개선에 전념해 왔다. WEKA에서의 역할 외에도 Bercovici는 Home Dock의 AI 고문, FermiHDI와 The Hive의 전략 고문, PencilDATA 의장으로 활동하며 AI, 사이버보안, 블록체인, 클라우드 컴퓨팅, 데이터 인프라스트럭처 전반에 걸친 업무를 수행한다. 그의 경력은 데이터 집약적인 AI 시스템을 지원하도록 설계된 신흥 기술을 개발하고 자문하는 데 오랜 초점을 맞춰 왔음을 보여준다.

WEKA는 인공지능, 머신러닝, 고성능 컴퓨팅 및 기타 가속 워크로드의 까다로운 데이터 요구사항을 충족하도록 설계된 소프트웨어 정의 플랫폼을 구축하는 AI‑네이티브 데이터 인프라스트럭처 기업이다. WEKA Data Platform은 온프레미스, 클라우드, 하이브리드, 엣지 환경 전반에서 작동할 수 있는 통합 아키텍처를 제공하여 스토리지 병목 현상을 해소하고 GPU 활용도를 높이며 AI 모델 학습 및 추론을 가속화한다. 이 회사는 점점 더 떠오르는 추론 경제와 에이전시 AI를 중심으로 기술 포지셔닝을 강화하고 있으며, 대규모 데이터에 대한 고처리량·저지연 접근성을 제공하면서 복잡한 AI 데이터 파이프라인을 단순화하도록 설계된 인프라스트럭처를 제공한다. WEKA는 전 세계에서 가장 성능 집약적인 컴퓨팅 환경을 운영하는 기업, 클라우드 제공업체, 연구 기관 및 AI 개발자를 대상으로 서비스를 제공한다.

귀하의 경력은 NetApp의 초기 클라우드 전략을 설계하고 Kubernetes 설립 이사회에 참여한 것부터 WEKA에서 AI 인프라를 구축한 것까지 이어졌습니다. 이러한 변화가 다음 단계 AI를 위한 인프라 준비에 대한 사고방식에 어떤 영향을 주었나요?

제 경력의 모든 시기는 동일한 패턴으로 정의됩니다: 병목 현상이 이동하고, 업계는 이를 인식하는 데 수년이 걸립니다. 초기 클라우드와 Kubernetes 시절에는 컴퓨팅이 탄력적으로 변하고 오케스트레이션이 새로운 병목이 되는 것을 목격했습니다. SolidFire 인수 후 NetApp에서 CTO를 역임하면서, 저는 실제 프로덕션 워크로드에서 무작위 첫 바이트 읽기가 몇 밀리초 수준이라는 “빠름”의 기준을 알게 되었습니다.

제가 WEKA에 합류하게 된 이유는 순수하게 기술적인 매력 때문이었습니다. 한 가지 수치가 있었습니다: 첫 번째 캐시되지 않은 무작위 바이트 읽기 시간이 70 마이크로초였으며, 이는 스토리지 등급 수치가 아닙니다. 저는 이 클래스의 시스템에서 마이크로초 수준 지연을 기대한 적이 없었습니다. 여기서 깨달음이 왔습니다: 이 기술은 메모리 애플리케이션, Redis 및 KV 캐시와 같은 DRAM 등급 애플리케이션에도 활용될 수 있다는 것이었습니다. 그리고 바로 그때, 인퍼런스가 학습을 앞서기 시작했습니다. 업계가 모델을 수익화해야 했고, 에이전트가 메모리를 전체 게임의 핵심으로 만들었습니다.

이것이 제가 AI 인프라에 적용하는 관점입니다. 우리는 이 시나리오를 이전에도 보았습니다. 클라우드 FinOps가 등장한 것은 기업들이 단위 경제성을 고려하지 않은 채 인프라를 확장하고 막대한 청구서를 받게 되었기 때문이며, AI도 같은 곡선을 더 빠르게 따라가고 있습니다. 기업들이 토큰 예산을 초과하는 API 사용량 청구서에 직면하면서 AI FinOps가 부상하고 있습니다. 이제 조직은 인퍼런스를 저렴한 유틸리티가 아니라 재무적 규율로 관리해야 합니다. AI FinOps는 토큰노믹스: 토큰당 단위 비용에 영향을 주는 인퍼런스 스택의 모든 하드웨어·소프트웨어 레이어를 최적화하는 것에서 시작됩니다. 현재 가장 큰 낭비는 메모리·데이터(‘디코드’)를 기다리며 유휴 상태에 있는 고가 GPU와 신규 ASIC이며, 이는 FLOPS(‘프리필’)가 아니라 메모리 대기 때문입니다. 이를 해결하는 사람이 다음 AI 단계의 주인공이 될 것입니다.

백악관은 새로운 AI 안전 프레임워크의 세부 사항을 비공개로 유지하고 있습니다. 기업이 아직 정확히 어떤 테스트가 요구될지 모를 때 규제 요구사항에 대비하려면 어떻게 해야 할까요?

기업은 최종 체크리스트를 기다리지 말아야 합니다. 구체적인 테스트 항목은 변할 수 있지만, 그 밑바탕에 깔린 의무는 변하지 않습니다: AI 모델이 무엇을 했는지, 어떤 데이터를 사용했는지, 특정 시점에 어떻게 동작했는지를 증명해야 합니다. 그리고 대기하는 것은 이미 전 세계적으로 선택지가 아닙니다. EU AI Act가 이번 달에 시행되었으며, 대부분의 에이전트 오케스트레이션을 고위험으로 분류하고 있습니다.

이는 준비 작업이 인프라 작업임을 의미합니다. 데이터 라인리지, 가시성, 재현성, 그리고 필요 시 모델 상태를 재구성할 수 있는 능력은 기업이 반드시 갖추어야 할 핵심 요소입니다. 마지막으로, 기업은 출력 전에 가드레일 모델을 구현하고, 의미론적 방어 레이어에 대한 지연 시간 및 토큰 예산을 설정해야 합니다. 이러한 역량을 지금 구축한다면, 이후 프레임워크는 형식적인 절차에 불과합니다. 최종 규칙을 기다리면, 처음부터 설계되지 않은 시스템에 책임성을 뒤늦게 끼워 넣어야 하며, 이는 언제나 처음부터 구축하는 것보다 비용이 더 많이 듭니다.

궁극적으로 안전한 AI를 구축하는 해법은 더 많은 AI를 적용하되, 최적화되고 매우 의도적으로 활용하는 것입니다.

AI 안전 테스트가 새롭게 요구할 인프라 수요는 어떤 유형이며, 이러한 워크로드는 기존 모델 학습이나 인퍼런스와 어떻게 다를까요?

학습은 급수관과 같습니다. 대량의 데이터를 지속적이고 예측 가능한 패턴으로 모델에 투입합니다. 안전 테스트는 그 반대입니다: 수천 개의 평가 시나리오, 반복적인 탐색, 버전 간 행동 비교, 그리고 끝이 없는 적대적 레드팀 테스트가 이어집니다.

이 프로파일이 중요합니다. 안전 교육·테스트는 버스트형이며, 읽기 중심이고 비교적입니다. 방대한 중간 상태를 생성하고 소비합니다. 가드레일 모델은 본질적으로 이질적이고 계층화되어야 하며, 엄격한 지연 예산 내에서 구현되어야 합니다. 이러한 새로운 안전 기준 차원으로 평가를 확대하면, 고급 혹은 사이버 대응 모델의 경우 워크로드 프로파일은 에피소드형이 아니라 24/7 지속형이 됩니다. 테스트를 한 번만 실행하고 결과를 보관하는 것이 아니라, 컴퓨팅·메모리·데이터 대역폭을 놓고 실시간으로 경쟁하는 지속적인 에이전트 스웜 워크로드를 운영하게 됩니다. 현재 대부분의 인프라는 이 세 번째 원칙을 위해 설계되지 않았습니다.

이와 별도로 측정 문제도 존재합니다. 오늘날 대부분의 AI 벤치마크는 8,000 토큰 이하, 프롬프트 하나, 응답 하나로 제한됩니다. 저는 이를 인공적인 인공지능 벤치마크라고 농담합니다. 2026년 중반에는 실제 에이전트 워크로드가 100,000~400,000 토큰의 컨텍스트를 수천 번의 턴에 걸쳐 처리합니다. 안전 평가가 이러한 장난스러운 벤치마크를 그대로 이어받는다면, 존재하지 않는 세계를 위한 시스템 인증이 됩니다. 규제 당국은 이미 더 나은 역량을 구축하고 있습니다: NIST가 에이전트 보안 평가 도구를 오픈소스로 공개했으며, 초기 결과는 알려진 기준보다 여러 배 높은 에이전트 하이잭 공격 성공률을 보여줍니다. 이는 제가 기대하는 지속적이고 적대적이며 비용이 많이 드는 테스트 형태와 정확히 일치합니다.

조직이 향후 규제·안전 워크로드를 위해 과잉 컴퓨팅·데이터 용량을 구축해야 할까요, 아니면 불확실성을 대비해 보다 효율적인 설계가 가능할까요?

과잉 GPU를 구매하고 활용도가 따라오길 기대하는 것은 감가상각되는 하드웨어에 자본이 묶이는 결과를 초래합니다.

효율적인 답은 생산 워크로드와 평가 워크로드 사이를 별도 스택 없이 전환할 수 있는 인프라입니다. 이는 근본적으로 데이터 문제입니다. 데이터를 효율적으로 이동·재사용하고, 워크로드 간 컨텍스트를 보존하며, 가속기를 실제 작업에 바쁘게 유지한다면, 컴플라이언스는 별도 비용이 아닌 점진적인 비용이 됩니다. AI 경제성은 토큰·바이트·와트당 얼마나 가치를 추출하느냐에 달려 있습니다. 이를 제대로 구현하면 동일 인프라에서 3~4배 더 큰 가치를 창출하거나 랙 면적을 최대 75% 절감할 수 있습니다. 컴플라이언스도 동일 기준을 적용받아야 합니다.

현재 프레임워크는 고급 폐쇄형 모델에 초점을 맞추고 개방형 가중치 모델을 제외하고 있다고 합니다. 두 범주를 다르게 다루면 어떤 인프라·보안 과제가 발생할 수 있을까요?

폐쇄형 모델과 개방형 가중치 모델을 다르게 취급하면, 동일한 기능을 수행하는 기술에 대해 두 개의 컴플라이언스 프레임워크가 생기며, 그 간극이 위험이 존재하는 영역이 됩니다.

개방형 가중치 모델은 원 제공자가 전혀 가시성을 갖지 못하는 환경에 파인튜닝·배포될 수 있습니다. 제공자를 규제해도 소용이 없습니다. 그리고 이미 차이가 드러나고 있습니다: 올해 최신 폐쇄형 프론티어 모델에 수출 규제가 적용된 반면, 개방형 가중치 모델은 국경을 자유롭게 넘으며 현재 공개 능력 순위 상위에 자리하고 있습니다. 그러나 행정은 프론티어 모델을 정의하고, 거버넌스는 모델 자체에만 국한될 수 없습니다. 모델이 실행되는 위치, 접근하는 데이터, 프롬프트·응답·메타데이터 보존 여부, 수정 이력, 그리고 인프라가 규모화된 거버넌스 AI를 실제 지원할 수 있는지 여부를 파악해야 합니다. ISO27001 및 SOC2의 새로운 업데이트가 요구될 것입니다.

제 답은 “신뢰하지만 검증한다”는 것입니다. 인프라가 토큰 용량을 제공한다면, 출력이 국내든 해외든, 개방형이든 폐쇄형이든 관계없이 이질적인 가드레일을 적용해 실행할 수 있습니다. 객관적인 검증은 모델 출처에 기반한 일괄적인 신뢰 혹은 불신보다 우월합니다. 개방형 모델이 확대됨에 따라, 이러한 검증 능력은 인프라 레이어에 존재하게 되며, 기업이 차별화되는 지점이 됩니다. 정책은 어떤 모델을 허용할지 결정할 수 있지만, 인프라가 해당 모델을 책임감 있게 경제적으로 배포할 수 있는지는 인프라가 결정합니다.

AI 에이전트가 점점 더 자율적이 되고 긴 컨텍스트에서 작동함에 따라, 조직이 모니터링·안전을 위해 할당해야 할 데이터·메모리·컴퓨팅 양은 어떻게 변할까요?

채팅봇은 프롬프트와 응답 하나로 구성됩니다. 자율 에이전트는 실행 중인 프로세스로, 수십 개 시스템에 접속하고 정보를 검색하며 중간 결정을 내리고, 작업을 완료하기까지 수시간·수일에 걸쳐 상태를 축적합니다.

개별 토큰이나 응답을 샘플링해서는 모니터링할 수 없습니다. 전체 시퀀스를 포착해야 합니다: 에이전트가 무엇을 알고 있었는지, 언제 알았는지, 이후 어떤 행동을 했는지. 에이전트가 한 시간 동안 실행될 때마다 상태가 성장하고, 이를 포착·분석하기 위한 메모리·데이터 이동·인프라가 늘어납니다. 모니터링은 단순 로그 기능을 넘어 자체 리소스 예산을 가진 1급 워크로드가 됩니다.

여기서 방어가 시급해집니다. AI의 메모리 문제가 보안 문제로 전환되고 있습니다. 코딩 에이전트는 스핀업·배포·종료가 자유롭지만, 사이버 보안 에이전트는 그렇지 못합니다. 이들은 보안 운영 센터의 교대 근무, 빈번한 모델 업데이트, 주 단위에서 오늘날 기계 속도에 맞춰 진행되는 복합 다단계 공격 캠페인 등 장시간 컨텍스트를 유지해야 합니다. AI 작업 메모리가 몇 분마다 완전히 재계산·소멸되면, 첫 번째 시간에 이상 행동을 감지한 에이전트는 두 번째 시간에 그 기억을 잃게 됩니다. 공격자는 이런 문제에 직면하지 않으며, 지속적으로 취약점을 식별·추적하고 토큰노믹스 최적화된 기계 속도로 킬 체인을 완성합니다. 따라서 AI 기반 사이버 방어는 24시간 자율 운영이 필요합니다. 이는 이론이 아니라 현실이며, 보안 벤더들은 이미 24/7 지속형 사이버 에이전트를 준비 중이며, 첫 번째 발견은 채팅 워크로드와는 전혀 다른 경제 구조라는 점입니다. 일부 조직은 GPU 랙이나 냉각 장치를 설치할 수 없는 현장에 에이전트를 배치해야 합니다. 기업 AI의 진정한 시험은 순간적인 추론이 아니라 지속적인 컨텍스트 유지이며, 이는 토큰 소모 전쟁이 됩니다. 규모에 맞는 지속 컨텍스트 메모리를 해결하는 조직이 기업 AI의 첫 번째 수평 킬 앱, 즉 항상 켜져 있는 블루 에이전트 스웜을 구동하게 될 것입니다.

“컨텍스트 메모리”가 AI 워크로드가 단순 채팅을 넘어 지속형 에이전트로 전환함에 따라 감사·재현·조사에 중요해질 수 있다고 말씀하셨습니다. 실제로도 그렇게 될까요?

전적으로 그렇습니다. 이는 중요한 사용 사례입니다. 수년간 메모리는 성능 이야기였으며, GPU에 얼마나 빠르게 데이터를 공급하고 얼마나 많은 컨텍스트를 유지할 수 있는지가 핵심이었습니다. 에이전트가 자율적으로 행동하기 시작하면, 그 동일한 메모리가 증거가 됩니다. 에이전트가 며칠에 걸쳐 축적한 컨텍스트를 기반으로 결정을 내렸다면, 최종 프롬프트와 출력만으로는 왜 그런 행동을 했는지 거의 알 수 없습니다. 설명은 축적된 상태에 존재합니다.

기술적으로는 대부분의 상태가 KV 캐시에 저장되며, 업계는 아직 이를 일시적인 스크래치 공간으로 취급하고 있습니다. 이 상태를 보존하고 효율적으로 검색할 수 있다면, 시스템이 행동한 순간에 무엇을 알고 있었는지를 재구성할 수 있습니다. 팀은 이를 먼저 디버깅에 활용하고, 이후 안전 평가와 조사에 활용하게 될 것입니다. 컨텍스트 메모리를 버린다는 것은 AI가 왜 그런 행동을 했는지 설명할 유일한 기록을 버리는 것과 같습니다.

AI 규제가 궁극적으로 모델 입력·출력·체크포인트·데이터 라인리지·에이전트 활동에 대한 정보를 크게 보관하도록 강제할 가능성이 있나요? 그렇다면 AI 인프라 아키텍처는 어떻게 변해야 할까요?

방향성으로는 그렇습니다. AI 시스템이 더 중요한 역할을 수행함에 따라 가시성 요구가 파이프라인 전 단계에 걸쳐 확대될 것입니다. 이미 초기 신호가 보이고 있습니다: 팀들은 감사 목적을 위해 저렴한 객체 스토리지 계층에 오래된 컨텍스트 메모리를 보관하려는 계획을 세우고 있습니다. 이는 규제가 강제하기 전이라도 나타나는 현상입니다.

불변성을 보장하는 모니터링 인증이 필수적입니다. 악성 에이전트가 로그와 포렌식 아티팩트를 조작하는 사례가 일상화되면서, 집중된 중앙형 무결성 공격에 취약하지 않은 정교한 암호 검증 시스템이 필요합니다. 단순 투명성 로그나 해시 체인만으로는 협업하는 에이전트 스웜의 결탁 능력을 방어하기에 부족합니다. 고도로 분산된 공개 블록체인 아키텍처는 이러한 요구에 이상적이며, 사이버보안의 CIA 삼위일체 중 무결성 가치를 강조합니다.

보관은 단순히 대규모 영구 스토리지 문제를 넘어섭니다. 핵심은 해당 정보를 신뢰할 수 있게 조직하고, 색인화하고, 빠르게 검색할 수 있게 하는 것입니다. 규제기관, 사고 대응, 법정 등에서 마감 시간이 있을 때 유용해야 합니다. 페타바이트 규모의 에이전트 활동을 조회할 수 없으면 기록이 아니라 부채가 됩니다. 아키텍처 전환은 “더 많은 스토리지”에서 “객관적으로 검증 가능하고 지속 가능하며 쿼리 가능한 AI 데이터”가 핵심 워크로드가 되는 방향으로 진행됩니다.

많은 조직이 GPU를 더 많이 구매하는 데 집중하고 있지만, AI 워크로드가 확장되고 안전 요구가 강화됨에 따라 덜 눈에 띄는 인프라 병목은 어디에서 나타날까요?

GPU가 헤드라인을 차지하는 이유는 예산 항목이 크기 때문입니다. 그러나 GPU와 특히 새로운 디코드 최적화 가속기(ASIC+SRAM)는 실제 제약이 되는 경우가 드뭅니다. 메모리 대역폭, 데이터 중력·이동, 스토리지 성능, 네트워킹이 가속기가 실제 작업을 수행하거나 유휴 상태를 기다리는지를 결정합니다.

AI가 컨텍스트 중심으로 변함에 따라 메모리 벽이 결정적인 제약이 됩니다. GPU를 계속 추가할 수는 있지만, 토큰을 재계산하거나 시스템 간 컨텍스트를 셔플하는 데 사이클을 소비한다면, 낭비된 작업에 비용을 지불하는 셈입니다. 메모리 벽을 확장한다는 것은 데이터 레이어를 공유 스토리지처럼 동작하게 하면서 실제 메모리 속도로 수행하도록 만드는 것입니다. 이는 현재 등장하고 있는 KV 캐시 오프로드 솔루션의 핵심 과제이며, 모든 솔루션은 토큰노믹스를 맞추기 위해 진정한 메모리 등급 성능을 제공해야 합니다. KV 캐시의 보관 가치는 비용 센터 논의이며, 이익 센터와는 별개입니다. 캐시 읽기가 재계산보다 느리면 비즈니스 관점에서 캐시는 무가치합니다. 중요한 것은 GPU 수가 아니라 각 GPU가 얼마나 생산적인가입니다. AI 경제성은 토큰·바이트·와트당 추출하는 가치에 달려 있으며, 안전 요구는 이 수학을 더욱 가중시킬 것입니다.

앞으로 AI 안전·컴플라이언스가 사이버보안이 전용 레이어로 진화한 것처럼 별도 인프라 워크로드가 될 것으로 예상하시나요?

AI 안전·컴플라이언스는 별도 워크로드로 자리 잡을 것이며, 사이버보안과의 유사점은 양방향으로 작용합니다. 보안이 한 번의 행사로 끝나는 것이 아니라 지속적인 레이어가 된 것은 업계가 이를 선택할 수 없게 되었기 때문이며, 사이버 보험 산업이 이를 강제했습니다. AI 안전도 모델이 더 강력하고 자율적으로 발전함에 따라 필수적인 경로를 따르게 될 것입니다.

하지만 보안이 잘못된 방향으로 흘러간 점은 교훈이 됩니다. 보안은 별도 스택·예산·팀으로 전환되었고, 사후에 문제를 발견했습니다. 안전 인프라는 이러한 실수를 반복해서는 안 됩니다. 모니터링·평가·감사 가능성·불변 보관은 AI 인프라 자체에 내재되어야 하며, 설계 단계부터 공동으로 구현돼야 합니다.

많은 사람들이 놓치는 핵심은: 안전한 AI는 더 많은 AI를 필요로 합니다. 가드레일 모델은 무료가 아닙니다. 에이전트 런타임 전 단계에서 지속적으로 학습·파인튜닝·추론이 이루어져야 합니다. 토큰 지연 예산이 이를 구체화합니다: 각 응답은 고정된 시간 창을 가지고 있으며, 그 창 안에서 처리할 수 있는 토큰이 많을수록 출력 전 검증을 더 많이 수행할 수 있습니다. 그리고 프론티어 모델의 가장 큰 위협은 에이전시 적용입니다. 에이전트는 고용량 인퍼런스 루프를 실행하며, 장기간에 걸쳐 모델을 반복 호출합니다. 각 루프는 관찰·방향·결정·행동을 수행하고, 각 단계마다 토큰을 소모합니다. 이는 AI 보안을 토큰 소모 전쟁으로 만듭니다. 공격자는 레드 에이전트 스웜을, 방어자는 블루 에이전트 스웜을 배치하며, 더 많은 토큰을 달러·와트당 생성할 수 있는 쪽이 승리합니다. 토큰노믹스는 공격·방어 모두의 핵심 경로에 놓여 있습니다. 이는 올해 여름, 주요 모델 레포지토리에 대한 레드 에이전트 스웜 공격이 산업을 깜짝 놀라게 하고, 며칠 만에 전용 보안 AI 연합이 결성되면서 실현되었습니다. 동시에 처리량은 급증하고 있습니다: 산업 토큰 처리량이 트릴리언에서 퀸틸리언으로 이동했습니다.

안전이 항상 켜져 있는 요구사항이 되면, 그 컴퓨팅·메모리·데이터 비용은 부가 비용이 아니라 AI 운영의 기본 단위 경제에 포함됩니다. 이를 일찍 내재화한 기업은 안전을 설계 입력으로 다루고, 나머지는 세금처럼 취급합니다.

훌륭한 인터뷰에 감사드립니다. 더 알고 싶으신 독자분들은 WEKA를 방문해 주세요.