AI 모델 및 플랫폼

Vertex AI 소개

Kunal Kejriwal
Unite.AI를 Google의 선호 소스에 추가
핵심 포인트Vertex AI는 분산된 데이터와 AI 도구를 단일의 기업용 플랫폼으로 통합합니다.
더 보기
  • Vertex AI는 분산된 데이터와 AI 도구를 단일의 기업용 플랫폼으로 통합합니다.
  • 이 플랫폼의 Model Garden은 200개 이상의 선별된 파운데이션 모델에 대한 중앙 집중식 접근을 제공합니다.
  • 플랫폼의 동적 오케스트레이션 및 기반 정보 연결 기능은 프로덕션 AI의 오작동과 환각 현상을 해결합니다.

빠르게 변화하는 인공지능 분야에서 기술 책임자들이 마주하는 가장 큰 장애물 중 하나는 실험 단계에서 기업이 실제로 사용할 수 있는 단계로 넘어가는 일이다. 소비자용 챗봇과 대화형 플랫폼은 대중의 상상력을 자극하지만, 기업은 채팅 인터페이스만으로 성공할 수 없다. 경쟁이 어느 때보다 치열한 시대에 기업은 견고하고 확장 가능하며 안전한 생태계가 필요하다. Google (GOOGL )은 Vertex AI를 통해 이를 제공하려 한다. Vertex AI는 Google Cloud의 통합 인공지능 및 머신러닝 플랫폼이다. 

Vertex AI는 기초 모델을 가공하지 않은 상태에서 실제 운영용 애플리케이션으로 전환하는 간극을 메우는 포괄적 기능으로, 생성형 AI와 현대 클라우드 인프라 통합의 중추가 되려 한다. 단순히 대규모 언어 모델(LLM)을 감싸는 도구가 아니라, 생성형 AI를 현대 클라우드 인프라의 온전한 구성 요소로 다루는 통합 머신러닝·인공지능(ML/AI) 생태계다.

Vertex AI의 중심에는 Model Garden이 있다. 이 중앙 마켓플레이스는 200개가 넘는 엄선된 기초 모델에 접근할 수 있게 한다. 여기에는 놀라운 200만 토큰 컨텍스트 창을 갖춘 강력한 멀티모달 모델 Gemini 2.5 Pro도 포함된다. 이 글에서는 Vertex AI의 아키텍처와 Model Garden이 지능을 위한 업계의 «앱 스토어»로 기능하는 방식, 그리고 플랫폼을 차세대 기업용 소프트웨어의 중추로 만드는 기술적 기반을 살펴본다.

핵심 아키텍처: 통합 플랫폼

Vertex AI는 느슨하게 연결된 도구 모음이 아니라, 오늘날까지 머신러닝을 방해하는 데이터·도구·팀의 분절을 극복하도록 설계한 통합 데이터·AI 생태계다. 전통적으로 AI 개발은 격리된 환경에서 이루어지고, 데이터가 여러 저장소에 흩어진 채 갇히기도 한다. 예를 들어 고객 데이터는 SQL 데이터 웨어하우스에, 비정형 문서는 데이터 레이크에 저장될 수 있다. 데이터가 사일로에 갇히면 AI는 «부분적인 진실»만 본다. 기업의 전체 맥락이 없으므로 편향된 결과나 높은 환각 발생률로 이어진다. 

Vertex AI는 BigQuery와 Cloud Storage로 원시 데이터를 수집하는 단계부터 운영 환경 모니터링까지 전체 생애주기를 통합하려 하며, 사일로 사이의 «연결 조직» 역할을 한다. Cloud Storage 및 BigQuery와 기본적으로 통합되므로 AI 모델이 복잡한 추출·변환·적재(ETL) 파이프라인 없이 데이터를 가져올 수 있다. 

기반: Google AI Hypercomputer

생성형 AI 계층을 제공하는 Vertex AI는 Google AI Hypercomputer 아키텍처 위에서 작동한다. 이 통합 슈퍼컴퓨팅 시스템은 다음으로 구성된다.

TPU v5p 및 v5e(Tensor Processing Units)

Google의 Tensor Processing Units는 딥러닝의 기반인 행렬 곱셈을 위해 특별히 설계한 ASIC(주문형 집적회로)이다.

  • TPU v5p(성능): 초대규모 학습을 위한 주력 가속기다. 각 TPU v5p 포드는 Google의 최고 대역폭 Inter-Chip Interconnect(ICI)를 통해 4,800Gbps로 연결되는 8,960개 칩까지 확장할 수 있다. 기술 책임자 관점에서는 GPT-3 크기의 모델(1,750억 매개변수)을 이전 세대보다 2.8배 빠르게 학습시켜 시장 출시 시간을 크게 줄일 수 있다는 뜻이다.
  • TPU v5e(효율성): 비용 최적화 성능을 위해 설계한 v5e는 중규모 학습과 고처리량 추론을 담당하는 주력 장비다. 가격 대비 성능을 최대 2.5배 개선하므로, 막대한 예산 없이 연중무휴 추론을 실행해야 하는 기업에 적합하다.

유연성을 위한 NVIDIA H100/A100 GPU

TPU는 특화된 장치지만 많은 개발팀은 NVIDIA CUDA 생태계를 사용한다. Vertex AI는 NVIDIA의 최신 하드웨어를 본격적으로 지원한다.

  • NVIDIA H100(Hopper): Llama 3.1 405B처럼 방대한 메모리 대역폭을 요구하는 가장 큰 오픈소스 모델의 미세 조정에 적합하다.
  • Jupiter 네트워킹: Google은 «네트워크 병목»을 막기 위해 Jupiter 데이터센터 네트워크 패브릭을 사용한다. GPU 사이에서 데이터를 매우 빠르게 이동시키고, RDMA(원격 직접 메모리 접근)를 지원해 CPU 오버헤드를 우회함으로써 분산 노드에서도 로컬에 가까운 성능을 제공한다.

동적 오케스트레이션

Vertex AI에서 가장 중요한 기술적 변화는 동적 오케스트레이션이다. 기존 환경에서는 3주간의 학습 중 GPU 노드 하나가 고장 나면 전체 작업이 중단될 수 있다.

  • 자동 복원력: Vertex AI는 내부적으로 흔히 Google Kubernetes Engine(GKE)을 기반으로 작동하며 «자가 복구» 노드를 제공한다. 하드웨어 결함이 감지되면 플랫폼이 작업 부하를 정상 노드로 자동 이전한다.
  • 동적 작업 부하 스케줄러: 긴급성에 따라 용량을 요청할 수 있는 도구다. Flex Start(저렴하며 용량이 확보되면 시작)와 업무상 중요한 출시를 위한 보장 용량 가운데 선택할 수 있다.
  • 서버리스 학습: 인프라 관리를 전혀 하지 않으려는 팀은 Vertex AI Serverless Training에 코드와 데이터를 제출할 수 있다. 플랫폼이 클러스터를 마련하고 작업을 실행한 뒤 해제하며, 사용한 컴퓨팅 초에 대해서만 요금을 청구한다.

세 가지 진입점: 탐색, 실험, 자동화

Vertex AI는 데이터 과학자부터 애플리케이션 개발자까지 다양한 기술 사용자를 위해 세 가지 주요 진입점을 제공한다.

Model Garden: 탐색을 위한 마켓플레이스

Google Cloud의 Vertex AI Model Garden은 다양한 업무에 필요한 Google 자체 모델, 오픈소스 모델, 타사 AI 모델을 탐색·시험·맞춤화·배포하는 중앙 플랫폼이다. 비전·텍스트·코드를 다루는 멀티모달 모델도 포함하며, Vertex AI 도구와 긴밀하게 통합되어 머신러닝 운영(MLOps)을 간소화한다. 포괄적인 라이브러리로서 개발자와 기업이 대규모 기초 모델부터 특화 모델까지 작업에 맞는 모델을 선택하도록 돕는다. 텍스트 생성, 이미지 분석, 코드 자동 완성 등에 필요한 모델을 골라 자체 Google Cloud 환경에 효율적으로 배포할 수 있다.

Model Garden은 200개 이상의 모델을 세 가지 계층으로 분류해 설계자가 성능·비용·제어의 균형을 맞추게 한다.

  1. Google 자체 모델: Vertex AI에서 제공하는 주력 멀티모달 모델이다. 복잡한 추론에 적합한 Pro부터 낮은 지연과 대량 처리에 적합한 Flash까지 크기가 다양하므로 개발자가 사용 사례에 맞게 최적화할 수 있다. 
  2. 타사 독점 모델: Vertex AI는 전략적 제휴를 통해 Anthropic(Claude 3.5), Mistral AI 같은 주요 업체에 대한 «서비스형 모델»(MaaS) 접근을 제공한다. 다섯 AI 제공업체의 결제와 보안 자격 증명을 따로 관리하는 대신, 통합 API 형식을 사용해 기존 Google Cloud 프로젝트에서 모두 이용할 수 있다.
  3. 오픈소스 및 공개 가중치 모델: 이 계층에는 Meta의 Llama 3.2, Mistral, Google 자체 모델인 Gemma가 포함된다. 데이터를 최대한 격리하기 위해 자체 VPC(가상 사설 클라우드) 안에 모델을 직접 배포하려는 조직에 적합하다.

통합되지 않은 환경에서 Llama 같은 오픈소스 모델을 배포하려면 PyTorch 환경을 설정하고 CUDA 드라이버를 구성하며 Flask 또는 FastAPI 래퍼를 관리해야 한다.

Model Garden은 이러한 데이터·도구 준비 단계를 통합 관리형 엔드포인트로 없앤다.

  • 원클릭 배포: 많은 모델에서 «배포»를 누르면 필요한 TPU/GPU 자원을 자동으로 마련하고, 모델을 운영용 컨테이너에 패키징한 뒤 REST API 엔드포인트를 제공한다.
  • Hugging Face 통합: Vertex AI에서는 이제 Hugging Face Hub의 모델을 Vertex 엔드포인트에 직접 배포할 수 있으므로 이용 가능한 지능의 범위가 사실상 무한히 확장된다.
  • Private Service Connect(PSC): 규제가 엄격한 업종에서는 Private Service Connect를 사용해 모델을 배포할 수 있다. 모델 엔드포인트를 공용 인터넷에 노출하지 않고 데이터 트래픽을 기업 네트워크 안에만 유지한다.

Vertex AI Studio: 실험을 위한 작업 공간

모델 선택을 담당하는 것은 Model Garden이고, Vertex AI Studio가 담당하는 것은 정밀성이다. Vertex AI Studio는 기존 소프트웨어 개발의 컴파일러 및 디버거와 비교할 수 있다. 가공하지 않은 모델을 프롬프트 엔지니어링, 멀티모달 시험, 고급 하이퍼파라미터 조정으로 특정 업무 도구로 다듬는 작업 공간이다. 

멀티모달 프로토타이핑: 텍스트를 넘어서

Studio의 특징 중 하나는 기본적으로 멀티모달 기능을 지원한다는 점이다. 다른 플랫폼은 비텍스트 데이터를 다루는 데 복잡한 코딩이 필요하지만, Vertex AI Studio에서는 파일을 인터페이스에 바로 놓아 Gemini 2.5의 추론 능력을 시험할 수 있다.

  • 영상 지능: 45분짜리 기술 기조연설을 올리고 «특정 API가 언급되는 모든 시점을 찾아 시간 표시가 있는 요약을 제공하라»고 모델에 요청할 수 있다.
  • 문서 분석: 모델은 텍스트만 읽는 것이 아니라 1,000페이지 PDF의 시각적 배치를 분석해 차트·표와 주변 서술 사이의 관계를 이해할 수 있다.
  • 코드 실행: Studio는 이제 실험 공간에서의 코드 실행을 지원한다. 복잡한 수학 문제를 풀거나 CSV를 분석하도록 요청하면, 모델은 검증된 답변을 제공하기 위해 안전한 격리 환경에서 Python 코드를 작성하고 실행할 수 있다.

고급 맞춤화: 모델 조정 경로

프롬프트 엔지니어링(제로샷 또는 퓨샷)이 한계에 이르면 Vertex AI Studio는 강력한 도구를 제공한다. 바로 모델 튜닝이다.

  1. 지도 미세 조정(SFT): 개발자는 «프롬프트/응답» 쌍의 데이터셋을 제공한다. 이상적으로는 100개 이상의 예시가 필요하다. 이를 통해 모델이 특정 브랜드의 말투, 특수 JSON 같은 출력 형식, 분야별 전문용어를 익힌다.
  2. 컨텍스트 캐싱: 법률 라이브러리나 코드베이스처럼 방대한 정적 데이터셋을 다루는 기업을 위해 Studio는 컨텍스트 캐싱을 지원한다. 모델 메모리에 100만 토큰의 데이터를 미리 올려 후속 질의의 지연과 비용을 크게 줄일 수 있다.
  3. 증류(교사-학생): 고수준의 아키텍처 선택이다. 대규모 모델(Gemini 2.5 Pro)로 더 작고 빠른 모델(Gemini 2.0 Flash)을 «가르칠» 수 있다. 결과는 «Pro» 수준의 성능을 보이면서 «Flash»의 속도와 비용으로 실행되는 경량 모델이다.

Vertex AI Agent Builder: 자동화 공장

Vertex AI Agent Builder는 기초 모델과 기업 데이터, 외부 API를 결합해 에이전트를 만드는 고수준 오케스트레이션 프레임워크다.

«정확한 정보»의 아키텍처: 그라운딩과 RAG

기업 AI의 주된 기술적 장벽은 환각이다. Agent Builder는 정교한 그라운딩 엔진으로 이를 해결한다.

  • Google Search를 통한 그라운딩: 실시간 세계 지식이 필요한 질문(예: «뉴욕의 현재 주택담보대출 금리는 얼마인가?»)에 대해 에이전트가 Google 검색을 수행하고 사실을 추출하며 출처를 인용할 수 있다.
  • Vertex AI Search(서비스형 RAG): 벡터 데이터베이스(Pinecone, Weaviate)를 직접 구축하는 대신 개발자는 Vertex AI Search로 자체 문서(PDF, HTML, BigQuery)를 색인할 수 있다. 청킹, 임베딩, 검색 단계를 자동 처리하므로 에이전트는 내부의 «신뢰할 수 있는 기준 정보»만을 바탕으로 답한다.
  • Vertex AI RAG Engine: 대규모 맞춤형 구현을 위한 이 관리형 서비스는 벡터 기반 결과와 키워드 기반 결과를 결합하는 하이브리드 검색을 지원한다. 이를 통해 정확도를 표준 LLM 출력에 비해 최대 30% 높일 수 있다.

멀티에이전트 오케스트레이션(A2A 프로토콜)

고급 기업 업무 흐름에는 여러 특화 에이전트의 협력이 필요한 경우가 많다. Vertex AI는 다음 개방형 표준을 도입한다. 에이전트 간(A2A) 프로토콜. 다음과 같은 상호작용을 가능하게 한다.

  • «여행 에이전트»가 «재무 에이전트»와 대화해 항공편 예약이 기업 예산 안에 드는지 확인할 수 있다.
  • 상호 운용성: 개방형 프로토콜이므로 Vertex에서 만든 에이전트는 LangChain이나 CrewAI 같은 다른 프레임워크에서 만든 에이전트와 통신할 수 있다.

개발자 스택: ADK와 Agent Engine

«기술 플랫폼» 사용자를 위해 Agent Builder는 두 가지 경로를 제공한다.

  1. 노코드 콘솔: 신속한 프로토타이핑과 현업 사용자의 설정을 위한 시각적 드래그 앤드 드롭 인터페이스다.
  2. Agent Development Kit(ADK): 엔지니어를 위한 코드 중심 Python 도구 모음이다. «코드로서의 프롬프트», 버전 관리 통합, 다음 환경으로의 배포를 지원한다. Vertex AI Agent Engine은 세션 지속성, 확장, 상태 관리를 자동 처리하는 관리형 실행 환경이다.

결론: «만약»에서 «다음 단계»로

눈길을 끄는 AI 시연에서 기업의 실제 운영용 애플리케이션으로 넘어가는 과정은 오랫동안 디지털 전환 프로젝트의 «죽음의 계곡»이었다. 살펴본 것처럼 Vertex AI는 이 간극을 메우도록 설계되었다. Google Cloud는 데이터·인프라·모델 오케스트레이션의 분절된 사일로를 통합해 대규모 언어 모델의 원초적 능력에서 AI 생애주기의 운영 성숙도로 논의의 초점을 옮겼다.

Kunal Kejriwal은 Python, PostgreSQL, Redis 및 GCP와 AWS의 클라우드 인프라를 전문으로 하는 백엔드 엔지니어입니다. 3년간 실서비스 운영 시스템을 구축하고 확장한 경험을 바탕으로 AI 인프라, 분산 시스템, 그리고 머신러닝 워크로드 배포의 아키텍처에 대해 글을 씁니다.