Vertex AI’ye Giriş

Yapay Zeka manzarasının hızla evrimleştiği bir dönemde, teknoloji liderlerinin karşılaştığı en büyük engellerden biri, “deneysel” olmaktan “kurumsal hazır” olmaya geçmektir. Tüketici sohbet botları ve etkileşimli bir platform, kamu hayal gücünü desteklemeye yardımcı olsa da, işletmeler yalnızca bir sohbet arayüzü ile başarılı olamaz. Rekabet daha önce hiç olmadığı kadar agresif bir dönemde, işletmelere sağlam, ölçeklenebilir ve güvenli bir ekosistem gerekli ve Google (GOOGL ), Vertex AI ile bunu sunmaya çalışıyor.

Vertex AI, modern bulut altyapısı ile Generative AI entegrasyonu için bir temel olarak kendini sağlamlaştırmaya çalışıyor ve üretim sınıfı uygulamaları ile ham temel modeller arasında köprü oluşturan bir dizi özellik sunuyor. Vertex AI, büyük dil modellerinin (LLM’ler) bir sarıcı değil, Generative AI’ı modern bulut altyapısının birincil vatandaşı olarak tedavi eden birleşik bir Makine Öğrenimi ve Yapay Zeka (ML/AI) ekosistemidir.

Vertex AI’nin kalbinde Model Garden yer alıyor, bu bir merkezi pazar yeridir ve 200’den fazla küratörlü temel modeli sunar, bunlar arasında Gemini 2.5 Pro gibi çok modelli bir güç merkezi de bulunur ve bu model 2 milyon tokenlik bir bağlam penceresine sahiptir. Bu makalede, Vertex AI’nin mimarisini inceleyeceğiz, Model Garden’in endüstri için bir “Uygulama Mağazası” olarak nasıl hizmet verdiğini ve bu platformu bir sonraki nesil kurumsal yazılımın omurgası yapan teknik sütunları keşfedeceğiz.

Çekirdek Mimarisi: Birleştirilmiş Bir Platform

Vertex AI, bir dizi araçların gevşek bir şekilde birleştirilmesinden değil, veri ve AI ekosisteminin birleştirilmesinden oluşur ve makine öğreniminin bugüne kadar karşılaştığı veri, araçlar ve ekiplerin parçalanmasını köprülemeye tasarlanmıştır. Geleneksel olarak, AI geliştirme izole ortamlarda gerçekleşir ve bazen veriler birden fazla depoda dağılmış ve hapsolmuş olabilir. Örneğin, organizasyonlar müşteri verilerini SQL depolarında saklayabilirken, yapılandırılmamış belgeler bir Veri Gölü’ne dökülebilir. Veriler bölünmüş olduğunda, AI yalnızca “kısmi bir gerçeklik” görür, bu da sonuçların yanlı olmasından veya yüksek hayal gücü oranlarından kaynaklanabilir çünkü girişimcinin tam bağlamını kaçırır.

Vertex AI, ham veri alımı ve üretim izleme dahil olmak üzere tüm yaşam döngüsünü entegre etmeye çalışır ve temel olarak bu silolar arasında “bağlantı dokusu” olarak hizmet eder. Vertex AI, Cloud Storage ve BigQuery ile yerel olarak entegre olur, bu da AI modellerinin veri alımı için karmaşık Extraction, Transformation ve Load boru hatlarına gerek kalmadan veri almasını sağlar.

Temel: Google’ın AI Hiper Bilgisayarı

Vertex AI’nin GenAI katmanı, Google’ın AI Hiper Bilgisayar mimarisinin üzerine kurulmuştur, bu birleşik bir süper bilgisayar sistemi olup şunları içerir:

TPU v5p ve v5e (Tensor İşleme Birimleri)

Google’ın Tensor İşleme Birimleri derin öğrenimin tanımladığı matris çarpımı için özel olarak tasarlanmış ASIC’lerdir (Uygulama-Spesifik Entegre Devreler).

• TPU v5p (Performans): Bu, büyük ölçekli eğitim için bayrak gemisi hızlandırıcıdır. Her TPU v5p podu, Google’ın en yüksek bant genişliğine sahip Inter-Chip Interconnect (ICI) ile 8.960 çipe kadar ölçeklenebilir. Bir teknoloji lideri için bu, önceki nesle göre 2,8 kat daha hızlı eğitim anlamına gelir (175 milyar parametre ile GPT-3 boyutunda bir model için), bu da pazara girme süresini önemli ölçüde azaltır.
• TPU v5e (Verimlilik): “Maliyet optimize” performansı için tasarlanan v5e, orta ölçekli eğitim ve yüksek hacimli çıkarım için çalıştırma atıdır. Bu, 24/7 çıkarım çalıştırmak isteyen ancak büyük bir bütçeye sahip olmayan işletmeler için ideal seçimdir.

NVIDIA H100/A100 GPU’ları için Esneklik

TPU’lar uzmanlaşmışken, birçok geliştirme ekibi NVIDIA CUDA ekosistemine güveniyor. Vertex AI, NVIDIA’nın son donanımını birinci sınıf olarak destekler:

• NVIDIA H100 (Hopper): Büyük açık kaynaklı modelleri (Llama 3.1 405B gibi) ince ayarlamak için gereken büyük bellek bant genişliğine idealdir.
• Jüpiter Ağları: “Ağ Tıkanıklığı”nı önlemek için Google, Jüpiter veri merkezi ağı dokusunu kullanır. Bu, verilerin GPU’lar arasında yıldırım hızında hareket etmesini sağlar ve CPU yükünü atlayarak dağıtılmış düğümler arasında neredeyse yerel performansı sağlar.

Dinamik Orkestrasyon

Vertex AI’deki en kritik teknik değişim Dinamik Orkestrasyon‘dur. Miras ortamda, bir GPU düğümü eğitim çalıştırması sırasında başarısız olursa, tüm iş possibly çökebilir.

• Otomatik Esneklik: Vertex AI, genellikle Google Kubernetes Engine (GKE) tarafından desteklenmektedir ve “kendini onaran” düğümler sunar. Donanım arızası tespit edildiğinde, platform yükü otomatik olarak sağlıklı bir düğüme taşır.
• Dinamik İş Yükü Zamanlayıcısı: Bu araç, ekiplerin kapasiteyi aciliyetlerine göre talep etmelerini sağlar. Esnek Başlangıç (daha ucuz, kapasite mevcut olduğunda başlar) veya Misyon-Kritik Sürümler için Garantili Kapasite seçebilirsiniz.
• Sunucusuz Eğitim: Altyapı yönetimini sıfıra indirmek isteyen ekipler için Vertex AI Sunucusuz Eğitim, kodunuzu ve verilerinizi sunmanıza ve platformun küme sağlaması, işi çalıştırması ve sonra da küme’yi yok etmesine olanak tanır – yalnızca kullanılan işlem saniyeleri için ücretlendirilir.

Üç Giriş Noktası: Keşif, Deneysel ve Otomasyon

Farklı teknik kişilere – veri bilimcilerden uygulama geliştiricilerine – hitap etmek için Vertex AI, üç temel giriş noktası sunar:

• Model Garden: Keşif için Pazar.
• Vertex AI Studio: Deneysel için Oynama Alanı.
• Vertex AI Agent Builder: Otomasyon için Fabrika.

Model Garden: Keşif için Pazar

Google Cloud’un Vertex AI Model Garden’i, çeşitli iş ihtiyaçları için geniş bir yelpazede AI modellerini keşfetmek, test etmek, özelleştirmek ve dağıtmak için Google Cloud’da merkezi bir platformudur. Bu, geliştiriciler ve işletmeler için doğru modeli (büyük temel modellerden uzmanlaşmış modellere kadar) seçmelerine ve bunları Google Cloud ortamında verimli bir şekilde dağıtmalarına yardımcı olan kapsamlı bir kütüphanedir.

Model Garden, 200’den fazla modelini üç ayrı kategoriye ayırır, bu da mimarların performansı, maliyeti ve denetimi dengelemelerine olanak tanır:

1. İlk Parti (Google) Modelleri: Bunlar, Vertex AI’de bulunan çok modelli bayrak gemisi modelleridir ve Google, bunları çeşitli boyutlarda sunar – karmaşık akıl yürütme ile Pro ve düşük gecikme ile Flash arasında değişen boyutlar – ve bu da geliştiricilerin modellerini kullanım durumlarına göre optimize etmelerine olanak tanır.
2. Üçüncü Parti (Ticari) Modeller: Stratejik ortaklıklar aracılığıyla, Vertex AI “Model-as-a-Service” (MaaS) erişimini devlere sunar – örneğin Anthropic (Claude 3.5) ve Mistral AI. Beş farklı AI sağlayıcısı için ayrı ayrı faturalandırma ve güvenlik kimlik bilgileri yönetmek yerine, bir teknoloji ekibi bunları mevcut Google Cloud projesi aracılığıyla, birleşik bir API formatı kullanarak erişebilir.
3. Açık Kaynak ve Açık Ağırlık Modelleri: Bu kategori, Meta’nın Llama 3.2‘sini, Mistral‘ı ve Google’ın kendi Gemma‘sını içerir. Bunlar, modelleri kendi Sanal Özel Bulutlarında (VPC) self-dağıtmak isteyen ve maksimum veri izolasyonu sağlamak isteyen organizasyonlar için idealdir.

Birleşik bir ortamda, açık kaynaklı bir modeli (Llama gibi) dağıtmak, PyTorch ortamını kurmak, CUDA sürücülerini yapılandırmak ve Flask veya FastAPI sarmalayıcıyı yönetmek anlamına gelir.

Model Garden, Birleşik Yönetilen Uç Noktaları ile bu “Munging” aşamasını ortadan kaldırır:

• Tıkla ve Dağıt: Birçok model için, “Dağıt”ı tıklatmak, gerekli TPU/GPU kaynaklarını otomatik olarak sağlar, modeli üretim için hazırlanmış bir kaba sarar ve bir REST API uç noktası sağlar.
• Hugging Face Entegrasyonu: Vertex AI, geliştiricilerin Hugging Face Hub’dan modelleri doğrudan bir Vertex uç noktasına dağıtmalarına olanak tanır, bu da kullanılabilir zekanın neredeyse sınırsız bir genişlemesine yol açar.
• Özel Hizmet Bağlantısı (PSC): Yüksek düzenlenmiş endüstriler için, modeller Özel Hizmet Bağlantısı kullanarak dağıtılabilir, bu da model uç noktasının hiçbir zaman kamu internetine açık olmadığını garantiler ve veri trafiğinin şirket ağı içinde kalmasını sağlar.

Vertex AI Studio: Deneysel için Oynama Alanı

Model Garden’in seçim ile ilgili olduğu yerde, Vertex AI Studio hassasiyet ile ilgilidir. Vertex AI Studio, geleneksel yazılım dünyasında karşılaştığınız derleyiciler ve hata ayıklayıcılar ile karşılaştırılabilir. Vertex AI Studio, ham modellerin bir dizi.prompt mühendisliği, çok modelli test ve gelişmiş hiperparametre ayarlaması yoluyla belirli iş araçlarına dönüştürüldüğü bir çalışma alanıdır.

Çok Modelli Prototip: Metin Ötesi

Stüdyonun öne çıkan özelliklerinden biri, çok modelli desteklemesidir. Diğer platformlar metin dışı verilere komplex kodlama gerektirirken, Vertex AI Studio, Gemini 2.5 akıl yürütme yeteneklerini test etmek için dosyaları doğrudan arayüze sürükleyip bırakmanıza olanak tanır.

• Video Zekası: 45 dakikalık bir teknik ana konuşmayı yükleyebilir ve modelden “belirli bir API’nin her mention edildiği zamanı belirleyin ve zaman damgalı bir özet sağlayın” diye isteyebilirsiniz.
• Belge Analizi: Metni okumak yerine, model bir 1.000 sayfalık PDF’nin görsel düzenini analiz edebilir, grafiklerin, tabloların ve çevredeki metin arasındaki ilişkiyi anlar.
• Kod Yürütme: Studio, kod yürütmesini oynama alanında destekler. Modelden karmaşık bir matematik problemi çözmesini veya bir CSV analiz etmesini isterseniz, model güvenli bir kumanda ortamında Python kodu yazabilir ve yürütebilir ve doğrulanmış bir cevap sağlayabilir.

Gelişmiş Özelleştirme: Ayarlanma Yolculuğu

İstem mühendisliği (Sıfır Atış veya Az Atış) tavana ulaştığında, Vertex AI Studio ağır makineleri sağlar: Model Ayarlaması.

1. Denetimli İnce Ayar: Geliştiriciler “İstem/Cevap” çiftleri (ideal olarak 100+ örnek) içeren bir veri seti sağlar. Bu, modelin belirli bir marka sesini, çıktı formatını (özel JSON gibi) veya alan spesifik jargonunu benimsemesini sağlar.
2. Context Caching: Büyük, statik veri setleri (bir hukuk kütüphanesi veya bir kod tabanı gibi) ile uğraşan işletmeler için, Studio Context Caching‘i sağlar. Bu, milyonlarca tokenlık veriyi modelin belleğine önceden yüklemenize ve sonraki sorgular için gecikme ve maliyetleri azaltmanıza olanak tanır.
3. Distilasyon (Öğretmen-Öğrenci): Bu, yüksek düzeyde bir mimari hamledir. Büyük bir modeli (Gemini 2.5 Pro) kullanarak daha küçük, daha hızlı bir modeli (Gemini 2.0 Flash) “eğitebilirsiniz”. Sonuç, “Pro” seviyesinde performans gösteren ancak “Flash” hızında ve maliyetinde çalışan bir modeldir.

Vertex AI Ajan Oluşturucu: Otomasyon için Fabrika

Vertex AI Ajan Oluşturucu, geliştiricilerin temel modelleri kurumsal verilerle ve dış API’lerle birleştirerek bu ajansları oluşturmasına olanak tanıyan bir yüksek düzeyli orkestrasyon çerçevesidir.

“Gerçek” Mimarisi: Temel ve RAG

Kurumsal AI’nin temel teknik bariyeri hayal gücü‘dür. Ajan Oluşturucu, bunu gelişmiş bir Temel motoru ile çözer.

• Google Arama ile Temel: Gerçek zamanlı dünya bilgisi gerektiren sorgular için (örneğin, “New York’ta current mortgage oranları nelerdir?”), ajan Google Arama yapabilir, gerçekleri çıkarabilir ve kaynaklarını alıntılayabilir.
• Vertex AI Arama (RAG-as-a-Service): Geliştiriciler, Vertex AI Arama‘yı kullanarak kendi belgelerini (PDF, HTML, BigQuery) endeksleyebilir. Bu, “parçalama”, “gömme” ve “çıkarma” adımlarını otomatik olarak işler ve ajanın yalnızca “Gerçek Kaynak”ınıza dayalı olarak cevap verdiğinden emin olur.
• Vertex AI RAG Motoru: Yüksek ölçekli, özel uygulamalar için bu yönetilen hizmet, vektör tabanlı ve anahtar kelime tabanlı sonuçların birleştirilmesine olanak tanır ve standard LLM çıkışlarına göre doğruluğu %30’a kadar artırır.

Çoklu Ajan Orkestrasyonu (A2A Protokolü)

Gelişmiş kurumsal iş akışları genellikle birlikte çalışan uzmanlaşmış ajanslar gerektirir. Vertex AI, Ajan-a-Ajan (A2A) Protokolü‘nü tanır, bu, açık bir standarttır ve şunları sağlar:

• “Seyahat Ajanı” “Finans Ajanı” ile konuşabilir, böylece bir uçuş rezervasyonu kurumsal bütçeye uyumlu olur.
• Çoklu Orkestrasyon: Açık bir protokol kullandığı için, Vertex üzerinde oluşturulan ajanslar LangChain veya CrewAI gibi diğer çerçevelerde oluşturulan ajanslarla iletişim kurabilir.

Geliştirici Yığını: ADK ve Ajan Motoru

“Teknoloji platformu” kitlesine yönelik Ajan Oluşturucu, iki ayrı yolu sunar:

1. Kod Yazmadan Konsol: Hızlı prototip oluşturma ve iş kullanıcıları yapılandırması için görsel bir sürükle ve bırak arayüzü.
2. Ajan Geliştirme Kiti (ADK): Mühendisler için bir kod-öncelikli Python aracı seti. “İstem-Kod” sağlar, sürüm kontrolü entegrasyonuna izin verir ve Vertex AI Ajan Motoru‘na dağıtmaya olanak tanır – otomatik olarak oturum kalıcılığını, ölçeklenebilirliği ve durum yönetimini işleyen yönetilen bir çalışma zamanı.

Sonuç: “Ne Olursa Olsun”dan “Ne Olacak”‘a

Gösterişli bir AI demo’dan üretim sınıfı bir kurumsal uygulamaya geçiş, uzun süredir dijital dönüşüm projeleri için “ölüm vadisi” olarak kabul edilmiştir. Vertex AI, bu boşluğu kapatmak için tasarlanmıştır. Veri, altyapı ve model orkestrasyonu parçalanmış silolarını birleştiren Google Cloud, Large Language Modellerinin ham gücünden AI yaşam döngüsünün operasyonel olgunluğuna doğru konuşmayı değiştirdi.