AI-modeller og plattformer

En introduksjon til Vertex AI

Kunal Kejriwal
Legg til Unite.AI blant dine foretrukne kilder på Google
Viktige punkterVertex AI forener splitted data og AI-verktøy til én enkelt, bedriftsklar plattform.
Vis mer
  • Vertex AI forener splitted data og AI-verktøy til én enkelt, bedriftsklar plattform.
  • Dens Model Garden gir sentralisert tilgang til over 200 kuraterte grunnleggende modeller.
  • Plattformens dynamiske orkestrering og forankringsfunksjoner håndterer produksjonssvikt og hallusinasjoner i AI.

Gitt det raskt utviklende landskapet av kunstig intelligens, er et av de største hindrene teknologiledere ofte kommer over å gå fra å være “eksperimenterende” til å være “bedrifts-klare”. Mens forbrukerrettede chatboter og interaktive plattformer fanger publikums fantasi, kan bedrifter ikke lykkes med bare et chatgrensesnitt. I en æra hvor konkurranse er mer aggressiv enn noen gang før, trenger bedrifter et robust, skalerbart og sikkert økosystem, og dette er hva Google (GOOGL ) forsøker å tilby med Vertex AI, Google Clouds enhetlige plattform for kunstig intelligens og maskinlæring. 

Vertex AI forsøker å solidifisere seg som ryggraden for generativ AI-integrasjon med moderne sky-infrastruktur, og tilbyr en omfattende rekke funksjoner som bygger bro over gapet mellom rå grunnmodeller og produksjonsklare applikasjoner. Vertex AI er ikke bare en wrapper for store språkmodeller (LLM), men et enhetlig økosystem for maskinlæring og kunstig intelligens (ML/AI) som behandler generativ AI som en fullverdig del av moderne sky-infrastruktur.

I hjertet av Vertex AI sitter Model Garden, en sentral markedsplass som gir tilgang til over 200 utvalgte grunnmodeller, inkludert den multi-modale kjempen Gemini 2.5 Pro, som har et imponerende kontekstvindu på to millioner token. I denne artikkelen vil vi dissekere arkitekturen av Vertex AI, utforske hvordan Model Garden fungerer som bransjens “App Store” for intelligens, og se på de tekniske pillarene som gjør denne plattformen til ryggraden for den neste generasjonen av bedrifts-programvare.

Kjernearkitekturen: en enhetlig plattform

Vertex AI er ikke en løst koblet samling av verktøy, men et enhetlig data- og AI-økosystem designet for å overvinne fragmenteringen av data, verktøy og team som plager maskinlæring til denne dag. Tradisjonelt skjer AI-utvikling i isolerte miljøer, og noen ganger er data spredt og fanget over flere repositorier. For eksempel kan organisasjoner lagre kunde-data i SQL-warehouse mens de ustrukturerte dokumentene lagres i en Data Lake. Når data er siloet, ser AI bare en “delvis sannhet”, noe som fører til forvrengte resultater eller høye hallusinasjonsrater fordi den mangler full kontekst av bedriften. 

Vertex AI forsøker å integrere hele livssyklusen, fra rå data-innsamling i BigQuery og Cloud Storage til produksjons-overvåking, og fungerer som et “bindevev” mellom disse siloene. Vertex AI integrerer naturlig med Cloud Storage og BigQuery, og lar AI-modellene hente data uten komplekse pipelines for uttrekk, transformasjon og innlasting. 

Grunnlaget: Googles AI Hypercomputer

GenAI-laget av Vertex AI sitter på toppen av Googles AI Hypercomputer-arkitektur, et integrert superdatamaskinsystem som består av:

TPU v5p & v5e (Tensor Processing Units)

Googles Tensor Processing Units er spesialbygde ASIC’er (Application-Specific Integrated Circuits) designet spesielt for matrisemultiplikasjon som definerer dyp læring.

  • TPU v5p (ytelse): Dette er flaggskipakseleratoren for trening i svært stor skala. Hver TPU v5p pod kan skaleres til 8 960 chips koblet sammen av Googles Inter-Chip Interconnect (ICI) med høyest båndbredde på 4 800 Gbps. For en teknisk leder betyr dette 2,8 ganger raskere trening for en GPT-3-størrelse modell (175 milliarder parametre) sammenlignet med den forrige generasjonen, og reduserer dramatisk tiden til markedet.
  • TPU v5e (effektivitet): Designet for “kost-optimert” ytelse, er v5e arbeidshesten for trening i middels skala og inferens med høy gjennomstrømming. Den tilbyr opptil 2,5 ganger bedre pris-ytelse, og er det ideelle valget for bedrifter som må kjøre inferens døgnet rundt uten et enormt budsjett.

NVIDIA H100/A100 GPUs for fleksibilitet

Mens TPUs er spesialiserte, er mange utviklingsteam avhengige av NVIDIA CUDA-økosystemet. Vertex AI tilbyr førsteklasses støtte for NVIDIAs nyeste maskinvare:

  • NVIDIA H100 (Hopper): Ideelt for finjustering av de største åpne kilde-modellene (som Llama 3.1 405 milliarder) som krever massiv minne-båndbredde.
  • Jupiter Networking: For å forhindre “Network Bottleneck”, bruker Google sin Jupiter-nettverksvev for datasentre. Dette sikrer at data flytter seg mellom GPUs med lyn-hastighet, og støtter RDMA (Remote Direct Memory Access) for å omgå CPU-overhead og levere nær-lokal ytelse over distribuerte noder.

Dynamisk orkestrering

Det mest kritiske tekniske skiftet i Vertex AI er dynamisk orkestrering. I et eldre miljø, hvis en GPU-node feiler under en 3-ukers trening, kan hele jobben krasje.

  • Automatisert resiliens: Vertex AI, ofte drevet av Google Kubernetes Engine (GKE) under panseret, har “self-healing” noder. Hvis en maskinvarefeil oppdages, migrerer plattformen automatisk arbeidsbelastningen til en sunn node.
  • Dynamisk planlegger for arbeidsbelastning: Dette verktøyet lar teamene be om kapasitet basert på hvor mye det haster. Du kan velge Flex Start (billigere, starter når kapasitet er tilgjengelig) eller Garantert Kapasitet for virksomhetskritiske lanseringer.
  • Serverless trening: For teamene som ønsker null infrastruktur-håndtering, lar serverløs trening i Vertex AI deg sende inn kode og data; plattformen gir clusteren, kjører jobben og river den ned—og belaster deg bare for de brukte beregningssekundene.

De tre inngangspunktene: Oppdagelse, eksperimentering og automatisering

For å akkommodere forskjellige tekniske brukergrupper—fra dataforskere til applikasjons-utviklere—tilbyr Vertex AI tre primære inngangspunkter:

Model Garden: Markedsplassen for oppdagelse

Google Clouds Vertex AI Model Garden er en sentral plattform innen Google Cloud for å oppdage, teste, tilpasse og distribuere en rekke egne AI-modeller fra Google, modeller med åpen kildekode og modeller fra tredjeparter, inkludert multimodale modeller (visuell, tekst, kode) for forskjellige forretningsbehov, og tilbyr sømløs integrasjon med verktøyene i Vertex AI for effektiviserte maskinlæringsoperasjoner (MLOps). Den fungerer som et omfattende bibliotek, og hjelper utviklere og bedrifter å velge riktig modell (fra store grunnmodeller til spesialiserte modeller) for sine oppgaver, enten det er for tekst-generering, bilde-analyse eller kode-fullføring, og distribuere dem effektivt innen deres Google Cloud-miljø.

Model Garden kategoriserer sine 200+ modeller i tre distinkte nivåer, og lar arkitekter balansere ytelse, kostnad og kontroll:

  1. Googles egne modeller: Disse er flaggskipet multimodale modeller tilgjengelige innen Vertex AI, og Google tilbyr dem i forskjellige størrelser, fra Pro med kompleks resonnering til Flash med lav forsinkelse og høyt volum, og lar utviklere optimalisere sine modeller etter sine brukstilfeller. 
  2. Proprietære tredjepartsmodeller: Gjennom strategiske partnerskap, tilbyr Vertex AI “Model-as-a-Service” (MaaS) tilgang til kjemper som Anthropic (Claude 3.5) og Mistral AI. I stedet for å håndtere separat fakturering og sikkerhetslegitimasjon for fem forskjellige AI-tilbydere, kan et teknisk team få tilgang til alle disse gjennom sitt eksisterende Google Cloud-prosjekt, og bruke et enhetlig API-format.
  3. Åpen kilde- og åpen-vekt-modeller: Dette nivået inkluderer Metas Llama 3.2, Mistral og Googles egen Gemma. Disse er ideelle for organisasjoner som ønsker å selv-deployere modeller innen sin egen VPC (Virtual Private Cloud) for å sikre maksimal data-isolasjon.

I et ikke-enhetlig miljø, krever deployering av en åpen kilde-modell som Llama oppsett av et PyTorch-miljø, konfigurasjon av CUDA-drivere og håndtering av en Flask eller FastAPI-wrapper.

Model Garden eliminerer denne fasen med klargjøring og integrering av data og verktøy gjennom Enhetlige administrerte endepunkter:

  • One-Click Deployment: For mange modeller vil et klikk på «Deploy» automatisk klargjøre nødvendige TPU/GPU-ressurser, pakke modellen i en produksjonsklar container og opprette et REST API-endepunkt.
  • Hugging Face Integration: Vertex AI tillater nå utviklere å deployere modeller direkte fra Hugging Face Hub til et Vertex-endepunkt, og tilbyr en nesten uendelig utvidelse av tilgjengelig intelligens.
  • Private Service Connect (PSC): For høyt regulerte industrier, kan modeller deployeres ved hjelp av Private Service Connect, og sikrer at modell-endepunktet aldri er eksponert for det offentlige internett—og holder data-trafikken strengt innen det korporative nettverket.

Vertex AI Studio: Lekeplassen for eksperimentering

Mens Model Garden handler om valg, handler Vertex AI Studio om presisjon. Vertex AI Studio kan sammenlignes med kompilatorer og feilsøkere du kommer over i den tradisjonelle programvare-verden. Vertex AI Studio er arbeidsplassen hvor rå modeller skulpteres til spesifikke forretnings-verktøy gjennom en kombinasjon av prompt-engineering, multimodal testing og avansert hyperparameter-justering. 

Multimodal prototyping: Mer enn tekst

En av Studios utmerkede funksjoner er dens native støtte for multimodalitet. Mens andre plattformer krever kompleks kode for å håndtere ikke-tekst-data, tillater Vertex AI Studio å droppe filer direkte inn i grensesnittet for å teste resonneringsevnen til Gemini 2.5.

  • Video-intelligens: Du kan laste opp en 45-minutters teknisk keynote og be modellen om å “identifisere hver gang et spesifikt API er nevnt og gi en oppsummering med tidsstempler”.
  • Dokument-analyse: I stedet for bare å lese tekst, kan modellen analysere visuell layout av en 1 000-siders PDF, og forstå forholdet mellom diagrammer, tabeller og den omgivende prosa.
  • Kode-eksekvering: Studio støtter nå kode-eksekvering i lekeplassen. Hvis du ber modellen om å løse et komplekst matematisk problem eller analysere en CSV, kan modellen skrive og kjøre Python-kode i et sikkert sandkassemiljø for å gi et verifisert svar.

Avansert tilpasning: Justeringsveien

Når prompt-engineering (Zero-shot eller Few-shot) når taket, tilbyr Vertex AI Studio den tunge maskinen: Model-justering.

  1. Overvåket finjustering (SFT): Utviklere leverer et datasett med “Prompt/Svar”-par (ideelt 100+ eksempler). Dette lærer modellen å adoptere en spesifikk merkevare-stemme, utgangsformat (som spesialisert JSON) eller domene-spesifikt jargon.
  2. Kontekst-caching: For bedrifter som håndterer massive, statiske datasett (som et juridisk bibliotek eller en kodebase), tillater Studio Kontekst-caching. Dette lar deg “forhåndslaste” en million token med data inn i modellens minne, og reduserer dramatisk forsinkelsen og kostnadene for påfølgende forespørsler.
  3. Destillasjon (Lærer-Elev): Dette er et arkitekturvalg på høyt nivå. Du kan bruke en stor modell (Gemini 2.5 Pro) til å “undervise” en mindre, raskere modell (Gemini 2.0 Flash). Resultatet er en lett modell som utfører på et “Pro”-nivå, men kjører med “Flash”-hastighet og kostnad.

Vertex AI Agent Builder: Fabrikken for automatisering

Vertex AI Agent Builder er et høyt-nivå orkestrerings-rammeverk som lar utviklere skape disse agentene ved å kombinere grunnmodeller med bedrifts-data og eksterne API-er.

Arkitekturen av “sannhet”: Forankring og RAG

Den primære tekniske barrieren til bedrifts-AI er hallusinasjon. Agent Builder løser dette gjennom en sofistikert forankringsmotor.

  • Forankring med Google Søk: For forespørsler som krever sanntids-verdenskunnskap (for eksempel “Hva er dagens boliglånsrenter i New York?”), kan agenten utføre et Google-søk, trekke ut faktene og sitere sine kilder.
  • Vertex AI Søk (RAG-as-a-Service): I stedet for å bygge en vektor-database (Pinecone, Weaviate) manuelt, kan utviklere bruke Vertex AI Søk til å indeksere sine egne dokumenter (PDF, HTML, BigQuery). Den håndterer “chunking”, “embedding” og “retrieval”-trinnene automatisk, og sikrer at agenten bare svarer basert på deres interne “Kilde til sannhet”.
  • Vertex AI RAG-motor: For storskala, tilpassede implementeringer, tillater denne administrerte tjenesten hybrid-søk (kombinasjon av vektorbaserte og søkeordbaserte resultater) for å forbedre nøyaktigheten med opptil 30% over standard LLM-utgang.

Multi-agent orkestrering (A2A-protokoll)

Avanserte bedrifts-arbeidsflyter krever ofte flere spesialiserte agenter som arbeider sammen. Vertex AI introduserer Agent-til-Agent (A2A)-protokoll, en åpen standard som lar:

  • “Reise-agenten” snakke med “Finans-agenten” for å sikre at en fly-booking er innen det korporative budsjettet.
  • Interoperabilitet: Fordi det bruker en åpen protokoll, kan agenter bygget på Vertex kommunisere med de som er bygget på andre rammeverk som LangChain eller CrewAI.

Utvikler-stakken: ADK og Agent-motor

For “teknisk plattform”-publikum, tilbyr Agent Builder to distinkte stier:

  1. Ingen-kode-konsoll: Et visuelt dra-og-slipp-grensesnitt for rask prototyping og forretnings-bruker-konfigurasjon.
  2. Agent-utviklings-kit (ADK): Et kodeorientert Python-verktøysett for ingeniører. Det gjør det mulig å bruke «Prompt-som-kode», integrere med versjonskontroll og distribuere til Vertex AI Agent-motor — et administrert kjøremiljø som håndterer sesjons-persistens, skalerbarhet og tilstandshåndtering automatisk.

Konklusjon: Fra “Hva hvis” til “Hva neste”

Overgangen fra en imponerende AI-demonstrasjon til en produksjons-klar bedrifts-applikasjon har lenge vært “dødsdalen” for digitale transformasjons-prosjekter. Som vi har utforsket, er Vertex AI designet spesielt for å bygge bro over dette gapet. Ved å unifisere de fragmenterte siloene av data, infrastruktur og modell-orkestrering, har Google Cloud flyttet samtalen vekk fra den rå kraften av store språkmodeller og mot operasjonell modenhet av AI-livssyklusen.

Kunal Kejriwal er en backend‑ingeniør som spesialiserer seg på Python, PostgreSQL, Redis og skyinfrastruktur på GCP og AWS. Med tre års erfaring med å bygge og skalere produksjonssystemer skriver han om AI‑infrastruktur, distribuerte systemer og arkitekturen bak utrulling av maskinlæringsarbeidsbelastninger.