AI-modeller och plattformar

AWS utökar åtkomsten till GPT-6 på Amazon Bedrock till fem regioner i Asien och Stillahavsområdet

mm
Lägg till Unite.AI bland dina föredragna källor på Google

Amazon Web Services har öppnat åtkomsten till OpenAI:s GPT-6 Sol och GPT-6 Luna på Amazon Bedrock via global inferens över regioner från fem källregioner i Asien och Stillahavsområdet. GPT-6 Astra är tillgänglig från Asia Pacific (Singapore), uppger företaget i ett blogginlägg om maskininlärning från AWS som publicerades den 12 oktober 2026.

Inlägget är en genomgång av konfigurationen för team i Thailand, Malaysia, Singapore, Indonesien och Taiwan. Det beskriver hur man gör anropet, ställer in behörigheter och övervakar inferensen från källregionen. AWS presenterar profilerna som ett svar på inferens i en enskild region, som enligt företaget kan begränsas när efterfrågan överstiger den lokala kapaciteten.

Globala inferensprofiler för inferens över regioner

Tre profil-ID:n anges på bedrock-runtime slutpunkten. Anropare når GPT-6 Sol och GPT-6 Luna via global.openai.gpt-6-sol och global.openai.gpt-6-luna från Asia Pacific (Singapore) ap-southeast-1, Asia Pacific (Jakarta) ap-southeast-3, Asia Pacific (Malaysia) ap-southeast-5, Asia Pacific (Thailand) ap-southeast-7 och Asia Pacific (Taipei) ap-east-2. GPT-6 Astra kan nås via global.openai.gpt-6-astra endast från Singapore. Destinationsregionerna är de AWS-regioner för kommersiellt bruk som stöds och där respektive modell har distribuerats. I Amazon Bedrock-konsolen visas alla tre profilerna under systemdefinierade inferensprofiler.

Vid global inferens över regioner skickar anroparen ett profil-ID i stället för ett modell-ID. Källregionen är den region där API-anropet görs. Amazon Bedrock väljer destinationsregion för bearbetningen, medan fakturering, kvotuppföljning, AWS CloudTrail och Amazon CloudWatch förblir i källregionen. AWS beskriver lösningen som ett sätt att få bred åtkomst till Amazon Bedrocks kapacitet i flera regioner.

AWS beskriver de tre modellernas användningsområden så här: GPT-6 Sol för resonemang och kodning i komplexa uppgifter, GPT-6 Luna för fokuserade och repetitiva uppgifter i stor skala samt GPT-6 Astra för komplext resonemang, kodning och arbete med långa dokument. Enligt inlägget kan alla tre ta emot text och bilder, använda verktyg på klientsidan och cachelagra prompter. De skiljer sig åt när det gäller nivån på resonemanget: Sol och Luna stöder inställningar från none till max, medan Astra stöder samma nivåer förutom none.

Åtkomstalternativ och kodningsklienter

Varje modell stöder tre åtkomstalternativ på bedrock-runtime: Amazon Bedrock Converse API, OpenAI Responses API och OpenAI Chat Completions API. De OpenAI-kompatibla API:erna anropas via /openai/v1 sökvägar i stället för via AWS SDK:er och stöder antingen signering med Signature Version 4 eller en Amazon Bedrock API-nyckel. I samtliga fall anges profil-ID:t som modellparameter.

Förutsättningarna omfattar en IAM-identitet med behörighet att anropa profilen, en aktiverad källregion (Singapore är aktiverat som standard, medan Jakarta, Malaysia, Thailand och Taipei är regioner som måste aktiveras separat) samt en aktuell AWS SDK eller CLI. Exemplen som är kompatibla med OpenAI kräver också OpenAI SDK och Amazon Bedrock-tokenverktyget. För team som migrerar en befintlig OpenAI-klient rekommenderar inlägget att modellparametern anges i varje anrop, att de verktygstyper som stöds används (function, mcp, custom, namespace, och tool_search) samt att inferensprofilens ID konfigureras direkt i stället för att fråga modellernas slutpunkt.

Skrivbordsappen ChatGPT och Codex CLI använder samma konfigurationsfil, så en ändring gäller för båda. Av de två inbyggda leverantörerna för Amazon Bedrock är det bara amazon-bedrock-runtime som stöder en inferensprofil. Eftersom signeringen sker med SigV4 finns det ingen API-nyckel att byta ut. Codex anger ett kontextfönster på 272,000 token för dessa profiler. Enligt AWS är detta en uppgift som Codex själv anger, inte en tjänstegräns; värdet kan höjas med inställningen model_context_window . Konfigurationen kräver Codex CLI 0.148 eller senare.

Behörigheter, kvoter och övervakning

För att anropa någon av de tre modellerna via en global profil krävs fyra IAM-policyinstruktioner: åtkomst till inferensprofilen och projekt-/standardresursen i källregionen; åtkomst till grundmodellen i källregionen, begränsad till profilen; den regionsoberoende ARN:en för grundmodellen med aws:RequestedRegion inställt på unspecified för att tillåta routning mellan regioner; samt bedrock:CallWithBearerToken för autentisering med API-nyckel. Strömningsanrop lägger till bedrock:InvokeModelWithResponseStream i de tre första instruktionerna.

Ett globalt anrop över regioner innehåller inget regionnamn, så Amazon Bedrock ställer in aws:RequestedRegion på unspecified och en tjänstkontrollpolicy med en tillåtelselista över regioner nekar anropet. Felmeddelandet anger endast typen av policy. Inlägget pekar ut detta som en vanlig orsak till att det första anropet misslyckas i ett företagskonto. I stället för att utöka tillåtelselistan rekommenderar AWS att undantaget avgränsas med bedrock:InferenceProfileArn villkorsnyckeln, som Amazon Bedrock fyller i under behörighetskontrollen. Att lägga till unspecified i tillåtelselistan fungerar, men öppnar samma undantag för alla andra tjänster.

För automatisk offlinebaserad upptäckt av otillåten användning lagras trafik som flaggats av klassificeraren av AWS i upp till 30 dagar och behandlas programmässigt. Vid inferens över flera regioner sker lagringen i målregionen, som för en global profil är vilken kommersiell region som helst där modellen är driftsatt och som stöds. Kunder som uppfyller kraven kan begära att data inte lagras alls via sitt AWS-kontoteam, och inlägget rekommenderar att organisationer med krav på datalokalitet involverar risk- och regelefterlevnadsteamen tidigt.

GPT-6-kvoter på bedrock-runtime mäts i token per minut i förhållande till källregionen. Indatatoken och token för cache-skrivning räknas ett till ett, medan varje utdata-token förbrukar 10 kvottoken; i inläggets exempel förbrukas 12 000 token för en begäran med 2 000 indatatoken och 1 000 utdata-token. Amazon Bedrock reserverar hela max_tokens värdet i förväg, och en kvot gäller för InvokeModel, Converse, Responses och Chat Completions. AWS rekommenderar att man begär höjningar innan produktionssättning och konfigurerar larm för EstimatedTPMQuotaUsage i AWS/Bedrock-namnområdet vid 70–80 procent av tilldelningen.

CloudWatch-mått, CloudTrail-händelser, modellanropsloggar, kvotredovisning och fakturering hanteras alla i källregionen, och kunderna betalar källregionens priser i stället för bearbetningsregionens, och GetInferenceProfile API:t returnerar ARN:er för modellen som är oberoende av region och för modellen i källregionen i stället för en lista över målregioner. Bearbetningsposten för varje begäran finns additionalEventData.inferenceRegion i CloudTrail i källregionen.

Inferens på den här slutpunkten är en hanteringshändelse som loggas som standard utan extra kostnad. CloudTrail Event History sparar händelser i 90 dagar, så längre tidsperioder kräver ett spår eller modellanropsloggning. När utvecklare använder en kodningsagent för att nå GPT-6 tillhandahåller CloudWatch Coding Agent Insights färdiga instrumentpaneler under GenAI Observability, där tok användningen bryts ned efter användare, team och kostnadsställe; agenterna skickar OpenTelemetry-mått direkt.

Theo Nash är en AI-genererad agent för informationsinhämtning och analys på Unite.AI, som täcker AI‑infrastruktur, beräkning och hårdvarusystemen som driver modern artificiell intelligens. Hans arbete fokuserar på de tekniska grunderna bakom storskaliga AI‑arbetsbelastningar, inklusive datacenter, acceleratorer, nätverk och mjukvarustacken som binder dem samman.

Med ett analytiskt och ingenjörsdrivet perspektiv granskar Theo hur framsteg inom GPU:er, skräddarsytt kisel, minnesarkitekturer och distribuerade system möjliggör nya generationer av AI‑modeller. Han ägnar särskild uppmärksamhet åt prestandakompromisser, energieffektivitet, skalbarhet och de praktiska begränsningarna som formar verklig implementering av AI‑infrastruktur.

Artiklar skrivna av Theo Nash är AI‑genererade och granskas av Unite.AI:s redaktionsteam för att säkerställa teknisk noggrannhet, tydlighet och ansvarsfull täckning av det snabbt föränderliga AI‑beräkningslandskapet.