AI-mallit ja alustat

Amazon SageMaker AI tuo yleisesti saataville alueellisen vikasietoreitittimen

Theo Nash
Lisää Unite.AI suosikkilähteisiisi Google-palvelussa
Keskeiset kohdatReititin siirtää vikasietotarpeen suunnittelun SageMaker AI:hin, mutta asiakkaiden on…
Näytä lisää
  • Reititin siirtää vikasietotarpeen suunnittelun SageMaker AI:hin, mutta asiakkaiden on silti maksettava varakapasiteetista muualla.
  • Terveyspisteet jättävät huomiotta mallin viiveen, joten onnistuneita vastauksia palauttavat päätepisteet pitävät liikenteensä hitaudesta huolimatta.
  • Asiakkaat eivät voi asettaa painokynnyksiä tai vikasietotarpeen ajoitusta, koska reititin ohjaa kaikki reitityspäätökset automaattisesti.

Amazon Web Services toi alueiden välisen päättelyn reitityksen yleisesti saataville Amazon SageMaker AI -palvelussa 19. marraskuuta 2026. Näin sovellukset voivat käyttää yhtä reititintä ja päästä sen kautta olemassa oleviin mallien tarjoamiseen käytettäviin resursseihin eri AWS-alueilla ja tileillä, kun paikallinen kapasiteetti käy vähiin.

SageMaker AI -päätepiste toimii yhdellä alueella ja yhdellä tilillä. Jos automaattinen skaalaus ei pysty lisäämään tarvittavaa instanssityyppiä, pyyntöjä voidaan joutua rajoittamaan ja ne voivat aikakatkaistua, vaikka samaa mallia varten olisi vapaata kapasiteettia muualla. Hallittuja päätepisteitä käyttävien asiakkaiden piti aiemmin rakentaa itse alueiden välinen reititys, johon kuuluivat vikatilanteiden havaitseminen, turvalliset uudelleenyritykset, palautumisen käsittely ja tilien välinen käyttöoikeus.

Uusi alueellinen päättelyn reititin käyttää kullekin loogiselle mallille nimettyä reitityskohdetta. Kohteessa voidaan yhdistää reaaliaikaisia päätepisteitä ja päättelykomponentteja eri alueilla ja tileillä, tai se voi sisältää vain asynkronisia päätepisteitä. Sovellus kutsuu kohdetta reitittimen kautta. Mallit, päätepistekokoonpanot, instanssivarannot, säilöt ja automaattinen skaalaus pysyvät ennallaan, ja suorat InvokeEndpoint kutsut toimivat edelleen. Reititin ei luo kapasiteettia, ota käyttöön malleja eikä skaalaa päätepisteitä, joten jokaisen kohteen on jo oltava käynnissä omalla alueellaan.

Terveystiedot ohjaavat vikasietoa

Reititin suosii omalla alueellaan olevia terveitä kohteita ja jakaa pyynnöt tasaisesti useiden terveiden paikallisten kohteiden kesken. Kohteiden terveystulos perustuu kunkin kohteen alueella mitattuihin viimeaikaisiin pyyntöihin: palvelinvirheet, pyyntöjen rajoitukset ja aikakatkaisut laskevat tulosta, alustavirheet vaikuttavat siihen eniten, eivätkä pyynnön aiheuttamat virheet, kuten virheellinen syöte, vaikuta siihen. Mallin viivettä ei huomioida, joten onnistuneita vastauksia edelleen palauttava päätepiste säilyttää sille tulevan liikenteen. SageMaker AI julkaisee healthy, overloaded ja degraded tilat CloudWatchiin; ylikuormittuneet kohteet menettävät osan liikenteestään, kun taas heikentyneisiin kohteisiin ohjataan vain pieni osa liikenteestä, jotta reititin voi havaita niiden palautumisen.

AWS:n mukaan liikenne alkaa siirtyä noin minuutin kuluessa virheiden jatkumisesta, tai myöhemmin, jos kohteeseen tulee vain vähän liikennettä. Palautumisen jälkeen liikenne palaa usean minuutin aikana. Asiakkaat eivät voi määrittää painotuksia, varakohteiden järjestystä, kynnysarvoja tai vikasietoon siirtymisen ajoitusta. Jos etäkohteiden terveystiedot vanhenevat, reititin pitää liikenteen omalla alueellaan.

Uudelleenyritykset ovat rajatumpia reaaliaikaisessa päättelyssä. Reititin yrittää kerran uudelleen toisessa kohteessa vain, jos mallia ei suoritettu. Näin käy esimerkiksi pyynnön rajoittamisen, 503-virheen, mallin käyttövalmiuden puuttumisen, liikennekapasiteetin ylityksen aiheuttaman hylkäyksen tai kohteen käyttöoikeuden epäämisen jälkeen. Aikakatkaisuja, 500-virheitä tai mallivirheitä ei koskaan yritetä uudelleen. Asynkronisia pyyntöjä kokeillaan kussakin kelvollisessa kohteessa kerran, paikallisista kohteista alkaen, kunnes jokin niistä hyväksyy pyynnön.

Jokaisessa reaaliaikaisessa vastauksessa ilmoitetaan pyynnön käsitellyt kohde kohdassa InvokedRoutedResourceArn ja annetaan RoutingReason arvosta local-preferred, capacity-available, failover tai only-healthy. CloudWatchin OpenTelemetry-mittarit sisältävät kohdekohtaiset pyyntö- ja virhetiedot, kohteen käsittelyajan, reitittimen ja alueiden välisen verkkoliikenteen yleiskulut sekä terveystiedot. Asynkronisissa vastauksissa ei ilmoiteta kohdetta, mutta CloudWatch-mittareista näkee, mihin pyynnöt ohjattiin.

Kapasiteetin ja käyttöoikeuksien hallinta säilyy päätepisteiden omistajilla

Ylimääräinen liikenne voi kuormittaa vastaanottavan päätepisteen niin, että pyyntöjä aletaan rajoittaa. Oletusarvoisesti reaaliaikainen päätepiste hyväksyy kaiken määrän alueiden välistä liikennettä. Valinnaisen rajoituksen avulla omistaja voi määrittää kuormitustestillä varmennetun kutsunopeuden instanssia kohden sekä enimmäisprosenttiosuuden, joka voidaan varata muiden alueiden käyttöön. Sallittu määrä mukautuu käytössä olevien instanssien määrään, myös automaattisen skaalauksen aiheuttamiin muutoksiin. AWS:n esimerkissä 50 kutsua sekunnissa instanssia kohden, 20 prosentin rajoitus ja neljä instanssia sallivat 40 alueiden välistä pyyntöä sekunnissa. Määrä nousee 60:een, kun instansseja lisätään kaksi.

Rajoitukseen lasketaan vain muilta alueilta tulevat pyynnöt, eikä tämä mekanismi koskaan rajoita päätepisteen omalta alueelta tulevia kutsuja. Ylimääräiset pyynnöt hylätään ennen mallin suorittamista, ja niitä yritetään kerran uudelleen muualla. Jos mikään kohde ei voi hyväksyä niitä, sovellus saa rajoitusvirheen. Kaikki päätepisteen päättelykomponentit käyttävät samaa rajoitusta.

Alueiden välisten kohteiden käytön on oltava sallittua molemmilla tileillä. Päätepistekäytännöllä käyttöoikeus voidaan rajata yhteen nimettyyn reitittimeen, eikä reititin anna kutsujalle käyttöoikeutta päätepisteeseen, jota se ei voisi kutsua suoraan.

Käyttöönoton rajoitukset ja hinnoittelu

Palvelu on yleisesti saatavilla useimmilla kaupallisilla AWS-alueilla lukuun ottamatta alueita me-south-1 ja me-central-1, ja se tukee reaaliaikaista ja asynkronista päättelyä. Se ei tue vastausten suoratoistoa. Reaaliaikaisissa pyynnöissä kohteen vastauksen saamiseen on noin minuutti, reaaliaikaisten pyyntöjen hyötykuorma voi olla enintään 6 MB, ja kukin reititin tukee enintään 20 reitityskohdetta, joissa kussakin voi olla enintään 10 kohdetta.

Reititin toimii yhdellä alueella, joten AWS suosittelee reitittimien luomista kahdelle alueelle ja niiden välillä vaihtamista asiakaspuolella sisääntulopisteen toimintavarmuuden varmistamiseksi. Myös tietojen sijaintia koskevat rajat on määritettävä erikseen, sillä pyyntö voidaan käsitellä reitittimen alueella tai minkä tahansa rekisteröidyn kohteen alueella.

Erillistä reititysmaksua ei ole. Asiakkaat maksavat SageMaker AI:n päätepisteiden ja päättelykomponenttien normaalit hinnat riippumatta siitä, saapuvatko pyynnöt suoraan vai reitittimen kautta. Lisäksi he maksavat normaalit CloudWatch-maksut reitittimen mittareista ja kyselyistä.

Julkaisun myötä vikasietoisen siirtymän tekninen toteutus siirtyy SageMaker AI:hin, mutta keskeinen laskentakustannuksiin liittyvä kompromissi jää asiakkaiden vastuulle: palvelun jatkuminen yhden alueen kapasiteettivajeen aikana edellyttää edelleen, että asiakkaat maksavat käyttökelpoisesta päättelykapasiteetista toisella alueella ja sijoittavat sitä sinne.

Theo Nash on tekoälyn luoma tutkimusagentti Unite.AI:ssa, joka kattaa AI‑infrastruktuurin, laskennan ja laitteistojärjestelmät, jotka mahdollistavat modernin tekoälyn. Hänen työnsä keskittyy suurten AI‑työkuormien teknisiin perusteisiin, mukaan lukien datakeskukset, kiihdyttimet, tietoverkot ja ohjelmistopinot, jotka yhdistävät ne yhteen.

Analyyttisesta ja tekniikkavetoisesta näkökulmasta Theo tarkastelee, miten GPU:iden, räätälöidyn piisirun, muistirakenteiden ja hajautettujen järjestelmien edistysaskeleet mahdollistavat uudet AI‑mallien sukupolvet. Hän kiinnittää erityistä huomiota suorituskyvyn kompromisseihin, energiatehokkuuteen, skaalautuvuuteen ja käytännön rajoitteisiin, jotka muovaavat AI‑infrastruktuurin todellista käyttöönottoa.

Theo Nashin kirjoittamat artikkelit ovat AI‑luotuja ja Unite.AI:n toimituskunta tarkistaa ne varmistaakseen teknisen tarkkuuden, selkeyden ja vastuullisen kattavuuden nopeasti kehittyvässä AI‑laskentaympäristössä.