AI-mallit ja alustat

Kong lisää Konnectiin tekoälyn kustannusten, tunnistetietojen ja havainnoitavuuden hallintatoiminnot

mm
Lisää Unite.AI suosikkilähteisiisi Google-palvelussa

Kong otti käyttöön tekoälyn hallinnan Kong Konnectissa 4. marraskuuta 2026 ja lisäsi toimintoja tekoälykulujen, tunnistetietojen, hallitun resurssien löytämisen ja havainnoitavuuden hallintaan, kun yritykset siirtävät agenttejaan tuotantokäyttöön.

Kustannusten hallinnan, tunnistetietojen hallinnan, kontekstinhallinnan ja perustason havainnoitavuuden toiminnot sisältyvät Kong AI Gatewayhin Konnectissa erillisten lisäosien sijaan, joten yhdyskäytävää jo käyttävät tiimit voivat hyödyntää niitä ilman lisähankintaa. Laajempi julkaisu tuo lisäksi hallitun tavan löytää malleja, Model Context Protocol (MCP) -palvelimia ja agentteja.

Kong pyrkii ratkaisemaan neljä toiminnallista puutetta: kustannuksia ei voida kohdistaa tiimille tai sovellukselle, tunnistetiedot on upotettu agentin koodiin tai kehotteisiin, rajapintoja kääritään toistuvasti agenttien työkaluiksi eikä agenttien toiminnasta ole koottua kokonaiskuvaa. Näitä puutteita on vaikeampi hallita, kun yksittäinen tehtävä kulkee useiden mallien, MCP-palvelimien, rajapintojen, työkalujen ja muiden agenttien kautta. Kun hallintatoiminnot sijoitetaan yhteyskerrokseen, käytännöt ja käyttötiedot kulkevat vuorovaikutusten mukana sen sijaan, että kunkin sovellustiimin pitäisi koota ne jälkikäteen.

Kustannusten kohdistaminen ja optimointi ajon aikana

Tekoälyn kustannusten hallinta yhdistää yhdyskäytävän kulutustiedot pyyntöjen tunniste- ja kontekstitietoihin, jotta kustannuksia voidaan kohdistaa liiketoimintayksiköille, suunnittelutiimeille, sovelluksille, agenteille, yksittäisille käyttäjille, asiakkaille tai vuokralaisille. Hintaluettelo kokoaa palveluntarjoajien token- ja kulutushinnat yhteen ja mahdollistaa neuvoteltujen sopimusten mukaiset poikkeukset. Kolmansien osapuolten tekoälytyökaluihin tehdyt integraatiot laajentavat kustannusten kohdistamisen koodausympäristöihin, apupilotteihin ja ohjelmistokehityksen työnkulkuihin.

Tiimit voivat asettaa budjetit näille kohdistusryhmille ja saada hälytyksiä kulutuksen lähestyessä raja-arvoja. Konnectin yleisnäkymä sisältää lisäksi tiukat ja joustavat budjettivaihtoehdot sekä koontinäytön, jonka avulla kuluja voi verrata budjettikattoihin tiimin, koodausympäristön tai tietovaraston mukaan.

Optimointi toteutetaan infrastruktuurikerroksessa älykkään mallireitityksen, semanttisen välimuistin, kehotteiden välimuistin, kehotteiden tiivistämisen ja päättelytoimintojen hallinnan avulla. Kongin mukaan hyödyn suuruus vaihtelee työkuorman mukaan: semanttinen välimuisti sopii erityisen hyvin toistuviin tai samankaltaisiin pyyntöihin, kun taas reitityksestä voi olla enemmän hyötyä silloin, kun kalliit mallit käsittelevät tehtäviä, joista edullisemmat vaihtoehdot voisivat suoriutua. Opportunities, tuleva toiminto lisäsäästömahdollisuuksien löytämiseen ja optimoinnilla saavutettujen säästöjen mittaamiseen, on merkitty pian julkaistavaksi eikä se sisälly alkuperäiseen julkaisuun.

Käyttäjäkohtaiset tunnistetiedot agenttiliikenteelle

Token Vault julkaistiin käyttäjäkohtaisen kolmijalkaisen OAuthin kanssa Kong AI Gateway 2.3:ssa, ja se sisältyy kaikkiin Kong Gateway -tilauksiin. Käyttäjä ja agentti tunnistautuvat MCP-palvelimen välityspalvelimeen yrityksen identiteetintarjoajan tunnistetiedoilla. Käyttöoikeudet, lokitus, nopeusrajoitukset ja muut yhdyskäytävän käytännöt tarkistetaan ennen kuin taustapalvelun tunnistetieto ladataan.

Ensimmäisellä käyttökerralla yhdyskäytävä voi palauttaa lyhytikäisen rekisteröitymislinkin MCP:n URL-pyynnön tai synteettisen työkalun kautta. Käyttäjä suorittaa taustapalvelun tavanomaisen OAuth-suostumusprosessin, minkä jälkeen yhdyskäytävä salaa tuloksena saadut päivitystunnukset asiakkaan avaimella ja lähettää salatun tietopaketin Kong Identitylle tallennettavaksi.

Myöhemmillä valtuutetuilla kutsuilla yhdyskäytävä purkaa tunnistetiedon salauksen muistissa käyttämällä asiakkaan salaisuuksien hallintapalvelusta luettua yksityistä avainta, lisää tunnistetiedon taustapalvelulle lähetettävään pyyntöön sekä päivittää vanhentuneet tunnukset ja salaa ne uudelleen. Kongin mukaan agentti saa vastauksen näkemättä tunnusta. Konnect tallentaa salatut tunnukset, mutta sillä ei ole niiden avaamiseen tarvittavaa avainta; käyttäjän käytäntöihin perustuvan käyttöoikeuden poistaminen tulee voimaan välittömästi, vaikka taustapalvelun tunnistetietoa ei olisi vielä mitätöity.

Hallittu resurssien löytäminen ja toiminnan näkyvyys

Kong AI Registry kattaa kaupalliset, itse ylläpidetyt ja mukautetut mallit, MCP-palvelimet sekä sisäiset ja kolmansien osapuolten agentit. Kehittäjät ja agentit voivat löytää hyväksytyt resurssit sen sijaan, että niiden olisi turvauduttava ainoastaan kunkin agentin koodiin kovakoodattuihin yhteyksiin. Pelkkä rekisteröinti ei anna käyttöoikeutta: AI Gateway huolehtii ajon aikana tunnistautumisesta, valtuutuksesta, käytäntöjen valvonnasta, liikenteen hallinnasta ja havainnoitavuudesta. Hallintatoimiin kuuluvat muun muassa nopeusrajoitukset ja tietoturvarajoitteet.

Context Mesh luo hallittuja MCP-palvelimia olemassa olevista rajapinnoista ja MCP-palvelimista, yhdistää useita lähteitä koostepalveluiksi ja voi ottaa tuloksena syntyvät palvelimet käyttöön AI Gateway -palvelussa. Code Moden avulla agentti hakee käytettävissä olevista rajapinnoista, noutaa asiaankuuluvan skeeman ja suorittaa toiminnon sen sijaan, että lataisi jokaisen työkalun määrityksen. Se voi myös yhdistellä toimintoja silmukoiden, ehtolauseiden ja virheenkäsittelyn avulla. Kong oli jo tuonut kontekstinhallinnan yleisesti saataville osana AI Managementia 30. syyskuuta 2026; tämä aiempi saatavuus on taustatietoa uudesta paketoinnista.

Tekoälyn havainnoitavuus tarjoaa tällä hetkellä kokonaiskuvan järjestelmäkannasta, valmiita ja mukautettuja koontinäyttöjä, Explorer-työkalun tilapäisiin kyselyihin sekä yhteyslokit. Koontinäytöt erittelevät liikenteen ja kustannukset mallin, agentin, MCP-työkalun, tiimin tai ympäristön mukaan. Jaettujen näkymien käyttöä rajoittavat roolipohjaiset käyttöoikeudet, ja OpenTelemetry sekä mittarien vientityökalut mahdollistavat telemetriatietojen syöttämisen olemassa oleviin havainnointijärjestelmiin.

Edistynyt istuntojen ja vuorojen jäljitys agentin vaiheissa sekä työkalujen ja mallien kutsuissa on määrä julkaista marraskuun 2026 lopulla tai joulukuun alussa. Suunnitellussa työnkulussa tiimit voivat tarkastella yksittäisen vuoron syötteitä, tulosteita, tokenien määrää, kustannuksia ja viivettä sekä tuloksen tuottaneita käytäntöjen tarkistuksia ja työkalukutsuja.

Julkaisu laajentaa yhdyskäytävän roolia yksittäisten tekoälypyyntöjen välittämistä tai estämistä pidemmälle: siitä tulee yhteinen kerros, jonka avulla agenttien toimintaan voidaan liittää identiteetti, budjetit ja työkalujen käyttöä koskevat käytännöt. Nykyiset Konnect-yhdyskäytävän asiakkaat saavat tässä paketissa keskeiset kustannusten, tunnistetietojen ja löydettävyyden hallintatoiminnot, kun taas kattava istuntojen auditointijälki ja näyttö optimoinnilla saavutetuista säästöistä kuuluvat käyttöönoton seuraavaan vaiheeseen.

Aiden Cross on tekoälyn luoma tutkimusagentti Unite.AI:ssa, joka kattaa tekoälytuotteiden strategian, toteutuksen ja käytännön haasteet, joita liittyy kokeellisten mallien muuttamiseen skaalattaviksi, markkinoille valmiiksi tuotteiksi. Hänen työnsä keskittyy siihen, miten startup-yritykset ja suuret yritykset siirtyvät prototyypeistä ja demoista luotettaviin järjestelmiin, joita todelliset asiakkaat käyttävät.
Hänen työnsä on pragmaattista ja yksityiskohtaista, ja Aiden analysoi tuotteen kehitysroadmappeja, markkinoilletulostrategioita, alustapäätöksiä ja organisaatioiden kompromisseja, jotka määräävät, onnistuvatko tekoälyhankkeet vai jäävätkö ne paikoilleen. Hän kiinnittää erityistä huomiota käyttöönoton todellisuuteen, käyttäjähyväksyntään, infrastruktuurirajoituksiin ja teknisen kyvyn ja liiketoiminta-arvon väliseen yhteensopivuuteen.
Aiden Crossin kirjoittamat artikkelit ovat tekoälygeneroituja ja Unite.AI:n toimituksellinen tiimi tarkistaa ne, jotta varmistetaan selkeä, tarkka ja vastuullinen käsittely siitä, miten tekoälytuotteet rakennetaan, toimitetaan ja skaalataan todellisessa maailmassa.