SGLang: Tehokas Rakenteisen Kielen Mallin Ohjelmien Suorittaminen

Suuret kielen mallit (LLM) käytetään yhä enemmän monimutkaisiin tehtäviin, jotka vaativat useita generointikutsuja, edistyneitä ohjaimia, ohjausvirranhallintaa ja rakenteellisia syöte- ja tulostuksia. Kuitenkin tehokkaat järjestelmät näiden sovellusten ohjelmointiin ja suorittamiseen puuttuvat. SGLang, uusi järjestelmä, pyrkii ratkaisemaan tämän tarjoamalla tehokkaan suorittamisen monimutkaisille kielen mallin ohjelmille. SGLang koostuu etumaisesta kielestä ja ajonaikaisesta ympäristöstä. Etumainen yksinkertaisuttaa ohjelmointia primitiiveillä generoinnille ja rinnakkaisuuden hallinnalle, kun taas ajonaikainen ympäristö kiihdyttää suorittamista uusilla optimoinneilla, kuten RadixAttention KV-välimuistin uudelleenkäytölle ja pakattujen äärellisten tilakoneiden nopeamman rakenteellisen tulostuksen purkuun. Kokeet osoittavat, että SGLang saavuttaa jopa 6,4-kertaisen suorituskyvyn verrattuna nykyisiin inference-järjestelmiin erilaisilla suurilla kieli- ja monimodaalisilla malleilla, jotka käsittelevät tehtäviä, kuten agentin ohjaus, logiikka, vähäiset oppimisen benchmarkit, JSON-dekoodaus, hakurajoitettu generointiputki ja monivaiheinen chat.

Viimeaikaiset edistysaskeleet LLM-kapasiteetissa ovat laajentaneet niiden hyödyllisyyttä, mahdollistaen niiden käsittelemisen laajemman valikoiman yleisiä tehtäviä ja toimimisen itsenäisinä agenteina. Nämä sovellukset käyttävät monen kierroksen suunnittelua, päättelyä ja vuorovaikutusta ulkoisten ympäristöjen kanssa. Tämä tapahtuu työkalujen käytön, useiden syötteen muotojen ja erilaisten ohjaimien avulla, kuten vähäiset oppiminen, itsensävy ja puurakenteinen ohjaus. Nämä uudet käyttötarkoitukset edellyttävät usein riippuvia LLM-generointikutsuja, osoittaen suunnan kohti monikutsurakenteiden käyttöä monimutkaisten tehtävien suorittamiseen.

Tämä siirtymä merkitsee siirtymistä yksinkertaisesta chat-keskustelusta monimutkaisempaan ohjelmalliseen LLM-käyttöön, jossa ohjelmat ohjaavat ja hallinnoivat LLM-generointiprosesseja. Nämä ohjelmat kutsutaan “Kielen Mallin Ohjelmiksi” (LM-ohjelmat). Edistyneet ohjaimet ja agenteille tyypilliset työvirrat kuuluvat LM-ohjelmien piiriin. On kaksi yleistä ominaisuutta LM-ohjelmilla: (1) LM-ohjelmat sisältävät tyypillisesti useita LLM-kutsuja, joita erottaa ohjausvirran hallinta, jotta voidaan suorittaa monimutkaisia tehtäviä ja parantaa kokonaistehokkuutta. (2) LM-ohjelmat vastaanottavat rakenteellisia syötteitä ja tuottavat rakenteellisia tulostuksia, mahdollistaen LM-ohjelmien yhdistämisen ja integroimisen olemassa oleviin ohjelmistojärjestelmiin.

… (rest of the translation remains the same, following the exact structure and format as the original)