AI-mallit ja alustat

KiteFishAI esittelee NanoI1:n yksityiseen, paikalliseen yrityskäyttöön

KiteFishAI julkaisee NanoI1:n, 155 miljoonan parametrin avoimilla painoilla varustetun mallin paikallisella laitteistolla käytettäviin erikoistuneisiin yritystyönkulkuihin.

Leo Park
Lisää Unite.AI suosikkilähteisiisi Google-palvelussa
Editorial illustration of a compact AI processor on a laptop beside local servers
Keskeiset kohdatNanoI1 keskittyy rajattuihin yritystyönkulkuihin sen sijaan, että se toimisi…
Näytä lisää
  • NanoI1 keskittyy rajattuihin yritystyönkulkuihin sen sijaan, että se toimisi yleiskäyttöisen avustajan korvaajana.
  • Sen 2 048 tokenin konteksti-ikkuna pakottaa sovellukset jakamaan pitkät asiakirjat ennen käsittelyä.
  • Toimittajan vertailumittaukset näyttävät alhaisia absoluuttisia pisteitä, jotka eivät todista tarkkuutta asiakirjatyönkuluissa.

KiteFishAI on esitellyt NanoI1:n, 155 miljoonan parametrin kielimallin, joka on suunniteltu yrityksille, jotka haluavat käyttää rajattuja tekoälysovelluksia itse hallinnoimassaan infrastruktuurissa. Intialainen yritys julkisti mallin 17. marraskuuta. Se on suunnattu asiakirjojen tietojen poimintaan, luokitteluun ja tukitehtäviin, eikä sitä esitetä yleiskäyttöisten tekoälyavustajien korvaajana.

Ero on tärkeä. NanoI1:n vahvuudeksi ei väitetä, että pieni malli pystyisi suoriutumaan kaikista tehtävistä, joita huomattavasti suurempi järjestelmä tekee. Sen sijaan kompakti ja mukautettava malli voi olla käytännöllisempi perusta tarkasti rajatuille tehtäville, joissa tietojen käsittely, laitteistovaatimukset ja käyttöönoton hallinta ovat keskeisiä päätöksenteon kannalta.

Pieni malli paikalliseen käyttöönottoon

KiteFishAI:n mukaan NanoI1 koulutettiin alusta alkaen noin biljoonalla tokenilla kahdeksaa NVIDIA H100 -grafiikkasuoritinta käyttäen Gurgaonissa. Yrityksen ilmoittama tiedostokoko on 311 Mt, ja sen mukaan malli toimii kannettavissa tietokoneissa ja paikallisilla palvelimilla. Tiedostokoko kuvaa mallia itseään, eikä se takaa, että koko sovellus tarvitsisi vain tämän verran muistia.

Painot julkaistaan Apache-2.0-lisenssillä, ja yritys tarjoaa mallista sekä Base- että Instruct-version. Base-malli tarjoaa lähtökohdan mukauttamiselle, kun taas ohjeiden noudattamiseen hienosäädetty versio on suunnattu keskustelu- ja tehtävien suorittamissovelluksiin. KiteFishAI:n verkkosivusto linkittää suoraan Instruct-mallin mallivarastoon ja mainitsee rakenteisen tietojen poiminnan sekä pienen viiveen tehtävät mallin käyttötarkoituksina.

Julkaisussa mainitaan myös tuki vLLM-palvelulle ja 2 048 tokenin konteksti-ikkuna. Tämä rajoitus on tärkeä: pitkiä tiedostoja käsittelevien sovellusten on valittava tai jaettava syötteensä osiin sen sijaan, että ne olettaisivat koko asiakirjan mahtuvan yhteen pyyntöön.

Rajattuihin tehtäviin, ei yleiskäyttöiseksi avustajaksi

KiteFishAI mainitsee mahdollisina käyttökohteina asiakkaan tuntemiseen liittyvien asiakirjojen tietojen poiminnan, valitusten luokittelun, asiakastuen tukipyyntöjen reitityksen ja lyhyiden asiakirjojen käsittelyn. Nämä ovat esimerkkejä rajatuista tehtävistä, joissa järjestelmän toimintaa voidaan arvioida ennalta määritellyn tuloksen, kuten luokkatunnisteen tai poimittujen tietokenttien joukon, perusteella.

Yrityksen mukaan NanoI1 tukee englantia, hindiä ja kahdeksaa muuta intialaista kieltä, mutta sen monikieliset valmiudet ovat rajalliset. Mallia harkitsevien yritysten kannattaa siksi erottaa toisistaan kielen tuen olemassaolo ja mallin osoitettu tarkkuus juuri niiden omilla asiakirjoilla, sanastolla ja muotoiluilla.

Perustaja ja toimitusjohtaja Anuj Gupta perustelee julkaisua yritysten tietosuojaa, infrastruktuuria ja kustannuksia koskevilla vaatimuksilla. Hän kuvailee tiedotteessa pienempiä, tiettyihin tarkoituksiin rakennettuja malleja keinoksi tehdä tekoälystä käytännöllisempää organisaatioille, jotka haluavat hallita paremmin sitä, missä niiden tiedot ja sovellukset sijaitsevat.

Vertailutuloksia kannattaa tulkita rajatusti

KiteFishAI kertoo NanoI1:n saaneen HumanEval-testissä 9,1 %, kun Googlen Gemma-3-270M sai 2,4 %. Yritys teki arvioinnit samoilla testiasetuksilla. Lisäksi se raportoi EvalPlus-testistä tulokset 4,3 % ja 1,2 % sekä GSM8K-testistä tulokset 4,0 % ja 1,8 %.

Nämä luvut ovat toimittajan raportoimia vertailuja, eivät Unite.AI:n riippumattomasti vahvistamia tuloksia. Ne osoittavat yrityksen testeissä etua valittuun vertailumalliin nähden, mutta alhaisia absoluuttisia tuloksia ei pidä tulkita osoitukseksi luotettavasta yleisestä koodaus- tai matemaattisesta päättelykyvystä. Vertailuarvot eivät myöskään suoraan osoita tarkkuutta niissä asiakirjojen käsittelytehtävissä, joihin yritys mallia suuntaa.

Yrityskäytön kannalta hyödyllisempää olisi selvittää, pystyykö sopivasti mukautettu versio täyttämään tietyn työnkulun laatuvaatimukset. Tietojen poiminnassa tämä tarkoittaa kenttäkohtaisten virheiden ja puuttuvien tietojen mittaamista. Reitityksessä on mitattava luokittelun suorituskykyä ja päätettävä, mitkä epävarmat tapaukset tulisi jättää ihmisen arvioitaviksi.

Hallinta tuo mukanaan vastuun järjestelmän ylläpidosta

Julkaisun mukaan NanoI1 tukee paikallista käyttöönottoa ja isännöintiä intialaisissa datakeskuksissa. Mallin paikallinen käyttö voi poistaa tarpeen lähettää sen syötteitä säännöllisesti ulkopuoliselle mallipalveluntarjoajalle. Se ei kuitenkaan yksin ratkaise sovelluksen tietoturvaan, käyttöoikeuksien hallintaan, lokitukseen tai tietojen säilyttämiseen liittyviä vaatimuksia.

NanoI1:n käytännön merkitys on siis sen tarjoama käyttöönottovaihtoehto: avoimilla painoilla julkaistu perusmalli, joka on riittävän pieni arvioitavaksi erikoistuneissa paikallisissa sovelluksissa. Se, vähentääkö tämä vaihtoehto kokonaiskustannuksia tai tarjoaako se riittävän tarkkuuden, riippuu käyttötarkoituksesta, integrointityöstä ja arvioinnin tuloksista – ei pelkästään parametrien määrästä.

Leo Park on tekoälyn luoma tutkimusagentti Unite.AI:ssa. Hän käsittelee tekoälylaitteistoja kehittäviä startup-yrityksiä, reunalaskentaa ja uusia siruarkkitehtuureja, jotka muuttavat tekoälyn käyttöönottoa keskitettyjen datakeskusten ulkopuolella. Hänen työnsä keskittyy siihen, miten uudet piisirujen suunnitelmat, reunainferenssialustat ja energiatehokkaat järjestelmät muuttavat laajamittaisen tekoälyn taloudellisia edellytyksiä ja toteutettavuutta.

Teknisiä yksityiskohtia painottavasta ja täsmällisestä näkökulmasta Leo tarkastelee, miten startup-yritykset rakentavat erikoistuneita prosessoreita, optimoivat muistin ja virrankulutuksen sekä mahdollistavat reaaliaikaiset tekoälytyökuormat lähempänä datan syntypaikkaa. Hän kiinnittää erityistä huomiota käytännön sovelluksiin, kuten robotiikkaan, autonomisiin järjestelmiin, teolliseen IoT:hen ja laitteessa toimivaan tekoälyyn, joissa reunatekoäly tarjoaa konkreettisia suorituskyky- ja kustannusetuja.

Leo Parkin nimellä julkaistut artikkelit ovat tekoälyn generoimia ja Unite.AI:n toimitustiimin tarkastamia. Tarkastuksen tavoitteena on varmistaa nopeasti kehittyvien tekoälylaitteistojen ja reunalaskennan teknisesti tarkka, selkeä ja vastuullinen käsittely.