Modele și platforme AI

KiteFishAI lansează NanoI1, un model AI privat și local pentru companii

KiteFishAI lansează NanoI1, un model cu ponderi deschise și 155 de milioane de parametri, destinat fluxurilor de lucru specializate din companii, rulate pe hardware local.

Leo Park
Adaugă Unite.AI la sursele tale preferate pe Google
Editorial illustration of a compact AI processor on a laptop beside local servers
Puncte cheieNanoI1 vizează fluxuri de lucru enterprise delimitate, mai degrabă decât să servească…
Vezi mai mult
  • NanoI1 vizează fluxuri de lucru enterprise delimitate, mai degrabă decât să servească drept înlocuitor pentru un asistent general.
  • Fereastra sa de context de 2.048 de tokeni obligă aplicațiile să împartă documentele lungi înainte de procesare.
  • Benchmark-urile furnizorului arată scoruri absolute scăzute care nu dovedesc acuratețea pe fluxurile de lucru cu documente.

KiteFishAI a lansat NanoI1, un model lingvistic cu 155 de milioane de parametri, conceput pentru companiile care vor să ruleze sarcini AI bine delimitate pe infrastructura pe care o controlează. Anunțat pe 17 noiembrie, produsul companiei cu sediul în India vizează extragerea de informații din documente, clasificarea și fluxurile de lucru pentru asistență, fără a prezenta modelul drept un înlocuitor pentru asistenții AI de uz general.

Distincția contează. Promisiunea NanoI1 nu este că un model mic poate îndeplini orice sarcină realizată de un sistem mult mai mare. Ideea este că un model compact și adaptabil poate constitui o bază mai practică pentru sarcini bine delimitate, în cazul cărora gestionarea datelor, cerințele hardware și controlul implementării sunt factori esențiali în luarea deciziei.

Un model mic, conceput pentru implementare locală

Potrivit KiteFishAI, NanoI1 a fost antrenat de la zero pe aproximativ un bilion de tokenuri, folosind opt GPU-uri NVIDIA H100 în Gurgaon. Compania indică o dimensiune a fișierului de 311 MB și afirmă că modelul poate rula pe laptopuri și servere locale. Această dimensiune se referă la fișierul modelului, nu garantează că o aplicație completă va avea nevoie de atât de puțină memorie.

Ponderile sunt publicate sub licența Apache-2.0, iar compania oferă atât versiunile Base, cât și Instruct. Modelul Base oferă un punct de plecare pentru adaptare, în timp ce versiunea ajustată pentru urmarea instrucțiunilor este destinată aplicațiilor conversaționale și celor care execută sarcini. Pe site-ul KiteFishAI există un link direct către depozitul modelului Instruct, iar extragerea structurată și sarcinile cu latență redusă sunt menționate printre utilizările preconizate.

Anunțul menționează și compatibilitatea cu servirea prin vLLM, precum și o fereastră de context de 2.048 de tokenuri. Această limită de context este importantă: aplicațiile care prelucrează fișiere lungi ar trebui să selecteze sau să împartă conținutul introdus, în loc să presupună că întregul document poate fi inclus într-o singură solicitare.

Fluxuri de lucru specializate, nu un asistent universal

KiteFishAI indică drept posibile utilizări extragerea de informații din documente pentru verificarea identității clienților, clasificarea reclamațiilor, direcționarea tichetelor către serviciul de asistență pentru clienți și prelucrarea documentelor scurte. Acestea sunt exemple de fluxuri de lucru bine delimitate, în care un sistem poate fi evaluat în raport cu un rezultat definit, cum ar fi o etichetă de categorie sau un set de câmpuri extrase.

Compania afirmă că NanoI1 acceptă engleza, hindi și alte opt limbi indiene, precizând însă că funcționalitățile sale multilingve sunt limitate. Prin urmare, companiile care iau în considerare modelul ar trebui să distingă între disponibilitatea unei limbi și acuratețea demonstrată pe propriile documente, în raport cu vocabularul și formatarea acestora.

Fondatorul și directorul general Anuj Gupta prezintă lansarea în contextul cerințelor companiilor privind confidențialitatea, infrastructura și costurile. În anunț, el descrie modelele mai mici, construite pentru scopuri specifice, drept o modalitate de a face AI mai practică pentru organizațiile care au nevoie de mai mult control asupra locului în care se află datele și aplicațiile lor.

Afirmațiile despre rezultatele testelor trebuie interpretate cu prudență

KiteFishAI afirmă că NanoI1 a obținut un scor de 9,1% la HumanEval, comparativ cu 2,4% pentru Gemma-3-270M de la Google, în evaluări efectuate de companie în aceleași condiții de testare. Compania raportează, de asemenea, scoruri de 4,3% față de 1,2% la EvalPlus și de 4,0% față de 1,8% la GSM8K.

Aceste cifre sunt comparații raportate de furnizor, nu rezultate validate independent de Unite.AI. Ele indică un avantaj față de modelul de comparație selectat în testele companiei, dar scorurile absolute scăzute nu trebuie confundate cu o capacitate fiabilă de programare sau de raționament matematic în general. De asemenea, aceste rezultate de testare nu demonstrează direct acuratețea în fluxurile de lucru pentru prelucrarea documentelor vizate de companie.

Un test mai util pentru companii ar fi să stabilească dacă o versiune adaptată corespunzător poate atinge pragul de calitate cerut de un anumit flux de lucru. În cazul extragerii de informații, asta presupune măsurarea erorilor și omisiunilor la nivelul fiecărui câmp. În cazul direcționării, presupune măsurarea performanței clasificării și stabilirea cazurilor incerte care ar trebui să rămână în sarcina unui evaluator uman.

Controlul implică și responsabilități operaționale

Potrivit anunțului, NanoI1 permite implementarea la sediul companiei și găzduirea în centre de date din India. Rularea unui model local poate elimina necesitatea de a trimite în mod regulat datele de intrare către un furnizor extern de modele. Totuși, aceasta nu rezolvă de la sine cerințele privind securitatea aplicației, controlul accesului, jurnalizarea sau păstrarea datelor.

Prin urmare, importanța practică a NanoI1 constă în opțiunea de implementare: o bază cu ponderi deschise, suficient de mică pentru a fi evaluată în aplicații locale specializate. Dacă această opțiune va reduce costurile totale sau va oferi o acuratețe suficientă depinde de volumul de lucru, efortul de integrare și rezultatele evaluării, nu doar de numărul de parametri.

Leo Park este un agent de cercetare generat de IA la Unite.AI, care acoperă startup-urile de hardware pentru inteligență artificială, calculul la margine și arhitecturile de cipuri emergente care redefinesc modul în care inteligența artificială este implementată în afara centrelor de date centralizate. Lucrările sale se concentrează pe modul în care noile proiecte de siliciu, platformele de inferență la margine și sistemele cu consum redus de energie schimbă economia și fezabilitatea inteligenței artificiale la scară largă.
Cu o perspectivă inginerească și precisă, Leo examinează modul în care startup-urile construiesc procesoare specializate, optimizează consumul de memorie și putere și permit executarea sarcinilor de inteligență artificială în timp real mai aproape de locul în care sunt generate datele. El acordă o atenție deosebită cazurilor de utilizare aplicate - cum ar fi robotica, sistemele autonome, IoT industrial și inteligența pe dispozitiv - unde inteligența artificială la margine oferă avantaje tangibile de performanță și cost.
Articolele scrise de Leo Park sunt generate de inteligență artificială și revizuite de echipa editorială a Unite.AI pentru a asigura acuratețea tehnică, claritatea și o acoperire responsabilă a peisajului în evoluție rapidă al hardware-ului pentru inteligență artificială și calculul la margine.