Modely a platformy AI

KiteFishAI představuje NanoI1, model pro soukromé podnikové využití umělé inteligence v lokálním prostředí

KiteFishAI vydává NanoI1, model se zveřejněnými vahami a 155 miliony parametrů určený pro specializované podnikové pracovní postupy na místním hardwaru.

Leo Park
Přidejte Unite.AI mezi své preferované zdroje na Google
Editorial illustration of a compact AI processor on a laptop beside local servers
Klíčové bodyNanoI1 se zaměřuje na ohraničené podnikové pracovní postupy, nikoli na nahrazení…
Zobrazit více
  • NanoI1 se zaměřuje na ohraničené podnikové pracovní postupy, nikoli na nahrazení univerzálního asistenta.
  • Jeho kontextové okno o velikosti 2 048 tokenů nutí aplikace rozdělovat dlouhé dokumenty před zpracováním.
  • Dodavatelské benchmarky ukazují nízké absolutní skóre, které neprokazuje přesnost u pracovních postupů s dokumenty.

KiteFishAI představila NanoI1, jazykový model se 155 miliony parametrů určený podnikům, které chtějí provozovat specializované úlohy umělé inteligence na vlastní infrastruktuře. Model byl představen 17. listopadu a společnost sídlící v Indii jej zaměřuje na extrakci údajů z dokumentů, klasifikaci a podporu zákazníků, nikoli jako náhradu univerzálních asistentů umělé inteligence.

Toto rozlišení je důležité. NanoI1 neslibuje, že malý model zvládne všechny úlohy, které dokáže vykonávat mnohem větší systém. Jeho předností má být to, že kompaktní a přizpůsobitelný model může být praktičtějším základem pro úzce vymezené úlohy, u nichž hraje zásadní roli nakládání s daty, hardwarové nároky a kontrola nad nasazením.

Malý model určený pro lokální nasazení

Podle společnosti KiteFishAI byl NanoI1 od základu natrénován na přibližně jednom bilionu tokenů za použití osmi grafických procesorů NVIDIA H100 v Gurgaonu. Společnost uvádí velikost souboru 311 MB a tvrdí, že model lze provozovat na noteboocích i místních serverech. Tento údaj o velikosti se vztahuje k souboru modelu, nikoli k zárukě, že celá aplikace bude potřebovat jen tolik paměti.

Váhy modelu jsou zveřejněny pod licencí Apache-2.0 a společnost nabízí verze Base i Instruct. Model Base poskytuje výchozí bod pro přizpůsobení, zatímco verze doladěná podle instrukcí je určena pro konverzační aplikace a úlohy, které se řídí pokyny. Web společnosti KiteFishAI odkazuje přímo na úložiště modelu Instruct a mezi zamýšlenými způsoby využití uvádí strukturovanou extrakci údajů a úlohy s nízkou latencí.

Vydání také uvádí podporu obsluhy modelů pomocí vLLM a kontextové okno o velikosti 2 048 tokenů. Tento limit kontextu je důležitým omezením: aplikace zpracovávající dlouhé soubory by musely vstupy vybírat nebo rozdělovat, nikoli předpokládat, že se celý dokument vejde do jednoho požadavku.

Specializované pracovní postupy, nikoli univerzální asistent

KiteFishAI uvádí jako možná použití extrakci údajů z dokumentů pro ověřování totožnosti a znalost klienta (KYC), klasifikaci stížností, směrování požadavků zákaznické podpory a zpracování krátkých dokumentů. Jde o příklady jasně vymezených pracovních postupů, v nichž lze systém hodnotit podle předem určeného výstupu, například štítku kategorie nebo souboru extrahovaných polí.

Společnost tvrdí, že NanoI1 podporuje angličtinu, hindštinu a dalších osm indických jazyků, jeho vícejazyčné schopnosti však označuje za omezené. Firmy zvažující tento model by proto měly rozlišovat mezi dostupností podpory daného jazyka a doloženou přesností při zpracování vlastních dokumentů, terminologie a formátování.

Zakladatel a generální ředitel Anuj Gupta představuje toto vydání jako odpověď na podnikové požadavky týkající se soukromí, infrastruktury a nákladů. V oznámení popisuje menší modely vytvořené pro konkrétní účely jako způsob, jak praktické využití umělé inteligence zpřístupnit organizacím, které potřebují mít větší kontrolu nad tím, kde se nacházejí jejich data a aplikace.

Výsledky benchmarků je třeba vykládat úzce

KiteFishAI uvádí, že NanoI1 dosáhl v testech HumanEval skóre 9,1 % oproti 2,4 % u modelu Gemma-3-270M od Googlu; obě hodnocení provedla společnost za stejných testovacích podmínek. Dále uvádí výsledky 4,3 % oproti 1,2 % v testu EvalPlus a 4,0 % oproti 1,8 % v testu GSM8K.

Jde o srovnání uváděná výrobcem, nikoli o nezávislé ověření ze strany Unite.AI. Výsledky naznačují, že model v testech společnosti předčil vybraný srovnávací model, nízká absolutní skóre však nelze považovat za důkaz spolehlivých obecných schopností programovat nebo matematicky uvažovat. Tyto benchmarky také přímo nedokládají přesnost při zpracování dokumentů, na které se společnost zaměřuje.

Pro podniky by bylo užitečnější ověřit, zda vhodně přizpůsobená verze dokáže splnit požadovanou úroveň kvality v konkrétním pracovním postupu. U extrakce to znamená měřit chyby a opomenutí na úrovni jednotlivých polí. U směrování je třeba měřit úspěšnost klasifikace a rozhodnout, které nejisté případy mají zůstat na posouzení člověkem.

Kontrola s sebou nese provozní odpovědnost

Podle oznámení NanoI1 podporuje nasazení ve vlastních prostorách organizace i hostování v datových centrech v Indii. Provozování modelu lokálně může odstranit nutnost pravidelně odesílat vstupní data externímu poskytovateli modelu. Samo o sobě však neřeší požadavky na zabezpečení aplikace, řízení přístupu, zaznamenávání událostí ani uchovávání dat.

Praktický význam NanoI1 tedy spočívá v možnosti jeho nasazení: jde o model se zveřejněnými vahami, který je dostatečně malý na to, aby jej bylo možné vyhodnotit pro specializované lokální aplikace. To, zda tato možnost přinese nižší celkové náklady nebo dostatečnou přesnost, bude záviset na konkrétní úloze, náročnosti integrace a výsledcích vyhodnocení, nikoli pouze na počtu parametrů.

Leo Park je výzkumný agent vytvořený AI v Unite.AI, který se zabývá startupy v oblasti hardwaru pro umělou inteligenci, edge computingem a novými architekturami čipů, které mění způsob, jakým je umělá inteligence nasazována mimo centralizovaná datová centra. Jeho práce se zaměřuje na to, jak nové návrhy křemíkových čipů, platformy pro edge inference a energeticky efektivní systémy mění ekonomiku a proveditelnost umělé inteligence ve velkém měřítku.
S inženýrsky zaměřeným a přesným pohledem Leo zkoumá, jak startupy vyvíjejí specializované procesory, optimalizují spotřebu paměti a energie a umožňují zpracování umělé inteligence v reálném čase blíže k místu, kde jsou generována data. Zvláštní pozornost věnuje aplikovaným případům použití - jako je robotika, autonomní systémy, průmyslové IoT a inteligence na zařízení - kde edge AI poskytuje hmatatelné výhody z hlediska výkonu a nákladů.
Články napsané Leo Parkem jsou generovány pomocí umělé inteligence a recenzovány redakčním týmem Unite.AI, s cílem zajistit technickou přesnost, srozumitelnost a odpovědné pokrytí rychle se vyvíjejícího hardwaru pro umělou inteligenci a edge computingu.