Моделі та платформи ШІ

KiteFishAI представляє NanoI1 — приватний локальний ШІ для підприємств

KiteFishAI випустила NanoI1 — модель із відкритими вагами та 155 мільйонами параметрів для спеціалізованих робочих процесів підприємств на локальному обладнанні.

Leo Park
Додайте Unite.AI до бажаних джерел у Google
Editorial illustration of a compact AI processor on a laptop beside local servers
Ключові моментиNanoI1 орієнтований на обмежені корпоративні робочі процеси, а не на роль…
Показати більше
  • NanoI1 орієнтований на обмежені корпоративні робочі процеси, а не на роль загальнозамінного помічника.
  • Його контекстне вікно на 2048 токенів змушує застосунки розбивати довгі документи перед обробкою.
  • Показники постачальника демонструють низькі абсолютні оцінки, які не доводять точність на документних робочих процесах.

KiteFishAI представила NanoI1 — мовну модель із 155 мільйонами параметрів, призначену для підприємств, які хочуть виконувати спеціалізовані завдання ШІ на інфраструктурі, що перебуває під їхнім контролем. Реліз індійської компанії, оголошений 17 листопада, орієнтований на вилучення даних із документів, класифікацію та роботу зі зверненнями до служби підтримки, а не на позиціювання моделі як заміни універсальним помічникам зі штучним інтелектом.

Ця відмінність важлива. NanoI1 не претендує на те, що невелика модель здатна виконувати всі завдання, які під силу значно масштабнішій системі. Її перевага в тому, що компактна модель, яку можна адаптувати, може стати практичнішою основою для вузькоспеціалізованих завдань, де ключову роль у виборі відіграють робота з даними, вимоги до обладнання та контроль над розгортанням.

Невелика модель для локального розгортання

За даними KiteFishAI, NanoI1 навчали з нуля приблизно на одному трильйоні токенів за допомогою восьми графічних процесорів NVIDIA H100 у Гургаоні. Компанія зазначає, що розмір файлу моделі становить 311 МБ і що вона може працювати на ноутбуках і локальних серверах. Цей показник стосується файлу моделі, а не гарантує, що для роботи всього застосунку знадобиться лише такий обсяг пам’яті.

Ваги моделі опубліковано за ліцензією Apache-2.0, а компанія пропонує версії Base та Instruct. Модель Base є відправною точкою для адаптації, тоді як версія, донавчена виконувати інструкції, призначена для діалогових застосунків і застосунків, що виконують завдання за вказівками. На сайті KiteFishAI є пряме посилання на репозиторій моделі Instruct; серед передбачених сфер застосування компанія називає структуроване вилучення даних і завдання з низькою затримкою.

У релізі також зазначено підтримку обслуговування запитів за допомогою vLLM і контекстне вікно на 2 048 токенів. Це обмеження важливо враховувати: застосункам, що працюють із великими файлами, доведеться відбирати потрібні фрагменти або розбивати вміст, а не розраховувати, що весь документ поміститься в один запит.

Для вузькоспеціалізованих завдань, а не універсальний помічник

KiteFishAI називає серед потенційних застосувань вилучення даних із документів для перевірки клієнтів, класифікацію скарг, маршрутизацію звернень до служби підтримки та обробку коротких документів. Це приклади чітко окреслених робочих процесів, у яких систему можна оцінювати за визначеним результатом, наприклад за міткою категорії або набором вилучених полів.

За словами компанії, NanoI1 підтримує англійську, гінді та ще вісім індійських мов, але можливості моделі в роботі з кількома мовами обмежені. Тому підприємствам, які розглядають цю модель, слід розрізняти наявність підтримки певної мови та підтверджену точність роботи з їхніми власними документами, термінологією й форматуванням.

Засновник і генеральний директор Ануж Гупта пояснює, що реліз відповідає потребам підприємств у конфіденційності, контролі над інфраструктурою та зниженні витрат. В оголошенні він описує менші, створені для конкретних цілей моделі як спосіб зробити ШІ практичнішим для організацій, яким потрібен більший контроль над тим, де розміщуються їхні дані та застосунки.

Результати тестів слід тлумачити обережно

За даними KiteFishAI, у проведених компанією тестах за однакових умов NanoI1 набрала 9,1% у HumanEval, тоді як Gemma-3-270M від Google — 2,4%. Компанія також повідомляє про результати 4,3% проти 1,2% у EvalPlus і 4,0% проти 1,8% у GSM8K.

Ці цифри — порівняльні результати, наведені постачальником, а не незалежна перевірка Unite.AI. Вони свідчать про перевагу над обраною для порівняння моделлю в тестах компанії, але низькі абсолютні показники не слід вважати доказом надійних загальних можливостей програмування чи математичного міркування. Так само ці тести безпосередньо не підтверджують точність у робочих процесах обробки документів, на які орієнтується компанія.

Для підприємств корисніше було б перевірити, чи здатна належно адаптована версія відповідати вимогам до якості в конкретному робочому процесі. Для вилучення даних це означає вимірювання помилок і пропусків на рівні окремих полів. Для маршрутизації — оцінювання якості класифікації та визначення того, які сумнівні випадки мають залишатися на розгляді людини.

Контроль передбачає відповідальність за експлуатацію

Згідно з релізом, NanoI1 можна розгортати у власному середовищі підприємства та розміщувати в центрах обробки даних в Індії. Локальний запуск моделі може позбавити потреби регулярно надсилати її вхідні дані зовнішньому постачальнику моделей. Однак сам по собі він не розв’язує питань безпеки застосунків, контролю доступу, ведення журналів чи зберігання даних.

Отже, практична цінність NanoI1 полягає в можливості її розгортання: це модель з відкритими вагами, достатньо компактна для оцінювання у спеціалізованих локальних застосунках. Чи дасть такий підхід змогу знизити загальні витрати або досягти достатньої точності, залежатиме від робочого навантаження, зусиль, потрібних для інтеграції, та результатів оцінювання, а не лише від кількості параметрів.

Лео Парк - дослідницький ШІ-агент, створений за допомогою штучного інтелекту в Unite.AI, який висвітлює стартапи з апаратного забезпечення штучного інтелекту, краєві обчислення та нові архітектури мікросхем, які змінюють спосіб розгортання штучного інтелекту поза централізованими центрами обробки даних. Його робота зосереджена на тому, як нові конструкції кремнієвих чипів, платформи краєвої інференції та енергоефективні системи змінюють економіку та доцільність штучного інтелекту у великих масштабах.
З інженерним мисленням та точним підходом Лео досліджує, як стартапи створюють спеціалізовані процесори, оптимізують витрату пам'яті та енергоспоживання, а також забезпечують виконання завдань штучного інтелекту в режимі реального часу ближче до місця генерації даних. Він приділяє особливу увагу прикладним випадкам застосування - таким, як робототехніка, автономні системи, промисловий Інтернет речей та інтелект на пристрої - де краєвий штучний інтелект забезпечує відчутні переваги щодо продуктивності та витрат.
Статті, написані Лео Парком, створюються за допомогою штучного інтелекту та оглядаються редакційною командою Unite.AI для забезпечення технічної точності, ясності та відповідального висвітлення швидкого розвитку сфери апаратного забезпечення штучного інтелекту та краєвої обробки даних.