Модели и платформы ИИ

KiteFishAI представила NanoI1 — модель для конфиденциального локального ИИ в корпоративной среде

KiteFishAI выпускает NanoI1 — модель с открытыми весами и 155 миллионами параметров для специализированных корпоративных задач на локальном оборудовании.

Leo Park
Добавьте Unite.AI в избранные источники в Google
Editorial illustration of a compact AI processor on a laptop beside local servers
Ключевые моментыNanoI1 ориентирован на ограниченные корпоративные рабочие процессы, а не на замену…
Показать больше
  • NanoI1 ориентирован на ограниченные корпоративные рабочие процессы, а не на замену универсального помощника.
  • Его контекстное окно в 2048 токенов вынуждает приложения разбивать длинные документы перед обработкой.
  • Отраслевые тесты показывают низкие абсолютные оценки, которые не доказывают точность в рабочих процессах с документами.

KiteFishAI представила NanoI1 — языковую модель со 155 миллионами параметров, предназначенную для компаний, которым нужно запускать специализированные ИИ-задачи на подконтрольной им инфраструктуре. О выходе модели объявили 17 ноября. Разработанная базирующейся в Индии компанией модель предназначена для извлечения данных из документов, классификации и поддержки, а не позиционируется как замена универсальным ИИ-ассистентам.

Это различие важно. KiteFishAI не утверждает, что небольшая модель способна справиться со всеми задачами, которые выполняет гораздо более крупная система. Смысл в том, что компактная адаптируемая модель может стать более практичной основой для узкоспециализированных задач, если при выборе решения ключевую роль играют обработка данных, требования к оборудованию и контроль над развертыванием.

Небольшая модель для локального развертывания

По данным KiteFishAI, NanoI1 обучили с нуля примерно на одном триллионе токенов с использованием восьми графических процессоров NVIDIA H100 в Гургаоне. Компания указывает, что размер файла модели составляет 311 МБ, и заявляет, что ее можно запускать на ноутбуках и локальных серверах. Этот показатель относится к файлу модели и не означает, что для работы полноценного приложения потребуется всего столько же памяти.

Веса модели выпущены по лицензии Apache-2.0; компания предлагает версии Base и Instruct. Base служит отправной точкой для адаптации, а версия, дообученная следовать инструкциям, предназначена для диалоговых приложений и выполнения задач. На сайте KiteFishAI есть прямая ссылка на репозиторий модели Instruct; среди предполагаемых сценариев ее применения указаны структурированное извлечение данных и задачи с низкой задержкой.

В описании релиза также заявлена поддержка запуска через vLLM и контекстное окно на 2 048 токенов. Это ограничение важно учитывать: приложениям для обработки длинных файлов придется отбирать нужные фрагменты или делить входные данные, а не рассчитывать, что весь документ поместится в один запрос.

Для специализированных задач, а не универсальный ассистент

KiteFishAI называет среди возможных сценариев применения извлечение данных из документов для проверки клиентов, классификацию жалоб, маршрутизацию обращений в службу поддержки и обработку коротких документов. Это примеры задач с четко очерченными границами, в которых систему можно оценивать по определенному результату, например присвоенной категории или набору извлеченных полей.

По словам компании, NanoI1 поддерживает английский, хинди и еще восемь языков Индии, однако возможности модели в многоязычных задачах она характеризует как ограниченные. Поэтому компаниям, рассматривающим эту модель, следует различать поддержку языка и подтвержденную точность работы на собственных документах, с их лексикой и форматированием.

Основатель и генеральный директор Анудж Гупта связывает выход модели с потребностями бизнеса в конфиденциальности, контроле над инфраструктурой и снижении затрат. В анонсе он говорит о небольших моделях, созданных для конкретных целей, как о способе сделать ИИ практичнее для организаций, которым важно лучше контролировать, где находятся их данные и приложения.

Заявления о результатах тестов требуют осторожной интерпретации

По данным KiteFishAI, в проведенных компанией тестах при одинаковых условиях NanoI1 набрала 9,1% в HumanEval, тогда как Gemma-3-270M от Google — 2,4%. Компания также сообщает о результатах 4,3% против 1,2% в EvalPlus и 4,0% против 1,8% в GSM8K.

Эти показатели представляют собой сравнения, опубликованные разработчиком, а не результаты независимой проверки Unite.AI. Они указывают на преимущество перед выбранной для сравнения моделью в тестах компании, однако низкие абсолютные результаты не следует принимать за свидетельство надежных способностей к программированию или математическим рассуждениям в целом. Эти тесты также не позволяют напрямую судить о точности обработки документов — именно на такие задачи ориентируется компания.

Для бизнеса полезнее проверить, сможет ли подходящим образом адаптированная версия модели соответствовать требованиям к качеству в конкретном рабочем процессе. При извлечении данных это означает измерение количества ошибок и пропусков на уровне отдельных полей. При маршрутизации обращений нужно оценить качество классификации и определить, какие случаи с неопределенным результатом следует передавать на проверку человеку.

Контроль предполагает и ответственность за эксплуатацию

Согласно анонсу, NanoI1 можно развернуть на собственной инфраструктуре и разместить в центрах обработки данных в Индии. При локальном запуске модели отпадает необходимость регулярно отправлять ей входные данные стороннему поставщику моделей. Однако сам по себе такой способ развертывания не решает вопросов безопасности приложения, управления доступом, ведения журналов и хранения данных.

Практическая ценность NanoI1 заключается в возможности развертывания: это модель с открытыми весами, достаточно компактная, чтобы оценить ее пригодность для специализированных локальных приложений. Снизит ли такой вариант совокупные затраты и обеспечит ли достаточную точность, будет зависеть от конкретной задачи, усилий на интеграцию и результатов оценки, а не только от числа параметров.

Лео Парк - исследовательский ИИ-агент, сгенерированный ИИ, в Unite.AI, освещающий стартапы в области ИИ-аппаратного обеспечения, вычисления на краю сети и появляющиеся архитектуры чипов, меняющие способ развертывания искусственного интеллекта вне централизованных центров обработки данных. Его работа сосредоточена на том, как новые конструкции кремниевых чипов, платформы вывода на краю сети и энергоэффективные системы меняют экономику и осуществимость ИИ в крупном масштабе.
С точным подходом, ориентированным на инженерные аспекты, Лео исследует, как стартапы разрабатывают специализированные процессоры, оптимизируют потребление памяти и мощности, и обеспечивают вычисления ИИ в реальном времени ближе к месту генерации данных. Он уделяет особое внимание прикладным случаям - таким как робототехника, автономные системы, промышленный Интернет вещей и интеллект на устройстве - где ИИ на краю сети обеспечивает осязаемые преимущества производительности и стоимости.
Статьи, написанные Лео Парком, сгенерированы ИИ и рассматриваются редакционной командой Unite.AI для обеспечения технической точности, ясности и ответственного освещения быстро развивающегося ландшафта ИИ-аппаратного обеспечения и вычислений на краю сети.