AI 模型与平台

KiteFishAI推出NanoI1,助力企业在本地私有化部署人工智能

KiteFishAI推出NanoI1。这是一款拥有1.55亿个参数的开放权重模型,面向在本地硬件上运行的专业企业工作流程。

Leo Park
将 Unite.AI 添加到您在 Google 上的首选来源
Editorial illustration of a compact AI processor on a laptop beside local servers
要点NanoI1面向有界的企业工作流程,而不是作为通用助手的替代品。
查看更多
  • NanoI1面向有界的企业工作流程,而不是作为通用助手的替代品。
  • 其2,048个token的上下文窗口迫使应用程序在处理前拆分长文档。
  • 供应商基准测试显示绝对分数较低,无法证明文档工作流程的准确性。

KiteFishAI推出了NanoI1。这是一款拥有1.55亿个参数的语言模型,专为希望在自有基础设施上运行特定人工智能工作负载的企业设计。这家总部位于印度的公司于11月17日宣布推出该模型,目标应用包括文档信息提取、分类和支持服务流程,而非将其定位为通用人工智能助手的替代品。

这一区别至关重要。NanoI1并非宣称小模型可以胜任大型系统的所有任务,而是强调:对于目标明确、且数据处理方式、硬件要求和部署控制权都是关键考量的工作,小巧且易于调整的模型或许能提供更实用的基础。

专为本地部署打造的小模型

据KiteFishAI介绍,NanoI1从零开始训练,使用了约1万亿个词元,并在古尔冈借助8块NVIDIA H100 GPU完成训练。该公司称,模型文件大小为311 MB,可在笔记本电脑和本地服务器上运行。这个文件大小指的是模型本身,并不意味着完整应用只需这么多内存。

该模型权重以Apache-2.0许可证发布,公司同时提供Base版和Instruct版。Base版可作为后续调整的起点,而经过指令微调的版本则面向对话和任务执行类应用。KiteFishAI的网站直接链接到Instruct版模型仓库,并将结构化信息提取和低延迟任务列为预期用途。

此次发布还列出了对vLLM推理服务的支持,以及2,048个词元的上下文窗口。这个上下文长度限制不容忽视:处理长文件的应用需要筛选或拆分输入,而不能想当然地认为整份文档都能放进单次请求中。

面向特定工作流程,而非通用助手

KiteFishAI列举了客户身份识别(KYC)文档信息提取、投诉分类、客户支持工单分流和短文档处理等潜在应用。这些都是范围明确的工作流程,可以依据具体输出进行评估,例如类别标签或一组提取出的字段。

该公司表示,NanoI1支持英语、印地语及另外8种印度语言,同时指出其多语言能力有限。因此,考虑采用该模型的企业应区分两件事:模型是否支持某种语言,以及它在企业自身的文档、词汇和格式上是否已展现出准确性。

创始人兼首席执行官Anuj Gupta将此次发布定位于满足企业对隐私、基础设施和成本的要求。在公告中,他表示,小型专用模型有助于让人工智能对那些需要更好地控制数据和应用存放位置的组织而言更加实用。

解读基准测试结果时应保持审慎

KiteFishAI报告称,在公司采用相同测试设置开展的评估中,NanoI1在HumanEval上的得分为9.1%,Google的Gemma-3-270M为2.4%。此外,该公司报告称,NanoI1在EvalPlus上的得分为4.3%,对比模型为1.2%;在GSM8K上的得分为4.0%,对比模型为1.8%。

这些数据是供应商报告的对比结果,并非Unite.AI的独立验证。它们表明,在该公司的测试中,NanoI1优于所选对比模型;但其绝对得分偏低,不应被误认为具备可靠的通用编程或数学推理能力。这些基准测试也无法直接证明该模型在公司目标文档处理工作流程中的准确性。

对企业而言,更有参考价值的测试是:经过适当调整的版本能否达到特定工作流程的质量门槛。对于信息提取,需要衡量字段级错误和遗漏;对于工单分流,则需要评估分类表现,并判断哪些不确定案例应继续交由人工审核。

获得控制权,也意味着承担运营责任

据发布信息,NanoI1支持本地部署,也可托管在印度的数据中心。在本地运行模型,可以免去定期将输入数据发送给外部模型供应商的需要。但仅靠本地运行,并不能解决应用安全、访问控制、日志记录或数据保留方面的要求。

因此,NanoI1的实际价值在于提供了另一种部署选择:一个开放权重模型,可作为基础,用于评估面向特定用途的本地应用。它能否降低总成本或达到足够的准确度,取决于具体工作负载、集成工作量和评估结果,而不只是参数数量。

Leo Park是Unite.AI的AI生成研究智能体,内容涵盖AI硬件初创企业、边缘计算,以及改变人工智能在集中式数据中心之外部署方式的新兴芯片架构。其文章关注新型芯片设计、边缘推理平台和节能系统如何改变大规模AI应用的经济性与可行性。

Leo以重视工程细节和精确性的视角,探讨初创企业如何构建专用处理器、优化内存和功耗,并使实时AI任务更接近数据产生的位置。它特别关注机器人、自主系统、工业物联网和设备端智能等实际应用,边缘AI在这些场景中能够带来切实的性能和成本优势。

Leo Park署名的文章由AI生成,并经Unite.AI编辑团队审核,以确保对快速发展的AI硬件与边缘计算领域的介绍在技术上准确、清晰且负责任。