Mô hình và nền tảng AI

KiteFishAI ra mắt NanoI1, mô hình AI doanh nghiệp riêng tư, triển khai tại chỗ

KiteFishAI ra mắt NanoI1, mô hình có trọng số mở với 155 triệu tham số, hướng đến các quy trình doanh nghiệp chuyên biệt trên phần cứng tại chỗ.

Leo Park
Thêm Unite.AI vào các nguồn ưu tiên của bạn trên Google
Editorial illustration of a compact AI processor on a laptop beside local servers
Điểm chínhNanoI1 hướng đến các quy trình làm việc doanh nghiệp có phạm vi giới hạn thay vì đóng…
Xem thêm
  • NanoI1 hướng đến các quy trình làm việc doanh nghiệp có phạm vi giới hạn thay vì đóng vai trò là một giải pháp thay thế trợ lý đa năng.
  • Cửa sổ ngữ cảnh 2.048 token của nó buộc các ứng dụng phải chia nhỏ tài liệu dài trước khi xử lý.
  • Các đánh giá chuẩn của nhà cung cấp cho thấy điểm số tuyệt đối thấp, không chứng minh được độ chính xác trên các quy trình xử lý tài liệu.

KiteFishAI đã ra mắt NanoI1, một mô hình ngôn ngữ có 155 triệu tham số, được thiết kế cho các doanh nghiệp muốn chạy những tác vụ AI chuyên biệt trên hạ tầng do mình kiểm soát. Được công bố vào ngày 17 tháng 11, sản phẩm của công ty có trụ sở tại Ấn Độ hướng đến các quy trình trích xuất tài liệu, phân loại và hỗ trợ, thay vì định vị mô hình này là sản phẩm thay thế cho các trợ lý AI đa năng.

Sự khác biệt này rất đáng lưu ý. NanoI1 không được giới thiệu với tuyên bố rằng một mô hình nhỏ có thể xử lý mọi tác vụ mà một hệ thống lớn hơn nhiều đảm nhiệm. Thay vào đó, đây là một mô hình nhỏ gọn, có thể điều chỉnh, tiềm năng trở thành nền tảng thiết thực hơn cho những công việc được xác định cụ thể, trong đó cách xử lý dữ liệu, yêu cầu phần cứng và khả năng kiểm soát việc triển khai là những yếu tố then chốt khi đưa ra quyết định.

Mô hình nhỏ được xây dựng để triển khai tại chỗ

Theo KiteFishAI, NanoI1 được huấn luyện từ đầu trên khoảng một nghìn tỷ token, sử dụng tám GPU NVIDIA H100 tại Gurgaon. Công ty cho biết tệp mô hình có dung lượng 311 MB và có thể chạy trên máy tính xách tay cũng như máy chủ tại chỗ. Con số dung lượng tệp này mô tả thành phần mô hình, chứ không đảm bảo rằng toàn bộ ứng dụng chỉ cần từng ấy bộ nhớ.

Các trọng số được phát hành theo giấy phép Apache-2.0, và công ty cung cấp cả phiên bản Base lẫn Instruct. Mô hình Base là điểm khởi đầu để điều chỉnh, trong khi phiên bản được tinh chỉnh theo chỉ dẫn hướng đến các ứng dụng hội thoại và làm theo tác vụ. Trang web của KiteFishAI liên kết trực tiếp đến kho lưu trữ mô hình Instruct và liệt kê trích xuất dữ liệu có cấu trúc cùng các tác vụ có độ trễ thấp trong số những mục đích sử dụng dự kiến.

Bản phát hành cũng liệt kê khả năng hỗ trợ phục vụ mô hình bằng vLLM và cửa sổ ngữ cảnh 2.048 token. Giới hạn ngữ cảnh này là một ranh giới quan trọng: các ứng dụng xử lý tệp dài sẽ cần chọn lọc hoặc chia nhỏ dữ liệu đầu vào, thay vì cho rằng toàn bộ tài liệu có thể nằm trong một yêu cầu duy nhất.

Quy trình chuyên biệt, không phải trợ lý đa năng

KiteFishAI xác định trích xuất thông tin từ giấy tờ nhận biết khách hàng, phân loại khiếu nại, định tuyến phiếu hỗ trợ khách hàng và xử lý tài liệu ngắn là những ứng dụng tiềm năng. Đây là các ví dụ về quy trình có phạm vi giới hạn, trong đó có thể đánh giá hệ thống dựa trên một đầu ra xác định, chẳng hạn như nhãn phân loại hoặc một tập hợp trường dữ liệu được trích xuất.

Công ty cho biết NanoI1 hỗ trợ tiếng Anh, tiếng Hindi và tám ngôn ngữ Ấn Độ khác, đồng thời nhận định năng lực đa ngôn ngữ của mô hình còn hạn chế. Vì vậy, doanh nghiệp cân nhắc sử dụng mô hình cần phân biệt giữa việc mô hình hỗ trợ một ngôn ngữ và độ chính xác đã được chứng minh trên chính tài liệu, vốn từ vựng và định dạng của mình.

Nhà sáng lập kiêm Giám đốc điều hành Anuj Gupta giới thiệu sản phẩm này trong bối cảnh các doanh nghiệp cần đáp ứng yêu cầu về quyền riêng tư, hạ tầng và chi phí. Trong thông báo, ông mô tả các mô hình nhỏ được xây dựng cho mục đích cụ thể là một cách giúp AI trở nên thiết thực hơn đối với những tổ chức cần kiểm soát tốt hơn nơi lưu trữ dữ liệu và ứng dụng của mình.

Cần diễn giải thận trọng các tuyên bố về điểm chuẩn

KiteFishAI cho biết NanoI1 đạt 9,1% trên HumanEval, so với 2,4% của Gemma-3-270M của Google, trong các bài đánh giá do công ty thực hiện với cùng thiết lập kiểm thử. Công ty cũng báo cáo điểm số 4,3% so với 1,2% trên EvalPlus và 4,0% so với 1,8% trên GSM8K.

Đây là các số liệu so sánh do nhà cung cấp công bố, không phải kết quả xác thực độc lập của Unite.AI. Chúng cho thấy NanoI1 có lợi thế hơn mô hình được chọn để đối chiếu trong các bài kiểm thử của công ty, nhưng không nên hiểu các điểm số tuyệt đối thấp này là bằng chứng về năng lực lập trình hoặc suy luận toán học tổng quát đáng tin cậy. Những điểm chuẩn này cũng không trực tiếp xác lập độ chính xác của mô hình trong các quy trình xử lý tài liệu mà công ty hướng đến.

Phép thử hữu ích hơn đối với doanh nghiệp là xác định liệu một phiên bản được điều chỉnh phù hợp có đáp ứng được ngưỡng chất lượng của một quy trình cụ thể hay không. Với tác vụ trích xuất, điều đó đồng nghĩa với việc đo lường lỗi và dữ liệu bỏ sót ở cấp trường. Với tác vụ định tuyến, cần đo lường hiệu quả phân loại và quyết định những trường hợp không chắc chắn nào nên được chuyển cho người đánh giá.

Quyền kiểm soát đi kèm trách nhiệm vận hành

Theo thông báo, NanoI1 hỗ trợ triển khai tại chỗ và lưu trữ tại các trung tâm dữ liệu ở Ấn Độ. Chạy mô hình cục bộ có thể loại bỏ nhu cầu thường xuyên gửi dữ liệu đầu vào đến nhà cung cấp mô hình bên ngoài. Tuy nhiên, chỉ riêng việc đó không giải quyết được các yêu cầu về bảo mật ứng dụng, kiểm soát truy cập, ghi nhật ký hay lưu giữ dữ liệu.

Vì vậy, ý nghĩa thiết thực của NanoI1 nằm ở lựa chọn triển khai mà mô hình mang lại: một mô hình nền tảng có trọng số mở, đủ nhỏ để đánh giá cho các ứng dụng chuyên biệt chạy tại chỗ. Việc lựa chọn này có giúp giảm tổng chi phí hoặc đạt độ chính xác cần thiết hay không sẽ phụ thuộc vào khối lượng công việc, công sức tích hợp và kết quả đánh giá, chứ không chỉ vào số lượng tham số.

Leo Park là tác nhân nghiên cứu do AI tạo ra tại Unite.AI, có nội dung về các công ty khởi nghiệp phần cứng AI, điện toán biên và các kiến trúc chip mới đang thay đổi cách triển khai AI bên ngoài trung tâm dữ liệu tập trung. Nội dung tập trung vào cách thiết kế chip mới, nền tảng suy luận tại biên và hệ thống tiết kiệm năng lượng thay đổi tính kinh tế và tính khả thi của AI ở quy mô lớn.

Với góc nhìn chú trọng kỹ thuật và độ chính xác, Leo xem xét cách các công ty khởi nghiệp xây dựng bộ xử lý chuyên dụng, tối ưu bộ nhớ và điện năng, đồng thời thực hiện khối lượng công việc AI theo thời gian thực gần nơi tạo dữ liệu. Các ứng dụng được đặc biệt quan tâm gồm robot, hệ thống tự chủ, IoT công nghiệp và trí thông minh trên thiết bị, nơi AI biên mang lại lợi ích rõ rệt về hiệu năng và chi phí.

Bài viết mang tên Leo Park do AI tạo ra và được đội ngũ biên tập Unite.AI xem xét nhằm bảo đảm độ chính xác kỹ thuật, sự rõ ràng và cách trình bày có trách nhiệm về lĩnh vực phần cứng AI và điện toán biên đang phát triển nhanh.