Backboard.io Ra Mắt Bộ Cơ Sở Hạ Tầng Trí Tuệ Nhân Tạo Tập Trung Vào Hiệu Suất, Kiểm Soát Doanh Nghiệp và Triển Khai Chủ Quyền

Khi các tổ chức cạnh tranh để áp dụng trí tuệ nhân tạo, cuộc trò chuyện đã ngày càng chuyển từ hiệu suất mô hình thô sang một câu hỏi thực tế hơn: làm thế nào các doanh nghiệp có thể chạy AI với chi phí thấp hơn trong khi vẫn duy trì kiểm soát dữ liệu của họ? Công ty Backboard.io có trụ sở tại Ottawa tin rằng câu trả lời không nằm ở các cụm GPU lớn hơn, mà ở việc làm cho cơ sở hạ tầng AI hiện có trở nên hiệu quả hơn đáng kể.

Vào Ngày Canada, công ty đã giới thiệu bốn công nghệ chính bao gồm nén mô hình, phát triển phần mềm hỗ trợ AI, truy cập mô hình AI đa dạng và bộ nhớ AI dài hạn. Mặc dù thông báo này nhấn mạnh gốc gác Canada của công ty, nhưng câu chuyện rộng lớn hơn là về cơ sở hạ tầng được thiết kế cho các doanh nghiệp muốn giảm chi phí AI trong khi vẫn giữ các khối lượng công việc nhạy cảm trong môi trường của riêng họ.

Làm Cho Các GPU Hiện Có Đi Xa Hơn

Có lẽ thông báo kỹ thuật quan trọng nhất là BackboardQuant (BBQ), một công nghệ nén mô hình mà công ty cho biết có thể giảm kích thước mô hình AI xuống tới 70% trong khi vẫn duy trì chất lượng đầu ra gần như giống hệt.

Nén mô hình đã trở thành một lĩnh vực nghiên cứu AI quan trọng khi các tổ chức đang vật lộn với chi phí ngày càng tăng của suy luận. Các mô hình nhỏ hơn tiêu thụ ít bộ nhớ hơn, yêu cầu ít tài nguyên phần cứng hơn và thường có thể thực hiện nhanh hơn, cho phép các tổ chức triển khai các mô hình tiên tiến mà không cần phải liên tục mở rộng khả năng của GPU.

Theo Backboard.io, thử nghiệm nội bộ cho thấy BBQ có thể cung cấp tốc độ suy luận nhanh hơn tới 2,7 lần, về cơ bản cho phép một GPU duy nhất thực hiện công việc mà có thể yêu cầu nhiều bộ tăng tốc khác. Thay vì thay thế các mô hình nền tảng hiện có, công nghệ này được thiết kế để tối ưu hóa chúng cho các triển khai sản xuất.

Cạnh Tranh Trong Phát Triển Phần Mềm Hỗ Trợ AI

Công ty cũng giới thiệu Backboard Studio, một nền tảng mã hóa AI nhằm trực tiếp vào một trong những thị trường AI cạnh tranh nhất hiện nay.

Thay vì phát triển mô hình ngôn ngữ tiên phong của riêng mình, Backboard áp dụng một cách tiếp cận kiến trúc khác. Nền tảng này nằm trên đỉnh của các mô hình hiện có trong khi cố gắng cải thiện hiệu suất thông qua quản lý bối cảnh, quản lý luồng công việc, luồng công việc递归 và tối ưu hóa token. Các nhà phát triển có thể chọn từ các mô hình thương mại hàng đầu hoặc các lựa chọn mã nguồn mở trong khi nền tảng quản lý bối cảnh dự án, thực hiện luồng công việc và tạo mã sản xuất.

Backboard tuyên bố rằng nền tảng này đạt được kết quả chuẩn mực mà không thua kém các trợ lý mã hóa hàng đầu trong khi giảm việc sử dụng token xuống tới 30%, một yếu tố ngày càng quan trọng khi các doanh nghiệp tìm cách quản lý chi phí hoạt động AI.

Công ty cũng nhấn mạnh sự linh hoạt trong việc triển khai doanh nghiệp. Backboard Studio có thể hoạt động như một dịch vụ đám mây hoặc trong cơ sở hạ tầng của chính tổ chức, cho phép mã nguồn độc quyền vẫn nằm trong môi trường doanh nghiệp thay vì được truyền đến các nhà cung cấp AI của bên thứ ba.

Nash Tổng Hợp Hàng Ngàn Mô Hình AI

Một thành phần khác của thông báo là Nash, một ứng dụng trò chuyện thống nhất cung cấp quyền truy cập vào hàng nghìn mô hình AI văn bản và hình ảnh thông qua một giao diện duy nhất.

Khái niệm này giải quyết một mối quan tâm ngày càng tăng của doanh nghiệp được gọi là “bóng tối AI”, nơi nhân viên độc lập áp dụng các công cụ AI của người tiêu dùng bên ngoài hệ thống doanh nghiệp được phê duyệt. Thay vì cố gắng chặn việc sử dụng AI, Backboard định vị Nash như một nền tảng tập trung cho phép các tổ chức truy cập vào một loạt các mô hình trong khi vẫn duy trì quản trị dữ liệu người dùng và bộ nhớ tổ chức.

Cơ sở hạ tầng cơ bản cũng hỗ trợ Bring Your Own Key (BYOK), quản lý bối cảnh thích ứng và định tuyến trên hàng nghìn mô hình có sẵn thông qua một nền tảng duy nhất.

Xử Lý Bộ Nhớ Như Cơ Sở Hạ Tầng AI

Một trong những焦 điểm kỹ thuật định nghĩa của Backboard kể từ khi ra mắt là bộ nhớ AI vĩnh cửu.

Các mô hình ngôn ngữ lớn vẫn còn cơ bản là không có trạng thái, có nghĩa là các cuộc trò chuyện, sở thích và bối cảnh lịch sử thường biến mất trừ khi các nhà phát triển xây dựng thêm cơ sở hạ tầng xung quanh chúng. Backboard đã định vị mình như một lớp bộ nhớ chuyên dụng hoạt động trên các mô hình AI và ứng dụng khác nhau thay vì khóa người dùng vào một hệ sinh thái duy nhất.

Công ty cho biết hệ thống bộ nhớ của họ hiện đang đứng đầu trên cả hai chuẩn mực LoCoMo và LongMemEval, hai đánh giá được tham chiếu rộng rãi để đo lường lý luận ngữ cảnh dài và hiệu suất bộ nhớ vĩnh cửu. Đầu năm nay, Backboard đã mô tả bộ nhớ như cơ sở hạ tầng cơ bản chứ không chỉ là một tính năng khác được thêm vào các mô hình hiện có.

Kiến trúc này cho phép các tổ chức bảo tồn lịch sử người dùng, sở thích và kiến thức ngữ cảnh ngay cả khi chuyển đổi giữa các mô hình ngôn ngữ khác nhau.

AI Được Giữ Trong Phạm Vi Doanh Nghiệp

Trên tất cả bốn thông báo, một triết lý thiết kế nhất quán xuất hiện: các doanh nghiệp ngày càng muốn các hệ thống AI hoạt động dưới sự quản lý của họ.

Nền tảng của Backboard có thể được triển khai trong đám mây riêng của khách hàng, cho phép các tổ chức giữ quyền sở hữu dữ liệu của họ trong khi sử dụng các khả năng AI hiện đại. Cách tiếp cận này đặc biệt liên quan đến các ngành công nghiệp xử lý thông tin nhạy cảm, bao gồm chăm sóc sức khỏe, dịch vụ tài chính, chính phủ và cơ sở hạ tầng quan trọng, nơi các yêu cầu quy định thường hạn chế việc sử dụng các dịch vụ AI được lưu trữ bên ngoài.

Thay vì định hình chủ quyền chỉ là một vấn đề quốc gia, kiến trúc của công ty tập trung vào kiểm soát doanh nghiệp – giữ mô hình, bộ nhớ và dữ liệu ứng dụng trong môi trường được khách hàng quản lý.

Câu Chuyện Cơ Sở Hạ Tầng Trí Tuệ Nhân Tạo Canada Đang Phát Triển

Mặc dù phần lớn cuộc trò chuyện AI toàn cầu vẫn tập trung vào các nhà phát triển mô hình nền tảng của Thung lũng Silicon, Backboard đại diện cho một loại công ty AI khác đang thu được động lực: những người xây dựng cơ sở hạ tầng tập trung vào việc làm cho các mô hình hiện có trở nên thực tế hơn cho các môi trường sản xuất.

Được thành lập bởi Rob Imbeault, trước đây là đồng sáng lập của công ty phần mềm chuỗi cung ứng Canada Assent, Backboard đã tập trung vào việc cải thiện kinh tế và đặc điểm hoạt động của AI doanh nghiệp thay vì cạnh tranh để xây dựng mô hình ngôn ngữ tiên phong tiếp theo. Đầu năm nay, công ty đã huy động một vòng vốn hạt giống để tiếp tục phát triển nền tảng cơ sở hạ tầng AI của mình.

Khi AI doanh nghiệp trưởng thành, các công nghệ giảm chi phí suy luận, cải thiện bộ nhớ, đơn giản hóa việc triển khai mô hình đa dạng và cho phép các môi trường AI tự lưu trữ có thể trở nên quan trọng hơn cùng với những tiến bộ trong khả năng mô hình. Các bản phát hành mới nhất của Backboard phản ánh sự thay đổi rộng lớn hơn này – từ việc xây dựng các mô hình lớn hơn đến xây dựng cơ sở hạ tầng giúp các tổ chức khai thác nhiều giá trị hơn từ các mô hình họ đã sử dụng.