Xây dựng Cầu nối giữa Cơ sở Hạ tầng và Các Đội ngũ Sản phẩm: Bài học từ Xây dựng Nền tảng Trí tuệ Nhân tạo Thế hệ Mới

Không có gì phải bàn cãi: Trí tuệ Nhân tạo Thế hệ Mới, hoặc GenAI, là chủ đề nóng trong những năm gần đây. Cho dù mục tiêu là tự động hóa quy trình, tạo ra thiết kế sản phẩm mới, tạo nội dung, hoặc bất kỳ tính năng nào khác trên các lĩnh vực, thì bây giờ là thời điểm để các tổ chức bắt đầu thực hiện công việc quan trọng nhất và đưa chiến lược GenAI của họ vào hoạt động.

Sự thành công của GenAI, bao gồm các công việc từ nghiên cứu đến đào tạo và cuối cùng là suy luận, phụ thuộc vào sự phối hợp chặt chẽ xung quanh việc triển khai, quan sát, quản lý chi phí, telemetry, và mục tiêu độ trễ của cơ sở hạ tầng và dịch vụ cơ bản. Những yếu tố này giúp thúc đẩy mức hiệu quả có thể đạt được cho công việc trí tuệ nhân tạo, đảm bảo sự cân bằng hiệu quả giữa tính toán và giao tiếp, đảm bảo rằng các GPU luôn có dữ liệu cần thiết.

Thách thức là thường có một khoảng cách cấu trúc: Kỹ thuật cơ sở hạ tầng tập trung vào ngăn xếp tính toán và triển khai, trong khi các đội ngũ phần mềm và sản phẩm tập trung vào xây dựng các ứng dụng hướng đến người dùng mang GenAI vào thế giới thực. Khi các nhóm này không được sắp xếp đúng, điều này thường dẫn đến việc trì hoãn giao hàng, vấn đề về hiệu suất và vấn đề về khả năng sử dụng.

Vậy, khoảng cách này trông như thế nào trong thế giới thực, và những chiến lược nào mà các tổ chức có thể sử dụng để sắp xếp cơ sở hạ tầng và các đội ngũ sản phẩm cho sự thành công của GenAI?

Các vấn đề với sự không đồng bộ

Khi cơ sở hạ tầng và các đội ngũ sản phẩm không đồng bộ, các triệu chứng thường rõ ràng, nhưng không luôn được giải quyết kịp thời. Một đặc điểm của các đội ngũ không đồng bộ là sự không khớp về giả định về kỳ vọng độ trễ hoặc khả năng của mô hình. Ví dụ, các đội ngũ kỹ thuật cơ sở hạ tầng có thể lập kế hoạch các tính năng hoặc triển khai假 định mức hiệu suất mà thiết kế cơ sở hạ tầng thực tế không đáp ứng. Điều này dẫn đến việc làm lại ở giai đoạn cuối, thay đổi phạm vi và trì hoãn giao hàng.

Sự không đồng bộ cũng có thể dẫn đến hiệu suất kém do triển khai trên cơ sở hạ tầng không được tối ưu hóa, điều này thể hiện ở sự thay đổi độ trễ và các vấn đề về khả năng mở rộng ảnh hưởng đến hiệu suất của việc đào tạo hoặc các công việc suy luận phân tán lớn. Các rủi ro về bảo mật và tuân thủ cũng là đặc điểm của sự không đồng bộ giữa các đội ngũ, vì sự thiếu hợp tác sớm giữa hai đội ngũ có nghĩa là các yêu cầu về quyền riêng tư và tuân thủ dữ liệu có thể bị bỏ qua.

Và cuối cùng, sự không đồng bộ giữa các đội ngũ dẫn đến trải nghiệm người dùng kém, điều này khiến các đội ngũ kỹ thuật cơ sở hạ tầng phải tìm cách giải quyết khi các ràng buộc không rõ ràng, làm chậm các chu kỳ lặp lại và tăng nợ kỹ thuật. Tất nhiên, sự không đồng bộ giữa các đội ngũ sản phẩm và cơ sở hạ tầng có thể tốn kém trong bất kỳ dự án phần mềm nào, nhưng với GenAI đặc biệt, các ставки thậm chí còn cao hơn — bao gồm cả việc tăng hiệu quả hoạt động, xói mòn lợi thế cạnh tranh và rủi ro bảo mật.

Cầu nối đến thành công

Sự thành công của GenAI không chỉ phụ thuộc vào việc có cơ sở hạ tầng mạnh mẽ mà còn phụ thuộc vào việc tạo ra một khuôn khổ chiến thuật liên kết các quy trình cơ sở hạ tầng và sản phẩm. Hãy xem xét ý tưởng về các API tự phục vụ nội bộ cho việc cấp phát GPU. Đối với các đội ngũ cơ sở hạ tầng, những API này tiêu chuẩn hóa quyền truy cập, giảm tải vé và đảm bảo tuân thủ; đối với các đội ngũ sản phẩm, chúng cung cấp quyền truy cập tính toán nhanh và có thể dự đoán mà không cần chờ trong hàng đợi. Kết quả là cả hai nhóm làm việc từ cùng một “hợp đồng” API, loại bỏ các nút thắt và làm rõ kỳ vọng.

Các bảng điều khiển sử dụng thực tế theo thời gian thực cũng đóng vai trò tương tự. Chúng cung cấp cho các kỹ sư cơ sở hạ tầng khả năng nhìn thấy tải hệ thống và hiệu quả trong khi đồng thời hiển thị cho các đội ngũ sản phẩm cách công việc của họ chuyển thành tiêu thụ thực tế. Vì cả hai bên nhìn thấy cùng một dữ liệu, các cuộc thảo luận về hiệu suất hoặc các nút thắt trở nên hợp tác hơn và ít đối đầu hơn — có một nguồn sự thật duy nhất.

Tự động điều chỉnh quy mô là một cơ chế thống nhất khác. Nó giảm bớt việc chữa cháy liên tục cho các kỹ sư cơ sở hạ tầng trong khi đảm bảo rằng các nhà phát triển sản phẩm không gặp phải trần hiệu suất trong các đỉnh cao của công việc. Điều mà có thể trở thành một cuộc chiến giữa sự ổn định và sự linh hoạt trở thành một chiến lược chung: Quy mô được quản lý tự động, phù hợp với cả khả năng phục hồi hoạt động và mục tiêu hiệu suất sản phẩm.

Cuối cùng, các thông tin chi phí thêm một chiều tài chính vào tầm nhìn chung này. Các đội ngũ cơ sở hạ tầng có thể tối ưu hóa phân bổ và lập kế hoạch năng lực, trong khi các đội ngũ sản phẩm có được sự đánh giá cao về cách các lựa chọn kiến trúc hoặc mô hình ảnh hưởng đến chi tiêu. Sự minh bạch này tạo ra sự trách nhiệm chung, biến hiệu quả thành một trách nhiệm tập thể chứ không phải một mối quan tâm ẩn.

Nhưng sự đồng bộ đòi hỏi nhiều hơn các công cụ chung — nó cũng đòi hỏi tầm nhìn chung. Đây là nơi các bản đồ đường dẫn chung xuất hiện: Mỗi đội ngũ không chỉ phải hiểu các mục tiêu chung mà còn các bước cần thiết để đạt được chúng. Đối với cơ sở hạ tầng, điều đó có nghĩa là nhìn vượt ra ngoài gốc rễ kỹ thuật sâu của phần cứng và phần mềm để tham gia vào cách các nhà phát triển và người dùng cuối thực sự trải nghiệm hệ thống. Đối với các đội ngũ sản phẩm, điều đó đòi hỏi sự tôn trọng các ràng buộc như độ trễ, chi phí và hiệu quả mô hình, đánh giá cao các thực tế hoạt động làm cho đổi mới trở nên bền vững.

Cuối cùng, không có sự hợp tác nào có thể tồn tại mà không có cam kết chung về bảo mật và tuân thủ. Cho dù đó là SOC2, HIPAA, ISO hay các khuôn khổ khác áp dụng, các yêu cầu cụ thể thay đổi tùy theo cơ sở khách hàng và chiều dọc ngành — nhưng trách nhiệm là chung. Cả các đội ngũ cơ sở hạ tầng và sản phẩm phải nội hóa các nghĩa vụ này, nhận ra rằng tuân thủ không phải là một bài tập kiểm tra hộp mà là nền tảng của sự tin tưởng với người dùng.

Khi kết hợp lại, những thực tiễn và tư duy này kết nối cơ sở hạ tầng và sản phẩm thành một đơn vị gắn kết, với ngôn ngữ chung, tầm nhìn chung và trách nhiệm chung cho tiến bộ, khả năng phục hồi và độ tin cậy.

Các đội ngũ có kiến thức

Có đúng người là vừa quan trọng như có đúng hệ thống. Lý tưởng nhất, các đội ngũ nên bao gồm các thành viên đã quen thuộc với GenAI, hoặc những người đến từ các nền tảng máy tính hiệu suất cao và trung tâm dữ liệu siêu quy mô. Điều thực sự quan trọng là kinh nghiệm thực tế và những bài học chỉ có được từ việc xây dựng và hỗ trợ các nền tảng GPU-as-a-service. Điều đó có nghĩa là hiểu cách các GPU giao tiếp với nhau, cách các chạy đào tạo紧密 hoạt động, và cách nhạy cảm chúng với độ trễ, đồng bộ hóa và việc cung cấp dữ liệu.

Khi các mô hình tiếp tục phát triển và các triển khai tăng quy mô, các đội ngũ cũng cần phải lùi lại và suy nghĩ về toàn bộ hành trình khách hàng. Nó bắt đầu từ nghiên cứu và thí nghiệm sớm, chuyển sang đào tạo quy mô lớn, sau đó tinh chỉnh và cuối cùng là suy luận. Mỗi giai đoạn trông khác một chút, và các nhu cầu thay đổi dọc theo đường đi. Bản chất lặp lại của phát triển mô hình luôn dạy cho chúng ta những loại cơ sở hạ tầng, quy trình và khả năng nào là cần thiết để giữ cho một trung tâm dữ liệu GenAI phù hợp với mục đích.

Quá thường, các đội ngũ cơ sở hạ tầng và sản phẩm hoạt động trong các bong bóng của riêng họ. Đối với bất kỳ công ty nào nghiêm túc về việc đưa GenAI vào sản xuất, điều đó phải thay đổi. Sự thành công phụ thuộc vào việc phá vỡ những rào cản này và tạo ra sự sở hữu chung của nền tảng. Với đúng người, tầm nhìn rõ ràng và khuôn khổ thực tế, cả hai bên có thể đồng bộ trên cùng một cuốn sách — một cuốn sách giúp họ di chuyển nhanh hơn, duy trì trách nhiệm và cuối cùng là triển khai GenAI thành công.