Độ trễ AI và thông lượng: Giải thích TTFT, số token mỗi giây và các chỉ số khác

Độ trễ AI đo thời gian cần thiết để xử lý một yêu cầu hoặc token, còn thông lượng đo lượng công việc mà hệ thống phục vụ hoàn thành trong mỗi đơn vị thời gian.

Độ trễ AI và thông lượng cần được giải thích chính xác, bởi tên gọi này chỉ một luồng thông tin, lựa chọn huấn luyện, cơ chế khi chạy hoặc ranh giới quản trị cụ thể. Xem khái niệm này như từ đồng nghĩa với “AI tiên tiến” khiến các tuyên bố không thể kiểm chứng. Hướng dẫn này lần theo khái niệm từ đầu vào và các giả định đến kết quả có thể quan sát, rồi kiểm tra cách hiểu giản lược dễ bị nhầm lẫn nhất với nó.

Độ trễ AI và thông lượng: Định nghĩa, ranh giới và mục đích

Độ trễ AI đo thời gian cần thiết để xử lý một yêu cầu hoặc token, còn thông lượng đo lượng công việc mà hệ thống phục vụ hoàn thành trong mỗi đơn vị thời gian. Định nghĩa này bao hàm ba cam kết thực tế: có một đầu vào xác định được; có một phép biến đổi hoặc quyết định đặc trưng cho độ trễ AI và thông lượng; và có một kết quả có thể đánh giá theo mục tiêu đã nêu. Nếu thiếu một trong các yếu tố đó, nhãn này có thể chỉ mô tả một nguyện vọng thay vì một cơ chế đã được triển khai.

Hiệu năng suy luận là thuộc tính của cả hệ thống, bao gồm kiến trúc mô hình, độ chính xác số học, quá trình di chuyển dữ liệu trong bộ nhớ, lập lịch, mạng, phần cứng và dạng thức khối lượng công việc. Với độ trễ AI và thông lượng, cách nhìn toàn hệ thống này rất quan trọng, bởi hiệu năng có thể do dữ liệu, giao diện, phần cứng, quyền hạn và con người xung quanh quyết định, ngay cả khi mô hình nền tảng không thay đổi. Vì vậy, một lời giải thích hữu ích cần tách biệt hành vi mô hình đã học với sản phẩm quyết định khi nào, ở đâu và với thẩm quyền nào hành vi đó được sử dụng.

Cách giản lược dễ gây hiểu nhầm nhất là tối ưu một con số nổi bật về số yêu cầu mỗi giây. Cách này có thể có điểm dễ nhận thấy giống với độ trễ AI và thông lượng, nhưng lại làm thay đổi quan hệ nhân quả: cần những bằng chứng khác nhau để xác nhận thành công, những nguồn lực khác nhau sẽ chi phối chi phí, và những biện pháp kiểm soát khác nhau sẽ ngăn ngừa tác hại. Vì vậy, ranh giới ở đây mang tính vận hành chứ không phải thuật ngữ.

Sơ đồ vận hành năm giai đoạn về độ trễ AI và thông lượng

Sơ đồ này là bản đồ nhân quả cô đọng về độ trễ AI và thông lượng, chứ không khẳng định rằng mọi cách triển khai đều sử dụng năm thành phần phần mềm. Một số hệ thống gộp các giai đoạn, còn những hệ thống khác lặp lại chúng theo vòng. Bản đồ vẫn hữu ích vì buộc mỗi thay đổi về thông tin hoặc thẩm quyền phải có bên chịu trách nhiệm, đầu vào, đầu ra và phép kiểm thử.

1. Ghi dấu thời gian khi tiếp nhận yêu cầu vào hàng đợi và tiền xử lý: Đầu vào và giả định trong độ trễ AI và thông lượng

Ở giai đoạn này của độ trễ AI và thông lượng, hệ thống phải ghi dấu thời gian khi tiếp nhận yêu cầu vào hàng đợi và tiền xử lý. Câu hỏi hữu ích không chỉ là thao tác đó có diễn ra hay không, mà còn là nó sử dụng thông tin nào, làm thay đổi trạng thái nào và bằng chứng nào chứng minh thay đổi đó hợp lệ. Người đánh giá cần có khả năng phân biệt thao tác này với việc tối ưu một con số nổi bật về số yêu cầu mỗi giây, đồng thời tái tạo kết quả trong cùng các điều kiện đã nêu.

Quá trình bàn giao sang giai đoạn này của độ trễ AI và thông lượng bắt đầu từ mục tiêu đã nêu và nên kết thúc bằng một kết quả có thể dùng để đo thời gian đến đầu ra hữu ích đầu tiên. Hãy ghi lại mức độ bất định, các phương án bị bác bỏ, mức sử dụng tài nguyên và mọi biện pháp kiểm soát do con người hoặc phần mềm áp dụng tại ranh giới này. Dấu vết đó giúp các nhóm phát hiện liệu việc tối đa hóa thông lượng theo lô có thể khiến phản hồi đầu tiên cho một người dùng riêng lẻ chậm hơn đáng kể hay không, trước khi điểm yếu tương tự ảnh hưởng đến một đầu ra có hệ quả quan trọng.

2. Đo thời gian đến đầu ra hữu ích đầu tiên: Biểu diễn hoặc quyết định trong độ trễ AI và thông lượng

Ở giai đoạn này của độ trễ AI và thông lượng, hệ thống phải đo thời gian đến đầu ra hữu ích đầu tiên. Câu hỏi hữu ích không chỉ là thao tác đó có diễn ra hay không, mà còn là nó sử dụng thông tin nào, làm thay đổi trạng thái nào và bằng chứng nào chứng minh thay đổi đó hợp lệ. Người đánh giá cần có khả năng phân biệt thao tác này với việc tối ưu một con số nổi bật về số yêu cầu mỗi giây, đồng thời tái tạo kết quả trong cùng các điều kiện đã nêu.

Quy trình chuyển tiếp sang giai đoạn này của độ trễ và thông lượng AI bắt đầu bằng việc ghi dấu thời gian tiếp nhận vào hàng đợi và tiền xử lý, và nên kết thúc bằng một kết quả có thể hỗ trợ theo dõi tốc độ giữa các token hoặc trên mỗi mục. Ghi lại những điểm chưa chắc chắn, các phương án đã bị loại bỏ, mức sử dụng tài nguyên và mọi biện pháp kiểm soát do con người hoặc phần mềm áp dụng tại ranh giới này. Dấu vết đó giúp các nhóm phát hiện liệu việc tối đa hóa thông lượng theo lô có thể khiến phản hồi đầu tiên của một người dùng chậm hơn nhiều hay không, trước khi điểm yếu tương tự ảnh hưởng đến một kết quả quan trọng.

3. Theo dõi tốc độ giữa các token hoặc trên mỗi mục: phép biến đổi đặc trưng trong độ trễ và thông lượng AI

Ở giai đoạn này của độ trễ và thông lượng AI, hệ thống phải theo dõi tốc độ giữa các token hoặc trên mỗi mục. Câu hỏi hữu ích không chỉ là liệu thao tác đó có diễn ra hay không, mà còn là thao tác sử dụng thông tin nào, làm thay đổi trạng thái nào và bằng chứng nào chứng minh sự thay đổi đó là hợp lệ. Người đánh giá cần có khả năng phân biệt thao tác này với việc tối ưu một con số nổi bật duy nhất về số yêu cầu mỗi giây, đồng thời tái tạo được kết quả trong cùng các điều kiện đã nêu.

Quy trình chuyển tiếp sang giai đoạn này của độ trễ và thông lượng AI bắt đầu bằng việc đo thời gian đến đầu ra hữu ích đầu tiên, và nên kết thúc bằng một kết quả có thể hỗ trợ đếm lượng công việc đã hoàn tất trên toàn hệ thống. Ghi lại những điểm chưa chắc chắn, các phương án đã bị loại bỏ, mức sử dụng tài nguyên và mọi biện pháp kiểm soát do con người hoặc phần mềm áp dụng tại ranh giới này. Dấu vết đó giúp các nhóm phát hiện liệu việc tối đa hóa thông lượng theo lô có thể khiến phản hồi đầu tiên của một người dùng chậm hơn nhiều hay không, trước khi điểm yếu tương tự ảnh hưởng đến một kết quả quan trọng.

4. Đếm lượng công việc đã hoàn tất trên toàn hệ thống: ranh giới ràng buộc và xác minh trong độ trễ và thông lượng AI

Ở giai đoạn này của độ trễ và thông lượng AI, hệ thống phải đếm lượng công việc đã hoàn tất trên toàn hệ thống. Câu hỏi hữu ích không chỉ là liệu thao tác đó có diễn ra hay không, mà còn là thao tác sử dụng thông tin nào, làm thay đổi trạng thái nào và bằng chứng nào chứng minh sự thay đổi đó là hợp lệ. Người đánh giá cần có khả năng phân biệt thao tác này với việc tối ưu một con số nổi bật duy nhất về số yêu cầu mỗi giây, đồng thời tái tạo được kết quả trong cùng các điều kiện đã nêu.

Quy trình chuyển tiếp sang giai đoạn này của độ trễ và thông lượng AI bắt đầu bằng việc theo dõi tốc độ giữa các token hoặc trên mỗi mục, và nên kết thúc bằng một kết quả có thể hỗ trợ phân tích đồng thời giá trị trung bình và các phân vị đuôi. Ghi lại những điểm chưa chắc chắn, các phương án đã bị loại bỏ, mức sử dụng tài nguyên và mọi biện pháp kiểm soát do con người hoặc phần mềm áp dụng tại ranh giới này. Dấu vết đó giúp các nhóm phát hiện liệu việc tối đa hóa thông lượng theo lô có thể khiến phản hồi đầu tiên của một người dùng chậm hơn nhiều hay không, trước khi điểm yếu tương tự ảnh hưởng đến một kết quả quan trọng.

5. Phân tích đồng thời giá trị trung bình và các phân vị đuôi: đầu ra, phản hồi và quy tắc dừng trong độ trễ và thông lượng AI

Ở giai đoạn này của độ trễ và thông lượng AI, hệ thống phải phân tích đồng thời giá trị trung bình và các phân vị đuôi. Câu hỏi hữu ích không chỉ là liệu thao tác đó có diễn ra hay không, mà còn là thao tác sử dụng thông tin nào, làm thay đổi trạng thái nào và bằng chứng nào chứng minh sự thay đổi đó là hợp lệ. Người đánh giá cần có khả năng phân biệt thao tác này với việc tối ưu một con số nổi bật duy nhất về số yêu cầu mỗi giây, đồng thời tái tạo được kết quả trong cùng các điều kiện đã nêu.

Quy trình chuyển tiếp sang giai đoạn này của độ trễ và thông lượng AI bắt đầu bằng việc đếm lượng công việc đã hoàn tất trên toàn hệ thống, và nên kết thúc bằng một kết quả có thể hỗ trợ giám sát hoặc đưa ra quyết định cuối cùng. Ghi lại những điểm chưa chắc chắn, các phương án đã bị loại bỏ, mức sử dụng tài nguyên và mọi biện pháp kiểm soát do con người hoặc phần mềm áp dụng tại ranh giới này. Dấu vết đó giúp các nhóm phát hiện liệu việc tối đa hóa thông lượng theo lô có thể khiến phản hồi đầu tiên của một người dùng chậm hơn nhiều hay không, trước khi điểm yếu tương tự ảnh hưởng đến một kết quả quan trọng.

Đọc sơ đồ độ trễ và thông lượng AI theo chiều xuôi để hiểu quy trình sản xuất, và theo chiều ngược để chẩn đoán sự cố. Phân tích xuôi đặt câu hỏi một giai đoạn cung cấp đầu vào cho giai đoạn kế tiếp như thế nào. Phân tích ngược bắt đầu từ một kết quả sai, chậm, tốn kém hoặc không an toàn, rồi truy tìm giả định trước đó nào đã khiến điều đó xảy ra. Thông thường, chính lần truy ngược này giúp nhóm phát hiện rằng sai sót mang tính quyết định đã xảy ra trước khi mô hình tạo ra bất cứ thứ gì.

Ví dụ minh họa về độ trễ và thông lượng AI

Một trợ lý tương tác có thể ưu tiên thời gian đến token đầu tiên, trong khi một tác vụ tạo vector nhúng ngoại tuyến ưu tiên số mục mỗi giây.

Ví dụ này hữu ích vì có thể gắn độ trễ và thông lượng AI với các đầu vào quan sát được, trạng thái trung gian và kết quả, thay vì chỉ đánh giá qua một màn trình diễn được trau chuốt. Một phép thử nghiêm ngặt sẽ xây dựng các tình huống thông thường, khó và cố ý gây hiểu lầm xoay quanh kịch bản, giữ lại đường cơ sở không áp dụng kỹ thuật đó, đồng thời ghi nhận cả hiệu suất trung bình lẫn mức độ nghiêm trọng của từng lỗi.

Hãy thay đổi một giả định trong ví dụ về độ trễ và thông lượng AI rồi lặp lại phân tích. Loại bỏ một đầu vào bắt buộc, đưa vào một tín hiệu mâu thuẫn, giới hạn năng lực tính toán, thay đổi nhóm người dùng hoặc buộc hệ thống phải từ chối đưa ra câu trả lời. Một cơ chế chỉ thành công trong một màn trình diễn được sắp đặt cẩn thận thì chưa chứng minh được khả năng khái quát hóa sang môi trường vận hành.

Độ trễ và thông lượng AI so với lối tắt phổ biến nhất

Độ trễ và thông lượng của AI thường bị giản lược thành việc tối ưu một con số nổi bật về số yêu cầu mỗi giây. Cách giản lược đó xóa bỏ chính ranh giới làm nên khái niệm này. Điều đó có thể khiến người mua so sánh những sản phẩm không tương đồng, nhà nghiên cứu phóng đại ý nghĩa của một thí nghiệm và người vận hành theo dõi sai tín hiệu sau khi triển khai.

Phép so sánh cũng cần xác định đơn vị phân tích. Một bài nghiên cứu về độ trễ và thông lượng AI có thể chỉ xem xét riêng một mô hình hoặc thuật toán, trong khi một dịch vụ đã triển khai còn bao gồm truy xuất, định tuyến, lưu vào bộ nhớ đệm, chính sách, nhận dạng, giao diện người dùng và giám sát. Hai sản phẩm có thể dùng cùng một thuật ngữ nổi bật nhưng lại triển khai những phần khác nhau trong hệ thống đó. Hãy xác định thành phần nào thực hiện phép biến đổi cốt lõi và những thành phần nào khác cần thiết để đạt được kết quả được báo cáo.

Vì sao độ trễ và thông lượng AI quan trọng trong các hệ thống AI hiện nay

Độ trễ và thông lượng AI hiện đặc biệt quan trọng vì các hệ thống AI đang được cung cấp ngữ cảnh lớn hơn, nhiều phương thức đầu vào hơn, thêm năng lực tính toán trong thời gian chạy, quyền truy cập vào nhiều công cụ hơn và khả năng kết nối sâu hơn với các quyết định của tổ chức. Trong những điều kiện đó, điều từng chỉ được xem là chi tiết nghiên cứu có thể quyết định độ trễ, bảo mật, khả năng tiếp cận, chi phí môi trường, chất lượng sản phẩm hoặc trách nhiệm giải trình pháp lý.

Thước đo phù hợp không phải là liệu độ trễ và thông lượng AI có thể tạo ra một kết quả ấn tượng hay không. Vấn đề là liệu kỹ thuật đó có cải thiện một kết quả quan trọng trong những điều kiện tiêu biểu, đồng thời làm được điều đó hiệu quả hơn một phương án cơ sở đơn giản hơn hay không. Hãy báo cáo phân bố kết quả, các nhóm lỗi, độ trễ đuôi, mức sử dụng tài nguyên và những nhóm đối tượng bị ảnh hưởng, thay vì gộp mọi kết quả thành một giá trị trung bình.

Đánh giá chuẩn theo phân bố yêu cầu thực tế trong điều kiện đồng thời hợp lý. Báo cáo thời gian đến kết quả đầu tiên, tốc độ ở trạng thái ổn định, độ trễ đuôi, thông lượng, chất lượng, mức sử dụng tài nguyên, lỗi và chi phí trên mỗi kết quả hữu ích. Khi áp dụng riêng cho độ trễ và thông lượng AI, phương pháp này giúp các bằng chứng có thể được đối chiếu rộng rãi: một nhóm khác có thể đánh giá liệu mức cải thiện được tuyên bố có khả năng duy trì khi dùng mô hình, ngôn ngữ, nền tảng phần cứng, tập dữ liệu, nhóm người dùng hoặc mức chấp nhận rủi ro khác hay không.

Những lợi ích mà độ trễ và thông lượng AI có thể mang lại

Lý do thuyết phục nhất để sử dụng độ trễ và thông lượng AI là khả năng xử lý trực tiếp nút thắt mà chúng nhắm đến. Tùy cách triển khai, lợi ích có thể là khả năng căn cứ vào nguồn tốt hơn, biểu diễn trung thực hơn, khả năng khái quát hóa được cải thiện, độ trễ thấp hơn, giảm luân chuyển bộ nhớ, trách nhiệm giải trình rõ ràng hơn hoặc ranh giới an toàn hơn giữa đề xuất của mô hình và hành động thực tế.

Lợi ích nên được diễn đạt dưới dạng quyết định và số liệu đo lường. “Thông minh hơn” không phải là tiêu chí nghiệm thu cho độ trễ và thông lượng AI. Một mục tiêu hữu ích có thể quy định tỷ lệ lỗi trong các trường hợp khó, khả năng khôi phục sau khi gặp bằng chứng mâu thuẫn, chi phí tại một phân vị lưu lượng nhất định, thời gian con người cần để rà soát, mức độ hiệu chỉnh hoặc tỷ lệ hành động được giữ trong giới hạn thẩm quyền đã xác định.

Hình thức thất bại làm rõ hạn chế của độ trễ và thông lượng AI

Hạn chế cốt lõi là tối đa hóa thông lượng theo lô có thể khiến phản hồi đầu tiên đến với từng người dùng chậm hơn đáng kể. Không thể xem thất bại này là vấn đề phụ chỉ cần liệt kê sau khi hoàn tất phát triển. Ngay từ đầu, thất bại đó cần định hình việc thu thập dữ liệu, kiến trúc, quyền hạn, đánh giá, điều kiện phát hành và giám sát độ trễ và thông lượng AI.

Biện pháp kiểm soát độ trễ và thông lượng AI chỉ hữu ích nếu được áp dụng trước khi xảy ra hệ quả tốn kém hoặc không thể đảo ngược. Hãy xác định dấu hiệu báo trước sớm nhất có thể quan sát được, đặt ngưỡng hoặc quy tắc, giao trách nhiệm rõ ràng cho một người phụ trách và kiểm tra khả năng khôi phục. Tùy từng trường hợp sử dụng, việc khôi phục có thể là từ chối đưa ra kết quả, chuyển sang một hệ thống đơn giản hơn, yêu cầu thêm bằng chứng, chuyển vấn đề cho con người xử lý, khôi phục phiên bản mô hình trước đó hoặc dừng hoàn toàn một hành động.

Kế hoạch đánh giá độ trễ và thông lượng AI

Hãy bắt đầu đánh giá độ trễ và thông lượng AI bằng cách xác định quyết định mà bằng chứng cần làm căn cứ. Xác định nhóm đối tượng vận hành, hệ quả của một kết quả sai, thông tin thực sự có sẵn tại thời điểm ra quyết định và phương án thay thế đơn giản nhất nhưng vẫn đáng tin cậy. Cách này giúp tránh biến điểm chuẩn thành mục tiêu chỉ vì dễ chạy thử.

Hãy dùng một tập kiểm thử chưa từng được sử dụng để so sánh trong điều kiện kiểm soát, sau đó xác thực độ trễ và thông lượng AI trong môi trường vận hành theo từng giai đoạn. Đánh giá ngoại tuyến giúp so sánh các biến thể; chế độ chạy ngầm, triển khai thử nghiệm trên một nhóm nhỏ, giới hạn tốc độ hoặc các bước phê duyệt cho thấy lưu lượng thực tế, vòng lặp phản hồi và con người làm thay đổi hành vi ra sao. Giai đoạn triển khai cần có điều kiện dừng rõ ràng, thay vì mặc định rằng mọi cải tiến đều xứng đáng được triển khai toàn diện.

Hãy quản lý phiên bản của các đầu vào cần thiết để tái tạo kết quả về độ trễ và thông lượng AI: dữ liệu nguồn, bước tiền xử lý, bộ tách từ hoặc bộ mã hóa, trọng số mô hình, cấu hình, câu lệnh hoặc chính sách, chỉ mục truy xuất, tập đánh giá, giả định về phần cứng và mã phục vụ mô hình, nếu có. Nếu không theo dõi được nguồn gốc và lịch sử thay đổi, nhóm sẽ không thể xác định kết quả thay đổi là do kỹ thuật, môi trường hay một chỉnh sửa pipeline không được chú ý.

Cuối cùng, hãy tự hỏi phát hiện nào sẽ bác bỏ tuyên bố rằng độ trễ và thông lượng AI mang lại lợi ích. Nếu không có kết quả nào có thể khiến nhóm đảo ngược quyết định áp dụng, thì việc đánh giá chỉ là hoạt động tiếp thị. Các ngưỡng chấp nhận được xác định trước và một tập xác nhận được lưu giữ sẽ biến quá trình này thành hoạt động thu thập bằng chứng.

Những câu hỏi cần đặt ra trước khi áp dụng độ trễ và thông lượng AI

• Mục tiêu: Độ trễ và thông lượng AI được kỳ vọng giải quyết nút thắt nào có thể đo lường?
• Cơ chế: Giai đoạn nào trong năm giai đoạn có sự chuyển đổi đặc trưng?
• Đường cơ sở: Giải pháp này so sánh ra sao với việc chỉ tối ưu một chỉ số nổi bật về số yêu cầu mỗi giây hoặc một phương án thay thế đơn giản hơn?
• Bằng chứng: Những trường hợp thông thường, khó xử lý, đối kháng và thuộc các nhóm phụ nào đã được kiểm thử?
• Vận hành: Khi mở rộng quy mô, cần tính đến những chi phí nào về độ trễ, bộ nhớ, năng lực tính toán, năng lượng, bảo trì và rà soát?
• Rủi ro: Nhóm sẽ phát hiện bằng cách nào việc tối đa hóa thông lượng theo lô có thể khiến phản hồi đầu tiên cho một người dùng riêng lẻ chậm hơn nhiều?
• Khôi phục: Hệ thống có thể từ chối đưa ra kết quả, chuyển sang phương án dự phòng, khôi phục phiên bản trước hoặc chuyển vấn đề cho người khác xử lý trước khi gây hại không?

Nguồn tài liệu chính để tìm hiểu về độ trễ và thông lượng AI

Những tài liệu đáng tin cậy để bắt đầu tìm hiểu phần ngăn xếp AI liên quan đến độ trễ và thông lượng AI gồm có bài báo về FlashAttention, vLLM và PagedAttention và nghiên cứu về giải mã suy đoán. Hãy đọc các tài liệu này cùng với tài liệu hướng dẫn dành cho đúng mô hình, bộ dữ liệu, phần cứng và khu vực pháp lý có liên quan. Nguồn thông tin tổng quát có thể giải thích cơ chế, nhưng chỉ bằng chứng gắn với môi trường triển khai cụ thể mới xác định được một phương thức triển khai nhất định có phù hợp hay không.

Những điều cần ghi nhớ về độ trễ và thông lượng AI

Độ trễ và thông lượng AI là một cơ chế được xác định rõ trong một hệ thống kỹ thuật-xã hội rộng lớn hơn. Giá trị của cơ chế này nằm ở khả năng cải thiện một kết quả cụ thể trong những điều kiện rõ ràng, chứ không nằm ở chính tên gọi. Sơ đồ năm giai đoạn giúp làm rõ luồng thông tin, phần so sánh chỉ ra cơ chế này không phải là gì, còn lộ trình kiểm soát cho thấy người vận hành có trách nhiệm có thể can thiệp ở đâu.

Nguyên tắc thực tiễn khi đánh giá độ trễ và thông lượng AI là xác định mục tiêu, so sánh với một đường cơ sở đáng tin cậy, kiểm thử tình huống thất bại quan trọng nhất và lưu giữ bằng chứng cần thiết để theo dõi thay đổi. Khi đã có đủ những yếu tố này, khái niệm đó trở thành một lựa chọn về kỹ thuật và quản trị có thể được đánh giá. Nếu thiếu chúng, đó chỉ là một cái tên đầy hứa hẹn gắn với một rủi ro vận hành chưa rõ.