Jeff Champagne, Field CTO tại Cribl – Loạt Phỏng Vấn

Jeff Champagne, Field CTO tại Cribl, mang đến kinh nghiệm sâu rộng trong lĩnh vực quan sát, dữ liệu doanh nghiệp, chiến lược sản phẩm và kiến trúc kỹ thuật. Trước khi gia nhập Cribl, ông từng là Giám đốc Quản lý Sản phẩm tại Databricks và đã dành hơn bảy năm tại Splunk trong các vai trò sản phẩm, kiến trúc và kỹ thuật hệ thống toàn cầu. Kinh nghiệm của ông cũng bao gồm lãnh đạo kiến trúc hệ thống tại BNY ConvergEx, công việc kỹ thuật cao cấp tại Premier Technology Solutions và lãnh đạo kỹ thuật sớm tại Assist-2-Sell, giúp ông có cái nhìn rộng về cách các doanh nghiệp thu thập, quản lý, phân tích và hành động trên dữ liệu hoạt động ở quy mô lớn.

Cribl là một công ty telemetry doanh nghiệp tập trung vào việc giúp các đội IT, bảo mật, SRE và DevOps thu thập, xử lý, định tuyến, lưu trữ và phân tích dữ liệu quan sát và bảo mật mà không bị khóa vào một nhà cung cấp duy nhất. Công ty tự định vị mình là “Nền tảng Trí tuệ Nhân tạo cho Telemetry”, với các sản phẩm như Cribl Stream cho thu thập telemetry thời gian thực, giảm, làm giàu và định tuyến; Cribl Edge cho thu thập telemetry điểm cuối trung lập; Cribl Search cho tìm kiếm dữ liệu tại chỗ; và Cribl Lake cho lưu trữ. Sứ mệnh rộng lớn hơn của công ty là cung cấp cho các doanh nghiệp nhiều quyền kiểm soát, linh hoạt và hiệu quả hơn khi các tập dữ liệu telemetry tăng trưởng và các hoạt động dựa trên trí tuệ nhân tạo yêu cầu dữ liệu sạch hơn, dễ tiếp cận hơn.

Bạn đã làm việc trên nhiều công nghệ như Splunk, Databricks và hiện tại là Cribl, mang lại cho bạn một cái nhìn hiếm có về dữ liệu doanh nghiệp, quan sát và cơ sở hạ tầng trên nhiều chu kỳ công nghệ. Từ góc độ đó, điều gì thực sự khác biệt về thách thức quan sát được tạo ra bởi trí tuệ nhân tạo có khả năng hành động?

Trong quan sát ứng dụng, chúng ta đã luôn phải đối mặt với các đường dẫn thực hiện phức tạp, phân nhánh, theo dõi yêu cầu qua các dịch vụ vi mô và tương quan nhật ký trên các hệ thống phân tán. Trong các hoạt động bảo mật, chúng ta đã giải quyết các nguồn dữ liệu khác nhau với khối lượng lớn để phát hiện các mối đe dọa trên các hệ thống mà, mặc dù phức tạp, vẫn hành xử theo các cách có thể dự đoán được. Trí tuệ nhân tạo có khả năng hành động không tái tạo lại các vấn đề đó; nó làm cho chúng trở nên đồng thời.

Các tác nhân liên kết quyết định, gọi các công cụ bên ngoài và tạo ra các tác nhân con một cách động, theo những cách không được xác định trước tại thời điểm viết. Biểu đồ thực hiện không chỉ phức tạp, mà còn có thể hoàn toàn khác nhau mỗi lần, và khối lượng telemetry cần thiết để tái tạo lại những gì thực sự xảy ra tăng theo cấp số nhân với mỗi bước. Việc thu thập tất cả telemetry cần thiết để làm cho các hệ thống có khả năng hành động trở nên quan sát được phải vừa dễ dàng để đo lường và vừa hiệu quả về chi phí để hoạt động ở quy mô. Nếu không, các doanh nghiệp sẽ thực hiện cùng một sự đánh đổi mà họ luôn làm và giảm khả năng hiển thị để kiểm soát chi phí — chính xác là thời điểm sai lầm để mất tầm nhìn.

Khi các doanh nghiệp tích hợp các tác nhân tự động vào các quy trình làm việc, những khoảng trống về khả năng hiển thị lớn nhất giữa những gì một tác nhân được yêu cầu làm và những gì thực sự xảy ra trên các hệ thống cơ sở là gì?

Các tác nhân hoàn thành các quy trình làm việc trông có vẻ thành công trên bề mặt trong khi im lặng thực hiện các cuộc gọi công cụ sai, ảo giác tham số hoặc trôi dạt khỏi mục tiêu ban đầu. Các hậu quả thường xuất hiện vài giờ sau đó trên một hệ thống khác.

Sự ngắt kết nối thường bắt đầu từ việc giải thích: sự mơ hồ nhỏ trong hướng dẫn ban đầu được giải quyết khác nhau tùy thuộc vào những gì tác nhân thu thập từ bộ nhớ, những công cụ nào có sẵn tại thời điểm đó hoặc cách một bước trước đó trong chuỗi đã định hình ngữ cảnh của nó. Bạn cũng phải đo lường các hệ thống hạ tầng mà tác nhân phụ thuộc vào, vì một tác nhân có thể thực hiện một cuộc gọi cơ sở dữ liệu hoàn hảo nhưng vẫn trả về một câu trả lời sai nếu bảng cơ sở dữ liệu cơ bản không bao giờ được làm mới vì một công việc ETL thất bại im lặng ở thượng nguồn.

Tác nhân đã làm chính xác những gì nó được yêu cầu; dữ liệu nó tin cậy chỉ đơn giản là cũ.

Tại sao các công cụ quan sát truyền thống thường không đủ cho việc giám sát các hệ thống trí tuệ nhân tạo có khả năng hành động?

Trước hết, chúng được xây dựng xung quanh các lược đồ và hình dạng dữ liệu riêng tư, có thể dự đoán được. Các dấu vết của tác nhân không tuân theo những kỳ vọng đó — chúng có khối lượng lớn, biến đổi cao về cấu trúc và bao gồm các loại dữ liệu như văn bản lời nhắc đầy đủ, chuỗi lý do mô hình và tải trọng cuộc gọi công cụ mà các công cụ cũ không được thiết kế để tiêu thụ mà không cần công việc chuyển đổi đáng kể. Các tiêu chuẩn mở như các quy ước ngữ nghĩa GenAI của OpenTelemetry đang xuất hiện để giải quyết vấn đề này, nhưng nhiều nền tảng cũ không được xây dựng để tận dụng chúng.

Thứ hai, phương trình quy mô và chi phí bị phá vỡ nhanh chóng. Một tác nhân duy nhất xử lý các khối lượng công việc sản xuất có thể tạo ra nhiều telemetry trong một giờ hơn toàn bộ ngăn xếp ứng dụng sản xuất trong một ngày, và hầu hết các nền tảng truyền thống đều tính phí dựa trên khối lượng tiêu thụ và lưu trữ. Điều đó tạo ra một sự đánh đổi không thể — hoặc bạn đo lường mọi thứ và đối mặt với chi phí ngoài tầm kiểm soát, hoặc bạn giảm khả năng hiển thị vào các hệ thống mà bạn cần nhất.

Khi một tác nhân trí tuệ nhân tạo thất bại, các tổ chức có thể xác định nguyên nhân gốc rễ là mô hình, lớp thu thập, sự phụ thuộc API, vấn đề về quyền hoặc vấn đề về hạ tầng hạ nguồn như thế nào?

Việc cô lập nguyên nhân gốc rễ trong một sự cố của tác nhân là một quá trình loại trừ trên các lớp. Nó chỉ hoạt động nếu telemetry của bạn bao quát tất cả các lớp một cách nhất quán. Các tín hiệu độ trễ và lỗi trên mô hình chỉ ra chính mô hình. Các khoảng thu thập cho bạn biết liệu ngữ cảnh được trả về có liên quan hay cũ. Các khoảng gọi công cụ暴露 các sự phụ thuộc API thất bại hoặc lỗi về quyền.

Como đã đề cập, bạn cũng cần telemetry từ các hệ thống hạ tầng mà tác nhân phụ thuộc vào, vì một tác nhân có thể thực hiện một cuộc gọi hoàn hảo và vẫn tạo ra một câu trả lời sai nếu dữ liệu nó tin cậy không bao giờ được làm mới. Không có tín hiệu đơn lẻ nào kể cả câu chuyện, điều này là lý do tại sao việc tương quan trên tất cả các lớp đó trong một nơi là điều phân biệt các đội có thể gỡ lỗi các sự cố của tác nhân nhanh chóng với những đội vẫn đang đoán.

Loại telemetry nào trở nên quan trọng nhất khi các doanh nghiệp cố gắng hiểu hành vi của tác nhân ở quy mô lớn?

Cơ sở vẫn là MELT — các chỉ số, sự kiện, nhật ký và dấu vết — nhưng trọng tâm thay đổi đáng kể khi bạn chuyển sang các hệ thống có khả năng hành động. Các chỉ số cho bạn biết có điều gì đó sai và nhật ký cung cấp cho bạn bản ghi thô về những gì đã xảy ra, nhưng không một trong hai có thể tái tạo lại chuỗi lý do mà một tác nhân đã đi theo để đến một câu trả lời sai. Đó là nơi dấu vết trở thành tín hiệu quan trọng nhất.

Trong một hệ thống phân tán truyền thống, một dấu vết cho bạn biết cách một yêu cầu di chuyển qua các dịch vụ. Trong một hệ thống có khả năng hành động, nó cho bạn biết cách một mô hình lý luận thông qua một vấn đề, những công cụ nào nó gọi, ngữ cảnh nào nó thu thập, nơi nó phân nhánh và quyết định tại mỗi bước. Không có dấu vết đó, bạn đang nhìn vào một đầu ra mà không có cách nào giải thích làm thế nào bạn đến được đó.

Các tín hiệu MELT khác không biến mất; các chỉ số về việc sử dụng token và độ trễ quan trọng đối với chi phí và hiệu suất, và nhật ký từ các hệ thống hạ tầng vẫn thiết yếu. Nhưng dấu vết là những gì làm cho hành vi của tác nhân trở nên dễ hiểu ở quy mô lớn.

Nhiều cuộc thảo luận về AI vẫn tập trung mạnh vào ảo giác. Các doanh nghiệp có đang đánh giá thấp các sự cố hoạt động như thu thập sai, tích hợp bị hỏng, độ trễ tăng vọt hoặc ngữ cảnh thiếu?

Hầu hết các ảo giác trong sản xuất không phải là sự cố của mô hình; chúng là các sự cố hoạt động ngụy trang. Thu thập sai trả về ngữ cảnh cũ hoặc không đầy đủ, và mô hình lấp đầy khoảng trống với điều gì đó nghe có vẻ hợp lý. Một tích hợp bị hỏng có nghĩa là tác nhân không bao giờ nhận được dữ liệu cần thiết để lý luận đúng đắn ngay từ đầu. Thiếu ngữ cảnh từ một công việc ETL thất bại trông giống như một ảo giác nhưng thực sự là một vấn đề về hạ tầng.

Khi các đội không thể thấy sự khác biệt, họ mặc định cho những gì họ có thể kiểm soát, thường là mô hình chính nó. Họ lặp lại các lời nhắc hệ thống, thêm các rào cản và tinh chỉnh các khuôn khổ đánh giá, và trong khi những kỹ thuật đó có giá trị thực, chúng đang điều trị một triệu chứng thay vì nguyên nhân. Trong kinh nghiệm của tôi, khoản đầu tư có lợi nhất gần như luôn là chất lượng và sự tươi mới của dữ liệu trong lớp thu thập. Một tác nhân có nền tảng vững chắc với dữ liệu sạch và mới sẽ vượt trội so với một tác nhân được thiết kế kỹ lưỡng làm việc từ ngữ cảnh cũ hoặc không đầy đủ mỗi lần.

Khi các tác nhân trở nên tự động hơn, các đội doanh nghiệp nên ghi nhật ký, dấu vết hoặc giám sát những gì để duy trì trách nhiệm giải trình mà không bị choáng ngợp bởi tiếng ồn?

Cơ sở vẫn là MELT, nhưng trách nhiệm giải trình cho các hệ thống có khả năng hành động đòi hỏi phải thêm một khuôn khổ đánh giá trên đỉnh của telemetry truyền thống. Các chỉ số, sự kiện và nhật ký đưa ra các sự cố về hạ tầng và tích hợp bị hỏng có thể làm hỏng hành vi của tác nhân trước khi mô hình phản hồi; dấu vết cho bạn biết chuỗi lý do để hiểu tại sao nó đến một câu trả lời cụ thể. Nhưng không một trong hai cho bạn biết liệu câu trả lời đó có chính xác hay không, và đó là nơi khuôn khổ đánh giá LLM-as-judge lấp đầy khoảng trống. Các khả năng AI giống như những gì cung cấp năng lượng cho các tác nhân cũng có thể được sử dụng để đánh giá chúng, chấm điểm đầu ra cho độ chính xác, sự gắn kết và hoàn thành nhiệm vụ ở quy mô mà không quá trình xem xét của con người nào có thể sánh kịp.

Trước sản xuất, nó hoạt động như một cổng chất lượng, bắt các hồi quy trước khi chúng đến tay người dùng. Trong sản xuất, nó trở thành một bộ giám sát liên tục, lấy mẫu lưu lượng truy cập trực tiếp và đánh dấu các phản hồi nằm ngoài ngưỡng chấp nhận được. Khóa để tránh tiếng ồn là nhận ra rằng không mọi quy trình làm việc của tác nhân đều mang cùng một mức độ rủi ro, điều này có nghĩa là di chuyển khỏi giám sát đồng nhất hướng tới điều mà ngành công nghiệp đang bắt đầu gọi là quản trị vòng lặp con người. Bạn định nghĩa các đường cơ sở về hành vi và ngưỡng tin cậy từ trước, cho phép các tác nhân hoạt động và dành can thiệp của con người cho các ngoại lệ.

Vai trò của các đường ống telemetry trong việc giúp các đội bảo mật, SRE, dữ liệu và AI làm việc từ một cái nhìn chung về hành vi của tác nhân là gì?

Các đội bảo mật, SRE, kỹ sư dữ liệu và AI đều đang nhìn vào các lát cắt khác nhau của cùng một vấn đề thông qua các công cụ khác nhau, và không ai trong số họ có toàn bộ bức tranh. Lý do tại sao các đường ống telemetry đã trở thành một phần tiêu chuẩn của kiến trúc dữ liệu doanh nghiệp hiện đại là vì chúng giải quyết chính xác vấn đề này: một đường ống duy nhất, được quản lý tốt ở thượng nguồn của tất cả các công cụ của bạn, đảm bảo rằng mỗi đội làm việc từ cùng một dữ liệu được chuẩn hóa và làm giàu mà không cần các tác nhân và bộ sưu tập được tùy chỉnh cho mỗi đội.

Sự linh hoạt đó quan trọng ở hai cấp độ. Thứ nhất là phân cấp dữ liệu. Một đường ống telemetry được thiết kế tốt cho phép bạn khớp dữ liệu với chiến lược lưu trữ và phân tích phù hợp để bạn không phải trả giá phân tích cho dữ liệu mà bạn chỉ cần cho việc lưu giữ tuân thủ lâu dài. Thứ hai là tính tùy chọn khi mà cảnh quan công cụ AI tiếp tục phát triển nhanh chóng. Các doanh nghiệp xây dựng chiến lược quan sát của mình xung quanh hệ sinh thái của một nhà cung cấp duy nhất sẽ phải đối mặt với các dự án di chuyển tốn kém mỗi khi một công cụ tốt hơn xuất hiện.

Các lỗi phổ biến nhất mà bạn thấy các doanh nghiệp mắc phải khi họ cố gắng áp dụng các thực hành giám sát hiện có vào các triển khai AI có khả năng hành động là gì?

Lỗi phổ biến nhất mà tôi thấy là việc với tới các nền tảng quan sát cao cấp hiện có để thu thập dấu vết của tác nhân mà không suy nghĩ trước về các ý nghĩa về chi phí. Các dấu vết của tác nhân rất lớn, biến đổi và có khối lượng lớn theo những cách mà telemetry ứng dụng truyền thống không phải. Hầu hết các nền tảng cao cấp đều tính phí dựa trên việc tiêu thụ và lưu trữ, và hóa đơn có thể trở thành một vấn đề nghiêm trọng trước khi các đội thậm chí nhận ra điều gì đang xảy ra, và phản ứng điển hình là giảm những gì họ thu thập. Kết quả là điều tồi tệ nhất của cả hai thế giới: chi phí cao và khả năng hiển thị không đầy đủ.

Lỗi thứ hai là áp dụng mô hình tâm lý sai cho những gì giám sát được cho là sẽ trả lời. Giám sát hạ tầng truyền thống hỏi “Hệ thống có hoạt động không?” và đưa ra cảnh báo khi nó không hoạt động. Câu hỏi đó là cần thiết nhưng không gần đủ cho các hệ thống có khả năng hành động, nơi mà hạ tầng có thể hoàn toàn khỏe mạnh trong khi tác nhân im lặng đưa ra các quyết định tồi. Các đội áp dụng các bảng điều khiển và ngưỡng cảnh báo hiện có vào các quy trình làm việc của tác nhân thường tự thuyết phục mình rằng họ có phạm vi bao phủ khi họ thực sự chỉ đang theo dõi các đường ống.

Lỗi thứ ba là coi việc đo lường như một việc làm sau. Các doanh nghiệp thử nghiệm các tác nhân nhanh chóng và chuyển sang sản xuất mà không suy nghĩ về khả năng quan sát thường kết thúc trong các chu kỳ khắc phục tốn kém, xây dựng lại kiến trúc thu thập dữ liệu sau khi thất bại sản xuất đáng kể đầu tiên. Các đội triển khai tác nhân thành công nhất đo lường sớm, thiết lập các đường cơ sở khi lưu lượng truy cập thấp và hành vi có thể dự đoán được, và xây dựng khuôn khổ đánh giá của họ trước khi họ cần, chứ không phải sau khi điều gì đó đi sai.

Nhìn về tương lai, liệu khả năng hiển thị cơ sở hạ tầng sẽ trở thành một điều kiện tiên quyết cho việc áp dụng AI doanh nghiệp giống như quan sát đám mây đã trở nên thiết yếu cho việc di chuyển đám mây quy mô lớn?

So sánh với đám mây là cực kỳ tương đồng. Điều quan trọng nhất tôi nói với khách hàng khi họ di chuyển hạ tầng đến đám mây là họ không chỉ nâng và chuyển. Họ đang triển khai một kiến trúc hoàn toàn mới với các khả năng mới. Tất cả đều cần được đo lường và giám sát theo những cách mà các công cụ trước đây không được thiết lập. Các doanh nghiệp bỏ qua bước đó đã gặp phải các sự cố liên tục mà họ không thể chẩn đoán, chi phí tăng vọt mà họ không thể giải thích và thời gian ngừng hoạt động mà họ không thể ngăn chặn. Khả năng quan sát trở thành nền tảng của niềm tin làm cho việc mở rộng quy mô đám mây trở nên khả thi, và cùng một mẫu đang diễn ra ngay bây giờ với trí tuệ nhân tạo có khả năng hành động, di chuyển nhanh hơn và với nhiều rủi ro hơn.

Ly do chính mà các tác nhân sẽ cần sự giám sát này mãi mãi là vì chúng được thiết kế phi xác định, hành vi của chúng xuất hiện tại thời gian chạy và khả năng hiệu quả của chúng tăng mỗi khi bạn kết nối một công cụ mới. Chứng nhận tĩnh trước khi triển khai không thể bao quát một hệ thống mà bề mặt hành động của nó thay đổi với mỗi tích hợp. Các tác nhân sẽ hoạt động trong các ranh giới tin cậy được xác định, và các ranh giới đó sẽ mở rộng theo thời gian khi cơ sở hạ tầng quan sát, chính sách và đánh giá trưởng thành. Các ranh giới đó sẽ không bao giờ biến mất, và đó không phải là một trạng thái thất bại. Đó là cách mọi hệ thống tự động quan trọng trên thế giới đã hoạt động.

Cảm ơn vì cuộc phỏng vấn tuyệt vời, những người đọc muốn tìm hiểu thêm nên truy cập Cribl.