Kris Beevers, CEO và Đồng sáng lập, Netbox Labs – Loạt phỏng vấn

Kris Beevers, CEO và Đồng sáng lập, NetBox Labs là một doanh nhân công nghệ và cựu binh phần mềm hạ tầng với hơn hai thập kỷ kinh nghiệm xây dựng các công ty và nền tảng tập trung vào mạng, hạ tầng đám mây và tự động hoá. Trước khi dẫn dắt NetBox Labs, Beevers đã đồng sáng lập NS1 vào năm 2013 và giữ vị trí CEO gần một thập kỷ, biến công ty thành nhà cung cấp nổi bật về công nghệ tự động hoá mạng và quản lý lưu lượng ứng dụng trước khi được IBM mua lại vào năm 2023. Trong giao dịch này, NetBox Labs tách ra từ NS1 thành công ty độc lập với IBM là nhà đầu tư. Ở giai đoạn đầu sự nghiệp, Beevers đã giữ các vị trí cao cấp về kỹ thuật và kiến trúc tại Internap Network Services và Voxel, và ông cũng đồng sáng lập SolidJoint Research.

NetBox Labs phát triển một nền tảng trí tuệ hạ tầng được thiết kế để giúp các tổ chức mô hình hoá, vận hành, tự động hoá và quản trị các mạng và hạ tầng CNTT ngày càng phức tạp. Công ty là người quản lý thương mại của NetBox, hệ thống mạng và hạ tầng nguồn mở được áp dụng rộng rãi và được hơn 10.000 tổ chức sử dụng. Nền tảng của nó kết hợp một đồ thị hạ tầng và nguồn dữ liệu thực với trí tuệ vận hành, tự động hoá, điều phối hỗ trợ AI và các khả năng quản trị cho phép cả kỹ sư và các tác nhân AI tương tác an toàn với hạ tầng. NetBox Labs hỗ trợ triển khai trên đám mây, doanh nghiệp tự quản, môi trường hybrid và air-gapped, đồng thời tích hợp với các công cụ như Ansible, Terraform, Nornir và các pipeline tích hợp liên tục và triển khai liên tục.

Bạn đã đồng sáng lập NS1 vào năm 2013 và dành gần một thập kỷ để xây dựng công ty trước khi nó được IBM mua lại, sau đó NetBox Labs trở thành công ty độc lập. Những bài học nào từ việc xây dựng NS1 đã ảnh hưởng đến lý do bạn thành lập NetBox Labs, và vấn đề hạ tầng mà bạn đang cố gắng giải quyết đã thay đổi như thế nào trong thời đại AI?

Một điều tôi học được khi xây dựng NS1 là các vấn đề hạ tầng hiếm khi được giữ gọn gàng trong một khuôn khổ. DNS là phần của chúng tôi trong ngăn xếp, nhưng khách hàng của chúng tôi đang vận hành những môi trường vô cùng phức tạp, nơi các mạng, trung tâm dữ liệu, ứng dụng và tự động hoá đều phụ thuộc lẫn nhau. Càng dành thời gian với các nhóm đó, tôi càng nhận ra rằng việc hiểu rõ hạ tầng bản thân nó là một vấn đề lớn hơn nhiều.

Đó là một phần lớn khiến tôi bị thu hút vào NetBox. Đã có một dự án mã nguồn mở được áp dụng rộng rãi và một cộng đồng kỹ sư sử dụng nó để mô hình hoá những gì họ có, cách chúng được kết nối và hình dạng dự kiến. Chúng tôi nhìn thấy cơ hội để xây dựng trên nền tảng đó.

Điều đã thay đổi với AI chủ yếu là tốc độ và quy mô. Các đội hạ tầng đang được yêu cầu xây dựng các môi trường khổng lồ một cách cực kỳ nhanh chóng, trong khi công nghệ nền tảng cũng đang thay đổi với tốc độ tương tự. Đồng thời, chúng tôi đang bắt đầu tự động hoá nhiều hơn các hoạt động của hạ tầng, điều này mở ra một tương lai đầy hứng thú. Khi AI được áp dụng vào hạ tầng, các đội IT nhận ra họ phải có dữ liệu thời gian thực, chất lượng tốt về hạ tầng của mình để tự động hoá, và họ cần biết trạng thái dự kiến trông như thế nào để AI có thể giúp họ xác định khi hạ tầng hoạt động lệch khỏi kế hoạch.

Vì vậy, bài học từ NS1 vẫn còn áp dụng. Trước khi bạn có thể tự động hoá hạ tầng một cách hiệu quả, bạn phải hiểu nó. AI chỉ làm cho việc thực hiện đúng điều này trở nên cấp bách hơn nhiều.

Trong phần lớn thập kỷ qua, điện toán đám mây đã cho phép các nhà phát triển và đội hạ tầng trừu tượng hoá phần cứng vật lý nằm dưới các ứng dụng của họ. Tại sao AI lại đảo ngược xu hướng này và buộc DevOps, Site Reliability Engineering (SRE) và các kỹ sư mạng phải suy nghĩ lại về điện năng, làm mát, rack, cáp và mạng vật lý?

Đám mây đã dạy cho nhiều chúng ta cách xem hạ tầng như vô hạn về mặt thực tế. Bạn yêu cầu tài nguyên tính toán và chúng xuất hiện. Bạn không nhất thiết phải quan tâm máy chủ ở đâu, cách nó được cấp nguồn, cách nó được làm mát hoặc cách tất cả các bộ phận vật lý dưới nó được lắp ráp lại với nhau.

Hạ tầng AI thực sự không cho phép bạn làm như vậy.

Khi bạn xây dựng những môi trường này, bạn bắt đầu với một số câu hỏi khá thực tế. Tôi có bao nhiêu đất? Tôi có thể lấy bao nhiêu điện? Tôi có thể hỗ trợ loại làm mát nào? Từ đó bạn đi vào các rack, máy chủ GPU, switch, cáp quang và cuối cùng là lớp logic, địa chỉ IP, cấu hình và phần mềm.

Tất cả những thứ này phụ thuộc lẫn nhau. Bạn không thể quyết định số lượng rack sẽ triển khai mà không hiểu mật độ điện và làm mát. Bạn không thể suy nghĩ về các GPU một cách độc lập mà không xét đến mạng kết nối chúng.

Điều này buộc các lĩnh vực đã dành nhiều năm để tránh lớp vật lý phải lại tham gia vào nó. Sự trừu tượng không biến mất, nhưng các ràng buộc vật lý bên dưới đột nhiên trở nên quan trọng hơn rất nhiều.

Các trung tâm dữ liệu AI ngày càng được bàn luận ở quy mô gigawatt. Điều gì thay đổi cơ bản về mặt vận hành khi hạ tầng chuyển từ môi trường doanh nghiệp hoặc đám mây truyền thống sang các cơ sở được thiết kế quanh các cụm GPU khổng lồ?

Quy mô gigawatt thực sự là thiên hà. Tuy nhiên, trong khi quy mô rõ ràng khác biệt, tôi cho rằng điểm khác biệt thú vị hơn là lượng phối hợp cần thiết.

Hãy nghĩ về những gì phải diễn ra để đưa một trung tâm dữ liệu 300 megawatt vào hoạt động. Bạn cần đất và điện. Sau đó bạn phải thiết kế cơ sở và mua các giá đỡ, máy chủ GPU, switch, cáp quang, hạ tầng điện và thiết bị làm mát, thường từ các nhà cung cấp hoàn toàn khác nhau với cách mô tả sản phẩm hoàn toàn khác nhau. Tất cả thiết bị đó phải được giao, nhận, lắp vào giá, cáp nối, cấu hình, kiểm tra và cuối cùng bàn giao để đào tạo hoặc suy luận.

Và nền tảng đang thay đổi dưới chân bạn trong khi bạn thực hiện. Kiến trúc GPU đang thay đổi. Mạng đang thay đổi. Yêu cầu làm mát đang thay đổi. Các thành phần có sẵn sau sáu tháng có thể không giống những thứ bạn thiết kế hôm nay.

Vì vậy, những bất hiệu suất nhỏ sẽ tích lũy rất nhanh. Gần đây tôi đã dành thời gian với một trong những nhà sản xuất cáp quang lớn nhất thế giới, và họ nói với tôi rằng một trong những vấn đề kinh doanh lớn nhất của họ là việc trả lại vì khách hàng đặt sai độ dài cáp. Điều đó nghe có vẻ gần như tầm thường cho đến khi bạn đặt hàng hàng trăm ngàn cáp.

Ở quy mô này, hoạt động hạ tầng trở thành một vấn đề logistics và thỏa mãn ràng buộc khổng lồ. Những công ty thực hiện tốt việc này là những công ty rất giỏi trong việc mang dữ liệu thiết kế chính xác suốt quá trình mua sắm, triển khai và vận hành.

Bạn đã nói rằng thực tế không có cuốn sổ tay hay kênh nhân tài nào được thiết lập cho việc vận hành hạ tầng ở quy mô này. Kỹ năng nào hiện đang khó tìm nhất, và bạn dự đoán sự thiếu hụt nhân tài lớn nhất sẽ xuất hiện ở đâu khi hạ tầng AI mở rộng?

Có lẽ chỉ có vài trăm người trên thế giới hiện nay thực sự biết cách xây dựng loại hạ tầng này với tốc độ và quy mô như vậy. Và hầu hết họ đang rất bận rộn thực hiện công việc này.

Đó là một phần lý do khiến thời điểm này trở nên đặc biệt. Không có một bộ kiến thức trưởng thành nào mà bạn có thể chỉ cần đi học. Những người thực hiện việc này đang học hỏi lẫn nhau và tìm ra giải pháp trong thời gian thực. Và vì công nghệ thay đổi quá nhanh, một số bài học đó trở nên lỗi thời khá nhanh.

Tôi nghĩ sự thiếu hụt do đó lớn hơn bất kỳ tiêu đề công việc nào. Chúng ta cần những người hiểu về mạng, tính toán và tự động hoá, nhưng ngày càng cần hiểu cả môi trường vật lý mà các hệ thống này tồn tại. Điện, làm mát, thiết kế cơ sở, chuỗi cung ứng và hoạt động hiện trường đang trở thành một phần của cùng một cuộc trò chuyện.

Những người có thể vượt qua một số ranh giới đó sẽ có giá trị vô cùng. Nhưng tôi không nghĩ chúng ta đã xác định được hình dạng của tất cả các vai trò đó. Mô hình nhân tài đang được xây dựng song song với hạ tầng.

Khi ranh giới giữa phần mềm, mạng, cơ sở vật chất, năng lượng và kỹ thuật trung tâm dữ liệu bắt đầu mờ đi, bạn kỳ vọng sẽ xuất hiện những vai trò kỹ thuật mới nào hoặc những bộ kỹ năng hỗn hợp nào?

Tôi không nghĩ chúng ta đã biết hình dạng của tất cả các vai trò đó. Điều chúng ta biết là những người xây dựng hạ tầng này phải suy nghĩ qua một tập hợp vấn đề rộng hơn nhiều so với trước đây.

Bạn không chỉ nghĩ về tính toán hoặc mạng một cách riêng lẻ. Điện, làm mát, thiết kế vật lý, chuỗi cung ứng, mạng và tự động hoá đều phải kết hợp để đưa những môi trường này vào hoạt động và duy trì chúng.

Tôi vẫn nghĩ chúng ta sẽ cần những người có chuyên môn sâu trong mỗi lĩnh vực đó. Nhưng ngày càng, họ cũng cần hiểu cách các quyết định trong lĩnh vực của mình ảnh hưởng đến phần còn lại của hạ tầng. Và vì công việc này phải diễn ra nhanh hơn, khả năng tự động hoá sẽ quan trọng hơn trong nhiều lĩnh vực.

Các tác nhân AI đang bắt đầu chẩn đoán sự cố, tạo cấu hình và tự động hoá một phần các hoạt động hạ tầng. Bạn nghĩ AI sẽ thực tế tiếp quản những trách nhiệm nào từ các kỹ sư hạ tầng, và những trách nhiệm nào sẽ trở nên phụ thuộc hơn vào chuyên môn sâu của con người?

Tôi nghĩ nhiều công việc mà đầu vào, kết quả mong muốn và ranh giới rõ ràng sẽ ngày càng được AI xử lý. Tạo cấu hình là một ví dụ rõ ràng. Cũng như chẩn đoán các vấn đề phổ biến, kiểm tra xem hạ tầng có khớp với thiết kế dự định hay không, hoặc cuối cùng sửa một số vấn đề khi có đủ độ tin cậy về nguyên nhân lỗi và phản hồi an toàn.

Con người trở nên quan trọng hơn khi câu trả lời không rõ ràng.

Hạ tầng có thể gặp sự cố theo những cách kỳ lạ. Một sợi cáp quang bị cắt. Một thiết bị bắt đầu hoạt động khác với thiết kế. Một thay đổi gây ra ảnh hưởng không mong muốn ở nơi khác trong môi trường. AI có thể giúp kỹ sư hiểu những tình huống này nhanh hơn nhiều, nhưng bạn vẫn cần những người hiểu hệ thống đủ sâu để quyết định bước tiếp theo.

Tôi nghĩ đó là sự chuyển đổi thú vị. Các kỹ sư có thể sẽ dành ít thời gian hơn cho việc cấu hình và khắc phục sự cố lặp đi lặp lại và nhiều thời gian hơn để xác định mục đích, thiết kế hệ thống, đặt ranh giới cho tự động hoá và xử lý những vấn đề thực sự mới lạ. Tất cả công việc đó sẽ được AI hỗ trợ, nhưng vẫn do con người dẫn dắt.

Điều đó làm cho chuyên môn trở nên có giá trị hơn, không phải kém. Kỹ sư thực sự hiểu vì sao hạ tầng hoạt động như vậy sẽ trở nên vô cùng quan trọng khi tự động hoá không có câu trả lời rõ ràng.

NetBox Labs cho rằng các hệ thống AI quản lý hạ tầng cần một mô hình quyền lực của các thiết bị, kết nối, phụ thuộc và các mối quan hệ vật lý và logic khác. Tại sao loại ngữ cảnh hạ tầng này lại quan trọng khi chuyển từ các trợ lý AI chỉ đưa ra khuyến nghị sang các tác nhân thực sự có thể thực hiện hành động?

Sự khác biệt lớn là một khi tác nhân có thể hành động, việc sai lầm sẽ có hậu quả thực tế.

Một tác nhân hạ tầng cần nhiều hơn một bức ảnh tạm thời về những gì một thiết bị đang làm. Nó cần hiểu môi trường xung quanh: những gì tồn tại, cách các thứ được kết nối, những thay đổi gần đây và, quan trọng hơn, hạ tầng dự kiến sẽ như thế nào.

Hãy lấy ví dụ như việc khắc phục sự cố kết nối. Không đủ chỉ biết một thiết bị không thể truy cập được. Bạn muốn tác nhân có khả năng truy vết đường cáp, hiểu các phụ thuộc quanh thiết bị đó, xem xét các thay đổi gần đây và xác định những gì khác có thể bị ảnh hưởng trước khi đề xuất hành động tiếp theo.

Đó thực sự là nền tảng mà chúng tôi đã dành nhiều năm xây dựng tại NetBox Labs, cung cấp cho các đội ngũ một mô hình chính xác của cả hạ tầng vật lý và logic, cùng với ý định về cách nó nên hoạt động.

Nhưng dữ liệu một mình không đủ. Bạn cũng cần quyết định tác nhân được phép tự thực hiện những gì, những gì cần sự phê duyệt của con người, và cách mỗi hành động được theo dõi và xác thực.

Hạ tầng không giống như mã nguồn, nơi một thay đổi sai lầm luôn có thể được hoàn nguyên sạch sẽ. Một thay đổi sai lầm có thể làm ngừng hoạt động. Vì vậy khi chúng ta chuyển từ AI chỉ nói với kỹ sư những gì nó nghĩ sang AI thực sự thực hiện công việc, cả ngữ cảnh và kiểm soát trở nên quan trọng hơn rất nhiều.

Trong bài viết gần đây của CIO, “Tại sao tôi, CEO, tự xây dựng chiến lược AI của chúng tôi,” bạn lập luận rằng AI quá quan trọng để các nhà lãnh đạo công ty chỉ giao phó và mô tả việc tự mình thử nghiệm các công cụ AI. Việc trực tiếp tham gia vào những hệ thống này đã thay đổi cách bạn nghĩ về những gì AI có thể tự động hoá một cách thực tế trong hoạt động hạ tầng như thế nào?

Tham gia trực tiếp khiến bạn ít quan tâm đến các cuộc thảo luận lý thuyết hơn rất nhiều.

Tôi đã dành rất nhiều thời gian thực sự xây dựng với những công cụ này, gần đây nhất là thử nghiệm hoặc thậm chí xây dựng các sản phẩm hoàn chỉnh bằng Claude Code. Bạn nhanh chóng nhận ra có một khoảng cách lớn giữa việc xem một bản demo ấn tượng và xây dựng một thứ mà bạn thực sự tin tưởng để thực hiện công việc hữu ích.

Bạn cũng sẽ cảm nhận được xu hướng phát triển của công nghệ nhanh hơn nhiều so với việc chỉ đọc về nó. Những thứ tôi đã cho là khó tự động hoá sáu tháng trước có thể đột nhiên trở nên khá đơn giản. Đồng thời, bạn nhìn thấy rõ ràng nơi mà ngữ cảnh, phán đoán và cấu trúc vẫn còn thiếu.

Điều đó đã ảnh hưởng đến cách tôi suy nghĩ về hoạt động hạ tầng. Tôi rất lạc quan về mức độ công việc vận hành mà chúng ta có thể tự động hoá, nhưng tôi nghĩ chúng ta còn xa mục tiêu tự chủ hoàn toàn.

Câu hỏi tôi quan tâm cơ bản hơn nhiều. Liệu điều này có giúp chúng ta vận hành hạ tầng nhanh hơn, đáng tin cậy hơn hoặc hiệu quả hơn không? Nếu có, tuyệt vời. Nếu không, không quan trọng AI phía sau có tinh vi đến đâu.

Khi các trung tâm dữ liệu AI ngày càng bị hạn chế bởi nguồn điện và yêu cầu làm mát, liệu kỹ thuật hạ tầng có thể chuyển từ việc chủ yếu quản lý tài nguyên tính toán sang việc phối hợp tải công việc với năng lượng và khả năng vật lý?

Có, và chúng tôi đã bắt đầu thấy điều đó. Chúng tôi có một cụm từ nội bộ, “turbines in the parking lot,” xuất phát từ một cuộc trò chuyện thực tế với một trong các đội đang xây dựng hạ tầng AI quy mô siêu lớn. Họ đang đưa hạ tầng vào hoạt động quá nhanh khiến lưới điện không kịp, vì vậy họ thực sự mua các tua-bin và đặt chúng trong bãi đậu xe để có đủ điện nhanh chóng.

Đó là môi trường mà các đội này đang hoạt động. Khi điện trở thành một trong những ràng buộc chính, bạn phải thông minh hơn rất nhiều trong cách sử dụng những gì có sẵn. Phản hồi phía nhu cầu, nơi các nhà vận hành chủ động phối hợp tải AI để đáp ứng những thay đổi của lưới điện, đã và đang diễn ra và trở thành một khả năng ngày càng quan trọng đối với các đội vận hành hạ tầng tiêu thụ nhiều điện.

Không phải mọi tải công việc đều có cùng yêu cầu. Các tác vụ suy luận nhạy cảm với độ trễ có thể cần luôn trực tuyến, trong khi một số công việc đào tạo hoặc batch có thể được chuyển hoặc tạm dừng khi điện năng bị hạn chế. Tôi nghĩ chúng ta sẽ ngày càng thấy các đội hạ tầng quản lý tính toán, điện năng và khả năng vật lý như một phần của cùng một vấn đề vận hành.

Nhìn về phía trước, bạn có nghĩ rằng nút thắt lớn nhất trong việc mở rộng AI cuối cùng sẽ là GPU và phát triển mô hình, hay là thách thức rộng hơn nhiều là tìm đủ điện, hạ tầng vật lý, khả năng mạng, tự động hoá và kỹ sư có kỹ năng để vận hành mọi thứ phía sau chúng?

Tôi không nghĩ sẽ có một nút thắt duy nhất.

Xây dựng hạ tầng AI với tốc độ và quy mô mà thị trường hiện đang yêu cầu thực chất là một bài toán thỏa mãn ràng buộc. Vào bất kỳ thời điểm nào, một yếu tố sẽ là ràng buộc chính.

Trong một thời gian, mọi người đều nói về GPU. Công suất rõ ràng là một nút thắt lớn hiện nay. Nhưng nó cũng có thể là thiết bị mạng, hệ thống làm mát, đất đai, cáp quang, mua sắm, xây dựng, hoặc đơn giản là tìm đủ người biết cách lắp ráp tất cả những thứ này.

Và khi bạn giải quyết một ràng buộc, một ràng buộc khác lại trở nên rõ ràng hơn. Đó là những gì xảy ra khi nhu cầu lớn hơn rất nhiều so với nguồn cung.

Vì vậy, tôi sẽ không đặt cược vào một nút thắt cố định. Tôi nghĩ khả năng quan trọng hơn là có thể thích nghi khi ràng buộc thay đổi.

Đó cũng là lý do tại sao tôi không nghĩ có ai có cuốn sách hướng dẫn chắc chắn cho hạ tầng AI hiện tại. Những người đang xây dựng nó đang tìm ra cách trong khi mở rộng, và họ thực hiện cả hai một cách cực kỳ nhanh chóng.

Cảm ơn vì cuộc phỏng vấn tuyệt vời, những độc giả muốn tìm hiểu thêm nên truy cập NetBox Labs.