Sohrab Hosseini, Đồng sáng lập orq.ai – Loạt phỏng vấn

Sohrab Hosseini, Đồng sáng lập của orq.ai, là một nhà lãnh đạo công nghệ và doanh nhân dựa tại khu vực Amsterdam với kinh nghiệm sâu rộng trong lĩnh vực SaaS, hệ thống quy mô lớn và trí tuệ nhân tạo ứng dụng. Kể từ khi thành lập orq.ai vào năm 2022, ông đã tập trung vào việc xây dựng cơ sở hạ tầng thực tế giúp các đội di chuyển các mô hình ngôn ngữ lớn từ thí nghiệm sang sử dụng sản xuất đáng tin cậy. Kinh nghiệm của ông bao gồm các vị trí lãnh đạo cấp cao như COO và CTO tại Neocles, CTO của Công nghệ tương lai tại Transdev nơi ông làm việc về định tuyến tự động và quản lý đội tàu, và COO tại TradeYourTrip. Song song với đó, ông cũng hoạt động như một cố vấn và nhà đầu tư thiên thần, hỗ trợ các công ty AI giai đoạn đầu với định hướng sản phẩm, phán đoán kỹ thuật và chiến lược thực hiện.

orq.ai là một nền tảng hợp tác trí tuệ nhân tạo và LLMOps được xây dựng để giúp các tổ chức thiết kế, vận hành và mở rộng các sản phẩm và tác nhân được hỗ trợ bởi AI trong môi trường thế giới thực. Nền tảng này mang lại quản lý lời nhắc, thí nghiệm, thu thập phản hồi và khả năng hiển thị thời gian thực về hiệu suất và chi phí vào một không gian làm việc duy nhất, đồng thời vẫn tương thích với tất cả các nhà cung cấp mô hình ngôn ngữ lớn chính. Bằng cách cho phép sự hợp tác chặt chẽ giữa các đội kỹ thuật và phi kỹ thuật, orq.ai giúp các công ty rút ngắn chu kỳ phát hành, cải thiện quản trị và minh bạch, và giảm độ phức tạp và chi phí của việc chạy hệ thống AI trong sản xuất.

Bạn đã từng giữ các vị trí kỹ thuật và vận hành cấp cao trong các lĩnh vực hệ thống tự động, công nghệ quản lý đội tàu và nền tảng SaaS trước khi thành lập Orq.ai — làm thế nào con đường sự nghiệp đó định hình quyết định của bạn trong việc xây dựng một lớp điều khiển doanh nghiệp cho các tác nhân AI vào năm 2022?

Nền tảng của chúng tôi luôn tập trung vào việc dẫn dắt các đội kỹ sư và tập trung vào các nền tảng cho phép; những thứ như đám mây, DevOps và cho phép dữ liệu, đặc biệt là trong thời gian chúng tôi làm tư vấn công nghệ. Khi cơn sốt trí tuệ nhân tạo tạo ra bắt đầu, tôi và đồng sáng lập của tôi tự hỏi mình: loại cho phép nào mà các doanh nghiệp sẽ cần không chỉ để xây dựng AI, mà để quản trị và kiểm soát nó một cách đúng đắn?

Chúng tôi nhận thấy rằng nhu cầu thực sự là một lớp điều khiển cấp doanh nghiệp cho các tác nhân AI. Điều này đã dẫn chúng tôi đến việc xây dựng Orq.ai từ đầu.

Khi bạn lần đầu tiên ra mắt Orq.ai, bạn đã thấy điều gì trên thị trường khiến bạn tin rằng nút thắt thực sự không phải là chất lượng mô hình mà là sự không thể đưa các hệ thống tác nhân từ các bản demo vào sản xuất đáng tin cậy?

Chúng tôi luôn tin rằng khi bạn xây dựng phần mềm đổi mới, bạn phải xây dựng cho tương lai. Từ đầu, chúng tôi giả định rằng các mô hình ngôn ngữ lớn sẽ tiếp tục trở nên tốt hơn và thông minh hơn theo thời gian. Vì vậy, thách thức thực sự mà chúng tôi thấy không phải là chất lượng mô hình bản thân, mà là tất cả các vấn đề kiểm soát, quản trị và quản lý vòng đời phát sinh khi bạn cố gắng di chuyển từ một bản demo đến một môi trường sản xuất thực sự.

Nói cách khác, ngay cả khi các mô hình được cải thiện, giá trị thực sự cho khách hàng của chúng tôi (và cho chúng tôi) là đảm bảo rằng những hệ thống này thực sự chạy đáng tin cậy trong sản xuất. Và đó thực sự là những gì chúng tôi đã cố gắng giải quyết.

Đa số các đội có thể xây dựng các bản prototype ấn tượng nhưng gặp khó khăn với việc dàn xếp thời gian chạy, quản trị và giám sát. Theo quan điểm của bạn, điểm đứt gãy lớn nhất khi các đội kỹ sư cố gắng mở rộng từ một môi trường thử nghiệm sang một tác nhân sản xuất trực tiếp là gì?

Điểm đứt gãy lớn nhất là các đội thường nghĩ rằng đó là một con đường thẳng, tuyến tính từ việc bắt đầu xây dựng một tác nhân đến khi nó hoàn thành. Trên thực tế, đó là một quá trình lặp đi lặp lại.

Bạn liên tục điều chỉnh các giả định của mình, thử nghiệm chúng, di chuyển mọi thứ vào sản xuất, và sau đó giám sát những gì xảy ra trong thế giới thực. Bạn tìm thấy các trường hợp biên, và sau đó bạn bắt đầu chu kỳ đó lại từ đầu.

Thách thức là nó không chỉ là một nỗ lực một lần; đó là một vòng lặp liên tục của sự tinh chỉnh. Và để xây dựng trên đó, nó không chỉ là một quá trình lặp đi lặp lại, mà là thường không có đủ công cụ hoặc giá đỡ để hỗ trợ quá trình đó một cách trơn tru.

Bạn cần một cách cho các chuyên gia lĩnh vực, quản lý sản phẩm và kỹ sư để hợp tác mà không tạo ra các silo hoặc các giao tiếp tốn kém lãng phí rất nhiều thời gian. Vì vậy, đó là một mảnh ghép lớn khác của câu đố: đảm bảo rằng tất cả các bên liên quan này có thể lặp lại cùng nhau một cách hiệu quả. Và đó là điều mà chúng tôi đã cố gắng giải quyết.

Orq.ai tự định vị mình như một lớp điều khiển thống nhất bao trùm thí nghiệm, đánh giá, quan sát và thời gian chạy. Tại sao bạn tin rằng một kiến trúc từ đầu đến cuối là thiết yếu, thay vì cung cấp các công cụ riêng lẻ như nhiều giải pháp điểm?

Khi bạn bắt đầu, điều tự nhiên là chọn một công cụ đơn lẻ giải quyết điểm đau lớn nhất của bạn tại thời điểm đó, thường đó có thể là khả năng quan sát. Nhưng khi đội của bạn phát triển, bạn sẽ gặp phải nút thắt tiếp theo và thêm một công cụ khác, ví dụ như một cổng AI. Trước khi bạn biết, bạn đã có từ 5 đến 7 công cụ khác nhau trong cảnh quan của mình. Dữ liệu trở nên phân mảnh, mọi người mất khả năng hiển thị, và bạn lãng phí tài nguyên chỉ để duy trì tất cả các tích hợp này. Bạn mất đi cái nhìn thống nhất trên toàn bộ vòng đời.

Chúng tôi tin rằng khi các doanh nghiệp dựa trên tác nhân xuất hiện, bạn thực sự cần một kiến trúc từ đầu đến cuối. Bạn cần một cái nhìn thống nhất về tất cả những gì các tác nhân của bạn đang làm trên toàn tổ chức, không chỉ là các giải pháp điểm riêng lẻ. Đó là lý do tại sao chúng tôi không thấy bất kỳ cách nào khác ngoài việc bao gồm những phần lớn của quy trình làm việc trong một nền tảng thống nhất.

Với Studio Tác nhân mới và thời gian chạy được thiết kế lại, những điểm đau lớn nào bạn đang cố gắng giải quyết dựa trên phản hồi từ khách hàng sớm ở châu Âu và Mỹ?

Điều chúng tôi thấy là các đội đang sử dụng tất cả các loại thư viện mã nguồn mở để xây dựng các tác nhân của họ, mặc dù kiến trúc thực sự của một tác nhân có thể khá sạch sẽ và đơn giản. Họ kết thúc với các thư viện bị phình to, rất nhiều gánh nặng và một đường cong học tập lớn chỉ để đưa thậm chí các tác nhân đơn giản ra ngoài. Với Orq, chúng tôi muốn offload gánh nặng đó.

Thay vì lo lắng về kiến trúc, tính toán, tự động hóa, tất cả cơ sở hạ tầng, các đội có thể chỉ tập trung vào việc cấu hình các tác nhân của họ và cung cấp cho họ các công cụ và API đúng. Chúng tôi xử lý việc nặng nhọc để họ có thể tập trung vào xây dựng các trường hợp sử dụng thực tế của mình. Và trên hết, vì chúng tôi hỗ trợ toàn bộ vòng đời, chúng tôi đã xây dựng các công cụ chuyên dụng cho phép bạn thực sự kiểm tra các tác nhân của mình ở quy mô.

Điều đó có nghĩa bạn có thể tìm thấy các trường hợp biên nhanh hơn và làm cứng các tác nhân của mình hiệu quả hơn. Tất cả đều về việc cung cấp cho các đội các công cụ không chỉ để xây dựng các tác nhân một cách dễ dàng, mà để tinh chỉnh và làm cho chúng mạnh mẽ hơn trong các kịch bản thế giới thực, mà không có tất cả các rắc rối thêm.

Làm thế nào các quy định như GDPR và Đạo luật AI của EU đang ảnh hưởng đến cách các doanh nghiệp thiết kế, giám sát và triển khai các tác nhân — và orq.ai đang thích nghi như thế nào?

Điều đó không phải là các yêu cầu này đang thắt chặt một cách đột ngột, chúng chỉ là một phần của luật, và khách hàng của chúng tôi phải tuân thủ chúng. Điều chúng tôi đang làm là đảm bảo rằng trên toàn bộ vòng đời, chúng tôi cung cấp cho các đội các công cụ, đánh giá và rào cản đúng để họ có thể xây dựng sự tuân thủ từ ngày đầu tiên.

Chúng tôi đảm bảo rằng việc cư trú dữ liệu, quyền riêng tư dữ liệu, tất cả những điều đó được nướng vào từ đầu. Và với các căng thẳng địa chính trị và sự thúc đẩy chủ quyền công nghệ và trí tuệ nhân tạo ở châu Âu, chúng tôi đã thấy một nhu cầu lớn cho điều đó. Vì chúng tôi có thể chạy hoàn toàn trên cơ sở và giúp các doanh nghiệp giảm sự phụ thuộc, chúng tôi đang ở trong một vị trí tốt để giúp họ duy trì kiểm soát số phận của mình.

Các doanh nghiệp đang ngày càng yêu cầu các kiến trúc sẵn sàng cho chủ quyền và triển khai hybrid/trên cơ sở. Điều này cho bạn biết điều gì về nơi cơ sở hạ tầng AI doanh nghiệp đang đi?

Mỗi doanh nghiệp và thậm chí mỗi trường hợp sử dụng đều liên quan đến sự đánh đổi. Đó là một câu hỏi về mức độ sẵn sàng và bảo mật mà một thứ gì đó cần. Chúng tôi hỗ trợ mọi hương vị dọc theo phổ đó. Nhưng điều chúng tôi thấy là một sự tập trung mạnh mẽ vào chủ quyền và cư trú dữ liệu ở cấp độ mô hình.

Khách hàng muốn rõ ràng về nơi dữ liệu của họ sống và khả năng giảm sự phụ thuộc vào các nhà cung cấp đám mây lớn. Nhờ vào cổng AI của chúng tôi, chạy trên tất cả các nền tảng đám mây lớn và trên cơ sở, các đội có thể dễ dàng thực hiện các đánh đổi đó dựa trên từng trường hợp sử dụng. Họ nhận được sự linh hoạt để duy trì kiểm soát và di chuyển liền mạch giữa các môi trường.

Chúng tôi thấy một sự tăng trưởng lớn trong nhu cầu từ các doanh nghiệp lớn và các tổ chức công.

Làm thế nào bạn nhìn thấy các quy trình làm việc đa tác nhân, rào cản an toàn và các hệ thống lý luận tiên tiến hơn sẽ phát triển khi các doanh nghiệp chuyển từ thí nghiệm sang công nghiệp hóa thực sự các tác nhân vào năm 2026?

Khi sử dụng các tác nhân thực sự công nghiệp hóa, chúng tôi thấy các vấn đề mới xuất hiện, đặc biệt là với các thiết lập đa tác nhân. Bạn có thể có hàng chục hoặc thậm chí hàng trăm tác nhân chạy xung quanh tổ chức của bạn tại bất kỳ thời điểm nào, giống như nhân viên.

Câu hỏi là: làm thế nào bạn quản trị tất cả chúng khi bạn có một tập hợp đa chiều của các vấn đề, chẳng hạn như chi phí, chất lượng dữ liệu, cư trú dữ liệu, đúng đắn, các chỉ số ảo và như vậy? Bạn cần một lớp quản trị mới để xử lý điều đó, và bạn cần các rào cản an toàn có thể được triển khai từ trên cao.

Bạn cũng cần khả năng hiển thị từ trên cao và các lớp tổng hợp mới để CFO, COO, CISO của bạn có thể xem những gì đang xảy ra và can thiệp với các thông tin hành động. Chúng tôi thực sự nghĩ rằng vào năm 2026, toàn bộ khái niệm về “bộ phận tác nhân” và công nghệ để hỗ trợ nó sẽ trở thành một chủ đề nóng hơn.

Trôi dạt tác nhân, hồi quy chất lượng và dòng chảy dữ liệu không rõ ràng là những vấn đề lặp lại trong AI sản xuất. Làm thế nào lớp điều khiển của Orq.ai giải quyết những khoảng trống lâu dài trong phiên bản, đánh giá và giám sát liên tục?

Mỗi tác nhân thực sự cần một bộ đánh giá của riêng nó. Những đánh giá này xác định những gì đúng và sai cho một kịch bản cụ thể. Bằng cách dành thời gian lên front để thiết lập các bộ đánh giá này một cách đúng đắn, các đội có thể thực hiện tốt hơn các thí nghiệm ngoại tuyến để xem những gì xảy ra trước khi đi trực tiếp. Và sau đó bằng cách giám sát các đánh giá này trực tuyến, bạn có thể phát hiện khi các mô hình trôi dạt hoặc khi hành vi của tác nhân bắt đầu thay đổi theo thời gian. Điều đó cho phép bạn có một tập hợp nhất quán của các chỉ số chất lượng trong các thử nghiệm ngoại tuyến, giám sát trực tuyến và rào cản.

Nhìn về tương lai, bạn nghĩ gì sẽ định hình thế hệ tiếp theo của các tác nhân AI cấp doanh nghiệp — và làm thế nào Orq.ai đang định vị mình để trở thành nền tảng hoạt động mặc định cho thế giới đó?

Nhìn về phía trước, tôi nghĩ điều sẽ định hình thế hệ tiếp theo của các tác nhân AI doanh nghiệp là mỗi nhà cung cấp sẽ cung cấp các tác nhân của riêng họ. Trong các doanh nghiệp lớn, đó sẽ là một cảnh quan rộng lớn của các tác nhân đầu tiên và thứ ba làm việc cùng nhau và gọi cho nhau.

Điều đó không chỉ là một loại tác nhân hoặc một nhà cung cấp; đó là một hệ sinh thái cần quản trị và tuân thủ. Và đó là nơi Orq đến. Chúng tôi đang định vị mình như tháp điều khiển tác nhân cung cấp các lớp khác nhau trong tổ chức cái nhìn đúng và thông tin hành động để can thiệp tại bất kỳ giai đoạn nào.

Cho dù đó là việc xây dựng, mở rộng, vận hành hoặc thậm chí là loại bỏ các tác nhân, các chức năng khác nhau sẽ cần các cái nhìn khác nhau về cảnh quan đó. Và chúng tôi sẽ là nhà cung cấp mặc định cho khả năng đó.

Cảm ơn vì cuộc phỏng vấn tuyệt vời, độc giả muốn tìm hiểu thêm nên truy cập orq.ai.