Phỏng vấn

Rahul Nambiar, Đồng sáng lập kiêm CEO của Propensity Labs – Loạt bài phỏng vấn

Antoine Tardif
Thêm Unite.AI vào các nguồn ưu tiên của bạn trên Google
Rahul Nambiar smiling in a green shirt against an outdoor urban background.
Điểm chínhViệc điều chỉnh lời nhắc cho một mô hình rẻ hơn đã giúp nó ngang bằng với một mô hình…
Xem thêm
  • Việc điều chỉnh lời nhắc cho một mô hình rẻ hơn đã giúp nó ngang bằng với một mô hình cao cấp với chi phí chỉ bằng 7%.
  • Các mô hình rẻ hơn thường thất bại do những mẫu hành vi có thể khắc phục được thay vì do năng lực thô không đủ.
  • Các nhóm nên đo chi phí cho mỗi tác vụ hoàn thành thành công thay vì chỉ đo chi phí cho mỗi token.

Rahul Nambiar là Đồng sáng lập kiêm CEO của Propensity Labs. Trước đây, ông xây dựng hạ tầng quy mô lớn tại AWS, sau đó chuyển sang Meta, nơi ông dẫn dắt công việc xây dựng kho dữ liệu người dùng quy mô exabyte bằng phương pháp phân loại học máy. Hiện nay, công việc của ông tập trung vào việc tìm hiểu cách các mô hình AI hoạt động, đồng thời kết hợp định tuyến mô hình với điều chỉnh chỉ dẫn để cải thiện chi phí và độ tin cậy của các quy trình làm việc bằng tác nhân AI.

Propensity Labs phát triển các hệ thống giúp đội ngũ lựa chọn và điều phối mô hình AI phù hợp với khối lượng công việc cụ thể. Phương pháp của công ty kết hợp đánh giá hành vi mô hình, tự động điều chỉnh câu lệnh và định tuyến giữa các mô hình, nhằm giúp người dùng khai thác tốt hơn các mô hình hiện có mà không cần trở thành chuyên gia về từng mô hình.

Sự nghiệp của ông trải dài từ Meta, nơi ông phụ trách công nghệ bảo mật trong một dự án xây dựng kho dữ liệu quy mô exabyte, đến AWS và hiện nay là vị trí CEO của Propensity Labs. Nền tảng kỹ thuật đó đã định hình quan điểm của ông như thế nào về những hạn chế của các mô hình AI hiện nay và tiềm năng của việc định tuyến chỉ dẫn chuyên biệt?

Thực ra, tôi bắt đầu ở AWS rồi chuyển sang Meta. Một điều tôi học được khi xây dựng các hệ thống quy mô lớn là thường có thể đạt được những cải thiện đáng kể bằng cách tìm hiểu và tối ưu hóa cách các thành phần bên dưới hoạt động, thay vì xem chúng như những hộp đen có thể thay thế cho nhau. Điều tương tự cũng đúng với các mô hình AI. Chúng tôi nhận thấy rằng ngay cả những mô hình rất mạnh cũng có những đặc điểm hành vi có thể được tìm hiểu và khắc phục, thường mang lại những cải thiện đáng ngạc nhiên về hiệu năng và chi phí.

Trong thử nghiệm gần đây, ông cho thấy các mô hình nhỏ hơn được định tuyến đã vượt trội hơn những mô hình cao cấp với chi phí chỉ bằng một phần nhỏ. Những trở ngại kỹ thuật chính khi triển khai kiểu định tuyến mô hình này trong môi trường sản xuất so với khi thử nghiệm bằng bộ chuẩn là gì?

Bằng cách điều chỉnh câu lệnh cho Luna và những điểm yếu của mô hình này, chúng tôi giúp Luna đạt hiệu năng ngang với Sol với chi phí chỉ bằng 7% trong bài đánh giá chuẩn tác tử phức tạp Tau3 của Sierra. Việc định tuyến giữa Luna đã được điều chỉnh và Sol giúp chúng tôi đạt hiệu năng ngang với Astra với chi phí chỉ bằng 16% chi phí của Astra.

Một bài học lớn đối với chúng tôi là cả việc định tuyến lẫn điều chỉnh câu lệnh đều cần được tinh chỉnh riêng cho từng khối lượng công việc. Các bộ chuẩn thường có môi trường được thiết lập rõ ràng và công cụ chấm điểm, nhờ đó bạn có thể nghiên cứu hiệu quả của một mô hình trong từng nhiệm vụ cụ thể và đánh giá mức độ hoàn thành của mô hình. Những thông tin này giúp xác định cách điều chỉnh câu lệnh cho mô hình và thời điểm nên định tuyến đến mô hình nào.

Quy trình làm việc trong môi trường sản xuất không được thiết lập sẵn rõ ràng như vậy. Bạn có các bản ghi về việc mô hình hoàn thành nhiệm vụ, nhưng không có cách đáng tin cậy để biết chúng có thực sự thành công hay không và thế nào mới được xem là tốt. Điều chúng tôi rút ra là có thể lấy dữ liệu sử dụng hiện có, dù là kết quả đánh giá hay bản ghi từ môi trường sản xuất, rồi dựng lại một thiết lập đánh giá cho phép thử nghiệm các mô hình và cách điều chỉnh khác nhau trên cùng một khối lượng công việc.

Điều đáng chú ý là cần xem xét việc định tuyến và điều chỉnh cùng nhau. Một mô hình rẻ hơn có thể thất bại trong một nhiệm vụ khi dùng các câu lệnh hiện có, nhưng lại thành công sau khi bạn điều chỉnh câu lệnh cho phù hợp với cách mô hình đó hoạt động. Điều này làm thay đổi lựa chọn mô hình mà ngay từ đầu bạn nên định tuyến đến.

Ông có đề cập đến việc điều chỉnh chỉ dẫn cho từng mô hình cụ thể. Ông phân biệt thế nào giữa những chỉ dẫn mang tính phổ quát và những chỉ dẫn cần được tùy chỉnh riêng để phù hợp với điểm mạnh, điểm yếu của một kiến trúc mô hình cụ thể?

Nhiều chỉ dẫn tưởng như áp dụng phổ quát thực ra cần được điều chỉnh cho phù hợp với từng mô hình. Đây là một ví dụ đơn giản: hiện tượng bịa đặt thông tin trong các câu trả lời chỉ gồm một lượt. Chúng tôi đã nghiên cứu hai mô hình khác nhau: DeepSeek V4 Pro và GPT-6 Luna. Cả hai đều có xu hướng mạnh mẽ là bịa ra thông tin khi không biết câu trả lời. Một đặc điểm nào đó trong quá trình huấn luyện khiến chúng rất ngần ngại từ chối trả lời và nói “Tôi không biết”. Hành vi này tương tự nhau, nhưng cách chúng tôi giảm thiểu bằng câu lệnh lại rất khác biệt.

Có thể khiến DeepSeek V4 Pro từ chối trả lời với tần suất tương đương các mô hình Claude nếu đưa vào nhiều biến thể của câu “Nói rằng mình không biết cũng không sao”. Chiến thuật tương tự hầu như không có tác dụng với Luna. Luna phản hồi tốt nhất khi được đưa ra một mức phạt cho câu trả lời sai. Chẳng hạn, câu “Trả lời sai bị trừ 90 điểm, còn trả lời đúng chỉ được cộng 10 điểm” khiến mô hình từ chối trả lời với mức độ tương đương người anh lớn Sol. Hành vi giống nhau, nhưng cần dùng những đòn bẩy rất khác nhau để khiến hai mô hình từ bỏ hành vi đó. Muốn điều chỉnh chỉ dẫn cho một mô hình cụ thể, bạn cần hiểu sâu cả mô hình lẫn quy trình làm việc nơi mô hình được triển khai.

Khi các công ty chuyển sang quy trình làm việc bằng tác nhân AI, ông thấy bằng chứng nào cho thấy định tuyến giữa các mô hình chuyên biệt, rẻ hơn là một chiến lược bền vững hơn so với việc chờ đợi một mô hình tiên phong ngày càng mạnh có thể xử lý mọi việc?

Cứ khoảng một tuần lại có một mô hình tiên phong mới ra mắt. Giả sử hiện giờ bạn chọn mô hình lớn nhất và tốt nhất cho toàn bộ quy trình làm việc của mình. Chỉ trong vài tháng, thậm chí vài tuần, nhiều khả năng sẽ có những mô hình nhỏ hơn có thể xử lý phần lớn, nếu không muốn nói là toàn bộ, quy trình đó. Đồng thời, nhiều khả năng cũng sẽ xuất hiện những mô hình lớn hơn hoặc chuyên biệt hơn, hoạt động hiệu quả hơn trong quy trình làm việc của bạn. Nếu không chuyển đổi hoặc định tuyến giữa các mô hình, bạn sẽ bỏ lỡ cơ hội tối ưu cả hiệu năng lẫn chi phí.

Tuy nhiên, việc theo kịp tất cả những điều này khá phiền phức, và mọi người không nên phải trở thành chuyên gia về từng mô hình khác nhau. Chúng tôi tin rằng mình có thể giúp giải quyết vấn đề đó, bằng cách đảm bảo bạn luôn có mô hình phù hợp nhất với khối lượng công việc của mình, với chi phí thấp nhất để đạt được hiệu năng mong muốn. Đôi khi, điều đó có nghĩa là chọn mô hình mạnh nhất hiện có cho một số phần trong khối lượng công việc; những lúc khác, đó là điều chỉnh phần lớn khối lượng công việc để các mô hình rẻ hơn nhiều có thể xử lý.

Khi quản lý một hệ thống phân phối tác vụ qua nhiều mô hình, bạn xử lý tính nhất quán và quyền riêng tư của dữ liệu như thế nào, nhất là khi các tác vụ đó liên quan đến thông tin nhạy cảm?

Chúng tôi đóng vai trò như một lớp trung gian giữa người dùng và các nhà cung cấp mô hình. Người dùng chọn những nhà cung cấp họ muốn sử dụng và tự cung cấp khóa API của mình. Chúng tôi chọn mô hình phù hợp nhất từ các nhà cung cấp đó cho toàn bộ hoặc một phần khối lượng công việc của họ, điều chỉnh khối lượng công việc rồi chuyển đến đúng mô hình. Chúng tôi chỉ sử dụng các kết quả đánh giá hoặc dấu vết mà khách hàng chủ động chia sẻ, và không dùng dữ liệu của họ để huấn luyện hay lưu giữ.

Anh đồng sáng lập Propensity Labs cùng Mana Azarm. Hai người phân chia trọng tâm công việc như thế nào giữa khía cạnh nghiên cứu chuyên sâu về hành vi mô hình và khía cạnh thực tiễn, thiên về kỹ thuật hệ thống trong việc xây dựng các quy trình xử lý tác tử?

Ở lĩnh vực này, thế mạnh của chúng tôi bổ trợ cho nhau rất tốt. Mana, Giám đốc khoa học của công ty đồng thời là giáo sư, tập trung nhiều hơn vào các vấn đề liên quan đến hành vi mô hình, còn tôi tập trung vào khía cạnh kỹ thuật hệ thống. Hay đúng hơn, đó là cách chúng tôi muốn phân chia công việc. Thực tế phức tạp hơn, và rốt cuộc mỗi người lại xử lý bất cứ việc gì đang là trở ngại lớn nhất vào lúc đó.

Với các CTO hiện đang chi mạnh cho những lần gọi API của các mô hình cao cấp, đâu là việc dễ bắt đầu nhất để thử nghiệm định tuyến mô hình và điều chỉnh chỉ dẫn trong các quy trình làm việc hiện có?

Hãy liên hệ với chúng tôi! Nhưng nói nghiêm túc thì tôi chỉ khuyên bạn thử chạy một mô hình nhỏ hơn thuộc thế hệ mới nhất trên khối lượng công việc cụ thể của mình, rồi xem nó có thể xử lý được những gì. Tôi đoán nhiều người vẫn đang dùng các mô hình lớn hơn thuộc những thế hệ trước và, trước tốc độ cải thiện của mô hình, chưa nhận ra rằng gần đây đã có những lựa chọn nhỏ hơn, rẻ hơn nhưng vẫn xử lý được khối lượng công việc của họ.

Những quan niệm sai lầm phổ biến nhất của các nhà phát triển về khả năng của mô hình rẻ hơn khi được giới hạn hoặc hướng dẫn phù hợp là gì?

Quan niệm sai lầm phổ biến nhất là cho rằng khi mô hình rẻ hơn thất bại, đơn giản là nó không đủ năng lực. Tôi nghĩ việc phân tích kỹ xem mô hình rẻ hơn thất bại như thế nào và ở đâu trong quy trình làm việc của bạn rất có ích. Một phần trong số những lần thất bại đó xuất phát từ các kiểu phản hồi mà mô hình thường mắc phải; nếu nhận diện được và hướng mô hình tránh những kiểu đó, có thể giúp nó xử lý thành công công việc của bạn. Một phần khác là những tác vụ vượt quá năng lực cơ bản của mô hình rẻ hơn, khiến mô hình không thể thực hiện chính xác; trong trường hợp đó, bạn cần một mô hình lớn hơn.

Công việc của anh nằm ở giao điểm giữa quyền riêng tư, quy mô và chi phí. Khi nhìn vào 12–18 tháng tới trong quá trình phát triển hạ tầng AI, theo anh, khoảng cách lớn nhất giữa nhu cầu của doanh nghiệp và những gì hệ sinh thái công cụ hiện nay cung cấp nằm ở đâu?

Qua trò chuyện với những người đang triển khai mô hình trong môi trường thực tế, tôi thường thấy họ có tâm lý sợ bỏ lỡ (FOMO) và, ở một mức độ nào đó, mệt mỏi vì phải theo kịp các mô hình mới cùng năng lực ngày càng tăng của chúng. Hầu hết công nghệ thường trở nên dễ sử dụng và triển khai hơn theo thời gian. Nhưng các mô hình ngôn ngữ lớn (LLM) lại ngày càng khó dùng, với vô số mô hình và thiết lập cần lựa chọn (nhiệt độ, mức độ suy luận, bộ nhớ đệm). Tôi nghĩ sẽ rất có ích nếu đơn giản hóa và trừu tượng hóa những yếu tố này cho các nhóm sử dụng mô hình, để họ chỉ cần tập trung vào điều mình muốn đạt được nhờ mô hình, thay vì cách thực hiện.

Khi bắt đầu thử nghiệm định tuyến đa mô hình, nhóm kỹ thuật nên ưu tiên những chỉ số nào để bảo đảm họ không chỉ chăm chăm tiết kiệm chi phí mà làm tổn hại đến độ tin cậy?

Tôi sẽ bắt đầu với tỷ lệ hoàn thành tác vụ thành công, tỷ lệ thất bại, độ trễ và chi phí cho mỗi tác vụ hoàn thành thành công. Chỉ xét chi phí trên mỗi token thì không hữu ích lắm nếu mô hình rẻ hơn thường xuyên thất bại hơn. Vì vậy, cần tính toàn bộ chi phí của một tác vụ, bao gồm cả các lần thử lại và mọi bộ phân loại hoặc mô hình ra quyết định được gọi để định tuyến.

Khó nhất là đo lường độ tin cậy. Chúng tôi thường thấy một tình huống như sau: các nhóm gặp khó khăn khi chuyển tác tử từ mô hình này sang mô hình khác, rồi dồn toàn lực vào việc đánh giá trong vài tháng và sau đó nhận thấy quy trình chuyển đổi mô hình dễ dàng hơn nhiều. Tôi đặc biệt khuyên các nhóm nên đầu tư xây dựng các bộ đánh giá vững chắc cho quy trình làm việc của mình càng sớm càng tốt, đồng thời cập nhật chúng khi quy trình làm việc thay đổi và khi cách người dùng sử dụng chúng thay đổi.

Cảm ơn anh về buổi phỏng vấn tuyệt vời. Độc giả muốn tìm hiểu về định tuyến mô hình, điều chỉnh chỉ dẫn và các phương pháp đánh giá để xây dựng quy trình làm việc với AI đáng tin cậy hơn và tiết kiệm chi phí hơn có thể truy cập Propensity Labs.

Antoine là một nhà lãnh đạo có tầm nhìn và đối tác sáng lập của Unite.AI, được thôi thúc bởi niềm đam mê bền bỉ trong việc định hình và thúc đẩy tương lai của AI và công nghệ robot. Là doanh nhân đã thành lập nhiều công ty, ông tin rằng AI sẽ làm thay đổi xã hội sâu sắc như điện năng và thường hào hứng nói về tiềm năng của các công nghệ đột phá và trí tuệ nhân tạo tổng quát (AGI).

Với vai trò là một nhà tương lai học, ông dành tâm huyết khám phá cách những đổi mới này sẽ định hình thế giới. Ông cũng là người sáng lập Securities.io, một nền tảng tập trung đầu tư vào các công nghệ tiên tiến đang định nghĩa lại tương lai và tái định hình toàn bộ các ngành.