Phỏng vấn
Nikolaos Vasiloglou, Phó Chủ tịch Nghiên cứu ML tại RelationalAI – Loạt Phỏng vấn
Nikolaos Vasiloglou là Phó Chủ tịch Nghiên cứu ML tại RelationalAI. Ông đã dành sự nghiệp của mình để xây dựng phần mềm ML và dẫn đầu các dự án khoa học dữ liệu trong lĩnh vực Bán lẻ, Quảng cáo trực tuyến và An ninh. Ông là thành viên của cộng đồng ICLR/ICML/NeurIPS/UAI/MLconf/
RelationalAI là một công ty AI doanh nghiệp xây dựng một nền tảng trí tuệ quyết định được thiết kế để giúp các tổ chức chuyển từ phân tích dữ liệu sang việc ra quyết định tự động với chất lượng cao. Công nghệ của họ tích hợp trực tiếp với môi trường dữ liệu như Snowflake, kết hợp cơ sở dữ liệu quan hệ, đồ thị tri thức và hệ thống推 lý tiên tiến để tạo ra một “mô hình ngữ nghĩa” của một doanh nghiệp – về cơ bản là mã hóa cách một công ty hoạt động, mối quan hệ và logic của nó. Điều này cho phép các hệ thống AI (bao gồm cả các đại lý quyết định như “Rel”) suy luận trên dữ liệu phức tạp, liên kết và tạo ra các thông tin dự đoán và quy định, cho phép các doanh nghiệp đưa ra quyết định nhanh hơn và thông minh hơn mà không cần di chuyển dữ liệu của họ ra khỏi môi trường đám mây an toàn.
Bạn đã có một con đường sự nghiệp hiếm có, bao gồm cả học thuật máy học, triển khai công nghiệp quy mô lớn và vai trò lãnh đạo trên các công ty như Symantec, Aisera và hiện tại là RelationalAI. Những kinh nghiệm đó đã định hình quan điểm của bạn về nơi nghiên cứu máy học gặp hệ thống thế giới thực như thế nào?
Tôi đã may mắn được làm việc trong các lĩnh vực kinh doanh khác nhau, từ bán lẻ và an ninh đến quảng cáo trực tuyến. Điều đó giúp tôi hiểu cách máy học và AI phù hợp như một tử số chung. Chúng tôi biết từ đầu những năm 2000 rằng phần mềm đang ăn hết thế giới, dữ liệu đang ăn hết trí tuệ quyết định, nhưng ít công ty, bao gồm cả Google, tin rằng các thuật toán máy học tiên tiến sẽ cuối cùng ăn hết mọi thứ. Vào năm 2008, những người tham dự NeurIPS được coi là những kẻ mơ mộng và không hiểu thế giới thực, chỉ là những người thích chơi với đồ chơi. Điều đó đúng đến một mức độ nhất định, nhưng tôi tin rằng điều này đang trên một quỹ đạo thay đổi. Không giống như những người khác, tôi không từ bỏ việc tham gia tích cực vào quá trình chuyển đổi nghiên cứu học thuật sang công nghiệp.
Phân tích của bạn về NeurIPS 2025 sử dụng các trợ lý mã hóa như Claude Code, OpenAI Codex và NotebookLM để xử lý toàn bộ hội nghị. Điều gì khiến bạn ngạc nhiên nhất về việc sử dụng hệ thống AI để phân tích nghiên cứu AI chính nó?
Điều đó thật tuyệt vời khi xây dựng phần mềm để thu thập dữ liệu, đọc máy và phân loại chúng vào các phần và thậm chí tóm tắt và giải thích chúng theo một cách trực quan đặc biệt. Các hệ thống GenAI thật tuyệt vời khi kể một câu chuyện nhưng không kể câu chuyện. NotebookLM là nữ hoàng của việc phân tích bất kỳ lĩnh vực nào và mang lại kết quả đáng kinh ngạc. Tuy nhiên, bạn không có quyền kiểm soát câu chuyện, đồ họa hoặc nhấn mạnh. Tôi đã học được rằng các công cụ không tốt tại việc tạo ra các trang PowerPoint, vì vậy tôi phải xây dựng HTML và sau đó chuyển đổi chúng sang PDF. Thử thách lớn nhất là tạo ra các hình ảnh – việc tạo ra sự khuếch tán chỉ quá chậm, không đáng tin cậy và tốn kém, với không có quyền kiểm soát. Điều ngạc nhiên là các mô hình khá tốt trong việc tạo ra các SVG theo chương trình với matplotlib, plotly và các thư viện Python khác. Kỹ thuật đó đã được mở rộng, nhưng nó đòi hỏi phải thực hiện nhiều lần để sửa lỗi trực quan. Các mô hình sẽ còn tốt hơn vào năm tới.
Một trong những chủ đề mạnh mẽ nhất trong phân tích của bạn là sự chuyển đổi từ việc tăng quy mô thời gian đào tạo sang tính toán thời gian suy luận. Tại sao tính toán thời gian kiểm tra lại trở thành một đòn bẩy mạnh mẽ để cải thiện hiệu suất mô hình?
Các định luật tăng quy mô là la bàn của chúng tôi. Việc tăng kích thước mô hình và dữ liệu tiền đào tạo đã đạt đến khả năng của nó. Thế hệ đầu tiên của các định luật tăng quy mô đã đưa chúng tôi lên đến GPT-4. Chúng là những người đã giúp OpenAI bắt đầu cuộc cách mạng GenAI. Chúng tôi sớm nhận ra rằng có một chiều khác cho phép mô hình tạo ra nhiều token trước khi đến một câu trả lời. Đây là một cách khác để cải thiện hiệu suất của LLM. Kích thước mô hình và độ dài suy luận thường được biểu thị dưới dạng System 1 và System 2 (Daniel Kahneman). Tìm kiếm dấu vết là một cách khác để tăng khả năng của mô hình. Nếu bạn nghĩ về nó, những đột phá từ con người bắt đầu từ trực giác (chỉ số thông minh cao), nhưng thành công luôn là do suy luận dài và đau đớn. Chúng tôi gần như thấy được mẫu này: Các mô hình nhỏ với cửa sổ suy luận dài vượt qua các mô hình lớn hơn 100 lần. Vì vậy, suy luận quan trọng hơn chỉ số thông minh trong LLM.
Bạn đã nhấn mạnh sự chuyển đổi từ các mô hình đơn nhất sang các hệ thống đại lý có khả năng lập kế hoạch, hành động và xác minh đầu ra của chúng. Chúng ta đang ở gần với việc AI đại lý trở thành một mô hình sản xuất đáng tin cậy thay vì một nguyên mẫu nghiên cứu?
Chúng tôi đang đạt được những bước tiến lớn trong hướng đó. Vấn đề lớn nhất là độ tin cậy và an toàn, để chúng tôi có thể tin tưởng vào khả năng tự chủ của chúng. Nếu bạn nhìn kỹ vào nội dung NeurIPS, bạn sẽ thấy các hệ thống tự chủ thực hiện nghiên cứu, giải quyết vấn đề toán học và giải quyết vấn đề mã hóa, nhưng bạn không thấy một chiếc xe tự lái, ví dụ. Trải nghiệm mới nhất với Moltbook (một mạng xã hội cho các đại lý AI) đã nhấn mạnh các vấn đề của AI đại lý tự chủ. Tuy nhiên, việc khám phá ra các loại thuốc và vật liệu mới với AI đại lý là rất lớn, vì vậy hãy cùng nhau ăn mừng và tập trung vào điều đó trong thời gian này.
Hiệu suất dường như là một động lực chính của đổi mới, với các mô hình nhỏ đạt được hiệu suất cạnh tranh thông qua các cải tiến kiến trúc và chiến lược suy luận thông minh. Chúng ta đang bước vào một kỷ nguyên mà các đột phá về hiệu suất quan trọng hơn kích thước mô hình thô?
Khi AI mở rộng sang sản xuất, kỹ thuật trở nên quan trọng hơn. Việc dựa vào các mô hình tiền phong không bền vững. Điều đó tuyệt vời cho các bản demo, nhưng các công ty phải đối mặt với thực tế đắng khi họ thấy chi phí cao của các mô hình lớn. Lần đầu tiên, các mô hình nhỏ đã trở thành một giải pháp khả thi hơn. Có một lực lượng im lặng đang thay đổi trạng thái hiện tại của ngành. Cho đến nay, NVIDIA đã độc quyền GPU và giữ giá cao. AMD đang xâm nhập thị trường với các chip chất lượng cao và điều đó sẽ buộc giá giảm. Năng lượng vẫn là một vấn đề, nhưng chúng tôi đang thấy một số chuyển động trên thị trường. Khi các phòng thí nghiệm tiền phong trở nên đắt hơn, giải pháp mô hình nhỏ trên GPU cho thuê đã trở nên khả thi hơn.
Trình bày của bạn gợi ý rằng lĩnh vực này đã chuyển từ việc tăng quy mô theo một trục (tham số) sang tăng quy mô đa chiều liên quan đến tham số, dữ liệu, kiến trúc và suy luận. Nghiên cứu viên và nhà thực hành nên nghĩ về mô hình tăng quy mô mới này như thế nào?
Đối với hầu hết các chuyên gia, kiến trúc và tham số nằm ngoài tầm kiểm soát của họ. Những người sản xuất mô hình có vốn sẽ thúc đẩy đổi mới. Chi phí capex sẽ quyết định độ dài suy luận token. Điều còn lại dưới sự kiểm soát của họ là dữ liệu. Chúng tôi sẽ thấy nhiều tập trung hơn vào việc tạo, chăm sóc và gỡ lỗi dữ liệu (tìm kiếm dấu vết hầu hết thời gian). Điều này sẽ là trọng tâm của hoạt động hàng ngày. Tất nhiên, họ sẽ cần theo dõi NeurIPS và các hội nghị lớn khác để cập nhật với các xu hướng kiến trúc mới.
Trong tổng hợp NeurIPS của bạn, bạn chỉ ra rằng một tỷ lệ ngày càng tăng của nghiên cứu tập trung vào khám phá khoa học được thúc đẩy bởi AI, từ sinh học đến mô hình hóa khí hậu. Bạn có thấy AI cho khoa học là tiền đồn lớn tiếp theo cho nghiên cứu máy học?
Tôi nghĩ nó vượt ra ngoài nghiên cứu học thuật. Chúng tôi đang nhìn vào cuộc đổ bộ vàng tiếp theo. Vào năm 1849, cuộc đổ bộ vàng ở California đã đạt đến đỉnh cao. Tất cả những gì mọi người phải làm là lọc nước sông liên tục để tìm vàng. Chúng tôi biết bây giờ rằng nhiều người không tìm thấy vàng, nhưng những gì chúng tôi thấy ngày nay rất thực. Tôi có thể thấy một làn sóng lớn của các công ty khởi nghiệp hai hoặc ba người sử dụng mô hình ngôn ngữ để tìm ra các vật liệu, thuốc và thành phần sản phẩm mới. Việc đốt token một cách thông minh có thể mang lại lợi nhuận lớn. Các trợ lý mã hóa như Claude Code, OpenAI Codex và Google Antigravity có thể loại bỏ rào cản cho các công ty SaaS, để lại một thế hệ các nhà khoa học máy tính rất có khả năng trong tìm kiếm khoa học. Nếu bạn làm việc cho một tổ chức phi lợi nhuận như First Principles, hoặc Bio[hub], có cơ hội để tìm ra các định luật vật lý và lý thuyết mới, hoặc các đóng góp khác trong sinh học. Nếu bạn muốn tạo ra doanh thu, bạn sẽ làm việc trên việc phát minh ra các sản phẩm mới dựa trên khoa học, như dược phẩm, vật liệu, pin, v.v.
Công việc của bạn cũng nhấn mạnh một khoảng cách xác minh ngày càng tăng, nơi các mô hình đạt được điểm số chuẩn mạnh nhưng thất bại trên các biến thể thế giới thực đơn giản. Khoảng cách này tiết lộ gì về những hạn chế hiện tại của các mô hình ngôn ngữ lớn?
Họ dường như có một trí nhớ tuyệt vời và có thể tổng quát hóa tốt. Các điểm chuẩn là tốt ở đầu nghiên cứu. Một khi bạn vượt qua một ngưỡng, bạn học được điểm chuẩn và không phải là vấn đề. Chúng tôi đã rất tốt trong những năm qua để đặt lại điểm chuẩn và làm cho chúng thậm chí còn khó hơn để đẩy ranh giới. Vấn đề với điểm chuẩn là rằng tại một thời điểm, chúng tôi bắt đầu quá tập trung và cuối cùng là gian lận. Xu hướng ở đây là làm cho các đối thủ trở nên trung thực hơn. Cá nhân tôi không quan tâm quá nhiều đến điểm chuẩn sau một vài bước nhảy. Bạn có thể có một sản phẩm tốt mà không phải là trong top 10 của bảng xếp hạng. Tôi cũng đã thấy nhiều sản phẩm kém mà tốt ở điểm chuẩn.
Trình bày của bạn gợi ý rằng các mô hình ngôn ngữ nhỏ kết hợp với tăng quy mô suy luận và kiến trúc đại lý có thể cho phép các hệ thống AI mạnh mẽ chạy ngoài trung tâm dữ liệu quy mô lớn. Sự phân cấp này có thể thay đổi cách AI được triển khai trên các ngành công nghiệp?
Chúng tôi đã thấy một sự nhấn mạnh lớn vào việc triển khai biên. Chúng tôi sẽ thấy các thiết bị thông minh hơn xung quanh chúng tôi chắc chắn. Microsoft đã làm việc trong nhiều năm trên 1bit LLM, đạt được khoảng 30 lần nén, cho phép nó chạy thậm chí các mô hình tiền phong trên một chip đơn trong tương lai. Chúng tôi đã theo dõi công việc này trong nhiều năm và tiến bộ là đáng kinh ngạc . Đặc biệt là trong lĩnh vực đeo được.
Một điều gì đó được đề cập trong NeurIPS năm ngoái là ý tưởng kết hợp các mô hình biên yếu với các mô hình tiền phong. Điều này cho phép bạn điều chỉnh sức mạnh suy luận của mình dựa trên băng thông của bạn trong một phổ liên tục. Buổi hội thảo Telco đầu tiên tại NeurIPS đã tiết lộ một xu hướng đặt GPU trên các tháp tế bào, điều này thú vị vì tháp tế bào không phải là một trung tâm dữ liệu hay một thiết bị biên. Điều đó giới thiệu một lớp mới trong phân cấp tính toán.
Một điều gì đó khác đã thoát khỏi LLM là đào tạo mô hình phân tán (và tôi không có nghĩa là đào tạo Gemini của Google trong các trung tâm dữ liệu từ xa.) Có một xu hướng rất thú vị đang bắt kịp với các thực thể độc lập đào tạo mô hình của riêng họ và người dùng kết hợp chúng như Lego để xây dựng các mô hình lớn hơn và mạnh mẽ hơn. Đây là một kiến trúc mô-đun rất hứa hẹn. Đây là cách các mô hình lớn được đào tạo. Các nhóm khác nhau xây dựng các mô hình chuyên dụng, và cuối cùng, họ cắm chúng lại với nhau như các khối Lego.
Sau khi phân tích hàng nghìn bài báo NeurIPS, bạn nghĩ cộng đồng nghiên cứu AI đang dự đoán tiến bộ một cách chính xác ở đâu, và nơi họ có thể đang bỏ lỡ những chuyển biến quan trọng nhất sắp tới?
Cộng đồng nghiên cứu không đưa ra dự đoán. Các nhà nghiên cứu có những động lực riêng, sự tò mò, tài trợ, may mắn và当然, trực giác. Họ có thể luôn bỏ lỡ các hướng thú vị, nhưng chắc chắn ai đó sẽ tìm thấy nó và nhặt nó lên vào một thời điểm nào đó trong tương lai. Đó là điều được mong đợi và nó là lành mạnh. Các giám đốc điều hành, nhà đầu tư và kỹ sư được yêu cầu xác định các xu hướng mới nổi để họ có thể đưa ra quyết định đúng và đặt cược giáo dục. Trong cửa sổ phân tích 5 năm của tôi, có những xu hướng được chọn sớm, và các tín hiệu khác bị bỏ lỡ. Đối với một số trong số chúng, vẫn còn thời gian để cưỡi sóng alpha.
Thị trường dữ liệu là điều mà tôi đã theo dõi trong nhiều năm, và chúng chỉ mới nhảy vọt trong năm nay. Thành phần bị thiếu là thuộc tính. Chúng tôi hiện có thể xác định dữ liệu đào tạo đã đóng góp cho một cuộc thi LLM trên đường bay. Điều đó có nghĩa bạn có thể trả cổ tức. Điều này đã là một cơ hội bị bỏ lỡ từ các nhà xuất bản đang trong các vụ kiện tập thể với các mô hình tiền phong. Một số trong số họ đã phải từ bỏ các thỏa thuận cấp phép phẳng, trong khi tôi tin rằng họ có cơ hội tạo ra doanh thu bền vững từ một mô hình thuộc tính.
Có một cuộc cách mạng đang đến trong lĩnh vực robot. Các mô hình thế giới mà NVIDIA và các công ty khác đã công bố đang thực hiện mô phỏng vật lý chính xác và có thể mở rộng. Vì vậy, hãy mong đợi AI sẽ trở nên vật lý hơn trong tương lai.
Kiến trúc chuyển đổi cuối cùng đã hợp nhất với các mô hình không gian trạng thái như RNN, mamba, v.v. và đã tạo ra các LLM nhỏ tuyệt vời. Chúng tôi hiện biết chính xác các hạn chế của chuyển đổi đóng vai trò chính trong hiệu suất, nhưng chúng tôi vẫn đang thiếu bước tiếp theo. Điều đó sẽ đến khi chuyển đổi đã được chứng minh là cứng và khá chắc chắn. Điều chúng tôi không biết là liệu nó sẽ là một con người hay một chuyển đổi thiết kế kiến trúc mới của LLM! Chuyển đổi đã thống nhất tất cả các kiến trúc phân mảnh trong NLP (đúng, đừng quên rằng GenAI bắt đầu từ các nhiệm vụ NLP cơ bản, chẳng hạn như phân loại thực thể). Nó đã hoạt động cho toán học, năm nay nó đã hoạt động cho bảng, nhưng nó chưa hoạt động cho vật lý. Tôi đã đếm được hơn 15 kiến trúc khác nhau. Vì vậy, kiến trúc mới thống nhất vật lý cũng có thể là kiến trúc thay thế chuyển đổi trong hành trình AGI.
Cảm ơn vì cuộc phỏng vấn tuyệt vời, độc giả muốn tìm hiểu thêm nên truy cập RelationalAI.
