Zuzanna Stamirowska, Đồng sáng lập và CEO của Pathway – Loạt phỏng vấn

Zuzanna Stamirowska, Đồng sáng lập và CEO của Pathway, là một nhà nghiên cứu chuyển sang xây dựng, trước đây đã làm việc về các hiện tượng xuất hiện và sự tiến hóa của mạng lưới lớn. Các dự án của cô đã được công nhận bởi Viện Hàn lâm Khoa học Quốc gia Hoa Kỳ, và cô nắm giữ bằng Tiến sĩ về Hệ thống Phức tạp. Zuzanna, cùng với CTO Jan Chorowski và CSO Adrian Kosowski, lãnh đạo một đội đã xây dựng các công cụ AI mở với hơn 62.000 ngôi sao trên GitHub.

Pathway đang tái tưởng tượng cách các mô hình AI suy nghĩ, nhằm tạo ra các hệ thống hoạt động liên tục và thích ứng hơn là theo lô. Sau hậu trường, công cụ và kiến trúc của nó cho phép các mô hình xử lý, học hỏi và tiến hóa trong thời gian thực. Công ty đã thu hút sự hậu thuẫn từ các nhân vật nổi tiếng như Lukasz Kaiser (đồng sáng lập Transformer) và các công ty đầu tư mạo hiểm nổi bật.

Điều gì đã thúc đẩy bạn khởi động Pathway, và làm thế nào nền tảng phức tạp, lý thuyết trò chơi và hiện tượng xuất hiện của bạn đã định hình tầm nhìn và hướng đi kỹ thuật của công ty?

Chúng tôi muốn tạo ra AI có thể suy nghĩ và thích ứng như con người. Chúng tôi nhận ra rằng điều này có nghĩa là các hệ thống AI (mô hình học sâu, hoặc đường ống học máy được xây dựng từ nhiều khối xây dựng) có khả năng học hỏi liên tục dựa trên dữ liệu từ môi trường, cải thiện với kinh nghiệm, đôi khi “sửa chữa” quan điểm trước đó của chúng về thế giới. Chúng tôi thực sự đã nhận được sự quan tâm đáng kể về chủ đề “học máy không học”. Trên mô hình, các hệ thống như vậy cần một lớp kỹ thuật toàn diện để thu thập dữ liệu tại nguồn và cung cấp nó ngay lập tức vào các hệ thống động.

Sau khi làm việc về sự xuất hiện trong các mạng phức tạp, tôi đã phát triển một số giả thuyết mà chúng tôi đã áp dụng trực tiếp hoặc gần như trực tiếp trong BDH. Điều thú vị là tôi đã đặt một số cược với các đồng nghiệp của mình (Adrian, CSO, và Jan, CTO) và tôi đã thắng một số chai rượu cognac rất tốt. Đầu tiên, chúng tôi tin rằng trí thông minh tự nhiên là kết quả của cấu trúc xuất hiện và hành động của các nơ-ron trong não (điều này rõ ràng, không có cược ở đây). Thứ hai, từ nghiên cứu trước đây của tôi, tôi biết rằng chức năng định hình mạng (đã thắng cược này). Trong công việc trước đây, tôi đã phát hiện ra điều này cho thương mại, và các nhà khoa học thần kinh đã nghiên cứu điều này cho các dây thần kinh và giác quan ở chuột, v.v. Thứ ba, là thực tế rằng việc định hình cấu trúc mạng phải tuân theo một số quy tắc rất địa phương liên quan đến “láng giềng” của mỗi vị trí mạng (trong trường hợp này, một nút là một nơ-ron) (đã thắng cược này). Những phần khác đến từ kiến thức của tôi về hệ thống tương tác hạt – hãy nghĩ về từ tính, chẳng hạn – nơi các hạt điều chỉnh spin của chúng để phù hợp với trường ngoài và tạo ra một loại “trật tự tự phát”. Đây là loại toán học mà tôi đã sử dụng khi làm việc về lý thuyết trò chơi trên đồ thị. Khi đặt tất cả những điều này lại với nhau, từ ngày đầu tiên của sự tồn tại của công ty, chúng tôi đã có một niềm tin mạnh mẽ rằng sự thưa thớt (cấu trúc giống như đồ thị) sẽ là một bước tiến quan trọng trong sự phát triển của AI.

Việc tính đến khái niệm thời gian là rất quan trọng và cũng khá đặc trưng của nền tảng của tôi, vì sự xuất hiện thường xảy ra theo thời gian.

Khi bạn khởi động công ty vào năm 2020, những giả thuyết đầu tiên của bạn về những gì các hệ thống AI trong tương lai nên làm khác biệt, và những quan điểm đó đã thay đổi như thế nào?

Chúng tôi đã có một niềm tin mạnh mẽ từ đầu rằng AI cần phải sống, thích ứng và tích hợp trong các quy trình lớn. Nó nên học hỏi trực tiếp từ nguồn, với dữ liệu thô nhất có thể.

Trước hết, chúng tôi đã làm điều này cho các phương pháp học máy cổ điển hơn, và trên đường đi, chúng tôi đã xây dựng các lớp kỹ thuật cho phép các hệ thống như vậy được triển khai dễ dàng trong thế giới thực. Bây giờ, chúng tôi đã mang cách tiếp cận này đến học sâu.

Chúng tôi biết rằng các yếu tố thời gian và cấu trúc (mạng) sẽ là chìa khóa cho sự tiến bộ hướng tới Trí tuệ Nhân tạo Tổng quát (AGI). Chúng tôi đã viết điều này trong một số tài liệu sáng lập của chúng tôi từ năm 2020.

Bạn có thể giải thích kiến trúc “hậu Transformer” mà bạn đang giới thiệu và nó khác với các hệ thống dựa trên Transformer hiện tại như thế nào?

Kiến trúc mới của chúng tôi, được gọi là Baby Dragon Hatchling (BDH), kết nối chính thức cách các Transformer xử lý thông tin với cách lý luận xuất hiện trong não.

BDH hoạt động như một hệ thống vật lý: một mô hình tính toán giống như não, trong đó các nơ-ron hợp tác để khám phá sự kiện tiếp theo, quan trọng nhất. Lý luận ngữ cảnh không bị giới hạn bởi các hạn chế kỹ thuật, chẳng hạn như chiều dài ngữ cảnh cố định của Transformer, mà thay vào đó, nó mở rộng với số lượng nơ-ron của mô hình.

Khi đặt tất cả những điều này vào các thuật ngữ kỹ thuật, không giống như trong Transformer, trong BDH, chúng tôi có sự chú ý tuyến tính, vectơ khóa truy vấn thưa thớt và không có giới hạn về kích thước cửa sổ ngữ cảnh.

Cách tiếp cận này mở ra cánh cửa cho các hệ thống có thể học hỏi trong khi thực hiện, duy trì các chuỗi lý luận dài và thích ứng liên tục trong ngữ cảnh.

Một tính năng cốt lõi của hệ thống là tính địa phương: dữ liệu quan trọng nằm ngay cạnh các vị trí mà nó đang được xử lý. Điều này tối thiểu hóa giao tiếp và loại bỏ các nút thắt đau đớn nhất của tất cả các mô hình lý luận trong quá trình suy luận: băng thông bộ nhớ-lõi.

Làm thế nào cách tiếp cận của bạn rút ra cảm hứng từ lý luận của con người, đặc biệt là trong việc cho phép thích ứng và học hỏi liên tục mà không cần đào tạo lại?

BDH mang trí tuệ tự nhiên và trí tuệ nhân tạo gần nhau hơn.

Kiến trúc này được lấy cảm hứng từ cách các nơ-ron và synap hoạt động trong não. Nó ánh xạ các cơ chế chú ý sinh học đến khái niệm tính toán về chú ý trong học máy, tạo ra một cầu nối có thể mở rộng giữa các Transformer và não.

BDH mang chú ý gần với các tham số mô hình, trình bày chúng như hai phản ánh của cùng một động lực hệ thống não, với chú ý thay đổi ở tốc độ nhanh khi các sự kiện mới trở nên rõ ràng trong quá trình lý luận, và các tham số mô hình thay đổi chậm hơn khi hệ thống thay đổi thói quen lâu dài của nó. Điều này gần hơn với cách chúng tôi tin rằng lý luận hoạt động trong não.

Chúng tôi xem BDH như một cột mốc trên con đường thiết kế các hệ thống AI có thể lý luận giữa nhiệm vụ, cải thiện với kinh nghiệm và thích ứng mà không cần đào tạo lại – những thuộc tính chúng tôi liên kết với lý luận của con người.

Một trong những thách thức trong AI là cân bằng giữa sự ổn định và khả năng thích ứng – làm thế nào bạn đảm bảo các hệ thống có thể học hỏi trong thời gian thực mà không mất đi kiến thức trong quá khứ?

BDH dựa trên cấu trúc không có quy mô và trạng thái nơ-ron địa phương để duy trì lý luận trong các khoảng thời gian dài, cân bằng giữa sự ổn định và khả năng tích hợp kiến thức và quan sát mới. Sự cân bằng sức khỏe tự nhiên này dễ dàng trích xuất và theo dõi trong suốt vòng đời của một mô hình.

Với BDH, chúng tôi đang đặt lý luận làm nền tảng của trí tuệ. Với công việc hiện tại, chúng tôi đang tiến bộ về một giả thuyết về vai trò của kiến thức trong các Mô hình Ngôn ngữ Lớn: nó không phải là về những gì là “đúng”, mà về những gì là “hữu ích” trong một ngữ cảnh nhất định để tiến bộ trong một chuỗi lý luận nhất định. Ví dụ, nếu kiến thức được ngữ cảnh hóa, thì đột nhiên không có sự mâu thuẫn giữa thế giới của chúng ta tuân theo các quy luật của tự nhiên và thực tế là chúng ta biết một câu chuyện dân gian thừa nhận sự tồn tại của những nàng tiên và phép thuật. Theo cách tương tự, không có sự mâu thuẫn đối với một mô hình xem xét nhiều giả thuyết dự báo khác nhau, với các giả định lạc quan và bi quan hơn, trong một chuỗi suy nghĩ duy nhất.

Các mô hình dựa trên BDH có được các sự kiện mới trong suốt cuộc đời của chúng theo cách được ngữ cảnh hóa. Chúng có thể tự sửa chữa vì điều đó. Bằng cách hiển thị các thống kê dễ theo dõi về hoạt động của nơ-ron và kiểm soát chi tiết đối với việc chuyển giao kiến thức từ ngữ cảnh vào các tham số mô hình, kiến trúc giúp kiểm soát rủi ro của các “ngữ cảnh lỗi thời” xuất hiện tại một thời điểm không thuận lợi.

Những sự đánh đổi kỹ thuật trong việc xây dựng một động cơ xử lý dữ liệu trực tiếp có thể duy trì những khả năng này ở quy mô lớn?

Dịch vụ doanh nghiệp của Pathway dựa trên động cơ xử lý dữ liệu nhanh nhất trên thị trường. Động cơ đó là nền tảng cho khả năng xử lý các đầu vào thời gian thực của chúng tôi và phản ứng với thông tin mới với độ trễ thấp. Với đột phá BDH hiện tại, chúng tôi đảm bảo rằng khả năng thích ứng thời gian thực này mở rộng đến các mô hình AI cơ bản được sử dụng trong các triển khai. Mục tiêu tổng thể của chúng tôi cho các triển khai quy mô lớn là chuyển từ tối ưu hóa tĩnh sang xây dựng cơ sở hạ tầng có thể xử lý lý luận dài hạn.

Những trường hợp sử dụng nào là những trường hợp sử dụng hấp dẫn nhất thực sự đòi hỏi giai đoạn AI tiếp theo, và các hệ thống dựa trên Transformer hiện tại thiếu sót ở đâu?

Nhiều đổi mới đã mở rộng chức năng của AI tạo ra để thích ứng nhanh với thông tin mới và phụ thuộc sâu vào ‘thời gian trên nhiệm vụ’, nhưng không gì đã có thể thay thế việc thuê một người tài năng cao.

Câu trả lời nhanh chóng và đơn giản là chúng tôi đang nói về bất kỳ nhiệm vụ nào hiện yêu cầu hơn 2 giờ và 17 phút làm việc hợp lý của một chuyên gia con người. Đây là giới hạn hiện tại của GPT5 theo METER.

Chúng tôi đã có những cuộc thảo luận tuyệt vời với các đối tác thiết kế trong doanh nghiệp, những người yêu cầu cá nhân hóa sâu, các mô hình học hỏi trên công việc từ dữ liệu khan hiếm và bảo mật của việc triển khai.

BDH làm cho nó tương đối đơn giản cho một doanh nghiệp để giải quyết các quy trình phức tạp như:

• Đóng một quý cho một công ty đại chúng
• Sự tạo sinh động của các khóa học hành động tiếp theo trong các môi trường có rủi ro cao là rất phù hợp trong cả bán hàng và quốc phòng.
• Quản lý đầu tư

NATO đã sử dụng công nghệ của Pathway để xử lý dữ liệu quân sự và xã hội trực tiếp, cho phép các hệ thống lập kế hoạch thích ứng khi tình huống phát triển. La Poste đang sử dụng Live AI của Pathway để quản lý hoạt động của mình một cách động trong thời gian thực. Các ngành như tài chính và chăm sóc sức khỏe, nơi dữ liệu khan hiếm hoặc nhạy cảm, có thể được hưởng lợi từ các mô hình yêu cầu ít dữ liệu hơn nhưng cung cấp thông tin sâu sắc hơn và phán quyết đáng tin cậy hơn.

Bạn có thể chia sẻ các ví dụ về cách các tổ chức như NATO, La Poste hoặc Formula 1 đã áp dụng công nghệ của bạn và tác động mà nó đã mang lại?

NATO, La Poste và các đội Formula 1 đã áp dụng công nghệ của Pathway.

Pathway cung cấp cho NATO công nghệ xử lý dữ liệu mạnh mẽ và đổi mới để mở khóa các khả năng mới cho sử dụng quan trọng ở quy mô lớn. Với trình diễn chức năng của chúng tôi, Công cụ Mô phỏng Kích hoạt Tăng cường (REST), chúng tôi đã phát triển nền tảng cho sự phát triển thêm của các giải pháp hỗ trợ AI cho NATO. Sử dụng Pathway để kết nối dữ liệu nguồn mở đã tăng tốc nhận thức về tình hình và đưa nó lên mức cần thiết mà NATO yêu cầu để hoạt động thành công trong những năm 2020.

La Poste sử dụng Pathway để cải thiện các quy trình liên quan đến đơn vị vận chuyển của họ. Với Khung Pathway, La Poste dự đoán hoạt động của họ tự động trong thời gian thực và tạo ra phân tích chất lượng trực tiếp về hoạt động vận chuyển của họ. Với Pathway, công ty đã có thể tối ưu hóa hậu cần của mình một cách động, giảm thời gian giao hàng, thời gian xử lý / thời gian dẫn, và tăng độ tin cậy. Hơn nữa, họ đã đạt được sự giảm đáng kể chi phí hoạt động (giảm 50% chi phí sở hữu trong một số trường hợp).

Đội đua Formula 1 tận dụng Pathway để thích ứng chiến lược trong điều kiện thời gian thực, áp lực cao. Công ty muốn một nền tảng cho người dùng tạo các Hàm được Định nghĩa bởi Người dùng (UDFs) một cách độc lập và đáp ứng các nhu cầu kinh doanh khác nhau, từ thể thao điện tử / đua mô hình, đến xe hơi và đua công thức. Khung Dữ liệu Trực tiếp của Pathway cho phép chuyển đổi dữ liệu tiên tiến tại đội đua Formula 1 với độ trễ thấp nhất (tốc độ xử lý nhanh hơn 90 lần so với trước đây).

Những chướng ngại vật lớn nhất để triển khai các hệ thống thích ứng trong các ngành như chăm sóc sức khỏe hoặc quốc phòng là gì, và bạn giải quyết chúng như thế nào?

Theo thiết kế, các LLM hiện tại tạo ra nội dung “mới” mà không có sự phán xét thực sự – hãy gọi nó là ‘gen’ trong gen AI. Nhiều ngành công nghiệp được quy định chặt chẽ cần quản trị theo định nghĩa và không sẵn sàng triển khai các quy trình kinh doanh được thúc đẩy bởi AI mà không có tính lặp lại, tin cậy và khả năng quan sát được. Điều iron là để triển khai AI, các doanh nghiệp thường ‘làm giảm’ chức năng và giới thiệu sự phức tạp bổ sung để tuân thủ các quy định.

Theo thiết kế, BDH cho phép một doanh nghiệp quan sát và thích ứng với những gì đang xảy ra bên trong mô hình. Khả năng quan sát này trong các khoảng thời gian dài của ‘lý luận’ mang lại cho doanh nghiệp niềm tin để giải quyết các quy trình kinh doanh phức tạp hơn. BDH, theo thiết kế, vừa có thể quan sát được vừa nhận thức về các quy trình kinh doanh theo trục thời gian. Không cần các tập dữ liệu hoàn hảo, khổng lồ để học hỏi, không cần các cửa sổ ngữ cảnh cực dài, hoặc logic dán để quan sát.

Những cân nhắc đạo đức hoặc biện pháp bảo vệ nào là cần thiết khi các hệ thống AI bắt đầu học hỏi và thích ứng trong thời gian thực?

Các hệ thống học hỏi với kinh nghiệm thực sự có cơ hội tốt hơn để an toàn so với các hệ thống dựa trên Transformer hiện tại. Một yếu tố của điều này là thực tế rằng với việc học hỏi liên tục, chúng có cơ hội tự sửa chữa và cập nhật các quan niệm sai lầm nếu chúng đã sai.

Để đảm bảo sự an toàn của các hệ thống như vậy, chúng cần nhận được phản hồi theo thời gian. Điều này có nghĩa là chúng tôi cần tiếp tục cung cấp cho chúng dữ liệu mới và đảm bảo các vòng phản hồi để chúng hiểu được tác động của hoạt động của chính chúng. Điều này gần giống với Học tăng cường.

Thứ hai, một mô hình dựa trên BDH cung cấp khả năng giải thích, giúp con người dễ dàng hiểu cách nó hoạt động, mang lại cho con người quyền kiểm soát tốt hơn đối với chúng.

Điều gì sẽ xảy ra để một “hậu Transformer” trở thành một chuẩn mực chính thống trong cộng đồng AI?

Một mô hình trên thị trường cực kỳ hữu ích và có chi phí suy luận thấp hơn đáng kể trong khi nhanh hơn. Chúng tôi tin rằng có một cơ hội chiến thắng thị trường để đạt được, đặc biệt là trong doanh nghiệp.

Cảm ơn vì cuộc phỏng vấn tuyệt vời, độc giả muốn tìm hiểu thêm nên truy cập Pathway.