Noah Schwartz, Đồng sáng lập & CEO của Quorum AI – Loạt bài phỏng vấn

Noah là một kiến trúc sư hệ thống AI. Trước khi thành lập Quorum AI, Noah đã dành 12 năm nghiên cứu học thuật, đầu tiên tại Đại học Southern California và gần đây nhất tại Northwestern với tư cách là Phó Chủ tịch Bộ môn Sinh học thần kinh. Công việc của ông tập trung vào việc xử lý thông tin trong não và ông đã chuyển đổi nghiên cứu của mình thành các sản phẩm trong thực tế ảo, giao diện não – máy tính, tầm nhìn máy tính và hệ thống điều khiển robot nhúng.

Sự quan tâm của bạn đến AI và robot bắt đầu từ khi bạn còn là một cậu bé. Bạn được giới thiệu đến những công nghệ này như thế nào?

Ngọn lửa ban đầu đến từ các bộ phim khoa học viễn tưởng và tình yêu với điện tử. Tôi nhớ mình đã xem bộ phim Tron khi mới 8 tuổi, sau đó là Electric Dreams, Short Circuit, DARYL, War Games và nhiều bộ phim khác trong những năm tiếp theo. Mặc dù nó được trình bày thông qua hư cấu, nhưng ý tưởng về trí tuệ nhân tạo đã khiến tôi choáng ngợp. Và mặc dù tôi chỉ mới 8 tuổi, tôi cảm thấy một kết nối ngay lập tức và một lực kéo mạnh mẽ đến AI mà không bao giờ giảm đi trong thời gian kể từ đó.

Làm thế nào mà niềm đam mê của bạn với cả hai lĩnh vực này lại phát triển?

Sự quan tâm của tôi đến AI và robot đã phát triển song song với niềm đam mê với não bộ. Cha của tôi là một giáo viên sinh học và thường dạy tôi về cơ thể, cách mọi thứ hoạt động và cách chúng được kết nối. Nhìn vào AI và nhìn vào não bộ cảm giác như là cùng một vấn đề – hoặc ít nhất, chúng có cùng một câu hỏi cuối cùng, đó là, Làm thế nào mà nó hoạt động? Tôi quan tâm đến cả hai, nhưng tôi không được tiếp xúc nhiều với AI hoặc robot trong trường học. Vì lý do đó, tôi đã theo đuổi AI trong thời gian rảnh rỗi và học sinh học về sinh học và tâm lý học trong trường.

Khi tôi vào đại học, tôi đã khám phá ra các cuốn sách Xử lý Phân tán Song song (PDP), điều này rất quan trọng với tôi. Đó là lần đầu tiên tôi được giới thiệu về AI thực sự, điều này sau đó đã dẫn tôi trở lại các tác phẩm kinh điển như Hebb, Rosenblatt và thậm chí McCulloch và Pitts. Tôi bắt đầu xây dựng mạng nơ-ron dựa trên giải phẫu thần kinh và những gì tôi đã học được từ các lớp học sinh học và tâm lý học trong trường. Sau khi tốt nghiệp, tôi đã làm việc như một kỹ sư mạng máy tính, xây dựng các mạng diện rộng phức tạp và viết phần mềm để tự động hóa và quản lý lưu lượng trên các mạng đó – một chút giống như xây dựng các bộ não lớn. Công việc này đã reignite niềm đam mê của tôi với AI và động viên tôi theo học sau đại học để nghiên cứu AI và khoa học thần kinh, và phần còn lại là lịch sử.

Trước khi thành lập Quorum AI, bạn đã dành 12 năm nghiên cứu học thuật, đầu tiên tại Đại học Southern California và gần đây nhất tại Northwestern với tư cách là Phó Chủ tịch Bộ môn Sinh học thần kinh. Tại thời điểm đó, công việc của bạn tập trung vào việc xử lý thông tin trong não. Bạn có thể giải thích một số nghiên cứu này không?

Trong một ý nghĩa rộng, nghiên cứu của tôi đang cố gắng hiểu câu hỏi: Não bộ làm việc như thế nào sử dụng chỉ những gì nó có sẵn? Để bắt đầu, tôi không đồng ý với ý tưởng rằng não bộ là một loại máy tính (theo nghĩa von Neumann). Tôi xem nó như một mạng lưới khổng lồ chủ yếu thực hiện các hoạt động kích thích-phản ứng và mã hóa tín hiệu. Trong mạng lưới khổng lồ này, có những mẫu kết nối rõ ràng giữa các khu vực chuyên môn hóa. Khi chúng ta zoom vào, chúng ta thấy rằng các nơ-ron không quan tâm đến tín hiệu mà chúng đang truyền tải hoặc phần nào của não mà chúng đang ở – chúng hoạt động dựa trên các quy tắc rất có thể dự đoán. Vì vậy, nếu chúng ta muốn hiểu chức năng của các khu vực chuyên môn hóa này, chúng ta cần đặt một số câu hỏi: (1) Khi một tín hiệu đầu vào đi qua mạng, nó hội tụ với các tín hiệu đầu vào khác như thế nào để tạo ra một quyết định? (2) Cấu trúc của các khu vực chuyên môn hóa này được hình thành như thế nào do kinh nghiệm? Và (3) chúng tiếp tục thay đổi như thế nào khi chúng ta sử dụng não bộ và học hỏi theo thời gian? Nghiên cứu của tôi đã cố gắng giải quyết những câu hỏi này bằng cách kết hợp nghiên cứu thực nghiệm với lý thuyết thông tin và mô hình hóa – điều này có thể cho phép chúng ta xây dựng các hệ thống quyết định nhân tạo và AI. Trong lĩnh vực sinh học thần kinh, tôi đã nghiên cứu về tính mềm dẻo của não và vi giải phẫu của các khu vực chuyên môn hóa như vỏ não thị giác.

Sau đó, bạn đã chuyển đổi công việc của mình sang thực tế ảo và giao diện não – máy tính. Bạn đã làm việc trên một số sản phẩm nào?

Vào khoảng năm 2008, tôi đã làm việc trên một dự án mà bây giờ chúng ta sẽ gọi là thực tế ảo, nhưng vào thời điểm đó, nó chỉ là một hệ thống theo dõi và dự đoán chuyển động của mắt, và sau đó sử dụng những dự đoán đó để cập nhật một thứ gì đó trên màn hình. Để làm cho hệ thống hoạt động trong thời gian thực, tôi đã xây dựng một mô hình sinh học lấy cảm hứng từ việc dự đoán nơi người xem sẽ dựa trên các chuyển động nhỏ của mắt xảy ra ngay trước khi bạn di chuyển mắt. Sử dụng mô hình này, tôi có thể dự đoán nơi người xem sẽ nhìn, sau đó cập nhật bộ đệm khung trong thẻ đồ họa trong khi mắt của họ vẫn đang di chuyển. Khi mắt của họ đến vị trí mới trên màn hình, hình ảnh đã được cập nhật. Điều này chạy trên một máy tính để bàn thông thường vào năm 2008, mà không có độ trễ. Công nghệ này khá tuyệt vời, nhưng dự án không thể đi đến vòng tài trợ tiếp theo, vì vậy nó đã chết.

Vào năm 2011, tôi đã thực hiện một nỗ lực phát triển sản phẩm tập trung hơn và xây dựng một mạng nơ-ron có thể thực hiện việc khám phá tính năng trên dữ liệu EEG luồng mà chúng tôi đo từ da đầu. Đây là chức năng cốt lõi của hầu hết các hệ thống giao diện não – máy tính. Dự án này cũng là một thí nghiệm về làm thế nào nhỏ của một dấu chân chúng ta có thể nhận được điều này chạy? Chúng tôi đã có một bộ đeo đọc một vài kênh dữ liệu EEG tại 400Hz được gửi qua Bluetooth đến điện thoại Android để khám phá tính năng và phân loại, sau đó gửi đến một bộ điều khiển Arduino được chúng tôi cải tiến vào một chiếc xe điều khiển từ xa ngoài cửa hàng. Khi sử dụng, một người đang đeo bộ đeo EEG có thể điều khiển và lái xe bằng cách thay đổi suy nghĩ của mình từ việc làm toán tinh thần sang hát một bài hát. Thuật toán chạy trên điện thoại và tạo ra một “dấu vân tay” não “cá nhân hóa” cho mỗi người dùng, cho phép họ chuyển đổi giữa các thiết bị robot khác nhau mà không cần phải đào tạo lại trên mỗi thiết bị. Câu khẩu hiệu chúng tôi nghĩ ra là “Kiểm soát não gặp gỡ cắm và chạy.”

Vào năm 2012, chúng tôi đã mở rộng hệ thống này để hoạt động theo cách phân tán hơn trên phần cứng nhỏ hơn. Chúng tôi đã sử dụng nó để điều khiển một cánh tay robot nhiều đoạn, nhiều khớp, trong đó mỗi đoạn được điều khiển bởi một bộ xử lý độc lập chạy một phiên bản nhúng của AI. Thay vì sử dụng một bộ điều khiển tập trung để điều khiển cánh tay, chúng tôi cho phép các đoạn tự tổ chức và đạt đến mục tiêu của chúng theo cách phân tán, giống như kiến hình thành một cây cầu kiến, các đoạn cánh tay sẽ hợp tác để đạt đến một số mục tiêu trong không gian.

Chúng tôi tiếp tục di chuyển theo cùng một hướng khi chúng tôi lần đầu tiên ra mắt Quorum AI – ban đầu được gọi là Quorum Robotics – vào năm 2013. Chúng tôi nhanh chóng nhận ra rằng hệ thống này rất tuyệt vời vì thuật toán và kiến trúc, không phải vì phần cứng, vì vậy vào cuối năm 2014, chúng tôi đã chuyển hoàn toàn sang phần mềm. Bây giờ, 8 năm sau, Quorum AI đang quay trở lại những gốc rễ robot của mình bằng cách áp dụng khuôn khổ của chúng tôi cho Thử thách Robot Vũ trụ của NASA.

Việc từ bỏ công việc của bạn với tư cách là một giáo sư để khởi nghiệp phải là một quyết định khó khăn. Điều gì đã truyền cảm hứng cho bạn để làm điều này?

Đó là một bước nhảy vĩ đại đối với tôi theo nhiều cách, nhưng một khi cơ hội xuất hiện và con đường trở nên rõ ràng, thì đó là một quyết định dễ dàng. Khi bạn là một giáo sư, bạn suy nghĩ trong các khung thời gian nhiều năm và bạn làm việc trên các mục tiêu nghiên cứu dài hạn. Khởi nghiệp là hoàn toàn ngược lại với điều đó. Tuy nhiên, một điều mà cuộc sống học thuật và khởi nghiệp có chung là cả hai đều yêu cầu bạn phải học hỏi và giải quyết vấn đề liên tục. Trong một khởi nghiệp, điều đó có thể có nghĩa là cố gắng tái thiết một giải pháp để giảm thiểu rủi ro phát triển sản phẩm hoặc có thể là nghiên cứu một lĩnh vực dọc mới có thể được hưởng lợi từ công nghệ của chúng tôi. Làm việc trong AI là điều gần nhất với một “sự kêu gọi” mà tôi từng cảm nhận, vì vậy mặc dù tất cả những thách thức và những lúc lên xuống, tôi cảm thấy may mắn vô cùng khi làm việc mà tôi đang làm.

Sau đó, bạn đã phát triển Quorum AI, công ty phát triển trí tuệ nhân tạo phân tán thời gian thực cho tất cả các thiết bị và nền tảng. Bạn có thể giải thích chính xác nền tảng AI này làm gì không?

Nền tảng được gọi là Môi trường cho Các tác nhân ảo (EVA), và nó cho phép người dùng xây dựng, đào tạo và triển khai các mô hình bằng cách sử dụng động cơ AI Engram của chúng tôi. Engram là một lớp bọc linh hoạt và di động mà chúng tôi đã xây dựng xung quanh các thuật toán học không giám sát của mình. Các thuật toán này rất hiệu quả đến mức chúng có thể học hỏi trong thời gian thực, khi mô hình đang tạo ra dự đoán. Bởi vì các thuật toán này không phụ thuộc vào nhiệm vụ, không có đầu vào hoặc đầu ra rõ ràng cho mô hình, vì vậy dự đoán có thể được thực hiện theo cách Bayesian cho bất kỳ chiều nào mà không cần phải đào tạo lại và không gặp phải sự quên lãng thảm khốc. Các mô hình cũng minh bạch và có thể phân tách, nghĩa là chúng có thể được kiểm tra và tách thành các chiều riêng lẻ mà không mất đi những gì đã được học.

Sau khi được xây dựng, các mô hình có thể được triển khai thông qua EVA đến bất kỳ loại nền tảng nào, từ phần cứng nhúng tùy chỉnh hoặc lên đến đám mây. EVA (và phần mềm chủ nhà có thể nhúng) cũng chứa một số công cụ để mở rộng chức năng của mỗi mô hình. Một số ví dụ nhanh: Các mô hình có thể được chia sẻ giữa các hệ thống thông qua một hệ thống xuất bản / đăng ký, cho phép các hệ thống phân tán đạt được học tập phân tán theo thời gian và không gian. Các mô hình cũng có thể được triển khai như các tác nhân tự động để thực hiện các nhiệm vụ tùy ý, và vì mô hình không phụ thuộc vào nhiệm vụ, nhiệm vụ có thể được thay đổi trong thời gian chạy mà không cần đào tạo lại. Mỗi tác nhân riêng lẻ có thể được mở rộng với một EVA “ảo” riêng, cho phép tác nhân mô phỏng các mô hình của các tác nhân khác theo cách không phụ thuộc vào quy mô. Cuối cùng, chúng tôi đã tạo ra một số lớp bọc cho các hệ thống học sâu và học tăng cường (dựa trên Keras) để cho phép các mô hình này hoạt động trên nền tảng, cùng với các hệ thống dựa trên Engram linh hoạt hơn.

Bạn đã mô tả các thuật toán Quorum AI trước đây là “thi ca toán học”. Bạn có thể giải thích điều đó không?

Khi bạn xây dựng một mô hình, cho dù bạn đang mô hình hóa não bộ hay bạn đang mô hình hóa dữ liệu bán hàng cho doanh nghiệp của mình, bạn bắt đầu bằng cách kiểm kê dữ liệu của mình, sau đó bạn thử các lớp mô hình đã biết để cố gắng gần đúng hệ thống. Về bản chất, bạn đang tạo ra những bản phác thảo thô của hệ thống để xem cái nào trông đẹp nhất. Bạn không mong đợi mọi thứ sẽ phù hợp với dữ liệu rất tốt, và có một số thử nghiệm và sai lầm khi bạn kiểm tra các giả thuyết khác nhau về cách hệ thống hoạt động, nhưng với một chút khéo léo, bạn có thể bắt được dữ liệu khá tốt.

Khi tôi mô hình hóa tính mềm dẻo của não, tôi bắt đầu với cách tiếp cận thông thường là lập bản đồ tất cả các con đường phân tử, trạng thái chuyển tiếp và động lực học mà tôi nghĩ sẽ quan trọng. Nhưng tôi đã phát hiện ra rằng khi tôi giảm hệ thống xuống các thành phần cơ bản nhất và sắp xếp các thành phần đó theo một cách nhất định, mô hình trở nên chính xác hơn và hơn nữa cho đến khi nó phù hợp với dữ liệu gần như hoàn hảo. Nó giống như mọi toán tử và biến trong các phương trình đều chính xác là những gì chúng cần phải là, không có gì thừa, và mọi thứ đều cần thiết để phù hợp với dữ liệu.

Khi tôi cắm mô hình vào các mô phỏng lớn hơn, như phát triển hệ thống thị giác hoặc nhận dạng khuôn mặt, ví dụ, nó có thể hình thành các mẫu kết nối rất phức tạp mà chúng ta thấy trong não. Bởi vì mô hình là toán học, những mẫu não này có thể được hiểu thông qua phân tích toán học, cung cấp cái nhìn sâu sắc mới về những gì não đang học. Kể từ đó, chúng tôi đã giải quyết và đơn giản hóa các phương trình vi phân tạo nên mô hình, cải thiện hiệu quả tính toán theo nhiều cấp độ. Nó có thể không phải là thi ca thực sự, nhưng nó chắc chắn cảm giác như thế!

Nền tảng công cụ Quorum AI cho phép các thiết bị kết nối với nhau để học hỏi và chia sẻ dữ liệu mà không cần phải giao tiếp thông qua các máy chủ dựa trên đám mây. Bạn có thể giải thích lợi thế của việc làm như vậy so với việc sử dụng đám mây không?

Chúng tôi cung cấp cho người dùng tùy chọn đặt AI của họ ở bất kỳ nơi nào họ muốn, mà không ảnh hưởng đến chức năng của AI. Tình trạng hiện tại trong phát triển AI là các công ty thường bị buộc phải thỏa hiệp về bảo mật, quyền riêng tư hoặc chức năng vì họ chỉ có thể sử dụng các dịch vụ AI dựa trên đám mây. Nếu các công ty cố gắng xây dựng AI của riêng họ, điều này thường đòi hỏi rất nhiều tiền và thời gian, và ROI thường không đáng để mạo hiểm. Nếu các công ty muốn triển khai AI đến các thiết bị riêng lẻ không kết nối với đám mây, dự án nhanh chóng trở nên không thể. Kết quả là việc áp dụng AI trở thành một ảo tưởng.

Nền tảng của chúng tôi làm cho AI trở nên dễ tiếp cận và chi phí hợp lý, cung cấp cho các công ty một cách để khám phá phát triển và áp dụng AI mà không có gánh nặng kỹ thuật hoặc tài chính. Và hơn thế nữa, nền tảng của chúng tôi cho phép người dùng chuyển từ phát triển sang triển khai trong một bước liền mạch.

Nền tảng của chúng tôi cũng tích hợp và kéo dài tuổi thọ của các mô hình “di sản” khác như học sâu hoặc học tăng cường, giúp các công ty tái sử dụng và tích hợp các hệ thống hiện có vào các ứng dụng mới. Tương tự, vì các thuật toán và kiến trúc của chúng tôi là duy nhất, các mô hình của chúng tôi không phải là hộp đen, vì vậy bất cứ điều gì hệ thống học được đều có thể được khám phá và giải thích bởi con người, và sau đó mở rộng sang các lĩnh vực kinh doanh khác.

Nó được cho là rằng Trí tuệ nhân tạo phân tán (DAI) có thể dẫn đến Trí tuệ nhân tạo tổng quát (AGI). Bạn có đồng ý với lý thuyết này không?

Tôi đồng ý, và không chỉ vì đó là con đường chúng tôi đã vạch ra cho mình! Khi bạn nhìn vào não bộ, nó không phải là một hệ thống đơn nhất. Nó được tạo thành từ các hệ thống phân tán riêng biệt, mỗi hệ thống chuyên về một loạt các chức năng não bộ. Chúng tôi có thể không biết hệ thống cụ thể đang làm gì, nhưng chúng tôi biết rằng quyết định của nó phụ thuộc đáng kể vào loại thông tin nó nhận được và thông tin đó thay đổi như thế nào theo thời gian. (Đây là lý do tại sao các chủ đề khoa học thần kinh như connectome rất phổ biến.)

Theo quan điểm của tôi, nếu chúng ta muốn xây dựng AI linh hoạt và hoạt động như não bộ, thì có ý nghĩa khi xem xét các kiến trúc phân tán như những gì chúng ta thấy trong não bộ. Một người có thể lập luận rằng các kiến trúc học sâu như mạng nơ-ron đa lớp hoặc CNN có thể được tìm thấy trong não bộ, và điều đó là đúng, nhưng những kiến trúc đó dựa trên những gì chúng ta biết về não bộ 50 năm trước.

Thay thế cho DAI là tiếp tục lặp lại các kiến trúc đơn nhất, không linh hoạt, gắn chặt với một không gian quyết định duy nhất, như những gì chúng ta thấy trong học sâu hoặc học tăng cường (hoặc bất kỳ phương pháp học có giám sát nào, nói chung). Tôi sẽ đề xuất rằng những hạn chế này không chỉ là vấn đề điều chỉnh tham số hoặc thêm lớp hoặc điều kiện dữ liệu – những vấn đề này là cơ bản đối với học sâu và học tăng cường, ít nhất là theo cách chúng ta định nghĩa chúng ngày nay, vì vậy các phương pháp mới là cần thiết nếu chúng ta muốn tiếp tục đổi mới và xây dựng AI của ngày mai.

Bạn có tin rằng việc đạt được AGI bằng DAI có nhiều khả năng hơn là các phương pháp học tăng cường và / hoặc học sâu đang được các công ty như OpenAI và DeepMind theo đuổi không?

Có, mặc dù từ những gì họ đang viết trên blog, tôi nghi ngờ OpenAI và DeepMind đang sử dụng nhiều kiến trúc phân tán hơn so với những gì họ để lộ. Chúng tôi bắt đầu nghe nhiều hơn về các thách thức đa hệ thống như học chuyển giao hoặc học phân tán / phân tán, và cũng về cách các phương pháp học sâu và học tăng cường không hoạt động cho những thách thức này. Chúng tôi cũng bắt đầu nghe từ những người tiên phong như Yoshua Bengio về cách các kiến trúc lấy cảm hứng từ sinh học có thể bắc cầu! Tôi đã làm việc về AI lấy cảm hứng từ sinh học trong gần 20 năm, vì vậy tôi cảm thấy rất tốt về những gì chúng tôi đã học được tại Quorum AI và cách chúng tôi đang sử dụng nó để xây dựng những gì chúng tôi tin là thế hệ AI tiếp theo sẽ vượt qua những hạn chế này.

Có điều gì khác mà bạn muốn chia sẻ về Quorum AI không?

Chúng tôi sẽ xem trước nền tảng mới cho AI phân tán và dựa trên tác nhân tại <a href="https://d Machine Learning Conference in tháng 6 2020. During the talk, I plan to present some recent data on several topics, including sentiment analysis as a bridge to achieving empathic AI. I would like to give a special thank you to Noah for these amazing answers, and I would recommend that you visit the Quorum to learn more.