Noah Schwartz, Đồng sáng lập & CEO của Quorum AI – Loạt phỏng vấn

Noah là một kiến trúc sư hệ thống AI. Trước khi thành lập Quorum AI, Noah đã dành 12 năm nghiên cứu học thuật, đầu tiên tại Đại học Southern California và gần đây nhất tại Northwestern với tư cách là Phó Chủ tịch Bộ môn Sinh học thần kinh. Công việc của ông tập trung vào xử lý thông tin trong não và ông đã chuyển đổi nghiên cứu của mình thành các sản phẩm trong thực tế ảo tăng cường, giao diện não máy tính, tầm nhìn máy tính và hệ thống điều khiển robot nhúng.

Sự quan tâm của bạn đến AI và robot bắt đầu từ khi bạn còn là một cậu bé. Bạn được giới thiệu đến những công nghệ này như thế nào?

Nguyên nhân ban đầu đến từ các bộ phim khoa học viễn tưởng và tình yêu với điện tử. Tôi nhớ mình đã xem bộ phim Tron khi mới 8 tuổi, sau đó là Electric Dreams, Short Circuit, DARYL, War Games và nhiều bộ phim khác trong vài năm tiếp theo. Mặc dù nó được trình bày thông qua hư cấu, nhưng ý tưởng về trí tuệ nhân tạo đã khiến tôi choáng ngợp. Và mặc dù tôi chỉ mới 8 tuổi, nhưng tôi cảm thấy sự kết nối ngay lập tức và một lực kéo mạnh mẽ đối với AI mà không bao giờ giảm đi trong thời gian kể từ đó.

Làm thế nào niềm đam mê của bạn với cả hai đều phát triển?

Sự quan tâm của tôi đến AI và robot đã phát triển song song với niềm đam mê với não bộ. Cha tôi là một giáo viên sinh học và sẽ dạy tôi về cơ thể, cách mọi thứ hoạt động và cách mọi thứ được kết nối. Nhìn vào AI và nhìn vào não bộ cảm giác như cùng một vấn đề đối với tôi – hoặc ít nhất, chúng có cùng một câu hỏi cuối cùng, đó là, Làm thế nào nó hoạt động? Tôi quan tâm đến cả hai, nhưng tôi không được tiếp xúc nhiều với AI hoặc robot ở trường. Vì lý do đó, tôi đã theo đuổi AI vào thời gian rảnh rỗi và học sinh học sinh học và tâm lý học ở trường.

Khi tôi vào đại học, tôi đã khám phá ra các cuốn sách Xử lý Phân tán Song song (PDP), điều này rất quan trọng đối với tôi. Đó là sự giới thiệu đầu tiên của tôi về AI thực sự, điều này sau đó đã dẫn tôi trở lại các tác phẩm kinh điển như Hebb, Rosenblatt và thậm chí McCulloch và Pitts. Tôi đã bắt đầu xây dựng mạng nơ-ron dựa trên giải phẫu thần kinh và những gì tôi đã học được từ các lớp học sinh học và tâm lý học ở trường. Sau khi tốt nghiệp, tôi đã làm việc như một kỹ sư mạng máy tính, xây dựng các mạng diện rộng phức tạp và viết phần mềm để tự động hóa và quản lý lưu lượng truy cập trên các mạng đó – giống như xây dựng các bộ não lớn. Công việc này đã làm sống lại niềm đam mê AI của tôi và động viên tôi đi học sau đại học để nghiên cứu AI và khoa học thần kinh, và phần còn lại là lịch sử.

Trước khi thành lập Quorum AI, bạn đã dành 12 năm nghiên cứu học thuật, đầu tiên tại Đại học Southern California và gần đây nhất tại Northwestern với tư cách là Phó Chủ tịch Bộ môn Sinh học thần kinh. Tại thời điểm đó, công việc của bạn tập trung vào xử lý thông tin trong não. Bạn có thể giải thích một số nghiên cứu này không?

Theo nghĩa rộng, nghiên cứu của tôi đang cố gắng hiểu câu hỏi: Não bộ làm việc bằng cách sử dụng những gì nó có sẵn như thế nào? Đầu tiên, tôi không đồng ý với ý tưởng rằng não bộ là một loại máy tính (theo nghĩa von Neumann). Tôi coi nó như một mạng lưới khổng lồ chủ yếu thực hiện các hoạt động xử lý kích thích và mã hóa tín hiệu. Trong mạng lưới khổng lồ này, có các mẫu kết nối rõ ràng giữa các khu vực chuyên biệt về chức năng. Khi chúng ta thu hẹp, chúng ta thấy rằng các nơ-ron không quan tâm đến tín hiệu mà chúng đang truyền tải hoặc phần nào của não bộ chúng đang ở – chúng hoạt động dựa trên các quy tắc rất có thể đoán trước. Vì vậy, nếu chúng ta muốn hiểu chức năng của các khu vực chuyên biệt này, chúng ta cần hỏi một số câu hỏi: (1) Khi một tín hiệu đầu vào đi qua mạng, làm thế nào nó hội tụ với các tín hiệu đầu vào khác để tạo ra một quyết định? (2) Cấu trúc của các khu vực chuyên biệt này được hình thành như thế nào do kinh nghiệm? Và (3) chúng tiếp tục thay đổi như thế nào khi chúng ta sử dụng não bộ và học hỏi theo thời gian? Nghiên cứu của tôi đã cố gắng giải quyết những câu hỏi này bằng cách kết hợp nghiên cứu thực nghiệm với lý thuyết thông tin và mô hình hóa và mô phỏng – điều này có thể cho phép chúng ta xây dựng các hệ thống quyết định nhân tạo và AI. Trong các thuật ngữ sinh học thần kinh, tôi đã nghiên cứu về tính mềm dẻo của não và vi giải phẫu của các khu vực chuyên biệt như vỏ thị giác.

Sau đó, bạn đã chuyển đổi công việc của mình thành thực tế ảo tăng cường và giao diện não máy tính. Một số sản phẩm bạn đã làm việc bao gồm những gì?

Vào khoảng năm 2008, tôi đã làm việc trên một dự án mà bây giờ chúng ta sẽ gọi là thực tế ảo tăng cường, nhưng vào thời điểm đó, nó chỉ là một hệ thống để theo dõi và dự đoán chuyển động mắt, và sau đó sử dụng những dự đoán đó để cập nhật một cái gì đó trên màn hình. Để làm cho hệ thống hoạt động trong thời gian thực, tôi đã xây dựng một mô hình sinh học lấy cảm hứng từ dự đoán nơi người xem sẽ dựa trên các vi chuyển động mắt – các chuyển động mắt nhỏ xảy ra ngay trước khi bạn di chuyển mắt. Sử dụng mô hình này, tôi có thể dự đoán nơi người xem sẽ nhìn, sau đó cập nhật bộ đệm khung trong thẻ đồ họa trong khi mắt của họ vẫn đang di chuyển. Bằng thời gian mắt của họ đạt đến vị trí mới trên màn hình, hình ảnh đã được cập nhật. Điều này chạy trên một máy tính để bàn thông thường vào năm 2008, mà không có độ trễ. Công nghệ này khá tuyệt vời, nhưng dự án không thể đi đến vòng tài trợ tiếp theo, vì vậy nó đã chết.

Vào năm 2011, tôi đã có một nỗ lực tập trung hơn vào phát triển sản phẩm và xây dựng một mạng nơ-ron có thể thực hiện việc khám phá tính năng trên dữ liệu EEG luồng mà chúng tôi đo từ da đầu. Đây là chức năng cốt lõi của hầu hết các hệ thống giao diện não máy tính. Dự án cũng là một thí nghiệm về cách nhỏ của một dấu chân chúng ta có thể nhận được điều này chạy? Chúng tôi đã có một tai nghe đọc một vài kênh dữ liệu EEG tại 400Hz được gửi qua Bluetooth đến một điện thoại Android để khám phá tính năng và phân loại, sau đó gửi đến một bộ điều khiển Arduino được trang bị lại vào một xe điều khiển từ xa ngoài trời. Khi sử dụng, một người đang đeo tai nghe EEG có thể lái xe và điều khiển xe bằng cách thay đổi suy nghĩ của họ từ việc làm toán tinh thần sang hát một bài hát. Thuật toán chạy trên điện thoại và tạo ra một “dấu vân tay” não “cá nhân hóa” cho mỗi người dùng, cho phép họ chuyển đổi giữa các thiết bị robot khác nhau mà không cần phải đào tạo lại trên mỗi thiết bị. Câu khẩu hiệu chúng tôi nghĩ ra là “Kontrol Não gặp gỡ Cắm và Chơi”.

Vào năm 2012, chúng tôi đã mở rộng hệ thống này để nó hoạt động theo cách phân tán hơn trên phần cứng nhỏ hơn. Chúng tôi đã sử dụng nó để điều khiển một cánh tay robot nhiều đoạn, nhiều khớp, trong đó mỗi đoạn được điều khiển bởi một bộ xử lý độc lập chạy một phiên bản nhúng của AI. Thay vì sử dụng một bộ điều khiển tập trung để điều khiển cánh tay, chúng tôi cho phép các đoạn tự tổ chức và đạt được mục tiêu của chúng trong một cách phân tán, giống như đàn. Nói cách khác, giống như kiến hình thành một cây cầu kiến, các đoạn cánh tay sẽ hợp tác để đạt được một mục tiêu trong không gian.

Chúng tôi tiếp tục di chuyển theo cùng hướng khi chúng tôi lần đầu tiên ra mắt Quorum AI – ban đầu được gọi là Quorum Robotics – vào năm 2013. Chúng tôi nhanh chóng nhận ra rằng hệ thống này tuyệt vời vì thuật toán và kiến trúc, không phải vì phần cứng, vì vậy vào cuối năm 2014, chúng tôi đã chuyển hoàn toàn sang phần mềm. Bây giờ, 8 năm sau, Quorum AI đang quay trở lại những gốc rễ robot của mình bằng cách áp dụng khuôn khổ của chúng tôi cho Thử thách Robot Không gian NASA.

Việc từ bỏ công việc của bạn với tư cách là một giáo sư để khởi động một công ty khởi nghiệp phải là một quyết định khó khăn. Điều gì đã truyền cảm hứng cho bạn để làm điều này?

Đó là một bước nhảy vĩ đại đối với tôi theo nhiều cách, nhưng một khi cơ hội xuất hiện và con đường trở nên rõ ràng, thì đó là một quyết định dễ dàng. Khi bạn là một giáo sư, bạn suy nghĩ trong các khung thời gian nhiều năm và bạn làm việc trên các mục tiêu nghiên cứu dài hạn. Khởi động một công ty khởi nghiệp là điều ngược lại với điều đó. Tuy nhiên, một điều mà cuộc sống học thuật và cuộc sống khởi nghiệp có chung là cả hai đều yêu cầu bạn phải học hỏi và giải quyết vấn đề liên tục. Trong một công ty khởi nghiệp, điều đó có thể có nghĩa là cố gắng tái chế một giải pháp để giảm thiểu rủi ro phát triển sản phẩm hoặc có thể nghiên cứu một lĩnh vực dọc mới có thể được hưởng lợi từ công nghệ của chúng tôi. Làm việc trong AI là điều gần nhất với một “sự kêu gọi” mà tôi đã từng cảm nhận, vì vậy mặc dù tất cả các thách thức và sự lên xuống, tôi cảm thấy vô cùng may mắn khi được làm công việc mà tôi làm.

Bạn đã phát triển Quorum AI, điều này phát triển trí tuệ nhân tạo phân tán thời gian thực cho tất cả các thiết bị và nền tảng. Bạn có thể giải thích chính xác nền tảng AI này làm gì không?

Nền tảng được gọi là Môi trường cho Các tác nhân ảo (EVA), và nó cho phép người dùng xây dựng, đào tạo và triển khai mô hình bằng cách sử dụng Động cơ Trí nhớ Engram của chúng tôi. Engram là một lớp bọc linh hoạt và di động mà chúng tôi đã xây dựng xung quanh các thuật toán học không giám sát của chúng tôi. Các thuật toán này hiệu quả đến mức chúng có thể học hỏi trong thời gian thực, khi mô hình đang tạo ra dự đoán. Bởi vì các thuật toán này không phụ thuộc vào nhiệm vụ, không có đầu vào hoặc đầu ra rõ ràng cho mô hình, vì vậy dự đoán có thể được thực hiện theo cách Bayesian cho bất kỳ chiều nào mà không cần đào tạo lại và không bị quên lãng thảm khốc. Các mô hình cũng minh bạch và có thể phân解, có nghĩa là chúng có thể được kiểm tra và chia thành các chiều riêng lẻ mà không mất đi những gì đã được học.

Khi đã được xây dựng, các mô hình có thể được triển khai thông qua EVA đến bất kỳ loại nền tảng nào, từ phần cứng nhúng tùy chỉnh hoặc lên đến đám mây. EVA (và phần mềm chủ nhà có thể nhúng) cũng chứa một số công cụ để mở rộng chức năng của mỗi mô hình. Một số ví dụ nhanh: Các mô hình có thể được chia sẻ giữa các hệ thống thông qua một hệ thống xuất bản / đăng ký, cho phép các hệ thống phân tán đạt được học tập phân tán theo thời gian và không gian. Các mô hình cũng có thể được triển khai như các tác nhân tự động để thực hiện các nhiệm vụ tùy ý, và vì mô hình này không phụ thuộc vào nhiệm vụ, nhiệm vụ có thể được thay đổi trong thời gian chạy mà không cần đào tạo lại. Mỗi tác nhân riêng lẻ có thể được mở rộng với một EVA “ảo” riêng, cho phép tác nhân mô phỏng các mô hình của các tác nhân khác theo cách không phụ thuộc vào quy mô. Cuối cùng, chúng tôi đã tạo ra một số lớp bọc cho các hệ thống học sâu và học tăng cường (dựa trên Keras) để cho phép các mô hình này hoạt động trên nền tảng, cùng với các hệ thống dựa trên Engram linh hoạt hơn.

Bạn đã mô tả các thuật toán Quorum AI trước đây là “thi ca toán học”. Bạn có nghĩa là gì bằng cách này?

Khi bạn xây dựng một mô hình, cho dù bạn đang mô hình hóa não bộ hay bạn đang mô hình hóa dữ liệu bán hàng cho doanh nghiệp của mình, bạn bắt đầu bằng cách thực hiện một danh sách kiểm tra dữ liệu của mình, sau đó bạn thử các lớp mô hình đã biết để cố gắng và xấp xỉ hệ thống. Về bản chất, bạn đang tạo ra các bản phác thảo thô của hệ thống để xem cái gì trông đẹp nhất. Bạn không mong đợi mọi thứ sẽ phù hợp với dữ liệu rất tốt, và có một số thử nghiệm và sai lầm khi bạn kiểm tra các giả thuyết khác nhau về cách hệ thống hoạt động, nhưng với một chút khéo léo, bạn có thể bắt được dữ liệu khá tốt.

Khi tôi mô hình hóa tính mềm dẻo của não, tôi bắt đầu với cách tiếp cận thông thường của việc lập bản đồ tất cả các con đường phân tử, trạng thái chuyển tiếp và động lực học mà tôi nghĩ sẽ quan trọng. Nhưng tôi đã tìm thấy rằng khi tôi giảm hệ thống xuống các thành phần cơ bản nhất và sắp xếp các thành phần đó theo một cách cụ thể, mô hình đã trở nên chính xác hơn và chính xác hơn cho đến khi nó phù hợp với dữ liệu gần như hoàn hảo. Nó giống như mọi toán tử và biến trong các phương trình đều chính xác là những gì chúng cần phải là, không có gì thừa, và mọi thứ đều cần thiết để phù hợp với dữ liệu.

Khi tôi cắm mô hình vào các mô phỏng lớn hơn và lớn hơn, như sự phát triển của hệ thống thị giác hoặc nhận dạng khuôn mặt, ví dụ, nó có thể hình thành các mẫu kết nối rất phức tạp phù hợp với những gì chúng ta thấy trong não bộ. Bởi vì mô hình là toán học, những mẫu não bộ này có thể được hiểu thông qua phân tích toán học, cung cấp cái nhìn sâu sắc mới về những gì não bộ đang học. Kể từ đó, chúng tôi đã giải quyết và đơn giản hóa các phương trình vi phân tạo nên mô hình, cải thiện hiệu quả tính toán với nhiều cấp độ của magnitude. Nó có thể không phải là thi ca thực sự, nhưng nó chắc chắn cảm thấy như vậy!

Nền tảng công cụ Quorum AI cho phép các thiết bị kết nối với nhau để học hỏi và chia sẻ dữ liệu mà không cần phải giao tiếp thông qua các máy chủ dựa trên đám mây. Ưu điểm của việc thực hiện theo cách này so với việc sử dụng đám mây là gì?

Chúng tôi cung cấp cho người dùng tùy chọn đặt AI của họ bất kỳ nơi nào họ muốn, mà không ảnh hưởng đến chức năng của AI. Tình trạng hiện tại trong phát triển AI là các công ty thường bị buộc phải thỏa hiệp về bảo mật, quyền riêng tư hoặc chức năng vì họ chỉ có tùy chọn sử dụng các dịch vụ AI dựa trên đám mây. Nếu các công ty cố gắng xây dựng AI của riêng họ trong nhà, nó thường đòi hỏi rất nhiều tiền và thời gian, và ROI hiếm khi xứng đáng với rủi ro. Nếu các công ty muốn triển khai AI đến các thiết bị không kết nối đám mây, dự án nhanh chóng trở nên không thể.

Nền tảng của chúng tôi làm cho AI trở nên dễ tiếp cận và tiết kiệm, cung cấp cho các công ty một cách để khám phá phát triển AI và áp dụng mà không có gánh nặng kỹ thuật hoặc tài chính. Và hơn thế nữa, nền tảng của chúng tôi cho phép người dùng đi từ phát triển đến triển khai trong một bước liền mạch.

Nền tảng của chúng tôi cũng tích hợp và mở rộng thời gian sử dụng của các mô hình “di sản” như học sâu hoặc học tăng cường, giúp các công ty tái sử dụng và tích hợp các hệ thống hiện có vào các ứng dụng mới. Tương tự, vì các thuật toán và kiến trúc của chúng tôi là duy nhất, các mô hình của chúng tôi không phải là các hộp đen, vì vậy mọi thứ mà hệ thống học được có thể được khám phá và giải thích bởi con người, và sau đó được mở rộng sang các lĩnh vực kinh doanh khác.

Nó được cho là bởi một số người rằng Trí tuệ Nhân tạo Phân tán (DAI) có thể dẫn đầu đến Trí tuệ Nhân tạo Tổng quát (AGI). Bạn có đồng ý với lý thuyết này không?

Tôi đồng ý, và không chỉ vì đó là con đường chúng tôi đã đặt ra cho mình! Khi bạn nhìn vào não bộ, nó không phải là một hệ thống đơn nhất. Nó được tạo thành từ các hệ thống phân tán riêng biệt, mỗi hệ thống chuyên về một phạm vi chức năng hẹp của não. Chúng tôi có thể không biết một hệ thống cụ thể đang làm gì, nhưng chúng tôi biết rằng quyết định của nó phụ thuộc đáng kể vào loại thông tin nó nhận được và cách thông tin đó thay đổi theo thời gian. (Điều này là lý do tại sao các chủ đề khoa học thần kinh như connectome rất phổ biến.)

Theo quan điểm của tôi, nếu chúng ta muốn xây dựng AI linh hoạt và hoạt động giống như não bộ, thì việc xem xét các kiến trúc phân tán như những kiến trúc mà chúng ta thấy trong não bộ là điều hợp lý. Một người có thể lập luận rằng các kiến trúc học sâu như mạng nơ-ron nhiều lớp hoặc CNN có thể được tìm thấy trong não bộ, và điều đó là đúng, nhưng những kiến trúc này dựa trên những gì chúng ta biết về não bộ 50 năm trước.

Sự thay thế cho DAI là tiếp tục lặp lại các kiến trúc đơnolithic, không linh hoạt, được耦 hợp chặt chẽ với một không gian quyết định đơn, như những gì chúng ta thấy trong học sâu hoặc học tăng cường (hoặc bất kỳ phương pháp học giám sát nào, nói chung). Tôi sẽ đề xuất rằng những hạn chế này không chỉ là vấn đề điều chỉnh tham số hoặc thêm lớp hoặc điều kiện dữ liệu – những vấn đề này là cơ bản cho học sâu và học tăng cường, ít nhất là theo cách chúng ta định nghĩa ngày nay, vì vậy các phương pháp mới là cần thiết nếu chúng ta muốn tiếp tục đổi mới và xây dựng AI của ngày mai.

Bạn có tin rằng việc đạt được AGI bằng DAI có khả năng hơn là học tăng cường và / hoặc các phương pháp học sâu đang được các công ty như OpenAI và DeepMind theo đuổi không?

Vâng, mặc dù từ những gì họ đang đăng trên blog, tôi nghi ngờ OpenAI và DeepMind đang sử dụng nhiều kiến trúc phân tán hơn những gì họ để lộ. Chúng tôi bắt đầu nghe nhiều hơn về các thách thức đa hệ thống như học chuyển giao hoặc học phân tán / liên bang, và trùng hợp, về cách các phương pháp học sâu và học tăng cường không hoạt động cho những thách thức này. Chúng tôi cũng bắt đầu nghe từ những người tiên phong như Yoshua Bengio về cách các kiến trúc lấy cảm hứng từ sinh học có thể bắc cầu! Tôi đã làm việc trên AI lấy cảm hứng từ sinh học trong gần 20 năm, vì vậy tôi cảm thấy rất tốt về những gì chúng tôi đã học được tại Quorum AI và cách chúng tôi đang sử dụng nó để xây dựng những gì chúng tôi tin là thế hệ AI tiếp theo sẽ vượt qua những hạn chế này.

Có điều gì khác bạn muốn chia sẻ về Quorum AI không?

Chúng tôi sẽ xem trước nền tảng mới của mình cho AI phân tán và dựa trên tác nhân tại Hội nghị Máy học Phân tán và Liên bang vào tháng 6 năm 2020. Trong bài nói, tôi dự định sẽ trình bày một số dữ liệu gần đây về các chủ đề như phân tích tình cảm như một cây cầu để đạt được AI đồng cảm.

Tôi muốn gửi lời cảm ơn đặc biệt đến Noah vì những câu trả lời tuyệt vời này, và tôi sẽ giới thiệu bạn đến Quorum để tìm hiểu thêm.