Tim Davis, Đồng sáng lập & Tổng thống của Modular – Loạt phỏng vấn

Tim Davis, là Đồng sáng lập & Tổng thống của Modular, một bộ công cụ tích hợp, có thể состав được, giúp đơn giản hóa cơ sở hạ tầng AI của bạn để nhóm của bạn có thể phát triển, triển khai và đổi mới nhanh hơn. Modular được biết đến nhiều nhất với việc phát triển Mojo, một ngôn ngữ lập trình mới kết hợp khoảng cách giữa nghiên cứu và sản xuất bằng cách kết hợp những gì tốt nhất của Python với hệ thống và siêu lập trình.

Doanh nhân lặp lại và Lãnh đạo sản phẩm. Tim đã giúp xây dựng, thành lập và mở rộng các phần lớn của cơ sở hạ tầng AI của Google (GOOGL ) tại Google Brain và Hệ thống lõi từ API (TensorFlow), trình biên dịch (XLA & MLIR) và thời gian chạy cho máy chủ (CPU/GPU/TPU) và TF Lite (Di động/Micro/Web), Android ML & NNAPI, cơ sở hạ tầng mô hình lớn & OSS cho hàng tỷ người dùng và thiết bị. Yêu thích chạy, xây dựng và mở rộng sản phẩm để giúp mọi người, và thế giới.

Khi nào bạn lần đầu tiên khám phá ra mã hóa, và điều gì thu hút bạn đến với nó?

Là một đứa trẻ lớn lên ở Úc, bố của tôi mang về nhà một Commodore 64C và trò chơi là thứ thu hút tôi – Boulder Dash, Maniac Mansion, Double Dragon – thật là một thời gian tuyệt vời. Máy tính đó đã giới thiệu tôi đến BASIC và việc mày mò với nó là sự giới thiệu thực sự đầu tiên của tôi về lập trình. Những thứ trở nên nghiêm túc hơn qua trường Trung học và Đại học nơi tôi sử dụng các ngôn ngữ tĩnh truyền thống cho các khóa học kỹ thuật, và theo thời gian tôi thậm chí còn mày mò với tất cả các cách lên đến Javascript và VBA, trước khi cuối cùng chọn Python như ngôn ngữ lập trình chính cho khoa học dữ liệu và AI. Tôi đã viết một số mã trong các công ty khởi nghiệp trước của mình nhưng những ngày này, tất nhiên, tôi sử dụng Mojo và công cụ chuỗi chúng tôi đã tạo ra xung quanh nó.

Trong hơn 5 năm bạn làm việc tại Google với tư cách là Giám đốc sản phẩm cao cấp và Lãnh đạo sản phẩm nhóm, nơi bạn đã giúp mở rộng các phần lớn của cơ sở hạ tầng AI của Google tại Google Brain. Bạn đã học được gì từ kinh nghiệm này?

Con người là những người xây dựng công nghệ và sản phẩm thay đổi thế giới, và đó là một nhóm người tận tâm gắn kết bởi một tầm nhìn lớn hơn mang họ đến thế giới. Google là một công ty tuyệt vời, với những người tuyệt vời, và tôi may mắn được gặp và làm việc với nhiều trong số những trí tuệ sáng nhất trong AI nhiều năm trước khi tôi chuyển đến tham gia nhóm Brain. Những bài học lớn nhất tôi đã học được là luôn tập trung vào người dùng và tiến bộ tiết lộ sự phức tạp, để trao quyền cho người dùng kể những câu chuyện độc đáo của họ với thế giới như sửa chữa Rạn san hô Barrier lớn hơn hoặc giúp những người như Jason the Drummer, và để thu hút và tập hợp một hỗn hợp đa dạng của người để thúc đẩy hướng tới một mục tiêu chung. Trong một công ty lớn với rất nhiều người thông minh và tài năng, điều này khó hơn bạn có thể tưởng tượng. Nhìn lại thời gian của tôi ở đó, điều thực sự đáng nhớ là những người bạn đã làm việc cùng.

Bạn có thể chia sẻ câu chuyện về nguồn gốc của Modular?

Chris và tôi gặp nhau tại Google và đã vận chuyển nhiều công nghệ có ảnh hưởng đến thế giới AI ngày nay. Tuy nhiên, chúng tôi cảm thấy AI đang bị kìm hãm bởi cơ sở hạ tầng quá phức tạp và phân mảnh mà chúng tôi chứng kiến trực tiếp khi triển khai các khối lượng công việc lớn cho hàng tỷ người dùng. Chúng tôi được thúc đẩy bởi mong muốn tăng tốc tác động của AI trên thế giới bằng cách nâng cao ngành công nghiệp lên phần mềm AI chất lượng sản xuất để chúng ta, như một xã hội toàn cầu, có thể có tác động lớn hơn đến cách chúng ta sống. Một người không thể giúp nhưng tự hỏi làm thế nào nhiều vấn đề AI có thể giúp giải quyết, làm thế nào nhiều bệnh tật được chữa khỏi, làm thế nào chúng ta có thể trở nên sản xuất hơn như một loài, để mở rộng sự tồn tại của chúng ta cho các thế hệ tương lai, bằng cách tăng sự thâm nhập của công nghệ tuyệt vời này.

Sau khi làm việc cùng nhau trong nhiều năm về cơ sở hạ tầng AI quy mô lớn – chúng tôi đã chứng kiến sự đau khổ của nhà phát triển đầu tiên – “tại sao mọi thứ không thể chỉ hoạt động”? Để thế giới có thể áp dụng và khám phá bản chất biến đổi của AI, chúng tôi cần phần mềm và cơ sở hạ tầng nhà phát triển có thể mở rộng từ nghiên cứu đến sản xuất, và có thể tiếp cận được. Điều này sẽ cho phép chúng tôi mở khóa cách tiếp cận khoa học mới – trong đó AI sẽ là rất quan trọng – và là một thách thức kỹ thuật lớn. Với bối cảnh động viên này, chúng tôi đã phát triển một niềm tin nội tại rằng chúng tôi có thể thiết lập để xây dựng một cách tiếp cận mới cho cơ sở hạ tầng AI, và trao quyền cho các nhà phát triển ở mọi nơi để sử dụng AI giúp làm cho thế giới trở thành một nơi tốt hơn. Chúng tôi cũng rất may mắn khi có nhiều người tham gia chúng tôi trên hành trình này, và chúng tôi có đội cơ sở hạ tầng AI tốt nhất thế giới là kết quả.

Bạn có thể thảo luận về cách ngôn ngữ lập trình Mojo ban đầu được xây dựng cho đội của bạn?

Tầm nhìn của Modular là để cho phép AI được sử dụng bởi bất kỳ ai, ở bất kỳ nơi nào. Mọi thứ chúng tôi làm tại Modular đều tập trung vào mục tiêu đó, và chúng tôi đi ngược lại từ đó trong cách chúng tôi xây dựng sản phẩm và công nghệ của mình. Trong ánh sáng này, đội phát triển của chúng tôi là điều quan trọng nhất đối với chúng tôi trước hết, và sau khi xây dựng rất nhiều cơ sở hạ tầng AI hiện có cho thế giới – chúng tôi cần phải xem xét kỹ lưỡng những gì sẽ cho phép đội của chúng tôi di chuyển nhanh hơn. Chúng tôi đã sống qua vấn đề ngôn ngữ hai thế giới trong AI – nơi các nhà nghiên cứu sống trong Python, và sản xuất và kỹ sư phần cứng sống trong C++ – và chúng tôi không có lựa chọn nào khác ngoài việc hoặc đi theo con đường đó, hoặc suy nghĩ lại cách tiếp cận hoàn toàn. Chúng tôi đã chọn cái sau. Có một nhu cầu rõ ràng để giải quyết vấn đề này, nhưng nhiều cách khác nhau để giải quyết nó – chúng tôi đã tiếp cận nó với niềm tin mạnh mẽ của chúng tôi về việc gặp gỡ hệ sinh thái ở nơi nó là ngày hôm nay, và cho phép một sự nâng cấp đơn giản vào tương lai. Đội của chúng tôi mang những vết sẹo của việc di chuyển phần mềm ở quy mô lớn, và chúng tôi không muốn lặp lại điều đó. Chúng tôi cũng nhận ra rằng không có ngôn ngữ nào ngày nay, theo quan điểm của chúng tôi, có thể giải quyết tất cả các thách thức chúng tôi đang cố gắng giải quyết cho AI và vì vậy chúng tôi đã thực hiện một cách tiếp cận từ nguyên tắc đầu tiên, và Mojo đã được sinh ra.

Làm thế nào Mojo cho phép mở rộng và di chuyển liền mạch trên nhiều loại phần cứng?

Chris, tôi và đội của chúng tôi tại Google (nhiều tại Modular) đã giúp đưa MLIR vào thế giới những năm trước – với mục tiêu giúp cộng đồng toàn cầu giải quyết các thách thức thực sự bằng cách cho phép các mô hình AI được đại diện và thực hiện nhất quán trên bất kỳ loại phần cứng nào. MLIR là một loại cơ sở hạ tầng trình biên dịch mã nguồn mở mới đã được áp dụng ở quy mô và đang nhanh chóng trở thành tiêu chuẩn mới để xây dựng trình biên dịch thông qua LLVM. Vì đội của chúng tôi có lịch sử trong việc tạo ra cơ sở hạ tầng này, điều tự nhiên là chúng tôi sử dụng nó mạnh mẽ tại Modular và điều này là nền tảng cho cách tiếp cận hiện đại của chúng tôi trong việc phát triển cơ sở hạ tầng AI mới cho thế giới. Đặc biệt, trong khi MLIR hiện đang được áp dụng nhanh chóng, Mojo là ngôn ngữ đầu tiên thực sự tận dụng sức mạnh của MLIR và hiển thị nó cho các nhà phát triển theo một cách độc đáo và dễ tiếp cận. Điều này có nghĩa là nó mở rộng từ các nhà phát triển Python đang viết ứng dụng, đến các kỹ sư hiệu suất đang triển khai mã hiệu suất cao, đến các kỹ sư phần cứng đang viết mã hệ thống cấp thấp cho phần cứng độc đáo của họ.

Tham chiếu đến Mojo cho rằng nó cơ bản là Python++, với khả năng tiếp cận của Python và hiệu suất cao của C. Đây có phải là một sự đơn giản hóa thô?

Mojo nên cảm thấy rất quen thuộc với bất kỳ lập trình viên Python nào, vì nó chia sẻ cú pháp của Python. Nhưng có một số sự khác biệt quan trọng mà bạn sẽ thấy khi bạn chuyển một chương trình Python đơn giản sang Mojo, bao gồm cả việc nó sẽ hoạt động ngay lập tức. Một trong những mục tiêu cốt lõi của chúng tôi cho Mojo là cung cấp một siêu tập hợp của Python – tức là, để làm cho Mojo tương thích với các chương trình Python hiện có – và để chấp nhận việc thực hiện CPython cho hỗ trợ hệ sinh thái dài. Sau đó, cho phép bạn dần dần tăng cường mã của mình và thay thế các phần không hoạt động bằng các tính năng cấp thấp của Mojo để quản lý bộ nhớ một cách rõ ràng, thêm loại, sử dụng tự động điều chỉnh và nhiều khía cạnh khác để có được hiệu suất của C hoặc tốt hơn! Chúng tôi cảm thấy Mojo mang lại cho bạn sự tốt nhất của cả hai thế giới và bạn không cần phải viết, và viết lại, các thuật toán của mình trong nhiều ngôn ngữ. Chúng tôi đánh giá cao Python++ là một mục tiêu khổng lồ, và sẽ là một nỗ lực nhiều năm, nhưng chúng tôi cam kết thực hiện nó và cho phép cộng đồng huyền thoại của chúng tôi với hơn 140K+ nhà phát triển giúp chúng tôi xây dựng tương lai cùng nhau.

Trong một bài phát biểu gần đây, Mojo được giới thiệu là nhanh hơn Python 35.000 lần, làm thế nào tốc độ này được tính toán?

Trên thực tế, nó hiện là 68.000 lần! Nhưng hãy công nhận rằng đó chỉ là một chương trình trong Mandelbrot – bạn có thể đi và đọc một loạt ba bài đăng trên blog về cách chúng tôi đạt được điều này – tại đây, tại đây và tại đây. Tất nhiên, chúng tôi đã làm điều này trong một thời gian dài và chúng tôi biết rằng các trò chơi hiệu suất không phải là những gì thúc đẩy việc áp dụng ngôn ngữ (mặc dù chúng rất thú vị!) – đó là tốc độ của nhà phát triển, khả năng sử dụng ngôn ngữ, công cụ chuỗi chất lượng cao & tài liệu, và một cộng đồng sử dụng cơ sở hạ tầng để phát minh và xây dựng theo cách chúng tôi thậm chí không thể tưởng tượng. Chúng tôi là những người xây dựng công cụ, và mục tiêu của chúng tôi là trao quyền cho thế giới sử dụng công cụ của chúng tôi, để tạo ra sản phẩm tuyệt vời và giải quyết vấn đề quan trọng. Nếu chúng tôi tập trung vào mục tiêu lớn hơn của mình, thì thực sự là tạo ra một ngôn ngữ đáp ứng bạn ở nơi bạn đang đứng ngày hôm nay và sau đó nâng bạn lên một thế giới tốt hơn. Mojo cho phép bạn có một ngôn ngữ có hiệu suất cao, có thể sử dụng, được nhập tĩnh và di động mà kết hợp hoàn hảo với mã Python hiện có của bạn – mang lại cho bạn sự tốt nhất của cả hai thế giới. Nó cho phép bạn tận dụng sức mạnh thực sự của phần cứng với đa luồng và song song theo cách mà Python thô không thể – mở khóa cộng đồng nhà phát triển toàn cầu để có một ngôn ngữ duy nhất mở rộng từ đầu đến cuối.

Phép thuật của Mojo là khả năng thống nhất các ngôn ngữ lập trình với một bộ công cụ, tại sao điều này lại quan trọng?

Ngôn ngữ luôn thành công bởi sức mạnh của hệ sinh thái và cộng đồng hình thành xung quanh chúng. Chúng tôi đã làm việc với các cộng đồng mã nguồn mở trong một thời gian dài, và chúng tôi rất suy nghĩ về việc tham gia vào cách đúng đắn và đảm bảo rằng chúng tôi làm đúng với cộng đồng. Chúng tôi đang làm việc rất chăm chỉ để vận chuyển cơ sở hạ tầng của mình, nhưng cần thời gian để mở rộng quy mô đội của chúng tôi – vì vậy chúng tôi sẽ không có tất cả các câu trả lời ngay lập tức, nhưng chúng tôi sẽ đến đó. Bước lại, mục tiêu của chúng tôi là nâng cao hệ sinh thái Python bằng cách chấp nhận toàn bộ hệ sinh thái hiện có, và chúng tôi không tìm cách làm cho nó bị phân mảnh như nhiều dự án khác. Tính tương tác chỉ làm cho nó dễ dàng hơn cho cộng đồng để thử cơ sở hạ tầng của chúng tôi, mà không cần phải viết lại tất cả mã của họ, và điều đó rất quan trọng đối với AI.

Ngoài ra, chúng tôi đã học được rất nhiều từ sự phát triển của cơ sở hạ tầng và công cụ AI trong 10 năm qua. Các hệ thống đơnolithic hiện có không dễ dàng mở rộng hoặc tổng quát hóa ngoài mục tiêu ban đầu và kết quả là một ngành công nghiệp triển khai AI phân mảnh lớn với hàng chục công cụ chuỗi mang các giao dịch và hạn chế khác nhau. Các mẫu thiết kế này đã làm chậm tốc độ đổi mới bằng cách ít có thể sử dụng hơn, ít di động hơn và khó mở rộng hơn.

Hệ thống AI thế hệ tiếp theo cần phải có chất lượng sản xuất và đáp ứng nhà phát triển ở nơi họ đang đứng. Nó không được yêu cầu một việc viết lại tốn kém, tái kiến trúc hoặc tái cơ sở của mã người dùng. Nó phải là đa khuôn khổ, đa đám mây và đa phần cứng native. Nó cần kết hợp hiệu suất và hiệu quả tốt nhất với khả năng sử dụng tốt nhất. Đây là cách duy nhất để giảm phân mảnh và mở khóa thế hệ tiếp theo của phần cứng, dữ liệu và đổi mới thuật toán.

Modular gần đây đã công bố huy động 100 triệu đô la tiền vốn mới, do General Catalyst và các nhà đầu tư hiện có GV (Google Ventures), SV Angel, Greylock và Factory dẫn đầu. Chúng ta nên mong đợi điều gì tiếp theo?

Vốn mới này sẽ được sử dụng chủ yếu để mở rộng đội của chúng tôi, tuyển dụng những người tốt nhất trong cơ sở hạ tầng AI, và tiếp tục đáp ứng nhu cầu thương mại khổng lồ mà chúng tôi đang chứng kiến cho nền tảng của mình. Modverse, cộng đồng của chúng tôi với hơn 130K+ nhà phát triển và 10K doanh nghiệp, đều đang tìm kiếm cơ sở hạ tầng của chúng tôi – vì vậy chúng tôi muốn đảm bảo rằng chúng tôi tiếp tục mở rộng và làm việc chăm chỉ để phát triển nó cho họ, và giao nó cho họ. Chúng tôi tự đặt mình vào một tiêu chuẩn rất cao, và các sản phẩm chúng tôi vận chuyển là sự phản ánh của ai chúng tôi là một đội, và ai chúng tôi trở thành như một công ty. Nếu bạn biết ai đó đang được thúc đẩy, ai yêu thích ranh giới của phần mềm và phần cứng, và ai muốn giúp thấy AI thâm nhập thế giới theo một cách có ý nghĩa và tích cực – hãy gửi họ đến với chúng tôi.

Điều gì là tầm nhìn của bạn cho tương lai của lập trình?

Lập trình nên là một kỹ năng mà mọi người trong xã hội có thể phát triển và sử dụng. Đối với nhiều người, “ý tưởng” của lập trình ngay lập tức gợi lên một hình ảnh của một nhà phát triển viết mã cấp thấp phức tạp đòi hỏi toán học và logic nặng – nhưng nó không cần phải được nhận thức theo cách đó. Công nghệ đã luôn là một công cụ năng suất lớn cho xã hội, và bằng cách làm cho lập trình trở nên dễ tiếp cận và sử dụng hơn, chúng tôi có thể trao quyền cho nhiều người hơn để chấp nhận nó. Trao quyền cho mọi người tự động hóa các quy trình lặp đi lặp lại và làm cho cuộc sống của họ trở nên đơn giản hơn là một cách mạnh mẽ để đưa thời gian trở lại cho mọi người.

Và trong Python, chúng tôi đã có một ngôn ngữ tuyệt vời đã đứng trước thử thách của thời gian – nó là ngôn ngữ phổ biến nhất thế giới, với một cộng đồng tuyệt vời – nhưng nó cũng có những hạn chế. Tôi tin rằng chúng tôi có một cơ hội lớn để làm cho nó trở nên mạnh mẽ hơn, và để khuyến khích nhiều hơn thế giới chấp nhận vẻ đẹp và sự đơn giản của nó. Như tôi đã nói trước đó, đó là về việc xây dựng sản phẩm có sự tiết lộ dần dần của sự phức tạp – cho phép các trừu tượng cấp cao, nhưng mở rộng đến các trừu tượng cấp thấp nhất cũng như. Chúng tôi đã chứng kiến một bước nhảy vĩ đại với các mô hình AI cho phép chuyển đổi văn bản-sang-mã tiến bộ – và những điều này sẽ chỉ trở nên được cá nhân hóa hơn theo thời gian – nhưng sau sự đổi mới ma thuật này vẫn là một nhà phát triển đang viết và triển khai mã để cung cấp năng lượng cho nó. Chúng tôi đã viết về điều này trong quá khứ – AI sẽ tiếp tục mở khóa sự sáng tạo và năng suất trên nhiều ngôn ngữ lập trình, nhưng tôi cũng tin rằng Mojo sẽ mở rộng khẩu độ hệ sinh thái thậm chí còn xa hơn, trao quyền cho sự tiếp cận, khả năng mở rộng và khả năng di động phần cứng nhiều hơn cho nhiều nhà phát triển trên thế giới.

Để kết thúc, AI sẽ thâm nhập vào cuộc sống của chúng ta theo những cách không thể kể, và nó sẽ tồn tại ở mọi nơi – vì vậy tôi hy vọng Mojo sẽ thúc đẩy các nhà phát triển đi và giải quyết những vấn đề quan trọng nhất của loài người nhanh hơn – không quan trọng họ sống ở đâu trên thế giới của chúng ta. Tôi nghĩ rằng đó là một tương lai đáng chiến đấu.

Cảm ơn vì cuộc phỏng vấn tuyệt vời, những người đọc muốn tìm hiểu thêm nên truy cập Modular.