Tim Davis, Đồng sáng lập & Chủ tịch của module – Chuỗi bài phỏng vấn

Tim Davis, là Đồng sáng lập và Chủ tịch của Modular, một bộ công cụ tích hợp, có thể kết hợp giúp đơn giản hóa cơ sở hạ tầng AI của bạn để nhóm của bạn có thể phát triển, triển khai và đổi mới nhanh hơn. Mô-đun được biết đến nhiều nhất với việc phát triển Mojo, một ngôn ngữ lập trình mới giúp thu hẹp khoảng cách giữa nghiên cứu và sản xuất bằng cách kết hợp những gì tốt nhất của Python với hệ thống và siêu lập trình.

Doanh nhân lặp lại và Trưởng nhóm sản phẩm. Tim đã giúp xây dựng, tìm ra và mở rộng quy mô phần lớn cơ sở hạ tầng AI của Google tại Bộ não Google và Hệ thống cốt lõi từ API (TensorFlow), Trình biên dịch (XLA & MLIR) và thời gian chạy cho máy chủ (CPU/GPU/TPU) và TF Lite (Di động/Micro/Web), Android ML & NNAPI, cơ sở hạ tầng mô hình lớn & PMNM cho hàng tỷ người dùng và thiết bị. Yêu thích việc điều hành, xây dựng và mở rộng quy mô sản phẩm để giúp đỡ mọi ngườivà thế giới.

Lần đầu tiên bạn khám phá ra việc viết mã là khi nào và điều gì đã thu hút bạn đến với nó?

Khi còn là một đứa trẻ lớn lên ở Úc, bố tôi đã mang về nhà một chiếc Commodore 64C và chơi game là thứ khiến tôi say mê – Boulder Dash, Maniac Mansion, Double Dragon – thật là khoảng thời gian đáng sống. Chiếc máy tính đó đã giới thiệu cho tôi BASIC và việc tìm hiểu về nó là lần giới thiệu thực sự đầu tiên của tôi về lập trình. Mọi thứ trở nên căng thẳng hơn ở trường Trung học và Đại học, nơi tôi sử dụng nhiều ngôn ngữ tĩnh truyền thống hơn cho các khóa học kỹ thuật và theo thời gian, tôi thậm chí còn chuyển sang Javascript và VBA, trước khi chuyển sang Python cho phần lớn lập trình làm ngôn ngữ dữ liệu. khoa học và AI. Tôi đã viết rất nhiều mã trong các công ty khởi nghiệp trước đây của mình nhưng tất nhiên hiện nay, tôi sử dụng Mojo và chuỗi công cụ mà chúng tôi đã tạo xung quanh nó.

Trong hơn 5 năm, anh đã làm việc tại Google với tư cách là Trưởng nhóm Sản phẩm và Quản lý Sản phẩm Cấp cao, hỗ trợ mở rộng quy mô phần lớn cơ sở hạ tầng AI của Google tại Google Brain. Anh đã học được gì từ trải nghiệm này?

Con người là những người xây dựng nên những công nghệ và sản phẩm thay đổi thế giới, và chính một nhóm người tận tâm bị ràng buộc bởi một tầm nhìn lớn hơn sẽ đưa họ đến với thế giới. Google là một công ty tuyệt vời với những con người tuyệt vời và tôi đã may mắn được gặp và làm việc với nhiều bộ óc thông minh nhất về AI cách đây nhiều năm khi tôi chuyển đến gia nhập nhóm Brain. Bài học lớn nhất mà tôi học được là luôn tập trung vào người dùng và dần dần bộc lộ sự phức tạp, trao quyền cho người dùng kể những câu chuyện độc đáo của họ với thế giới như sửa lỗi Rạn san hô Greater Barrier hoặc giúp đỡ mọi người như Tay trống Jasonvà để thu hút và tập hợp một nhóm người đa dạng để hướng tới một mục tiêu chung. Trong một công ty lớn gồm những người rất thông minh và tài năng, điều này khó hơn nhiều so với những gì bạn có thể tưởng tượng. Nghĩ lại thời gian tôi ở đó, những người làm việc cùng bạn luôn là những người thực sự đáng nhớ. Tôi sẽ luôn trân trọng nhìn lại và đánh giá cao việc nhiều người đã mạo hiểm với tôi và tôi vô cùng biết ơn họ đã làm như vậy, vì nhiều rủi ro trong số đó đã khuyến khích tôi trở thành một nhà lãnh đạo và con người tốt hơn, đào sâu và thực sự hiểu các hệ thống AI. Nó thực sự khiến tôi nhận ra sức mạnh sâu sắc mà AI có trong việc tác động đến thế giới và đây chính là lý do khiến tôi có cảm hứng và can đảm để rời đi và đồng sáng lập module.

Bạn có thể chia sẻ câu chuyện về nguồn gốc đằng sau Mô-đun không?

Chris và tôi gặp nhau tại Google và đưa ra nhiều công nghệ có ảnh hưởng, tác động đáng kể đến thế giới AI ngày nay. Tuy nhiên, chúng tôi cảm thấy AI đang bị cản trở bởi cơ sở hạ tầng quá phức tạp và phân mảnh mà chúng tôi đã tận mắt chứng kiến ​​việc triển khai khối lượng công việc lớn cho hàng tỷ người dùng. Chúng tôi được thúc đẩy bởi mong muốn tăng tốc tác động của AI trên thế giới bằng cách nâng ngành công nghiệp này hướng tới phần mềm AI chất lượng sản xuất để chúng tôi, với tư cách là một xã hội toàn cầu, có thể có tác động lớn hơn đến cách chúng ta sống. Người ta không thể không tự hỏi AI có thể giúp giải quyết bao nhiêu vấn đề, chữa khỏi bao nhiêu bệnh tật, loài người chúng ta có thể trở nên năng suất hơn đến mức nào, để nâng cao sự tồn tại của chúng ta cho các thế hệ tương lai, bằng cách tăng cường sự thâm nhập của công nghệ đáng kinh ngạc này.

Đã làm việc cùng nhau nhiều năm trên cơ sở hạ tầng AI quan trọng quy mô lớn - chúng tôi đã tận mắt chứng kiến ​​nỗi đau to lớn của nhà phát triển - "tại sao mọi thứ không thể hoạt động"? Để thế giới áp dụng và khám phá bản chất biến đổi to lớn của AI, chúng ta cần cơ sở hạ tầng dành cho nhà phát triển và phần mềm có quy mô từ nghiên cứu đến sản xuất và có khả năng tiếp cận cao. Điều này sẽ cho phép chúng ta mở ra con đường khám phá khoa học tiếp theo – trong đó AI sẽ rất quan trọng – và là một thách thức kỹ thuật lớnVới nền tảng động lực này, chúng tôi đã xây dựng niềm tin vững chắc rằng mình có thể bắt tay vào xây dựng một phương pháp tiếp cận mới cho cơ sở hạ tầng AI, và trao quyền cho các nhà phát triển ở khắp mọi nơi sử dụng AI để góp phần xây dựng một thế giới tốt đẹp hơn. Chúng tôi cũng rất may mắn khi có nhiều người đồng hành cùng chúng tôi trên hành trình này, và nhờ đó, chúng tôi có được đội ngũ cơ sở hạ tầng AI tốt nhất thế giới.

Bạn có thể thảo luận về cách ngôn ngữ lập trình Mojo ban đầu được xây dựng cho nhóm của bạn không?

Mô-đun tầm nhìn là cho phép mọi người, mọi nơi sử dụng AI. Mọi thứ chúng tôi làm tại module đều tập trung vào mục tiêu đó và chúng tôi đi ngược lại mục tiêu đó trong cách xây dựng sản phẩm và công nghệ của mình. Trong ánh sáng này, chúng tôi nhà phát triển riêng Vận tốc là điều quan trọng đầu tiên đối với chúng tôi và sau khi đã xây dựng rất nhiều cơ sở hạ tầng AI hiện có cho thế giới – chúng tôi cần xem xét cẩn thận điều gì sẽ giúp nhóm của chúng tôi tiến nhanh hơn. Chúng tôi đã vượt qua vấn đề ngôn ngữ hai thế giới trong AI – nơi các nhà nghiên cứu sống bằng Python, còn các kỹ sư phần cứng và sản xuất sống bằng C++ – và chúng tôi không có lựa chọn nào khác ngoài việc tiếp tục con đường đó hoặc suy nghĩ lại hoàn toàn về cách tiếp cận. Chúng tôi đã chọn cái sau. Rõ ràng là cần phải giải quyết vấn đề này, nhưng nhiều cách khác nhau để giải quyết vấn đề này – chúng tôi đã tiếp cận vấn đề này với niềm tin mãnh liệt rằng mình sẽ đáp ứng được hệ sinh thái như ngày nay và tạo điều kiện thuận lợi hơn cho tương lai. Nhóm của chúng tôi chịu đựng những vết sẹo của việc di chuyển phần mềm trên quy mô lớn và chúng tôi không muốn điều đó lặp lại. Theo quan điểm của chúng tôi, chúng tôi cũng nhận ra rằng ngày nay không có ngôn ngữ nào có thể giải quyết tất cả những thách thức mà chúng tôi đang cố gắng giải quyết cho AI và vì vậy chúng tôi đã thực hiện phương pháp tiếp cận theo nguyên tắc đầu tiên và Mojo đã ra đời.

Làm cách nào Mojo có thể mở rộng quy mô và di chuyển liền mạch trên nhiều loại phần cứng?

Chris, tôi và nhóm của chúng tôi tại Google (nhiều người ở module) đã giúp mang lại MLIR vào thế giới nhiều năm trước – với mục tiêu giúp cộng đồng toàn cầu giải quyết những thách thức thực sự bằng cách cho phép các mô hình AI được thể hiện và thực thi nhất quán trên mọi loại phần cứng. MLIR là một loại cơ sở hạ tầng trình biên dịch nguồn mở mới đã được áp dụng trên quy mô lớn và đang nhanh chóng trở thành tiêu chuẩn mới để xây dựng các trình biên dịch thông qua LLVMVới bề dày kinh nghiệm của đội ngũ chúng tôi trong việc xây dựng cơ sở hạ tầng này, việc chúng tôi tận dụng triệt để cơ sở hạ tầng này tại Modular là điều dễ hiểu, và điều này củng cố phương pháp tiếp cận tiên tiến của chúng tôi trong việc phát triển cơ sở hạ tầng AI mới cho thế giới. Quan trọng hơn, trong khi MLIR hiện đang được áp dụng nhanh chóng, Mojo là ngôn ngữ đầu tiên thực sự khai thác sức mạnh của MLIR và cung cấp nó cho các nhà phát triển theo một cách độc đáo và dễ tiếp cận. Điều này có nghĩa là nó có thể mở rộng quy mô từ các nhà phát triển Python đang viết ứng dụng, đến các kỹ sư hiệu suất đang triển khai mã hiệu suất cao, cho đến các kỹ sư phần cứng đang viết mã hệ thống cấp rất thấp cho phần cứng độc đáo của họ.

Các tài liệu tham khảo về Mojo khẳng định rằng về cơ bản nó là Python++, với khả năng truy cập của Python và hiệu suất cao của C. Đây có phải là sự đơn giản hóa quá mức không? Làm thế nào bạn sẽ mô tả nó?

Mojo có vẻ rất quen thuộc với bất kỳ lập trình viên Python nào vì nó có chung cú pháp của Python. Nhưng có một số khác biệt quan trọng mà bạn sẽ thấy khi chuyển một chương trình Python đơn giản sang Mojo, bao gồm cả việc chương trình này sẽ hoạt động ngay lập tức. Một trong những mục tiêu cốt lõi của chúng tôi đối với Mojo là cung cấp một siêu bộ Python - nghĩa là làm cho Mojo tương thích với các chương trình Python hiện có - và tận dụng việc triển khai CPython để hỗ trợ hệ sinh thái dài hạn. Sau đó, cho phép bạn tăng dần mã của mình và thay thế các phần không hoạt động bằng các tính năng cấp thấp hơn của Mojo để quản lý bộ nhớ một cách rõ ràng, thêm loại, sử dụng tính năng tự động điều chỉnh và nhiều khía cạnh khác để đạt được hiệu suất của C hoặc cao hơn! Chúng tôi cảm thấy Mojo mang đến cho bạn những điều tốt nhất của cả hai thế giới và bạn không phải viết đi viết lại các thuật toán của mình bằng nhiều ngôn ngữ. Chúng tôi đánh giá cao Python++ là một mục tiêu to lớn và sẽ là nỗ lực trong nhiều năm, nhưng chúng tôi cam kết biến nó thành hiện thực và tạo điều kiện cho cộng đồng huyền thoại gồm hơn 140 nghìn nhà phát triển của chúng tôi cùng nhau xây dựng tương lai.

Trong một bài phát biểu quan trọng gần đây, người ta đã chứng minh rằng Mojo nhanh hơn Python 35,000 lần, tốc độ này được tính như thế nào?

Thực tế là 68,000 lần rồi! Nhưng hãy nhìn nhận rằng đó chỉ là một chương trình duy nhất trong Mandelbrot – bạn có thể đọc loạt ba bài đăng trên blog về cách chúng tôi đạt được điều này – tại đây, tại đây và tại đây. Tất nhiên, chúng tôi đã làm điều này trong một thời gian dài và chúng tôi biết rằng các trò chơi hiệu suất không phải là động lực thúc đẩy việc áp dụng ngôn ngữ (mặc dù chúng rất thú vị!) – mà chính là tốc độ phát triển, khả năng sử dụng ngôn ngữ, chuỗi công cụ & tài liệu chất lượng cao, và một cộng đồng tận dụng cơ sở hạ tầng để phát minh và xây dựng theo những cách mà chúng tôi thậm chí không thể tưởng tượng được. Chúng tôi là những người xây dựng công cụ và mục tiêu của chúng tôi là trao quyền cho thế giới sử dụng các công cụ của chúng tôi, tạo ra những sản phẩm tuyệt vời và giải quyết các vấn đề quan trọng. Nếu chúng tôi tập trung vào mục tiêu lớn hơn, thì thực ra đó là tạo ra một ngôn ngữ đáp ứng được bạn ở vị trí hiện tại và sau đó dễ dàng đưa bạn đến một thế giới tốt đẹp hơn. Mojo cho phép bạn có một ngôn ngữ hiệu suất cao, dễ sử dụng, được gõ tĩnh và khả năng di động, tích hợp liền mạch với mã Python hiện có của bạn – mang đến cho bạn những điều tốt nhất của cả hai thế giới. Nó cho phép bạn nhận ra sức mạnh thực sự của phần cứng với đa luồng và song song hóa theo cách mà Python thô sơ hiện nay không thể làm được – mở khóa cho cộng đồng nhà phát triển toàn cầu để có một ngôn ngữ duy nhất có thể mở rộng từ trên xuống dưới.

Điều kỳ diệu của Mojo là khả năng hợp nhất các ngôn ngữ lập trình với một bộ công cụ, tại sao điều này lại quan trọng đến vậy?

Ngôn ngữ luôn thành công nhờ sức mạnh của hệ sinh thái và cộng đồng hình thành xung quanh chúng. Chúng tôi đã làm việc với các cộng đồng nguồn mở trong một thời gian dài và chúng tôi cực kỳ chu đáo trong việc tham gia theo cách đúng đắn cũng như đảm bảo rằng chúng tôi làm đúng với cộng đồng. Chúng tôi đang làm việc cực kỳ chăm chỉ để hoàn thiện cơ sở hạ tầng của mình nhưng cần thời gian để mở rộng quy mô nhóm của mình – vì vậy, chúng tôi sẽ không có tất cả câu trả lời ngay lập tức nhưng chúng tôi sẽ đạt được điều đó. Quay trở lại, mục tiêu của chúng tôi là nâng cao hệ sinh thái Python bằng cách tận dụng toàn bộ hiện tại hệ sinh tháivà chúng tôi không tìm cách phá vỡ nó như nhiều dự án khác. Khả năng tương tác chỉ giúp cộng đồng dùng thử cơ sở hạ tầng của chúng tôi dễ dàng hơn mà không cần phải viết lại tất cả mã của họ và điều đó rất quan trọng đối với AI.

Ngoài ra, chúng tôi đã học được rất nhiều điều từ việc phát triển cơ sở hạ tầng và công cụ AI trong mười năm qua. Các hệ thống nguyên khối hiện tại không dễ dàng mở rộng hoặc khái quát hóa bên ngoài mục tiêu miền ban đầu của chúng và hậu quả là ngành triển khai AI cực kỳ phân mảnh với hàng chục chuỗi công cụ mang theo những sự cân bằng và hạn chế khác nhau. Những mẫu thiết kế này đã làm chậm tốc độ đổi mới do ít sử dụng hơn, ít di động hơn và khó mở rộng quy mô hơn.

Hệ thống AI thế hệ tiếp theo cần phải có chất lượng sản xuất và đáp ứng nhu cầu của các nhà phát triển ở nơi họ đang làm việc. Nó không được yêu cầu viết lại, kiến ​​trúc lại hoặc xây dựng lại mã người dùng một cách tốn kém. Nó phải là đa khung, đa đám mây và đa phần cứng. Nó cần kết hợp hiệu suất và hiệu quả tốt nhất với khả năng sử dụng tốt nhất. Đây là cách duy nhất để giảm sự phân mảnh và mở ra thế hệ đổi mới phần cứng, dữ liệu và thuật toán tiếp theo.

Mô-đun gần đây công bố huy động được 100 triệu đô la tiền tài trợ mới, do General Catalyst dẫn đầu và được lấp đầy bởi các nhà đầu tư hiện tại GV (Google Ventures), SV Angel, Greylock và Factory. Chúng ta nên mong đợi điều gì tiếp theo?

Nguồn vốn mới này chủ yếu sẽ được sử dụng để phát triển đội ngũ của chúng tôi, tuyển dụng những người giỏi nhất trong cơ sở hạ tầng AI và tiếp tục đáp ứng nhu cầu thương mại khổng lồ mà chúng tôi đang thấy cho nền tảng của mình. Modverse, cộng đồng của chúng tôi gồm hơn 130 nghìn nhà phát triển và 10 nghìn doanh nghiệp, tất cả đều đang tìm kiếm cơ sở hạ tầng của chúng tôi - vì vậy, chúng tôi muốn đảm bảo rằng chúng tôi tiếp tục mở rộng quy mô và làm việc chăm chỉ để phát triển và cung cấp cơ sở hạ tầng cho họ. Chúng tôi đặt mình vào một tiêu chuẩn cực kỳ cao và các sản phẩm chúng tôi cung cấp phản ánh con người của chúng tôi với tư cách là một nhóm và con người chúng tôi trở thành một công ty. Nếu bạn biết bất kỳ ai có động lực, yêu thích ranh giới giữa phần mềm và phần cứng cũng như muốn giúp chứng kiến ​​AI thâm nhập thế giới theo cách có ý nghĩa và tích cực – hãy gửi họ theo cách của chúng tôi.

Tầm nhìn của bạn về tương lai của lập trình là gì?

Lập trình phải là một kỹ năng mà mọi người trong xã hội đều có thể phát triển và sử dụng. Đối với nhiều người, “ý tưởng” về lập trình ngay lập tức gợi lên hình ảnh một nhà phát triển đang viết mã cấp thấp phức tạp, đòi hỏi tính toán và logic nặng nề - nhưng không nhất thiết phải hiểu theo cách đó. Công nghệ luôn là công cụ hỗ trợ năng suất tuyệt vời cho xã hội và bằng cách làm cho việc lập trình trở nên dễ tiếp cận và sử dụng hơn, chúng tôi có thể trao quyền cho nhiều người hơn để nắm bắt nó. Trao quyền cho mọi người để tự động hóa các quy trình lặp đi lặp lại và làm cho cuộc sống của họ đơn giản hơn là một cách hiệu quả để giúp mọi người có thêm thời gian.

Và với Python, chúng ta đã có một ngôn ngữ tuyệt vời, đã vượt qua thử thách của thời gian – nó là ngôn ngữ phổ biến nhất thế giới, với một cộng đồng đáng kinh ngạc – nhưng nó cũng có những hạn chế. Tôi tin rằng chúng ta có một cơ hội to lớn để làm cho nó mạnh mẽ hơn nữa, và khuyến khích nhiều người trên thế giới đón nhận vẻ đẹp và sự đơn giản của nó. Như tôi đã nói trước đó, vấn đề là xây dựng các sản phẩm có khả năng bộc lộ dần dần sự phức tạp – cho phép trừu tượng hóa ở cấp độ cao, nhưng cũng có thể mở rộng xuống các cấp độ cực thấp. Chúng ta đang chứng kiến ​​một bước nhảy vọt đáng kể với các mô hình AI cho phép dịch văn bản sang mã tiến bộ – và những dịch vụ này sẽ ngày càng được cá nhân hóa hơn theo thời gian – nhưng đằng sau sự đổi mới kỳ diệu này vẫn là một nhà phát triển biên soạn và triển khai mã để vận hành nó. Chúng tôi đã viết về điều này trong quá khứ – AI sẽ tiếp tục khai thác khả năng sáng tạo và năng suất trên nhiều ngôn ngữ lập trình, nhưng tôi cũng tin rằng Mojo sẽ mở rộng khẩu độ hệ sinh thái hơn nữa, trao quyền nhiều khả năng truy cập, khả năng mở rộng và khả năng di chuyển phần cứng hơn cho nhiều nhà phát triển hơn trên khắp thế giới.

Cuối cùng, AI sẽ thâm nhập vào cuộc sống của chúng ta theo những cách chưa từng thấy và nó sẽ tồn tại ở khắp mọi nơi – vì vậy tôi hy vọng Mojo sẽ thúc đẩy các nhà phát triển giải quyết những vấn đề quan trọng nhất cho nhân loại nhanh hơn – bất kể họ sống ở đâu trong thế giới của chúng ta. Tôi nghĩ đó là một tương lai đáng để đấu tranh.

Cảm ơn bạn về cuộc phỏng vấn tuyệt vời, độc giả muốn tìm hiểu thêm hãy truy cập Modular.