Jay Dawani là Đồng sáng lập & Giám đốc điều hành của Lemurian Labs – Chuỗi bài phỏng vấn

Jay Dawani là Đồng sáng lập & Giám đốc điều hành của Lemurian Labs. Phòng thí nghiệm Lemurian đang thực hiện sứ mệnh cung cấp các máy tính AI hiệu quả, dễ tiếp cận và giá cả phải chăng, được thúc đẩy bởi niềm tin rằng AI không phải là một thứ xa xỉ mà là một công cụ mà mọi người đều có thể tiếp cận được. Nhóm sáng lập tại Lemurian Labs kết hợp kiến ​​thức chuyên môn về AI, trình biên dịch, thuật toán số và kiến ​​trúc máy tính, thống nhất bởi một mục đích duy nhất: hình dung lại điện toán tăng tốc.

Bạn có thể hướng dẫn chúng tôi về lý lịch của bạn vàChiếc mũ đã đưa bạn đến với AI ngay từ đầu?

Tuyệt đối. Tôi đã lập trình từ năm 12 tuổi và xây dựng các trò chơi của riêng mình, v.v., nhưng tôi thực sự theo đuổi AI khi tôi 15 tuổi vì một người bạn của cha tôi đam mê máy tính. Anh ấy khơi dậy sự tò mò của tôi và đưa cho tôi những cuốn sách để đọc như 'Máy tính và bộ não' của Von Neumann, 'Perceptrons' của Minsky, 'AI A Modern Approach' của Russel và Norvig. Những cuốn sách này đã ảnh hưởng đến suy nghĩ của tôi rất nhiều và tôi cảm thấy gần như rõ ràng rằng AI sẽ có sự biến đổi và tôi chỉ cần trở thành một phần của lĩnh vực này. 

Khi đến trường đại học, tôi thực sự muốn học AI nhưng tôi không tìm thấy trường đại học nào cung cấp ngành đó, vì vậy tôi quyết định học chuyên ngành toán ứng dụng và một thời gian ngắn sau khi vào đại học, tôi đã nghe về kết quả của AlexNet trên ImageNet. thực sự rất thú vị. Vào thời điểm đó, khoảnh khắc bây giờ hoặc không bao giờ xảy ra trong đầu tôi và tôi chăm chú đọc mọi bài báo và cuốn sách mà tôi có được liên quan đến mạng lưới thần kinh và tìm kiếm tất cả các nhà lãnh đạo trong lĩnh vực này để học hỏi từ họ, bởi vì làm thế nào Bạn thường có mặt ở đó khi một ngành mới ra đời và học hỏi từ những người tiên phong trong ngành đó. 

Rất nhanh chóng, tôi nhận ra rằng mình không thích nghiên cứu nhưng lại thích giải quyết vấn đề và xây dựng các sản phẩm hỗ trợ AI. Điều đó dẫn tôi đến làm việc trên ô tô và robot tự động, AI để khám phá vật liệu, mô hình tổng quát cho mô phỏng đa vật lý, mô phỏng dựa trên AI để đào tạo tay đua xe đua chuyên nghiệp và trợ giúp thiết lập ô tô, robot không gian, giao dịch thuật toán, v.v. 

Bây giờ, sau khi đã làm xong tất cả những điều đó, tôi đang cố gắng kiểm soát chi phí đào tạo và triển khai AI vì đó sẽ là trở ngại lớn nhất mà chúng ta gặp phải trên con đường tạo dựng một thế giới nơi mọi người và công ty đều có thể tiếp cận và hưởng lợi từ AI một cách tiết kiệm nhất có thể.

Nhiều công ty hoạt động trong lĩnh vực điện toán tăng tốc có những người sáng lập đã xây dựng sự nghiệp trong lĩnh vực bán dẫn và cơ sở hạ tầng. Bạn nghĩ kinh nghiệm trước đây về AI và toán học ảnh hưởng như thế nào đến khả năng hiểu thị trường và cạnh tranh hiệu quả của bạn?

Tôi thực sự nghĩ rằng việc không xuất thân từ ngành này mang lại cho tôi lợi ích là có lợi thế từ người ngoài. Tôi nhận thấy khá thường xuyên rằng việc không có kiến ​​thức về các quy chuẩn ngành hoặc những kiến ​​thức thông thường sẽ mang lại cho người ta quyền tự do khám phá một cách tự do hơn và đi sâu hơn hầu hết những người khác vì bạn không bị cản trở bởi những thành kiến. 

Tôi có quyền tự do đặt những câu hỏi 'ngốc nghếch' và kiểm tra các giả định theo cách mà hầu hết những người khác không làm vì rất nhiều thứ được chấp nhận là sự thật. Trong hai năm qua, tôi đã có vài cuộc trò chuyện với những người trong ngành, nơi họ rất giáo điều về điều gì đó nhưng họ không thể cho tôi biết nguồn gốc của ý tưởng đó, điều mà tôi thấy rất khó hiểu. Tôi muốn hiểu tại sao một số lựa chọn nhất định lại được đưa ra và những giả định hoặc điều kiện nào đã có vào thời điểm đó và liệu chúng có còn đúng hay không. 

Xuất thân từ nền tảng AI, tôi có xu hướng xem xét phần mềm bằng cách xem khối lượng công việc ngày nay ở đâu và đây là tất cả các cách có thể chúng có thể thay đổi theo thời gian, đồng thời lập mô hình toàn bộ quy trình ML để đào tạo và suy luận nhằm hiểu các nút thắt cổ chai, điều này cho biết tôi ở đâu có cơ hội mang lại giá trị. Và bởi vì tôi xuất thân từ nền tảng toán học nên tôi thích mô hình hóa mọi thứ để tiến gần đến sự thật nhất có thể và để điều đó hướng dẫn tôi. Ví dụ: chúng tôi đã xây dựng các mô hình để tính toán hiệu suất hệ thống đối với tổng chi phí sở hữu và chúng tôi có thể đo lường lợi ích mà chúng tôi có thể mang lại cho khách hàng bằng phần mềm và/hoặc phần cứng, đồng thời để hiểu rõ hơn các ràng buộc của chúng tôi cũng như các nút bấm khác nhau có sẵn cho chúng tôi và hàng tá tính năng khác. các mô hình khác cho những thứ khác nhau. Chúng tôi rất chú trọng đến dữ liệu và sử dụng thông tin chi tiết từ các mô hình này để định hướng cho những nỗ lực và sự cân bằng của mình. 

Có vẻ như sự tiến bộ trong AI chủ yếu đến từ việc mở rộng quy mô, vốn đòi hỏi nhiều năng lượng và tính toán hơn theo cấp số nhân. Có vẻ như chúng ta đang trong một cuộc chạy đua vũ trang với mọi công ty đang cố gắng xây dựng mô hình lớn nhất và dường như không có hồi kết. Bạn có nghĩ rằng có một cách thoát khỏi điều này?

Luôn có nhiều cách. Việc mở rộng quy mô đã được chứng minh là cực kỳ hữu ích và tôi không nghĩ chúng ta vẫn chưa thấy được điểm kết thúc. Chúng ta sẽ sớm thấy những mô hình được đào tạo với chi phí ít nhất một tỷ đô la. Nếu bạn muốn trở thành người đi đầu trong lĩnh vực AI sáng tạo và tạo ra các mô hình nền tảng tiên tiến, bạn sẽ cần chi ít nhất vài tỷ mỗi năm cho điện toán. Giờ đây, có những giới hạn tự nhiên đối với việc mở rộng quy mô, chẳng hạn như khả năng xây dựng một tập dữ liệu đủ lớn cho một mô hình có kích thước đó, tiếp cận với những người có bí quyết phù hợp và có đủ quyền truy cập vào điện toán. 

Việc tiếp tục mở rộng quy mô mô hình là không thể tránh khỏi, nhưng chúng ta cũng không thể biến toàn bộ bề mặt trái đất thành một siêu máy tính có kích thước bằng hành tinh để đào tạo và phục vụ LLM vì những lý do hiển nhiên. Để kiểm soát điều này, chúng tôi có một số nút mà chúng tôi có thể sử dụng: bộ dữ liệu tốt hơn, kiến ​​trúc mô hình mới, phương pháp đào tạo mới, trình biên dịch tốt hơn, cải tiến và khai thác thuật toán, kiến ​​trúc máy tính tốt hơn, v.v. Nếu chúng ta làm tất cả những điều đó, sẽ có khoảng ba mức độ cải thiện được tìm thấy. Đó là lối thoát tốt nhất. 

Bạn là người tin tưởng vào tư duy nguyên tắc đầu tiên, điều này hình thành tư duy của bạn như thế nào về cách bạn đang điều hành Phòng thí nghiệm Lemurian?

Chúng tôi chắc chắn áp dụng rất nhiều nguyên tắc đầu tiên trong tư duy ở Lemurian. Tôi luôn thấy sự hiểu biết thông thường là sai lầm vì kiến ​​thức đó được hình thành vào một thời điểm nhất định khi có một số giả định nhất định, nhưng mọi thứ luôn thay đổi và bạn cần phải kiểm tra lại các giả định đó thường xuyên, đặc biệt là khi sống trong một thế giới có nhịp độ nhanh như vậy. 

Tôi thường đặt ra những câu hỏi như “đây có vẻ là một ý tưởng thực sự hay, nhưng tại sao nó lại không hiệu quả” hoặc “điều gì cần phải đúng để điều này có hiệu quả” hoặc “điều gì chúng ta biết đó là sự thật tuyệt đối và những giả định mà chúng tôi đang đưa ra là gì và tại sao?”, hoặc “tại sao chúng tôi tin rằng cách tiếp cận cụ thể này là cách tốt nhất để giải quyết vấn đề này”. Mục đích là vô hiệu hóa và loại bỏ các ý tưởng một cách nhanh chóng và ít tốn kém nhất có thể. Chúng tôi muốn thử và tối đa hóa số lượng những thứ chúng tôi đang thử tại bất kỳ thời điểm nào. Đó là việc bị ám ảnh bởi vấn đề cần giải quyết và không quá quan tâm đến việc công nghệ nào là tốt nhất. Quá nhiều người có xu hướng tập trung quá mức vào công nghệ và cuối cùng họ hiểu nhầm các vấn đề của khách hàng cũng như bỏ lỡ những quá trình chuyển đổi đang diễn ra trong ngành, điều này có thể làm mất hiệu lực cách tiếp cận của họ, dẫn đến việc họ không thể thích ứng với tình trạng mới của thế giới.

Nhưng tư duy nguyên tắc đầu tiên tự nó không hữu ích lắm. Chúng ta có xu hướng kết hợp nó với dự báo ngược, về cơ bản có nghĩa là tưởng tượng ra một kết quả lý tưởng hoặc mong muốn trong tương lai và làm việc ngược lại để xác định các bước hoặc hành động khác nhau cần thiết để hiện thực hóa điều đó. Điều này đảm bảo chúng tôi hội tụ được một giải pháp có ý nghĩa, không chỉ mang tính đổi mới mà còn có cơ sở thực tế. Sẽ thật vô nghĩa khi dành thời gian tìm ra giải pháp hoàn hảo chỉ để nhận ra rằng nó không khả thi để xây dựng do có nhiều hạn chế trong thế giới thực như nguồn lực, thời gian, quy định hoặc xây dựng một giải pháp có vẻ hoàn hảo nhưng sau đó mới tìm ra. bạn đã làm cho khách hàng khó chấp nhận.

Thỉnh thoảng, chúng ta thấy mình ở trong tình huống cần đưa ra quyết định nhưng không có dữ liệu và trong trường hợp này, chúng ta sử dụng các giả thuyết có thể kiểm chứng tối thiểu để cho chúng ta tín hiệu về việc liệu điều gì đó có hợp lý để theo đuổi với số tiền ít nhất hay không. về chi tiêu năng lượng. 

Tất cả những điều này kết hợp lại mang lại cho chúng tôi sự linh hoạt, các chu kỳ lặp lại nhanh chóng để giảm rủi ro cho các hạng mục một cách nhanh chóng, đồng thời giúp chúng tôi điều chỉnh các chiến lược với độ tin cậy cao và đạt được nhiều tiến bộ đối với các vấn đề rất khó trong một khoảng thời gian rất ngắn. 

Ban đầu, bạn tập trung vào AI cạnh, điều gì đã khiến bạn tái tập trung và chuyển hướng sang điện toán đám mây?

Chúng tôi bắt đầu với AI biên vì vào thời điểm đó tôi rất tập trung vào việc cố gắng giải quyết một vấn đề rất cụ thể mà tôi đã gặp phải khi cố gắng mở ra một thế giới robot tự động có mục đích chung. Robot tự động hứa hẹn sẽ là sự thay đổi nền tảng lớn nhất trong lịch sử tập thể của chúng ta và có vẻ như chúng ta đã có mọi thứ cần thiết để xây dựng mô hình nền tảng cho robot nhưng chúng ta đang thiếu chip suy luận lý tưởng với sự cân bằng phù hợp giữa thông lượng, độ trễ, hiệu quả năng lượng và khả năng lập trình để chạy mô hình nền tảng nói trên.

Tôi chưa nghĩ đến trung tâm dữ liệu vào thời điểm này vì có quá nhiều công ty tập trung vào đó và tôi mong họ sẽ tìm ra cách. Chúng tôi đã thiết kế một kiến ​​trúc thực sự mạnh mẽ cho không gian ứng dụng này và đã sẵn sàng để hoàn thiện nó, rồi sau đó rõ ràng là thế giới đã thay đổi và vấn đề thực sự nằm ở trung tâm dữ liệu. Tốc độ LLM mở rộng và tiêu thụ điện toán vượt xa tốc độ tiến bộ trong điện toán và khi bạn tính đến việc áp dụng, nó bắt đầu vẽ ra một bức tranh đáng lo ngại. 

Có vẻ như đây là nơi chúng ta nên tập trung nỗ lực để giảm chi phí năng lượng của AI trong các trung tâm dữ liệu càng nhiều càng tốt mà không áp đặt các hạn chế về vị trí và cách thức AI nên phát triển. Và vì vậy, chúng tôi phải nỗ lực giải quyết vấn đề này. 

Bạn có thể chia sẻ câu chuyện về nguồn gốc của Phòng thí nghiệm Lemurian đồng sáng lập không?

Câu chuyện bắt đầu vào đầu năm 2018. Tôi đang nghiên cứu đào tạo một mô hình nền tảng cho quyền tự chủ cho mục đích chung cùng với một mô hình mô phỏng đa vật lý tổng quát để đào tạo tác nhân và tinh chỉnh nó cho các ứng dụng khác nhau cũng như một số thứ khác để giúp mở rộng quy mô thành đa môi trường. -môi trường đại lý. Nhưng rất nhanh chóng, tôi đã sử dụng hết số lượng máy tính mà mình có và ước tính cần hơn 20,000 GPU V100. Tôi đã cố gắng huy động đủ tiền để có quyền truy cập vào máy tính nhưng thị trường vẫn chưa sẵn sàng cho loại quy mô đó. Tuy nhiên, điều đó khiến tôi suy nghĩ về khía cạnh triển khai của mọi thứ và tôi ngồi xuống để tính toán xem mình cần bao nhiêu hiệu suất để phục vụ mô hình này trong môi trường mục tiêu và tôi nhận ra rằng không có con chip nào có thể đưa tôi đến đó. 

Vài năm sau, vào năm 2020, tôi gặp Vassil – người đồng sáng lập cuối cùng của tôi – để trao đổi và chia sẻ những thách thức tôi đã trải qua khi xây dựng mô hình nền tảng cho quyền tự chủ và anh ấy đề xuất xây dựng một con chip suy luận có thể chạy nền tảng mô hình và anh ấy chia sẻ rằng anh ấy đã suy nghĩ rất nhiều về các định dạng số và cách biểu diễn tốt hơn sẽ không chỉ giúp mạng lưới thần kinh duy trì độ chính xác ở độ rộng bit thấp hơn mà còn giúp tạo ra các kiến ​​trúc mạnh mẽ hơn. 

Đó là một ý tưởng hấp dẫn nhưng lại không phù hợp với tôi. Nhưng nó không rời bỏ tôi, điều đó khiến tôi phải dành hàng tháng trời để học về sự phức tạp của kiến ​​trúc máy tính, bộ hướng dẫn, thời gian chạy, trình biên dịch và mô hình lập trình. Cuối cùng, việc xây dựng một công ty bán dẫn bắt đầu có ý nghĩa và tôi đã hình thành luận điểm xoay quanh vấn đề là gì và cách giải quyết nó. Và đến cuối năm, chúng tôi bắt đầu học Lemurian. 

Trước đây bạn đã nói về sự cần thiết phải giải quyết phần mềm trước tiên khi xây dựng phần cứng, bạn có thể giải thích rõ hơn quan điểm của mình về lý do tại sao vấn đề phần cứng trước hết lại là vấn đề phần mềm không?

Điều mà nhiều người không nhận ra là phần mềm của chất bán dẫn khó hơn nhiều so với bản thân phần cứng. Xây dựng một kiến ​​trúc máy tính hữu ích để khách hàng sử dụng và hưởng lợi từ đó là một vấn đề phức tạp và nếu bạn không có sự hiểu biết và sự chuẩn bị đó, bạn sẽ có được một kiến ​​trúc trông đẹp mắt nhưng rất hiệu quả và hiệu quả, nhưng các nhà phát triển hoàn toàn không thể sử dụng được, đó là điều thực sự quan trọng. 

Tất nhiên, việc áp dụng cách tiếp cận phần mềm đầu tiên cũng mang lại những lợi ích khác, chẳng hạn như thời gian đưa sản phẩm ra thị trường nhanh hơn. Điều này rất quan trọng trong thế giới chuyển động nhanh ngày nay, nơi quá lạc quan về kiến ​​trúc hoặc tính năng có thể khiến bạn hoàn toàn bỏ lỡ thị trường. 

Việc không xem xét phần mềm đầu tiên thường dẫn đến việc không loại bỏ rủi ro những điều quan trọng cần thiết cho việc áp dụng sản phẩm trên thị trường, không thể đáp ứng với những thay đổi trên thị trường, chẳng hạn như khi khối lượng công việc phát triển theo cách không mong muốn và phần cứng không được sử dụng đúng mức. Tất cả đều không phải là những điều tuyệt vời. Đó là lý do chính tại sao chúng tôi rất quan tâm đến việc lấy phần mềm làm trung tâm và tại sao quan điểm của chúng tôi là bạn không thể trở thành một công ty bán dẫn nếu không thực sự là một công ty phần mềm. 

Bạn có thể thảo luận về mục tiêu ngăn xếp phần mềm trước mắt của mình không?

Khi chúng tôi thiết kế kiến ​​trúc và suy nghĩ về lộ trình hướng tới tương lai cũng như những cơ hội mang lại hiệu suất và hiệu quả sử dụng năng lượng cao hơn, chúng tôi bắt đầu thấy rõ rằng chúng tôi sẽ thấy có nhiều sự không đồng nhất hơn và điều này sẽ tạo ra nhiều vấn đề. trên phần mềm. Và chúng ta không chỉ cần có khả năng lập trình hiệu quả các kiến ​​trúc không đồng nhất, chúng ta còn phải xử lý chúng ở quy mô trung tâm dữ liệu, đây là một thách thức mà chúng ta chưa từng gặp phải trước đây. 

Điều này khiến chúng tôi lo ngại vì lần cuối cùng chúng tôi phải trải qua một quá trình chuyển đổi lớn là khi ngành chuyển từ kiến ​​trúc lõi đơn sang đa lõi, và vào thời điểm đó, phải mất 10 năm để phần mềm hoạt động và mọi người sử dụng nó. Chúng ta không thể đợi 10 năm để tìm ra phần mềm có tính không đồng nhất trên quy mô lớn, nó phải được giải quyết ngay bây giờ. Và vì vậy, chúng tôi phải nỗ lực tìm hiểu vấn đề và những gì cần tồn tại để kho phần mềm này tồn tại. 

Chúng tôi hiện đang hợp tác với nhiều công ty bán dẫn và nhà cung cấp dịch vụ đám mây/siêu quy mô hàng đầu và sẽ phát hành gói phần mềm của chúng tôi trong 12 tháng tới. Đây là một mô hình lập trình hợp nhất với trình biên dịch và thời gian chạy có khả năng nhắm mục tiêu bất kỳ loại kiến ​​trúc nào và điều phối công việc trên các cụm bao gồm các loại phần cứng khác nhau và có khả năng mở rộng từ một nút đơn thành một cụm nghìn nút để có hiệu suất cao nhất có thể .

Cảm ơn bạn về cuộc phỏng vấn tuyệt vời, độc giả muốn tìm hiểu thêm hãy truy cập Phòng thí nghiệm Lemurian.