Neetu Pathak, Đồng sáng lập và CEO của Skymel – Loạt phỏng vấn

Neetu Pathak, Đồng sáng lập và CEO của Skymel, dẫn đầu công ty trong việc cách mạng hóa suy luận AI với công nghệ NeuroSplit ™ đổi mới. Cùng với CTO Sushant Tripathy, cô thúc đẩy sứ mệnh của Skymel nhằm nâng cao hiệu suất của ứng dụng AI trong khi giảm chi phí tính toán.

NeuroSplit ™ là một công nghệ suy luận thích ứng phân phối động các khối lượng công việc AI giữa thiết bị của người dùng và máy chủ đám mây. Cách tiếp cận này tận dụng các tài nguyên tính toán nhàn rỗi trên thiết bị của người dùng, cắt giảm chi phí cơ sở hạ tầng đám mây lên đến 60%, tăng tốc độ suy luận, đảm bảo quyền riêng tư của dữ liệu và cho phép khả năng mở rộng liền mạch.

Bằng cách tối ưu hóa sức mạnh tính toán cục bộ, NeuroSplit ™ cho phép các ứng dụng AI chạy hiệu quả ngay cả trên các GPU cũ hơn, giảm đáng kể chi phí trong khi cải thiện trải nghiệm người dùng.

Điều gì đã truyền cảm hứng cho bạn để đồng sáng lập Skymel, và những thách thức chính nào trong cơ sở hạ tầng AI bạn đang cố gắng giải quyết với NeuroSplit?

Ý tưởng cho Skymel đến từ sự hội tụ của những kinh nghiệm bổ sung của chúng tôi. Trong thời gian tại Google (GOOGL ), đồng sáng lập của tôi, Sushant Tripathy, đã triển khai các mô hình AI dựa trên giọng nói trên hàng tỷ thiết bị Android. Anh ấy đã phát hiện ra rằng có một lượng lớn tài nguyên tính toán nhàn rỗi trên thiết bị của người dùng, nhưng hầu hết các công ty không thể tận dụng hiệu quả tài nguyên này do những thách thức kỹ thuật phức tạp trong việc truy cập tài nguyên này mà không ảnh hưởng đến trải nghiệm người dùng.

Trong khi đó, kinh nghiệm của tôi khi làm việc với các doanh nghiệp và công ty khởi nghiệp tại Redis đã giúp tôi hiểu sâu sắc về tầm quan trọng của độ trễ đối với các doanh nghiệp. Khi các ứng dụng AI trở nên phổ biến hơn, rõ ràng chúng tôi cần phải di chuyển quá trình xử lý gần hơn với nơi dữ liệu được tạo ra, thay vì liên tục di chuyển dữ liệu trở lại và forth đến trung tâm dữ liệu.

Đó là khi Sushant và tôi nhận ra rằng tương lai không phải là về việc chọn giữa xử lý cục bộ hoặc đám mây – mà là về việc tạo ra một công nghệ thông minh có thể thích ứng liền mạch giữa xử lý cục bộ, đám mây hoặc kết hợp dựa trên từng yêu cầu suy luận cụ thể. Sự hiểu biết này đã dẫn chúng tôi đến việc thành lập Skymel và phát triển NeuroSplit, vượt ra ngoài những hạn chế cơ sở hạ tầng truyền thống đang cản trở sự đổi mới của AI.

Bạn có thể giải thích cách NeuroSplit tối ưu hóa động các tài nguyên tính toán trong khi duy trì quyền riêng tư của người dùng và hiệu suất không?

Một trong những điểm yếu chính của suy luận AI cục bộ đã là yêu cầu tính toán tĩnh – truyền thống, chạy một mô hình AI đòi hỏi cùng một tài nguyên tính toán bất kể điều kiện thiết bị hoặc hành vi của người dùng. Cách tiếp cận một kích cỡ phù hợp với tất cả này bỏ qua thực tế rằng các thiết bị có các khả năng phần cứng khác nhau, từ các chip (GPU, NPU, CPU, XPU) đến băng thông mạng khác nhau, và người dùng có các mẫu hành vi khác nhau về việc sử dụng ứng dụng và mẫu sạc.

NeuroSplit liên tục theo dõi các telemetries thiết bị khác nhau – từ khả năng phần cứng đến sử dụng tài nguyên hiện tại, trạng thái pin và điều kiện mạng. Chúng tôi cũng tính đến các mẫu hành vi của người dùng, như số lượng ứng dụng khác đang chạy và mẫu sử dụng thiết bị điển hình. Việc theo dõi toàn diện này cho phép NeuroSplit động xác định bao nhiêu suy luận có thể được chạy an toàn trên thiết bị của người dùng trong khi tối ưu hóa các chỉ số hiệu suất chính của nhà phát triển

Khi quyền riêng tư của dữ liệu là tối quan trọng, NeuroSplit đảm bảo dữ liệu thô không bao giờ rời khỏi thiết bị, xử lý thông tin nhạy cảm cục bộ trong khi vẫn duy trì hiệu suất tối ưu. Khả năng của chúng tôi trong việc chia, cắt hoặc tách mô hình AI cho phép chúng tôi phù hợp với 50-100 mô hình AI stub trong không gian bộ nhớ của chỉ một mô hình lượng tử trên thiết bị của người dùng. Về mặt thực tế, điều này có nghĩa là người dùng có thể chạy đồng thời nhiều ứng dụng được hỗ trợ bởi AI, xử lý dữ liệu nhạy cảm cục bộ, so với các phương pháp tính toán tĩnh truyền thống.

Những lợi ích chính của suy luận thích ứng của NeuroSplit cho các công ty AI là gì, đặc biệt là những công ty đang làm việc với công nghệ GPU cũ hơn?

NeuroSplit mang lại ba lợi ích chuyển đổi cho các công ty AI. Đầu tiên, nó giảm đáng kể chi phí cơ sở hạ tầng thông qua hai cơ chế: các công ty có thể sử dụng hiệu quả GPU cũ hơn, rẻ hơn, và khả năng độc đáo của chúng tôi trong việc phù hợp với cả mô hình đầy đủ và mô hình stub trên GPU đám mây cho phép tỷ lệ sử dụng GPU cao hơn đáng kể. Ví dụ, một ứng dụng yêu cầu nhiều NVIDIA A100 với giá 2,74 đô la mỗi giờ có thể chạy trên một A100 duy nhất hoặc nhiều V100 với giá chỉ 0,83 đô la mỗi giờ.

Thứ hai, chúng tôi cải thiện đáng kể hiệu suất bằng cách xử lý dữ liệu thô ban đầu trực tiếp trên thiết bị của người dùng. Điều này có nghĩa là dữ liệu cuối cùng đi đến đám mây nhỏ hơn nhiều về kích thước, giảm đáng kể độ trễ mạng trong khi duy trì độ chính xác. Cách tiếp cận kết hợp này mang lại cho các công ty cả thế giới – tốc độ của xử lý cục bộ với sức mạnh của tính toán đám mây.

Thứ ba, bằng cách xử lý dữ liệu ban đầu nhạy cảm trên thiết bị của người dùng, chúng tôi giúp các công ty duy trì mạnh mẽ các biện pháp bảo vệ quyền riêng tư của người dùng mà không ảnh hưởng đến hiệu suất. Điều này ngày càng quan trọng khi các quy định về quyền riêng tư trở nên nghiêm ngặt hơn và người dùng trở nên nhạy cảm hơn về quyền riêng tư.

Làm thế nào giải pháp của Skymel giảm chi phí cho suy luận AI mà không ảnh hưởng đến độ phức tạp của mô hình hoặc độ chính xác?

Đầu tiên, bằng cách chia mô hình AI riêng lẻ, chúng tôi phân phối tính toán giữa thiết bị của người dùng và đám mây. Phần đầu tiên chạy trên thiết bị của người dùng, xử lý 5% đến 100% tổng tính toán tùy thuộc vào tài nguyên thiết bị có sẵn. Chỉ tính toán còn lại cần được xử lý trên GPU đám mây.

Việc chia này có nghĩa là GPU đám mây xử lý tải tính toán giảm – nếu một mô hình ban đầu yêu cầu một GPU A100 đầy đủ, sau khi chia, cùng tải công việc đó có thể chỉ cần 30-40% khả năng của GPU. Điều này cho phép các công ty sử dụng các trường hợp GPU tiết kiệm chi phí hơn như V100.

Thứ hai, NeuroSplit tối ưu hóa sử dụng GPU trong đám mây. Bằng cách sắp xếp hiệu quả cả mô hình đầy đủ và mô hình stub trên cùng một GPU đám mây, chúng tôi đạt được tỷ lệ sử dụng cao hơn đáng kể so với các phương pháp truyền thống. Điều này có nghĩa là nhiều mô hình có thể chạy đồng thời trên cùng một GPU đám mây, giảm thêm chi phí trên mỗi suy luận.

Điều gì phân biệt cách tiếp cận kết hợp (cục bộ + đám mây) của Skymel với các giải pháp cơ sở hạ tầng AI khác trên thị trường?

Đường phong cảnh AI đang ở một điểm chuyển đổi hấp dẫn. Trong khi ngày nay tập trung vào việc mở rộng các mô hình ngôn ngữ lớn trên đám mây, năm năm tới sẽ chứng kiến AI trở nên cá nhân hóa và nhận thức về ngữ cảnh sâu sắc. Điều này không chỉ là về việc tinh chỉnh – mà là về AI thích ứng với người dùng, thiết bị và tình huống cụ thể trong thời gian thực.

Đổi thay này tạo ra hai thách thức cơ sở hạ tầng lớn. Đầu tiên, cách tiếp cận truyền thống của việc chạy mọi thứ trong các trung tâm dữ liệu tập trung trở nên không bền vững về mặt kỹ thuật và kinh tế. Thứ hai, sự phức tạp ngày càng tăng của các ứng dụng AI có nghĩa là chúng tôi cần cơ sở hạ tầng có thể tối ưu hóa động trên nhiều mô hình, thiết bị và vị trí tính toán.

Tại Skymel, chúng tôi đang xây dựng cơ sở hạ tầng giải quyết cụ thể những thách thức này. Công nghệ của chúng tôi cho phép AI chạy ở nơi nó có ý nghĩa nhất – cho dù đó là trên thiết bị nơi dữ liệu được tạo ra, trên đám mây nơi có nhiều tính toán hơn hoặc thông minh chia giữa cả hai. Điều quan trọng hơn, nó thích ứng những quyết định này trong thời gian thực dựa trên điều kiện và yêu cầu thay đổi.

Làm thế nào Đại lý Orchestrator bổ sung cho NeuroSplit, và vai trò của nó trong việc chuyển đổi chiến lược triển khai AI là gì?

Đại lý Orchestrator (OA) và NeuroSplit hoạt động cùng nhau để tạo ra một hệ thống triển khai AI tự tối ưu hóa:

1. Nhà phát triển đặt ranh giới:

• Giới hạn: mô hình được phép, phiên bản, nhà cung cấp đám mây, khu vực, quy tắc tuân thủ
• Mục tiêu: độ trễ mục tiêu, giới hạn chi phí, yêu cầu hiệu suất, nhu cầu quyền riêng tư

2. OA hoạt động trong các giới hạn này để đạt được mục tiêu:

• Quyết định mô hình / API nào để sử dụng cho mỗi yêu cầu
• Thích ứng chiến lược triển khai dựa trên hiệu suất thế giới thực
• Đưa ra quyết định thương mại để tối ưu hóa cho mục tiêu chỉ định
• Có thể được cấu hình lại tức thời khi nhu cầu thay đổi

3. NeuroSplit thực hiện quyết định của OA:

• Sử dụng telemetries thiết bị thời gian thực để tối ưu hóa thực hiện
• Chia xử lý giữa thiết bị và đám mây khi có lợi
• Đảm bảo mỗi suy luận chạy tối ưu nhất có thể trong điều kiện hiện tại

Điều này giống như có một hệ thống AI tự tối ưu hóa trong các quy tắc và mục tiêu được xác định, thay vì yêu cầu tối ưu hóa thủ công cho mọi kịch bản.

Theo bạn, Đại lý Orchestrator sẽ thay đổi cách AI được triển khai trên các ngành công nghiệp như thế nào?

Nó giải quyết ba thách thức quan trọng đã cản trở việc áp dụng và đổi mới AI.

Đầu tiên, nó cho phép các công ty theo kịp những tiến bộ mới nhất của AI mà không cần nỗ lực. Với Đại lý Orchestrator, bạn có thể tận dụng ngay những mô hình và kỹ thuật mới nhất mà không cần phải làm lại cơ sở hạ tầng của mình. Đây là một lợi thế cạnh tranh lớn trong một thế giới mà sự đổi mới của AI đang diễn ra với tốc độ chóng mặt.

Thứ hai, nó cho phép tối ưu hóa động cho mỗi yêu cầu lựa chọn mô hình AI. Đại lý Orchestrator có thể thông minh trộn và kết hợp mô hình từ hệ sinh thái lựa chọn rộng lớn để mang lại kết quả tốt nhất có thể cho mỗi tương tác của người dùng. Ví dụ, một AI dịch vụ khách hàng có thể sử dụng một mô hình chuyên dụng cho các câu hỏi kỹ thuật và một mô hình khác cho các câu hỏi về hóa đơn, mang lại kết quả tốt hơn cho mỗi loại tương tác.

Thứ ba, nó tối đa hóa hiệu suất trong khi giảm thiểu chi phí. Đại lý tự động cân bằng giữa chạy AI trên thiết bị của người dùng hoặc trong đám mây dựa trên điều gì có ý nghĩa nhất vào thời điểm đó. Khi quyền riêng tư quan trọng, nó xử lý dữ liệu cục bộ. Khi cần thêm sức mạnh tính toán, nó tận dụng đám mây. Tất cả điều này xảy ra sau hậu trường, tạo ra một trải nghiệm mượt mà cho người dùng trong khi tối ưu hóa tài nguyên cho doanh nghiệp.

But điều thực sự phân biệt Đại lý Orchestrator là cách nó cho phép doanh nghiệp tạo ra các trải nghiệm siêu cá nhân hóa cho người dùng của họ. Hãy xem một nền tảng học trực tuyến – với công nghệ của chúng tôi, họ có thể xây dựng một hệ thống tự động thích ứng với cách tiếp cận giảng dạy dựa trên mức độ hiểu biết hiện tại của mỗi học sinh. Khi người dùng tìm kiếm “học máy”, nền tảng không chỉ hiển thị kết quả chung chung – mà nó có thể đánh giá ngay mức độ hiểu biết hiện tại của họ và tùy chỉnh giải thích bằng cách sử dụng các khái niệm họ đã biết.

Cuối cùng, Đại lý Orchestrator đại diện cho tương lai của việc triển khai AI – một sự thay đổi từ cơ sở hạ tầng AI tĩnh, đơnolithic sang sự điều khiển AI tự tối ưu hóa, thích ứng. Nó không chỉ là về việc làm cho việc triển khai AI dễ dàng hơn – mà là về việc tạo ra các lớp ứng dụng AI hoàn toàn mới.

Loại phản hồi nào bạn đã nhận được từ các công ty tham gia phiên beta riêng của Đại lý Orchestrator?

Phản hồi từ các tham gia beta riêng của chúng tôi đã rất tuyệt! Các công ty rất hào hứng khi phát hiện ra rằng họ cuối cùng cũng có thể thoát khỏi sự khóa cơ sở hạ tầng, cho dù đó là các mô hình độc quyền hay dịch vụ lưu trữ. Khả năng tương lai của bất kỳ quyết định triển khai nào đã là một yếu tố thay đổi trò chơi, loại bỏ những tháng ngày làm lại khi chuyển đổi phương pháp.

Kết quả hiệu suất của NeuroSplit đã thật đáng kinh ngạc – chúng tôi không thể chờ đợi để chia sẻ dữ liệu công khai sớm. Điều thú vị đặc biệt là cách khái niệm về việc triển khai AI thích ứng đã thu hút trí tưởng tượng. Thực tế là AI đang triển khai chính nó nghe có vẻ như một điều gì đó trong tương lai và không phải là điều họ mong đợi ngay bây giờ, vì vậy ngay từ sự tiến bộ công nghệ, mọi người đã hào hứng về những khả năng và thị trường mới nó có thể tạo ra trong tương lai.

Với sự phát triển nhanh chóng của AI tạo sinh, bạn thấy những chướng ngại vật chính tiếp theo cho cơ sở hạ tầng AI là gì, và Skymel dự định giải quyết chúng như thế nào?

Chúng tôi đang hướng tới một tương lai mà hầu hết mọi người chưa hoàn toàn nắm bắt được: sẽ không có một mô hình AI thống trị duy nhất, mà là hàng tỷ mô hình. Ngay cả khi chúng ta tạo ra mô hình AI tổng quát mạnh nhất có thể tưởng tượng, chúng ta vẫn sẽ cần các phiên bản được cá nhân hóa cho mỗi người trên Trái đất, mỗi mô hình được thích ứng với các ngữ cảnh, sở thích và nhu cầu duy nhất. Đó là ít nhất 8 tỷ mô hình, dựa trên dân số thế giới.

Đây là một sự thay đổi cách mạng từ cách tiếp cận một kích cỡ phù hợp với tất cả ngày nay. Tương lai đòi hỏi cơ sở hạ tầng thông minh có thể xử lý hàng tỷ mô hình. Tại Skymel, chúng tôi không chỉ giải quyết các thách thức triển khai ngày nay – con đường công nghệ của chúng tôi đã xây dựng nền tảng cho những gì đang đến tiếp theo.

Bạn hình dung cơ sở hạ tầng AI sẽ phát triển như thế nào trong năm năm tới, và vai trò của Skymel trong sự tiến hóa này là gì?

Đường phong cảnh cơ sở hạ tầng AI đang trên đà trải qua một sự thay đổi cơ bản. Trong khi ngày nay tập trung vào việc mở rộng các mô hình ngôn ngữ lớn trên đám mây, năm năm tới sẽ chứng kiến AI trở nên cá nhân hóa và nhận thức về ngữ cảnh sâu sắc. Điều này không chỉ là về việc tinh chỉnh – mà là về AI thích ứng với người dùng, thiết bị và tình huống cụ thể trong thời gian thực.

Đổi thay này tạo ra hai thách thức cơ sở hạ tầng lớn. Đầu tiên, cách tiếp cận truyền thống của việc chạy mọi thứ trong các trung tâm dữ liệu tập trung trở nên không bền vững về mặt kỹ thuật và kinh tế. Thứ hai, sự phức tạp ngày càng tăng của các ứng dụng AI có nghĩa là chúng tôi cần cơ sở hạ tầng có thể tối ưu hóa động trên nhiều mô hình, thiết bị và vị trí tính toán.

Tại Skymel, chúng tôi đang xây dựng cơ sở hạ tầng giải quyết cụ thể những thách thức này. Công nghệ của chúng tôi cho phép AI chạy ở nơi nó có ý nghĩa nhất – cho dù đó là trên thiết bị nơi dữ liệu được tạo ra, trên đám mây nơi có nhiều tính toán hơn hoặc thông minh chia giữa cả hai. Điều quan trọng hơn, nó thích ứng những quyết định này trong thời gian thực dựa trên điều kiện và yêu cầu thay đổi.

Looking ahead, các ứng dụng AI thành công sẽ không được định nghĩa bởi kích thước của mô hình hoặc lượng tính toán chúng có thể truy cập. Chúng sẽ được định nghĩa bởi khả năng của chúng trong việc cung cấp các trải nghiệm được cá nhân hóa, phản hồi trong khi quản lý tài nguyên một cách hiệu quả. Mục tiêu của chúng tôi là làm cho mức độ tối ưu hóa thông minh này có thể tiếp cận được với mọi ứng dụng AI, bất kể quy mô hoặc độ phức tạp. Cảm ơn bạn vì cuộc phỏng vấn tuyệt vời, những người đọc muốn tìm hiểu thêm nên truy cập Skymel.