Yubei Chen, Đồng sáng lập của Aizip Inc – Loạt phỏng vấn

Yubei Chen là đồng sáng lập của Aizip inc., một công ty xây dựng các mô hình AI nhỏ nhất và hiệu quả nhất trên thế giới. Ông cũng là giáo sư trợ lý tại Bộ phận ECE của Đại học California, Davis. Nghiên cứu của Chen tập trung vào giao điểm của thần kinh học tính toán và học sâu không giám sát (tự giám sát), nâng cao hiểu biết của chúng ta về các nguyên tắc tính toán điều khiển việc học đại diện không giám sát trong cả não và máy, và thay đổi hiểu biết của chúng ta về thống kê tín hiệu tự nhiên.

Trước khi gia nhập UC Davis, Chen đã thực hiện nghiên cứu sau tiến sĩ với GS. Yann LeCun tại Trung tâm Khoa học Dữ liệu NYU (CDS) và Nghiên cứu Trí tuệ Nhân tạo Cơ bản của Meta (FAIR). Ông đã hoàn thành luận án tiến sĩ tại Trung tâm Thần kinh học Lý thuyết Redwood và Nghiên cứu Trí tuệ Nhân tạo Berkeley (BAIR), UC Berkeley, dưới sự hướng dẫn của GS. Bruno Olshausen.

Aizip phát triển các giải pháp AI siêu hiệu quả được tối ưu hóa cho các thiết bị cạnh, cung cấp các mô hình compact cho các ứng dụng tầm nhìn, âm thanh, thời gian loạt, ngôn ngữ và hợp nhất cảm biến. Các sản phẩm của công ty cho phép thực hiện các nhiệm vụ như nhận dạng khuôn mặt và đối tượng, phát hiện từ khóa, phân tích ECG / EEG và trò chuyện trên thiết bị, tất cả đều được hỗ trợ bởi TinyML. Thông qua nền tảng AI nanofactory của mình, Aizipline, công ty đẩy nhanh việc phát triển mô hình bằng cách sử dụng các mô hình nền tảng và mô hình sinh để tiến tới tự động hóa thiết kế AI hoàn toàn. Dòng mô hình ngôn ngữ nhỏ Gizmo của Aizip (300M-2B tham số) hỗ trợ một loạt các thiết bị, mang lại khả năng thông minh đến rìa.

Bạn đã thực hiện nghiên cứu sau tiến sĩ với Yann LeCun tại NYU và Meta FAIR. Làm thế nào mà việc làm việc với ông và nghiên cứu của bạn tại UC Berkeley định hình cách tiếp cận của bạn trong việc xây dựng các giải pháp AI thực tế?

Tại Berkeley, công việc của tôi được植 sâu vào việc khám phá khoa học và nghiêm ngặt toán học. Nghiên cứu tiến sĩ của tôi, kết hợp kỹ thuật điện, khoa học máy tính và thần kinh học tính toán, tập trung vào việc hiểu các hệ thống AI từ góc độ “hộp trắng”, hoặc phát triển các phương pháp để tiết lộ các cấu trúc cơ bản của dữ liệu và mô hình học. Tôi đã làm việc trên việc xây dựng các mô hình AI có thể giải thích, hiệu suất cao và các kỹ thuật trực quan hóa giúp mở ra các hệ thống AI hộp đen.

Tại Meta FAIR, trọng tâm là xây dựng các hệ thống AI để đạt được hiệu suất hàng đầu tại quy mô. Với quyền truy cập vào các tài nguyên tính toán hàng đầu, tôi đã khám phá các giới hạn của việc học tự giám sát và đóng góp vào những gì chúng ta hiện gọi là “mô hình thế giới” – các hệ thống AI học từ dữ liệu và tưởng tượng các môi trường có thể. Kinh nghiệm song song này – hiểu biết khoa học tại Berkeley và quy mô kỹ thuật tại Meta – đã mang lại cho tôi một quan điểm toàn diện về phát triển AI. Nó nhấn mạnh tầm quan trọng của cả hiểu biết lý thuyết và triển khai thực tế khi bạn phát triển các giải pháp AI cho các ứng dụng thực tế

Công việc của bạn kết hợp thần kinh học tính toán với AI. Làm thế nào mà những hiểu biết từ thần kinh học ảnh hưởng đến cách bạn phát triển các mô hình AI?

Trong thần kinh học tính toán, chúng ta nghiên cứu cách não bộ xử lý thông tin bằng cách đo phản ứng của nó với các kích thích khác nhau, tương tự như cách chúng ta kiểm tra các mô hình AI để hiểu các cơ chế nội bộ của chúng. Sớm trong sự nghiệp của mình, tôi đã phát triển các kỹ thuật trực quan hóa để phân tích các bản nhúng từ – phá vỡ các từ như “apple” thành các yếu tố ngữ nghĩa thành phần, chẳng hạn như “trái cây” và “công nghệ”. Sau đó, cách tiếp cận này đã mở rộng sang các mô hình AI phức tạp hơn như các mô hình chuyển đổi và mô hình ngôn ngữ lớn, giúp tiết lộ cách chúng xử lý và lưu trữ kiến thức.

Các phương pháp này thực sự song song với các kỹ thuật trong thần kinh học, chẳng hạn như sử dụng điện cực hoặc fMRI để nghiên cứu hoạt động của não. Kiểm tra các biểu diễn nội bộ của một mô hình AI cho phép chúng ta hiểu các chiến lược suy luận của nó và phát hiện các thuộc tính mới nổi, chẳng hạn như các nơ-ron khái niệm kích hoạt cho các ý tưởng cụ thể (chẳng hạn như tính năng Cầu Vàng của Anthropic khi ánh xạ Claude). Dòng nghiên cứu này hiện đã được áp dụng rộng rãi trong ngành vì nó đã được chứng minh là cho phép cả giải thích và can thiệp thực tế, loại bỏ các偏见 khỏi các mô hình. Vì vậy, các phương pháp lấy cảm hứng từ thần kinh học giúp chúng ta làm cho AI trở nên giải thích được, đáng tin cậy và hiệu quả hơn.

Điều gì đã truyền cảm hứng cho bạn đồng sáng lập Aizip? Bạn có thể chia sẻ hành trình từ khái niệm đến việc ra mắt công ty?

Là một nhà nghiên cứu AI cơ bản, nhiều công việc của tôi là lý thuyết, nhưng tôi muốn bắc cầu giữa nghiên cứu và các ứng dụng thực tế. Tôi đồng sáng lập Aizip để đưa các đổi mới AI tiên tiến vào sử dụng thực tế, đặc biệt là trong các môi trường bị hạn chế về tài nguyên. Thay vì xây dựng các mô hình nền tảng lớn, chúng tôi tập trung vào phát triển các mô hình AI nhỏ nhất và hiệu quả nhất trên thế giới, được tối ưu hóa cho các thiết bị cạnh.

Hành trình cơ bản bắt đầu với một quan sát quan trọng: Trong khi các tiến bộ AI đang mở rộng nhanh chóng, các ứng dụng thực tế thường yêu cầu các mô hình nhỏ gọn và hiệu quả cao. Chúng tôi đã nhận thấy một cơ hội để tiên phong một hướng mới, cân bằng giữa sự nghiêm ngặt khoa học và triển khai thực tế. Bằng cách tận dụng những hiểu biết từ việc học tự giám sát và kiến trúc mô hình compact, Aizip đã có thể cung cấp các giải pháp AI mà hoạt động hiệu quả tại rìa và mở ra các khả năng mới cho AI trong các hệ thống nhúng, IoT và hơn thế nữa.

Aizip chuyên về các mô hình AI nhỏ cho các thiết bị cạnh. Bạn đã nhìn thấy khoảng trống nào trên thị trường dẫn đến sự tập trung này?

Ngành công nghiệp AI chủ yếu tập trung vào việc mở rộng quy mô các mô hình, nhưng các ứng dụng thực tế thường đòi hỏi điều ngược lại – hiệu suất cao, tiêu thụ năng lượng thấp và độ trễ tối thiểu. Nhiều mô hình AI hiện nay quá tốn kém về mặt tính toán để triển khai trên các thiết bị nhúng nhỏ. Chúng tôi đã nhìn thấy một khoảng trống trên thị trường cho các giải pháp AI có thể cung cấp hiệu suất mạnh mẽ trong khi hoạt động trong các hạn chế tài nguyên cực đoan.

Chúng tôi nhận ra rằng không cần thiết cho mọi ứng dụng AI phải chạy trên các mô hình lớn và cũng không thể mở rộng để dựa vào các mô hình có kích thước như vậy cho mọi thứ. Thay vào đó, chúng tôi tập trung vào tối ưu hóa các thuật toán để đạt được hiệu quả tối đa trong khi duy trì độ chính xác. Bằng cách thiết kế các mô hình AI được thiết kế cho các ứng dụng cạnh – cho dù trong các cảm biến thông minh, thiết bị đeo hoặc tự động hóa công nghiệp – chúng tôi cho phép AI chạy ở những nơi mà các mô hình truyền thống sẽ không thực tế. Cách tiếp cận của chúng tôi làm cho AI trở nên dễ tiếp cận, có thể mở rộng và tiết kiệm năng lượng hơn, mở ra các khả năng mới cho đổi mới AI được thúc đẩy ngoài đám mây.

Aizip đã tiên phong trong việc phát triển các Mô hình Ngôn ngữ Nhỏ (SLMs). Bạn nhìn thấy SLMs cạnh tranh hoặc bổ sung cho các mô hình lớn hơn như GPT-4 như thế nào?

SLMs và các mô hình lớn hơn như GPT-4 không nhất thiết phải cạnh tranh trực tiếp vì chúng phục vụ các nhu cầu khác nhau. Các mô hình lớn hơn mạnh mẽ về mặt khái quát hóa và suy luận sâu nhưng đòi hỏi tài nguyên tính toán đáng kể. SLMs được thiết kế cho hiệu quả và triển khai trên các thiết bị cạnh có công suất thấp. Chúng bổ sung cho các mô hình lớn bằng cách cho phép khả năng AI trong các ứng dụng thực tế mà tài nguyên tính toán, độ trễ và chi phí quan trọng – chẳng hạn như trong các thiết bị IoT, thiết bị đeo và tự động hóa công nghiệp. Khi việc áp dụng AI tăng trưởng, chúng tôi thấy một cách tiếp cận kết hợp đang xuất hiện, nơi các mô hình lớn dựa trên đám mây xử lý các truy vấn phức tạp trong khi SLMs cung cấp thông tin trí tuệ thực tế, được định vị tại rìa.

Những thách thức kỹ thuật lớn nhất trong việc làm cho các mô hình AI đủ hiệu quả cho các thiết bị cạnh có công suất thấp là gì?

Một trong những thách thức cơ bản là thiếu một hiểu biết lý thuyết hoàn chỉnh về cách các mô hình AI hoạt động. Không có nền tảng lý thuyết rõ ràng, các nỗ lực tối ưu hóa thường là kinh nghiệm, hạn chế các lợi ích về hiệu quả. Ngoài ra, việc học của con người xảy ra theo nhiều cách khác nhau mà các mô hình học máy hiện tại không thể nắm bắt đầy đủ, khiến cho việc thiết kế các mô hình bắt chước hiệu quả của con người trở nên khó khăn.

Từ góc độ kỹ thuật, việc đẩy AI hoạt động trong các hạn chế cực đoan đòi hỏi các giải pháp sáng tạo trong nén mô hình, định lượng và thiết kế kiến trúc. Một thách thức khác là tạo ra các mô hình AI có thể thích ứng với nhiều thiết bị và môi trường khác nhau trong khi vẫn duy trì độ bền. Khi AI ngày càng tương tác với thế giới vật lý thông qua IoT và cảm biến, nhu cầu về các giao diện tự nhiên và hiệu quả – như nhận dạng giọng nói và cử chỉ, cũng như các đầu vào không truyền thống khác – trở nên quan trọng. AI tại rìa là về việc重新 định nghĩa cách người dùng tương tác với thế giới kỹ thuật số một cách无缝.

Bạn có thể chia sẻ một số chi tiết về công việc của Aizip với các công ty như Softbank?

Chúng tôi gần đây đã hợp tác với SoftBank trên một dự án nuôi trồng thủy sản đã giành được Giải thưởng Đổi mới CES – một giải thưởng mà chúng tôi đặc biệt tự hào. Chúng tôi đã phát triển một mô hình AI hiệu quả, dựa trên cạnh cho một ứng dụng đếm cá có thể được sử dụng bởi các nhà điều hành nuôi trồng thủy sản cho các trang trại cá. Giải pháp này giải quyết một thách thức quan trọng trong nuôi cá có thể tạo ra các vấn đề về tính bền vững, lãng phí thực phẩm và lợi nhuận. Ngành công nghiệp này đã chậm trong việc áp dụng AI làm giải pháp do sự không đáng tin cậy của nguồn điện và kết nối tại biển, khiến các giải pháp AI dựa trên đám mây trở nên không thực tế.

Để giải quyết vấn đề này, chúng tôi đã phát triển một giải pháp dựa trên thiết bị. Chúng tôi đã kết hợp các mô phỏng đồ họa máy tính của SoftBank để đào tạo dữ liệu với các mô hình AI compact của chúng tôi và tạo ra một hệ thống cực kỳ chính xác chạy trên điện thoại thông minh. Trong các thử nghiệm dưới nước, nó đã đạt được tỷ lệ nhận dạng 95%, cải thiện đáng kể độ chính xác của việc đếm cá. Điều này cho phép nông dân tối ưu hóa điều kiện lưu trữ, xác định xem cá nên được vận chuyển sống hay đông lạnh, và phát hiện các bệnh hoặc vấn đề sức khỏe khác trong cá.

Đột phá này cải thiện hiệu quả, giảm chi phí và giảm sự phụ thuộc vào lao động thủ công. Về tổng thể, nó cho thấy AI có thể tạo ra tác động thực tế đến các vấn đề thực tế.

Aizip đã giới thiệu một khái niệm “Nhà máy Nanofactory AI”. Bạn có thể giải thích điều đó là gì và làm thế nào nó tự động hóa việc phát triển mô hình AI?

Nhà máy Nanofactory AI là đường ống Tự động hóa Thiết kế AI nội bộ của chúng tôi, lấy cảm hứng từ Tự động hóa Thiết kế Điện tử (EDA) trong sản xuất bán dẫn. Phát triển ban đầu trong bất kỳ lĩnh vực công nghệ mới nào đều liên quan đến rất nhiều công việc thủ công, vì vậy tự động hóa trở thành chìa khóa để đẩy nhanh tiến bộ và mở rộng các giải pháp khi lĩnh vực này trưởng thành.

Thay vì chỉ sử dụng AI để tăng tốc các ngành công nghiệp khác, chúng tôi đã đặt câu hỏi, liệu AI có thể tăng tốc sự phát triển của chính nó không? Nhà máy Nanofactory tự động hóa mọi giai đoạn phát triển mô hình AI, từ xử lý dữ liệu đến thiết kế kiến trúc, chọn mô hình, đào tạo, định lượng, triển khai và gỡ lỗi. Bằng cách tận dụng AI để tối ưu hóa chính nó, chúng tôi đã có thể giảm thời gian phát triển cho các mô hình mới xuống trung bình 10 lần. Trong một số trường hợp, hơn 1.000 lần. Điều này có nghĩa là một mô hình mà trước đây mất hơn một năm để phát triển bây giờ có thể được tạo ra trong vài giờ.

Một lợi ích khác là tự động hóa này cũng đảm bảo rằng các giải pháp AI là có thể thực hiện được về mặt kinh tế cho một loạt các ứng dụng, làm cho việc triển khai AI thực tế trở nên dễ tiếp cận và có thể mở rộng hơn.

Bạn nhìn thấy vai trò của AI cạnh tiến化 như thế nào trong năm năm tới?

AI cạnh hứa hẹn sẽ biến đổi cách chúng ta tương tác với công nghệ, tương tự như cách điện thoại thông minh đã cách mạng hóa việc truy cập internet. Hầu hết các ứng dụng AI ngày nay đều dựa trên đám mây, nhưng điều này đang bắt đầu thay đổi khi AI di chuyển gần hơn với các cảm biến và thiết bị tương tác với thế giới vật lý. Sự thay đổi này nhấn mạnh nhu cầu quan trọng về xử lý hiệu quả, thời gian thực tại rìa.

Trong năm năm tới, chúng tôi dự đoán AI cạnh sẽ cho phép tương tác con người – máy tính tự nhiên hơn, chẳng hạn như nhận dạng giọng nói và cử chỉ, cũng như các giao diện trực quan khác, sẽ loại bỏ sự phụ thuộc vào các rào cản truyền thống như bàn phím và màn hình cảm ứng. AI cũng dự kiến sẽ trở nên nhúng sâu hơn vào các môi trường hàng ngày như nhà thông minh hoặc tự động hóa công nghiệp để cho phép ra quyết định thời gian thực với độ trễ tối thiểu.

Một xu hướng chính khác sẽ là sự tự chủ ngày càng tăng của các hệ thống AI cạnh. Các mô hình AI sẽ trở nên tự tối ưu hóa và thích ứng hơn nhờ vào các tiến bộ trong tự động hóa theo phong cách Nhà máy Nanofactory AI, vì vậy chúng sẽ giảm nhu cầu can thiệp của con người trong triển khai và bảo trì. Điều đó sẽ mở ra các cơ hội mới trên nhiều ngành công nghiệp như chăm sóc sức khỏe, ô tô và nông nghiệp.

Các thiết bị AI nào sắp ra mắt từ Aizip mà bạn hào hứng nhất?

Chúng tôi đang làm việc để mở rộng các trường hợp sử dụng cho các mô hình của mình trong các ngành công nghiệp mới, và một trong những ngành chúng tôi đặc biệt hào hứng là một Trợ lý AI cho lĩnh vực ô tô. Có một động lực ngày càng tăng, đặc biệt là giữa các nhà sản xuất ô tô Trung Quốc, để phát triển các trợ lý giọng nói được hỗ trợ bởi các mô hình ngôn ngữ giống như ChatGPT bên trong cabin. Thách thức là hầu hết các trợ lý hiện tại vẫn phụ thuộc vào đám mây, đặc biệt là cho đối thoại tự nhiên và linh hoạt. Chỉ các nhiệm vụ điều khiển và lệnh cơ bản (chẳng hạn như “bật điều hòa” hoặc “mở cốp”) thường chạy cục bộ trên xe, và bản chất cứng nhắc của các lệnh đó có thể trở thành một sự phân tâm cho các tài xế nếu họ không nhớ chúng với độ chính xác tuyệt đối.

Chúng tôi đã phát triển một loạt các đại lý AI siêu hiệu quả, được hỗ trợ bởi mô hình ngôn ngữ nhỏ (SLM) gọi là Gizmo, hiện đang được sử dụng trong một số ứng dụng cho các ngành công nghiệp khác nhau, và chúng tôi đang làm việc để triển khai chúng như các “phi công đồng” cho xe. Gizmo được đào tạo để hiểu ý định theo cách tinh tế hơn và khi phục vụ như một Trợ lý AI cho xe, có thể thực hiện các lệnh thông qua ngôn ngữ hội thoại, ngôn ngữ tự do. Ví dụ, trợ lý có thể điều chỉnh nhiệt độ trong cabin nếu tài xế chỉ nói “Tôi cảm thấy lạnh” hoặc phản hồi một lời nhắc như “Tôi sẽ lái xe đến Boston vào ngày mai, tôi nên mặc gì?” bằng cách kiểm tra thời tiết và đưa ra một gợi ý.

Vì chúng chạy cục bộ và không phụ thuộc vào đám mây, những trợ lý này tiếp tục hoạt động trong các khu vực chết hoặc khu vực có kết nối kém, như đường hầm, núi hoặc đường nông thôn. Chúng cũng tăng cường an toàn bằng cách cung cấp cho các tài xế quyền kiểm soát hoàn toàn bằng giọng nói mà không làm mất tập trung khỏi đường đi. Và, trên một lưu ý riêng và nhẹ nhàng hơn, tôi cũng muốn đề cập rằng chúng tôi hiện đang trong quá trình đưa một mô hình karaoke AI cho xe và loa Bluetooth vào sản xuất, chạy cục bộ như phi công. Về cơ bản, nó lấy bất kỳ đầu vào âm thanh nào và loại bỏ giọng nói của con người khỏi nó, cho phép bạn tạo một phiên bản karaoke của bất kỳ bài hát nào theo thời gian thực. Vì vậy, ngoài việc giúp khách hàng quản lý các điều khiển trên xe một cách an toàn hơn, chúng tôi cũng đang tìm cách làm cho trải nghiệm trở nên thú vị hơn.

Các giải pháp như thế này, những giải pháp tạo ra sự khác biệt có ý nghĩa trong cuộc sống hàng ngày của mọi người, là những giải pháp mà chúng tôi tự hào nhất.

Aizip phát triển các giải pháp AI siêu hiệu quả được tối ưu hóa cho các thiết bị cạnh, cung cấp các mô hình compact cho các ứng dụng tầm nhìn, âm thanh, thời gian loạt, ngôn ngữ và hợp nhất cảm biến. Các sản phẩm của công ty cho phép thực hiện các nhiệm vụ như nhận dạng khuôn mặt và đối tượng, phát hiện từ khóa, phân tích ECG / EEG và trò chuyện trên thiết bị, tất cả đều được hỗ trợ bởi TinyML. Thông qua nền tảng AI nanofactory của mình, Aizipline, công ty đẩy nhanh việc phát triển mô hình bằng cách sử dụng các mô hình nền tảng và mô hình sinh để tiến tới tự động hóa thiết kế AI hoàn toàn. Dòng mô hình ngôn ngữ nhỏ Gizmo của Aizip (300M-2B tham số) hỗ trợ một loạt các thiết bị, mang lại khả năng thông minh đến rìa.

Cảm ơn vì cuộc phỏng vấn tuyệt vời, những người đọc muốn tìm hiểu thêm nên truy cập Aizip.