Rob May, CEO và Đồng sáng lập của NeuroMetric – Phỏng vấn

Rob May, CEO và Đồng sáng lập của NeuroMetric, là một doanh nhân và nhà đầu tư có kinh nghiệm với hồ sơ theo dõi dài hạn bao gồm điện toán đám mây, các công ty khởi nghiệp AI và vốn đầu tư mạo hiểm, hiện đang lãnh đạo Neurometric AI đồng thời cũng là Giám đốc Điều hành tại HalfCourt Ventures, nơi ông đã hỗ trợ hơn 100 công ty công nghệ. Bên cạnh các vai trò hoạt động và đầu tư, ông đã đồng sáng lập Cộng đồng Đổi mới AI và trước đây đã xây dựng và thoát khỏi các công ty như Backupify, phản ánh kinh nghiệm sâu rộng trên nhiều chu kỳ công nghệ. Ông cũng được biết đến rộng rãi với bản tin Đầu tư vào AI lâu dài của mình, mà ông bắt đầu viết hơn một thập kỷ trước để phân tích các xu hướng AI mới nổi, chiến lược đầu tư và chuyển đổi thị trường, và đã kể từ đó phát triển thành một nền tảng cho những hiểu biết sâu sắc hơn về cảnh quan AI đang phát triển nhanh chóng.

NeuroMetric AI tập trung vào việc giải quyết một trong những thách thức quan trọng nhất trong trí tuệ nhân tạo ngày nay: chi phí và hiệu quả của suy luận ở quy mô lớn. Nền tảng này đánh giá động các khối lượng công việc AI và áp dụng các chiến lược tối ưu hóa – chẳng hạn như kết hợp các mô hình chuyên dụng nhỏ hơn với các kỹ thuật tính toán thời gian thử nghiệm tiên tiến – để cải thiện hiệu suất trong khi giảm đáng kể chi phí, cho phép các doanh nghiệp đạt được ROI tốt hơn từ các triển khai AI. Bằng cách điều phối các khối lượng công việc và tùy chỉnh việc sử dụng mô hình cho các nhiệm vụ cụ thể, Neurometric nhằm mục đích làm cho các hệ thống AI nhanh hơn và tiết kiệm hơn đáng kể, đặt mình tại điểm giao nhau của cơ sở hạ tầng AI, hiệu quả và khả năng mở rộng thực tế khi các tổ chức chuyển từ thí nghiệm sang sản xuất.

Bạn đã thành lập và lãnh đạo nhiều công ty AI, đầu tư vào hơn 100 công ty khởi nghiệp thông qua HalfCourt Ventures và trước đây đã xây dựng và thoát khỏi Backupify. Những kinh nghiệm đó đã định hình quan điểm của bạn về nơi tạo ra giá trị bền vững trong AI như thế nào?

Tôi nghĩ rằng hầu hết các nhà đầu tư và doanh nhân đang theo đuổi các rào cản ngắn hạn – những thứ trông giống như khoảng trống rõ ràng trên thị trường ngày nay nhưng khoảng trống sẽ nhanh chóng bị các công ty hiện có lấp đầy. AI sẽ làm cho việc vận hành một doanh nghiệp thu hẹp vào một loạt các quyết định xác suất. Các công ty để đầu tư hoặc xây dựng là những công ty có ước tính tổng thể tốt nhất về những xác suất đó. Đôi khi điều đó sẽ đến từ tích hợp dọc và đôi khi từ quy mô ngang – điều đó phụ thuộc vào thị trường.

Trong bản tin Đầu tư vào AI của bạn, bạn đã lập luận rằng các mô hình đang trở nên có thể thay thế và rằng sự phòng thủ thực sự chuyển sang lớp hệ thống. Một “hệ thống rào cản” thực sự trông như thế nào trong thực tế?

Một hệ thống rào cản thực sự có ba thuộc tính: nó tích lũy với việc sử dụng, nó cụ thể cho khách hàng và nó không thể được sao chép bằng cách thay thế một mô hình tốt hơn.

Sự phòng thủ sống trong những gì tôi gọi là “Hệ thống ngữ cảnh” – một kiến trúc tích hợp kết nối các mô hình nền tảng với mọi thứ làm cho một công ty trở nên độc đáo: dữ liệu của nó, các quy trình làm việc của nó, kiến thức lĩnh vực của nó, lịch sử quyết định của nó. Hệ thống này thu thập tín hiệu từ mọi tương tác – những mô hình nào thành công ở những nhiệm vụ nào, nơi độ trễ quan trọng, những mẫu doanh nghiệp cụ thể nào xuất hiện – và cung cấp tín hiệu đó trở lại để cải thiện chính nó.

Ý tưởng chính là điều này tạo ra một vòng quay nhân, không phải cộng. Bạn không chỉ tích lũy một nhật ký có thể tìm kiếm của các quyết định trong quá khứ. Bạn đang tạo ra tín hiệu đào tạo sản xuất các mô hình chuyên dụng cải thiện định tuyến, điều này thu thập thêm dữ liệu có giá trị. Rào cản mở rộng với mỗi suy luận.

Trong thực tế, một hệ thống rào cản trông giống như tích hợp luồng công việc sâu nơi chi phí chuyển đổi không phải là API – chúng là việc viết lại logic kinh doanh. Nó trông giống như ngữ cảnh độc quyền mà không có đối thủ cạnh tranh nào có thể sao chép vì nó được tạo ra thông qua nhiều tháng sử dụng sản xuất bên trong một doanh nghiệp cụ thể. Và nó trông giống như vòng lặp chuyên môn liên tục nơi hệ thống trở nên tốt hơn đáng kể cho khách hàng đó theo những cách mà nhà cung cấp mô hình chung không bao giờ làm được.

Kỷ nguyên mô hình đã mang lại cho chúng ta khả năng thô. Kỷ nguyên hệ thống là nơi khả năng đó trở thành giá trị thực tế.

Làm thế nào các doanh nghiệp nên nghĩ về việc xây dựng một chiến lược đa mô hình, bao gồm cả logic định tuyến, đường dẫn nâng cấp và đánh giá liên tục, thay vì dựa vào một mô hình tiền phong duy nhất?

Điều đầu tiên các doanh nghiệp cần internal hóa là “chỉ sử dụng mô hình tốt nhất” là một chiến lược thua cuộc ở quy mô. Đó là tương đương với việc chạy mọi truy vấn thông qua kỹ sư cao cấp nhất của bạn. Đó là tốn kém, chậm và – ngược lại với trực giác – thường không sản xuất kết quả tốt nhất.

Điều này liên quan đến những gì tôi gọi là “Phong cảnh suy luận gập ghềnh”: hiệu suất mô hình là cụ thể cho nhiệm vụ và khó dự đoán. Các mô hình tiền phong mất đối với các mô hình chuyên dụng nhỏ hơn trên các nhiệm vụ cụ thể mọi lúc. Chúng tôi đã thấy các hệ thống đa mô hình composite đạt 72,7% độ chính xác trên các nhiệm vụ CRM nơi các mô hình tiền phong đạt 58%. Mặt hiệu suất không tương quan gọn gàng với số lượng tham số. Vì vậy, câu hỏi thực sự không phải là “mô hình nào là tốt nhất?” – mà là “mô hình nào là tốt nhất cho nhiệm vụ cụ thể này?”

Đổi mới đó là nền tảng của một chiến lược đa mô hình thực sự. Dưới đây là cách tôi sẽ hướng dẫn các doanh nghiệp suy nghĩ về nó trong ba lớp.

Logic định tuyến bắt đầu bằng việc lập bản đồ phong cảnh suy luận của bạn. Lập danh mục mọi điểm trong hệ thống của bạn nơi một cuộc gọi LLM được thực hiện và đối với mỗi điểm, ghi lại loại nhiệm vụ, độ phức tạp đầu vào/đầu ra, yêu cầu độ trễ, ngưỡng độ chính xác và khối lượng cuộc gọi. Điều đó mang lại cho bạn một bản đồ nhiệt. Bạn sẽ nhanh chóng tìm thấy rằng hầu hết khối lượng của bạn là công việc có tần suất cao, phạm vi hẹp – phân loại, trích xuất thực thể, định tuyến ý định, tạo mẫu – nơi một mô hình nhỏ được tinh chỉnh phù hợp hoặc đánh bại mô hình tiền phong với một phần nhỏ của chi phí. Hãy dành các cuộc gọi tiền phong đắt tiền của bạn cho các nhiệm vụ thực sự yêu cầu lý luận phức tạp. Một tác nhân thực hiện 50 cuộc gọi cho mỗi nhiệm vụ không cần GPT-4 cho tất cả 50.

Đường dẫn nâng cấp là về việc xây dựng các phương thức nâng cấp thông minh, không chỉ là chuyển đổi. Hệ thống cần nhận ra khi một mô hình nhỏ hơn đang trả về kết quả độ tin cậy thấp và nâng cấp lên một mô hình có khả năng hơn – hoặc lên một kết hợp mô hình-chiến lược hoàn toàn khác. Đây là nơi các chiến lược tính toán thời gian thử nghiệm phát huy tác dụng. Đôi khi câu trả lời đúng không phải là một mô hình lớn hơn – mà là cùng một mô hình với chuỗi suy nghĩ, tìm kiếm chùm hoặc lấy mẫu tốt nhất trong số N.

Đánh giá liên tục là phần mà hầu hết các doanh nghiệp bỏ qua hoàn toàn, và đó là nơi sự phòng thủ thực sự xuất hiện. Việc chọn mô hình không phải là một quyết định một lần – đó là một vấn đề tối ưu hóa liên tục. Các mô hình mới được phát hành liên tục, các trường hợp sử dụng của bạn phát triển và hiệu suất suy giảm theo những cách im lặng thất bại. Bạn sẽ không biết rằng bot dịch vụ khách hàng của bạn đã đưa ra một câu trả lời kém 40% vì bạn đã sử dụng mô hình sai cho loại truy vấn đó – bạn chỉ sẽ thấy tỷ lệ khách hàng rời đi ba tháng sau. Bạn cần cơ sở hạ tầng liên tục đo lường những gì thực sự hoạt động trên các kết hợp mô hình-nhiệm vụ và điều chỉnh định tuyến dựa trên dữ liệu hiệu suất thực tế, không phải điểm chuẩn.

Các lỗi lớn nhất bạn thấy các công ty mắc phải khi chuyển từ các thử nghiệm AI sang các hệ thống sản xuất?

Họ giả định rằng các lựa chọn của họ có thể là tĩnh và lâu dài. Trên thực tế, mọi lớp của ngăn xếp công nghệ cho AI đang thay đổi nhanh chóng. Các công ty cần đưa ra những quyết định cung cấp tính linh hoạt và tùy chọn.

Trong những loại luồng công việc nào bạn đã thấy các mô hình nhỏ, chuyên dụng cho nhiệm vụ cụ thể vượt trội so với các mô hình tiền phong lớn, và điều đó quan trọng như thế nào về mặt chiến lược?

Chúng tôi đã thấy điều đó trong gần mọi nhiệm vụ làm việc hàng ngày – những thứ như kế toán cơ bản, tóm tắt văn bản, trích xuất thực thể từ các tài liệu khác nhau. Chúng tôi đã khám phá các mô hình chuyên dụng nhỏ cho hàng trăm nhiệm vụ làm việc và chúng gần như luôn thắng nếu vấn đề được cấu trúc đúng.

Bạn đã viết về chi phí giảm dần của việc triển khai AI vào các trường hợp sử dụng mới. Điều đó thay đổi nền kinh tế dài hạn của việc áp dụng AI cho các doanh nghiệp như thế nào?

Câu chuyện bong bóng giả định rằng doanh thu AI yêu cầu đầu tư R&D tương ứng vào các mô hình mới. Điều đó không đúng. Các mô hình đã được xây dựng. Cơ sở hạ tầng tồn tại. Mỗi trường hợp sử dụng bổ sung chỉ là một lời nhắc, một kết nối dữ liệu, có thể một số tinh chỉnh nhẹ – không phải một lần chạy đào tạo khác trị giá 100 triệu đô la. Đường cong chi phí biên cong xuống khi nền tảng trưởng thành.

Điều này là ngược lại với đường sắt hoặc viễn thông, nơi mỗi dặm đường ray mới là tốn kém. Trong AI, việc xây dựng động cơ là tốn kém. Việc kết nối mọi thứ vào động cơ là rẻ, và đang trở nên rẻ hơn – chi phí suy luận đã giảm khoảng 1.000 lần trong hai năm. Câu hỏi cho các doanh nghiệp không phải là liệu AI có mang lại lợi nhuận. Đó là bao nhiêu trường hợp sử dụng bạn có thể xếp chồng lên nhau trên cùng một cơ sở hạ tầng trước khi đường cong doanh thu vượt qua đường cong chi phí.

Các tín hiệu nào mà các nhóm kỹ thuật nên sử dụng để xác định khi nào nên chuyển mô hình, tinh chỉnh hoặc xây dựng mô hình nhiệm vụ nhỏ chuyên dụng?

Các tín hiệu không nhất thiết phải là kỹ thuật. Chúng được thúc đẩy nhiều hơn bởi hiệu suất hoặc động lực kinh tế. Ví dụ, chuyển đổi mô hình hoặc tinh chỉnh mô hình hoặc xây dựng một mô hình chuyên dụng nhỏ tùy chỉnh có thể đều hoạt động. Quyết định phụ thuộc vào việc bạn đang tối ưu hóa cho độ trễ hay chi phí, tần suất nhiệm vụ được thực hiện và thời gian cần thiết để xây dựng và triển khai mỗi giải pháp.

Làm thế nào bạn thiết kế các rào cản, giám sát và quản trị theo cách thực sự mở rộng quy mô với việc sử dụng thay vì trở thành một nút thắt?

Lỗi mà hầu hết các doanh nghiệp mắc phải là đối xử với quản trị như một điểm kiểm tra – một lớp xem xét thủ công được gắn vào trên các luồng công việc AI. Điều đó không mở rộng quy mô. Nó trở thành nút thắt ngay khi việc sử dụng tăng lên.

Quản trị phải được nhúng vào chính lớp điều phối. Khi cơ sở hạ tầng định tuyến của bạn đã đánh giá mọi cuộc gọi suy luận – mô hình nào, nhiệm vụ nào, mức độ tin cậy nào – việc thêm các rào cản là một chi phí biên, không phải một hệ thống mới. Cùng một lớp quyết định mô hình nào xử lý một truy vấn cũng có thể thực thi chính sách: lọc PII trước khi gọi, xác thực đầu ra sau, nhật ký kiểm toán được thu thập tự động, phân bổ chi phí theo bộ phận.

Ý tưởng chính là các doanh nghiệp không thất bại trong các hệ thống AI. Họ thất bại giữa chúng – trong các giao tiếp, nâng cấp và ngoại lệ. Quản trị mở rộng quy mô trông giống như một mặt điều khiển khiến mọi hành động AI trở nên an toàn, có thể kiểm toán và lặp lại như một sản phẩm phụ của việc thực hiện, không phải là một chướng ngại vật đối với nó.

Bạn đã so sánh cảnh quan AI ngày nay với sự chuyển đổi từ máy tính lớn sang máy tính cá nhân. Điều phi tập trung hóa đó có ý nghĩa gì đối với các công ty khởi nghiệp đang xây dựng trong lớp hệ thống?

Chúng tôi đang ở giai đoạn máy tính lớn của AI ngay bây giờ. Các mô hình tiền phong lớn, tập trung từ OpenAI, Anthropic và Google (GOOGL ) là cần thiết để tập trung nỗ lực và chứng minh những gì AI có thể làm. Giai đoạn đó đã hoạt động. Các khả năng đã được hiểu rõ. Nhưng giống như việc tính toán không ở lại tập trung, AI cũng sẽ không. Chúng tôi đang bước vào kỷ nguyên máy tính cá nhân – một hệ sinh thái phi tập trung nơi các mô hình nhỏ, chuyên dụng chạy gần hơn với công việc.

Dữ liệu chi tiêu đã phản ánh điều này. Đầu tư AI của doanh nghiệp hiện được chia gần như đồng đều giữa cơ sở hạ tầng và ứng dụng, và phần ứng dụng đang phát triển nhanh hơn. Sự mở rộng là ngang – trên toàn bộ HR, pháp lý, tiếp thị, vận hành, tài chính – không phải dọc vào các mô hình lớn hơn.

Đối với các công ty khởi nghiệp đang xây dựng trong lớp hệ thống, đây là cơ hội của một thế hệ. Trong một thế giới tập trung, nhà cung cấp mô hình thu được hầu hết giá trị. Trong một thế giới phi tập trung, giá trị di chuyển đến các công ty giải quyết điều phối, định tuyến, đánh giá và chuyên môn hóa – những thách thức hoạt động của việc triển khai một hệ sinh thái mô hình dị hình ở quy mô.

Dự đoán của tôi là khoảng 25% suy luận AI sẽ yêu cầu mô hình tiền phong. Những công ty đó sẽ ổn – đó là một vài nghìn tỷ đô la TAM. Nhưng 75% sẽ chạy trên các mô hình nhiệm vụ nhỏ chuyên dụng và mô hình nguồn mở. Chúng tôi đã đào tạo một mô hình 4 tỷ tham số đánh bại các mô hình tiền phong trên một nhiệm vụ CRM cụ thể và nó quá rẻ để chạy nó gần như miễn phí. Đó là tương lai – và nó cần một lớp hệ thống hoàn toàn mới để quản lý nó.

Phân tích vẫn giữ nguyên suốt: các nhà cung cấp máy tính lớn đã làm tốt, nhưng sự tạo ra của cải thực sự xảy ra trong hệ sinh thái máy tính cá nhân. Điều tương tự sẽ đúng trong AI.

Nhìn về tương lai 5 năm, bạn có tin rằng các nhà cung cấp mô hình tiền phong sẽ nắm giữ hầu hết giá trị, hay phần lớn tác động kinh tế sẽ đến từ điều phối, tối ưu hóa và các hệ thống ứng dụng được xây dựng xung quanh chúng?

Tôi nghĩ rằng thị trường suy luận AI sẽ là một trong những thị trường lớn nhất trong lịch sử thế giới. Điều đó có nghĩa là các phòng thí nghiệm mô hình tiền phong sẽ làm rất tốt và vẫn sẽ có cơ hội khổng lồ cho các công ty xây dựng xung quanh chúng. Khi bạn có thị trường nghìn tỷ đô la, việc giải quyết các trường hợp cạnh nhỏ trong những thị trường đó có thể biến thành các công ty trị giá tỷ đô la.

Cảm ơn vì cuộc phỏng vấn tuyệt vời, độc giả muốn tìm hiểu thêm có thể truy cập NeuroMetric AI, hoặc họ nên đăng ký bản tin Đầu tư vào AI.