Tiến sĩ Mike Flaxman, VP của Sản phẩm tại HEAVY.AI – Loạt phỏng vấn

Tiến sĩ Mike Flaxman hiện là VP của Sản phẩm tại HEAVY.AI, trước đây từng là Trưởng nhóm Sản phẩm và lãnh đạo Thực hành Khoa học Dữ liệu Không gian tại Dịch vụ Chuyên nghiệp. Ông đã dành 20 năm qua làm việc trong lĩnh vực quy hoạch môi trường không gian. Trước khi đến HEAVY.AI, ông đã thành lập Geodesign Technologies, Inc và đồng sáng lập GeoAdaptive LLC, hai công ty khởi nghiệp áp dụng công nghệ phân tích không gian vào quy hoạch. Trước khi tham gia vào lĩnh vực khởi nghiệp, ông từng là giáo sư quy hoạch tại MIT và Quản lý Ngành tại ESRI.

HEAVY.AI là một nền tảng tăng tốc phần cứng cho phân tích dữ liệu thời gian thực, tác động cao. Nó tận dụng cả xử lý GPU và CPU để truy vấn các tập dữ liệu lớn nhanh chóng, với hỗ trợ cho SQL và dữ liệu không gian. Nền tảng này bao gồm các công cụ phân tích trực quan cho bảng điều khiển tương tác, lọc chéo và trực quan hóa dữ liệu có thể mở rộng, cho phép phân tích dữ liệu lớn hiệu quả trên nhiều ngành công nghiệp.

Bạn có thể kể cho chúng tôi về nền tảng chuyên môn của bạn và điều gì đã dẫn bạn đến với HEAVY.AI?

Trước khi gia nhập HEAVY.AI, tôi đã dành nhiều năm trong lĩnh vực học thuật, cuối cùng là giảng dạy phân tích không gian tại MIT. Tôi cũng đã điều hành một công ty tư vấn nhỏ, với nhiều khách hàng thuộc khu vực công. Tôi đã tham gia vào các dự án GIS trên 17 quốc gia. Công việc của tôi đã đưa tôi từ tư vấn cho các tổ chức như Ngân hàng Phát triển Liên Mỹ đến quản lý công nghệ GIS cho kiến trúc, kỹ thuật và xây dựng tại ESRI, nhà phát triển GIS lớn nhất thế giới.

Tôi nhớ rõ cuộc gặp đầu tiên của tôi với HEAVY.AI, khi tôi là một nhà tư vấn và chịu trách nhiệm lập kế hoạch kịch bản cho Chương trình Bảo tồn Habitat Bãi biển Florida. Đồng nghiệp và tôi đang gặp khó khăn trong việc mô hình hóa habitat của rùa biển bằng cách sử dụng dữ liệu Landsat 30m và một người bạn đã chỉ cho tôi một số dữ liệu mới và rất liên quan – dữ liệu LiDAR 5cm. Đó chính xác là những gì chúng tôi cần về mặt khoa học, nhưng nó lớn hơn khoảng 3600 lần so với những gì chúng tôi đã lên kế hoạch sử dụng. Không ai sẽ tăng ngân sách của tôi lên thậm chí một phần nhỏ của số đó. Vì vậy, trong ngày hôm đó, tôi đã đặt công cụ tôi đã sử dụng và giảng dạy trong nhiều thập kỷ và bắt đầu tìm kiếm điều gì đó mới. HEAVY.AI đã cắt qua và hiển thị dữ liệu đó một cách mượt mà và không khó khăn, và tôi đã ngay lập tức bị thu hút.

Chuyển đến vài năm sau, và tôi vẫn nghĩ những gì HEAVY.AI làm là khá độc đáo và đặt cược sớm vào phân tích GPU là chính xác nơi ngành công nghiệp vẫn cần đi. HEAVY.AI tập trung vào việc dân chủ hóa việc truy cập vào dữ liệu lớn. Điều này có thành phần về khối lượng dữ liệu và tốc độ xử lý, về cơ bản cung cấp cho mọi người siêu máy tính của riêng họ. Nhưng một khía cạnh ngày càng quan trọng với sự ra đời của các mô hình ngôn ngữ lớn là làm cho mô hình không gian trở nên dễ tiếp cận hơn với nhiều người. Những ngày này, thay vì dành nhiều năm để học một giao diện phức tạp với hàng nghìn công cụ, bạn chỉ cần bắt đầu một cuộc trò chuyện với HEAVY.AI bằng ngôn ngữ của con người. Chương trình không chỉ tạo ra các lệnh cần thiết mà còn trình bày các trực quan hóa liên quan.

Đằng sau những gì chúng tôi làm là một quá trình rất khó khăn. Hiện tại, với tư cách là VP của Quản lý Sản phẩm tại HEAVY.AI, tôi tham gia sâu vào việc xác định các tính năng và khả năng mà chúng tôi ưu tiên cho sản phẩm của mình. Kinh nghiệm rộng lớn của tôi trong lĩnh vực GIS cho phép tôi thực sự hiểu nhu cầu của khách hàng và hướng dẫn đường dẫn phát triển của chúng tôi theo đó.

Làm thế nào kinh nghiệm trước đây của bạn trong quy hoạch môi trường không gian và khởi nghiệp đã ảnh hưởng đến công việc của bạn tại HEAVY.AI?

Quy hoạch môi trường là một lĩnh vực đặc biệt đầy thách thức vì bạn cần phải tính đến cả nhu cầu của con người và thế giới tự nhiên. Giải pháp chung tôi đã học được từ sớm là kết hợp một phương pháp gọi là quy hoạch tham gia, với công nghệ cảm biến từ xa và GIS. Trước khi quyết định một kế hoạch hành động, chúng tôi sẽ tạo ra nhiều kịch bản và mô phỏng tác động tích cực và tiêu cực của chúng trong máy tính bằng cách sử dụng trực quan hóa. Sử dụng quy trình tham gia cho phép chúng tôi kết hợp nhiều hình thức chuyên môn và giải quyết các vấn đề rất phức tạp.

Mặc dù chúng tôi không thường làm quy hoạch môi trường tại HEAVY.AI, nhưng mẫu này vẫn hoạt động rất tốt trong môi trường kinh doanh. Vì vậy, chúng tôi giúp khách hàng xây dựng các bản sao kỹ thuật số của các phần quan trọng của doanh nghiệp và cho phép họ tạo và đánh giá các kịch bản kinh doanh nhanh chóng.

Tôi nghĩ rằng kinh nghiệm giảng dạy của tôi đã mang lại cho tôi sự đồng cảm sâu sắc với người dùng phần mềm, đặc biệt là phần mềm hệ thống phức tạp. Ở nơi một sinh viên vấp ngã ở một điểm là ngẫu nhiên, nhưng nơi hàng chục hoặc hàng trăm người mắc lỗi tương tự, bạn biết bạn đã có một vấn đề về thiết kế. Có lẽ phần yêu thích nhất của thiết kế phần mềm là đưa những hiểu biết này và áp dụng chúng vào việc thiết kế các hệ thống mới.

Bạn có thể giải thích cách HeavyIQ tận dụng xử lý ngôn ngữ tự nhiên để tạo điều kiện cho việc khám phá và trực quan hóa dữ liệu?

Ngày nay, dường như mọi người và anh em họ đều đang quảng cáo một mô hình AI mới, hầu hết trong số họ là bản sao không đáng nhớ của nhau. Chúng tôi đã đi theo một con đường rất khác. Chúng tôi tin rằng độ chính xác, khả năng tái tạo và quyền riêng tư là các đặc điểm thiết yếu cho bất kỳ công cụ phân tích kinh doanh nào, bao gồm cả những công cụ được tạo ra bằng mô hình ngôn ngữ lớn (LLM). Vì vậy, chúng tôi đã xây dựng những đặc điểm này vào sản phẩm của mình ở mức cơ bản. Ví dụ, chúng tôi hạn chế nghiêm ngặt đầu vào của mô hình chỉ cho cơ sở dữ liệu doanh nghiệp và cung cấp tài liệu bên trong hàng rào an ninh của doanh nghiệp. Chúng tôi cũng hạn chế đầu ra chỉ cho HeavySQL và Biểu đồ mới nhất. Điều đó có nghĩa là bất kỳ câu hỏi nào bạn đặt ra, chúng tôi sẽ cố gắng trả lời bằng dữ liệu của bạn, và chúng tôi sẽ hiển thị chính xác cách chúng tôi suy luận ra câu trả lời đó.

Với những bảo đảm này, điều quan trọng ít hơn đối với khách hàng của chúng tôi chính xác là cách chúng tôi xử lý các truy vấn. Nhưng đằng sau những gì chúng tôi làm, một sự khác biệt quan trọng khác so với AI tiêu dùng là chúng tôi tinh chỉnh mô hình rộng rãi chống lại các loại câu hỏi mà người dùng kinh doanh đặt ra cho dữ liệu kinh doanh, bao gồm cả dữ liệu không gian. Vì vậy, ví dụ, mô hình của chúng tôi rất giỏi trong việc thực hiện các phép nối không gian và thời gian, điều mà không có trong các chuẩn mực SQL cổ điển nhưng người dùng của chúng tôi sử dụng hàng ngày.

Chúng tôi đóng gói các khả năng cốt lõi này vào một giao diện Notebook mà chúng tôi gọi là HeavyIQ. IQ là về việc làm cho việc khám phá dữ liệu và trực quan hóa trở nên trực quan nhất có thể bằng cách sử dụng xử lý ngôn ngữ tự nhiên (NLP). Bạn đặt một câu hỏi bằng tiếng Anh – như “Các mẫu thời tiết ở California vào tuần trước là gì?” – và HeavyIQ dịch câu hỏi đó thành các truy vấn SQL mà cơ sở dữ liệu tăng tốc GPU của chúng tôi xử lý nhanh chóng. Kết quả được trình bày không chỉ dưới dạng dữ liệu mà còn dưới dạng trực quan hóa – bản đồ, biểu đồ, bất cứ thứ gì liên quan nhất. Điều quan trọng ở đây là thường không phải là câu hỏi đầu tiên bạn đặt ra, mà có thể là câu hỏi thứ ba, mới thực sự đưa bạn đến cái nhìn sâu sắc cốt lõi, và HeavyIQ được thiết kế để tạo điều kiện cho sự khám phá sâu sắc hơn đó.

Điều gì là lợi ích chính của việc sử dụng HeavyIQ so với các công cụ BI truyền thống cho các công ty viễn thông, tiện ích và cơ quan chính phủ?

HeavyIQ vượt trội trong các môi trường mà bạn đang xử lý dữ liệu quy mô lớn, tốc độ cao – chính xác loại dữ liệu mà các công ty viễn thông, tiện ích và cơ quan chính phủ xử lý. Các công cụ kinh doanh thông minh truyền thống thường gặp khó khăn với khối lượng và tốc độ của dữ liệu này. Ví dụ, trong lĩnh vực viễn thông, bạn có thể có hàng tỷ bản ghi cuộc gọi, nhưng chỉ một phần nhỏ của các cuộc gọi bị rớt mà bạn cần tập trung vào. HeavyIQ cho phép bạn sàng lọc qua dữ liệu đó nhanh hơn 10 đến 100 lần nhờ vào cơ sở hạ tầng GPU của chúng tôi. Tốc độ này, kết hợp với khả năng truy vấn và trực quan hóa dữ liệu tương tác, làm cho nó vô giá cho phân tích rủi ro trong lĩnh vực tiện ích hoặc lập kế hoạch kịch bản thời gian thực cho các cơ quan chính phủ.

Lợi thế khác đã được đề cập ở trên là các truy vấn SQL không gian và thời gian cực kỳ mạnh về mặt phân tích – nhưng có thể chậm hoặc khó viết bằng tay. Khi một hệ thống hoạt động ở tốc độ “tốc độ tò mò” của người dùng, họ có thể đặt cả nhiều câu hỏi và câu hỏi tinh vi hơn. Vì vậy, ví dụ, một kỹ sư viễn thông có thể nhận thấy một sự tăng đột ngột về thời gian trong các lỗi thiết bị từ một hệ thống giám sát, có trực giác rằng có điều gì đó không ổn tại một cơ sở cụ thể và kiểm tra điều này với một truy vấn không gian trả về một bản đồ.

Những biện pháp nào được thực hiện để ngăn chặn việc rò rỉ siêu dữ liệu khi sử dụng HeavyIQ?

Như đã mô tả ở trên, chúng tôi đã xây dựng HeavyIQ với quyền riêng tư và bảo mật ở mức cốt lõi. Điều này bao gồm không chỉ dữ liệu mà còn nhiều loại siêu dữ liệu. Chúng tôi sử dụng siêu dữ liệu cấp cột và bảng rộng rãi trong việc xác định các bảng và cột chứa thông tin cần thiết để trả lời một truy vấn. Chúng tôi cũng sử dụng tài liệu công ty nội bộ khi được cung cấp để hỗ trợ trong việc tạo ra các bản sinh (RAG). Cuối cùng, các mô hình ngôn ngữ tự nhiên tạo ra siêu dữ liệu bổ sung. Tất cả những điều này, nhưng đặc biệt là những điều cuối cùng, có thể có độ nhạy cao về mặt kinh doanh.

Không giống như các mô hình của bên thứ ba, nơi dữ liệu của bạn thường được gửi đến các máy chủ bên ngoài, HeavyIQ chạy cục bộ trên cùng cơ sở hạ tầng GPU với phần còn lại của nền tảng của chúng tôi. Điều này đảm bảo rằng dữ liệu và siêu dữ liệu của bạn vẫn nằm dưới sự kiểm soát của bạn, không có rủi ro về việc rò rỉ. Đối với các tổ chức yêu cầu mức độ bảo mật cao nhất, HeavyIQ thậm chí có thể được triển khai trong một môi trường hoàn toàn cách ly, đảm bảo rằng thông tin nhạy cảm không bao giờ rời khỏi thiết bị cụ thể.

Làm thế nào HEAVY.AI đạt được hiệu suất cao và khả năng mở rộng với các tập dữ liệu lớn bằng cách sử dụng cơ sở hạ tầng GPU?

Bí quyết chính là tránh việc di chuyển dữ liệu phổ biến trong các hệ thống khác. Ở cốt lõi, điều này bắt đầu với một cơ sở dữ liệu được thiết kế từ đầu để chạy trên GPU NVIDIA. Chúng tôi đã làm việc trên điều này trong hơn 10 năm và chúng tôi thực sự tin rằng chúng tôi có giải pháp tốt nhất trong lớp khi nói đến phân tích tăng tốc GPU.

Ngay cả những hệ thống dựa trên CPU tốt nhất cũng cạn kiệt hơi trước khi một GPU trung bình. Chiến lược khi điều này xảy ra trên CPU yêu cầu phân phối dữ liệu trên nhiều lõi và sau đó trên nhiều hệ thống (còn gọi là “tăng quy mô ngang”). Điều này hoạt động tốt trong một số ngữ cảnh nơi mọi thứ ít quan trọng về thời gian, nhưng nói chung bắt đầu bị tắc nghẽn trên hiệu suất mạng.

Bên cạnh việc tránh việc di chuyển dữ liệu trên các truy vấn, chúng tôi cũng tránh việc này trên nhiều nhiệm vụ chung khác. Đầu tiên là chúng tôi có thể hiển thị đồ họa mà không cần di chuyển dữ liệu. Sau đó, nếu bạn muốn mô hình hóa suy luận ML, chúng tôi lại thực hiện việc này mà không cần di chuyển dữ liệu. Và nếu bạn hỏi dữ liệu bằng một mô hình ngôn ngữ lớn, chúng tôi một lần nữa thực hiện việc này mà không cần di chuyển dữ liệu. Thậm chí nếu bạn là một nhà khoa học dữ liệu và muốn hỏi dữ liệu từ Python, chúng tôi lại cung cấp các phương pháp để thực hiện việc này trên GPU mà không cần di chuyển dữ liệu.

Điều đó có nghĩa là trong thực tế, chúng tôi có thể thực hiện không chỉ các truy vấn mà còn việc hiển thị 10 đến 100 lần nhanh hơn so với các cơ sở dữ liệu và máy chủ bản đồ dựa trên CPU truyền thống. Khi bạn đang xử lý các tập dữ liệu lớn, tốc độ cao mà khách hàng của chúng tôi làm việc – như mô hình thời tiết, hồ sơ cuộc gọi viễn thông hoặc hình ảnh vệ tinh – thì mức tăng hiệu suất như vậy là vô cùng quan trọng.

Làm thế nào HEAVY.AI duy trì lợi thế cạnh tranh trong cảnh quan phân tích dữ liệu lớn và AI đang phát triển nhanh chóng?

Đó là một câu hỏi tuyệt vời và đó là điều chúng tôi nghĩ về liên tục. Cảnh quan của phân tích dữ liệu lớn và AI đang phát triển với tốc độ cực kỳ nhanh, với những đột phá và đổi mới mới xảy ra mọi lúc. Điều này chắc chắn không gây hại khi chúng tôi có lợi thế 10 năm về công nghệ cơ sở dữ liệu GPU.

Tôi nghĩ rằng chìa khóa cho chúng tôi là tập trung vào sứ mệnh cốt lõi của mình – dân chủ hóa việc truy cập vào dữ liệu lớn, không gian. Điều đó có nghĩa là liên tục đẩy ranh giới của những gì có thể với phân tích tăng tốc GPU và đảm bảo rằng sản phẩm của chúng tôi cung cấp hiệu suất và khả năng không thể sánh được trong lĩnh vực này. Một phần quan trọng của điều đó là đầu tư liên tục của chúng tôi vào việc phát triển các mô hình ngôn ngữ tùy chỉnh, tinh chỉnh thực sự hiểu được sự tinh tế của SQL không gian và phân tích không gian.

Chúng tôi đã xây dựng một thư viện dữ liệu đào tạo rộng lớn, vượt ra ngoài các chuẩn mực chung, để đảm bảo rằng các công cụ phân tích hội thoại của chúng tôi có thể tham gia với người dùng một cách tự nhiên, trực quan. Nhưng chúng tôi cũng biết rằng công nghệ alone không đủ. Chúng tôi phải gắn bó chặt chẽ với khách hàng và nhu cầu đang thay đổi của họ. Về cơ bản, lợi thế cạnh tranh của chúng tôi đến từ sự tập trung không ngừng nghỉ vào việc cung cấp giá trị chuyển đổi cho người dùng của chúng tôi. Chúng tôi không chỉ theo kịp thị trường – chúng tôi đang đẩy ranh giới của những gì có thể với dữ liệu lớn và AI. Và chúng tôi sẽ tiếp tục làm như vậy, bất kể cảnh quan thay đổi nhanh như thế nào.

Làm thế nào HEAVY.AI hỗ trợ nỗ lực ứng phó khẩn cấp thông qua HeavyEco?

Chúng tôi xây dựng HeavyEco khi nhìn thấy một số khách hàng lớn nhất của mình gặp khó khăn đáng kể chỉ trong việc tiêu thụ đầu ra của mô hình thời tiết hiện tại, cũng như trực quan hóa chúng cho so sánh chung. Nó đã mất tới bốn giờ để tải dữ liệu cho một khách hàng và khi bạn đối mặt với điều kiện thời tiết cực đoan như cháy rừng… điều đó không đủ tốt.

HeavyEco được thiết kế để cung cấp thông tin theo thời gian thực trong các tình huống có hậu quả cao, như trong một đám cháy rừng hoặc lũ lụt. Trong những tình huống như vậy, bạn cần đưa ra quyết định nhanh chóng và dựa trên dữ liệu tốt nhất có thể. Vì vậy, HeavyEco trước hết là một đường ống dữ liệu được quản lý chuyên nghiệp cho các mô hình có thẩm quyền như những mô hình từ NOAA và USGS. Trên cơ sở đó, HeavyEco cho phép bạn chạy các kịch bản, xây dựng các tác động đến từng tòa nhà và trực quan hóa dữ liệu theo thời gian thực. Điều này cung cấp cho những người ứng phó đầu tiên thông tin quan trọng mà họ cần khi điều đó quan trọng nhất. Về cơ bản, nó là về việc chuyển đổi các tập dữ liệu lớn, phức tạp thành thông tin hành động có thể hướng dẫn việc ra quyết định ngay lập tức.

Cuối cùng, mục tiêu của chúng tôi là cung cấp cho người dùng khả năng khám phá dữ liệu của họ với tốc độ suy nghĩ. Cho dù họ đang chạy các mô hình không gian phức tạp, so sánh dự báo thời tiết hay cố gắng xác định các mẫu trong chuỗi thời gian không gian, chúng tôi muốn họ có thể làm điều đó một cách mượt mà, mà không có bất kỳ rào cản kỹ thuật nào cản trở.

Điều gì phân biệt LLM độc quyền của HEAVY.AI với các LLM của bên thứ ba khác về độ chính xác và hiệu suất?

LLM độc quyền của chúng tôi được tinh chỉnh đặc biệt cho các loại phân tích chúng tôi tập trung vào – như văn bản thành SQL và văn bản thành trực quan hóa. Ban đầu, chúng tôi đã thử các mô hình truyền thống của bên thứ ba, nhưng phát hiện ra rằng chúng không đáp ứng được yêu cầu độ chính xác cao của người dùng của chúng tôi, những người thường đưa ra quyết định quan trọng. Vì vậy, chúng tôi đã tinh chỉnh một loạt các mô hình mã nguồn mở và kiểm tra chúng chống lại các chuẩn mực của ngành.

LLM của chúng tôi chính xác hơn nhiều đối với các khái niệm SQL tiên tiến mà người dùng của chúng tôi cần, đặc biệt là trong dữ liệu không gian và thời gian. Ngoài ra, vì nó chạy trên cơ sở hạ tầng GPU của chúng tôi, nên nó cũng an toàn hơn.

Bên cạnh khả năng của mô hình tích hợp, chúng tôi cũng cung cấp một giao diện người dùng tương tác đầy đủ cho các quản trị viên và người dùng để thêm siêu dữ liệu liên quan đến lĩnh vực hoặc kinh doanh. Ví dụ, nếu mô hình cơ bản không hoạt động như mong đợi, bạn có thể nhập hoặc tinh chỉnh siêu dữ liệu cấp cột, hoặc thêm thông tin hướng dẫn và nhận được phản hồi ngay lập tức.

Làm thế nào HEAVY.AI hình dung vai trò của phân tích dữ liệu không gian và thời gian trong việc định hình tương lai của các ngành công nghiệp khác nhau?

Chúng tôi tin rằng phân tích dữ liệu không gian và thời gian sẽ cực kỳ quan trọng cho tương lai của nhiều ngành công nghiệp. Điều mà chúng tôi thực sự tập trung vào là giúp khách hàng của mình đưa ra quyết định tốt hơn, nhanh hơn. Cho dù bạn đang trong lĩnh vực viễn thông, tiện ích, chính phủ hay các lĩnh vực khác – việc có khả năng phân tích và trực quan hóa dữ liệu theo thời gian thực có thể là một yếu tố thay đổi cuộc chơi.

Sứ mệnh của chúng tôi là làm cho loại phân tích mạnh mẽ này trở nên dễ tiếp cận với mọi người, không chỉ những người chơi lớn với nguồn lực khổng lồ. Chúng tôi muốn đảm bảo rằng khách hàng của chúng tôi có thể tận dụng dữ liệu họ có, để ở phía trước và giải quyết vấn đề khi chúng phát sinh. Khi dữ liệu tiếp tục phát triển và trở nên phức tạp, chúng tôi xem vai trò của mình là đảm bảo rằng các công cụ của chúng tôi phát triển cùng với nó, vì vậy khách hàng của chúng tôi luôn sẵn sàng cho những gì tiếp theo.

Cảm ơn vì cuộc phỏng vấn tuyệt vời, những người đọc muốn tìm hiểu thêm nên truy cập HEAVY.AI.