Trey Doig, CTO & Co-Founder tại Pathlight – Loạt phỏng vấn

Trey Doig là Co-Founder & CTO tại Pathlight. Trey có hơn mười năm kinh nghiệm trong ngành công nghệ, đã từng làm việc như một kỹ sư cho IBM, Creative Commons và Yelp. Trey là kỹ sư dẫn đầu cho Yelp Reservations và chịu trách nhiệm tích hợp chức năng SeatMe vào Yelp.com. Trey cũng dẫn đầu sự phát triển của ứng dụng web SeatMe khi công ty mở rộng để hỗ trợ tăng trưởng khách hàng 10 lần.

Pathlight giúp các đội ngũ hướng tới khách hàng tăng cường hiệu suất và thúc đẩy hiệu quả với thông tin tức thời về cuộc trò chuyện của khách hàng và hiệu suất của đội ngũ. Nền tảng Pathlight phân tích tự động hàng triệu điểm dữ liệu để trao quyền cho mọi cấp độ của tổ chức hiểu rõ những gì đang xảy ra tại tiền tuyến của doanh nghiệp, và xác định các hành động tốt nhất để tạo ra thành công lặp lại.

Điều gì最初 thu hút bạn đến với khoa học máy tính?

Tôi đã đùa với máy tính từ khi còn nhớ. Khi tôi 12 tuổi, tôi bắt đầu tự học lập trình và tự dạy mình Scheme và Lisp, và không lâu sau đó bắt đầu xây dựng tất cả các thứ cho tôi và bạn bè, chủ yếu trong lĩnh vực phát triển web.

Đến khi nộp đơn vào đại học, tôi đã thực sự chán máy tính và đặt mục tiêu vào trường thiết kế. Sau khi bị từ chối và được đưa vào danh sách chờ của một số trường đó, tôi quyết định đăng ký vào chương trình CS và không bao giờ nhìn lại. Việc bị từ chối vào trường thiết kế đã trở thành một trong những sự từ chối có giá trị nhất trong cuộc đời tôi!

Bạn đã từng giữ các vị trí tại IBM, Yelp và các công ty khác. Tại Yelp cụ thể, những dự án thú vị nhất mà bạn đã làm việc và những bài học quan trọng mà bạn đã rút ra từ kinh nghiệm này?

Tôi gia nhập Yelp thông qua việc mua lại SeatMe, công ty trước của chúng tôi, và từ ngày đầu tiên, tôi được giao nhiệm vụ tích hợp công cụ tìm kiếm đặt chỗ của chúng tôi vào trang chủ của Yelp.com.

Sau chỉ vài tháng, chúng tôi đã có thể tích hợp thành công công cụ tìm kiếm này vào Yelp với quy mô lớn, chủ yếu nhờ vào cơ sở hạ tầng mạnh mẽ mà Yelp đã xây dựng nội bộ cho Elasticsearch. Đó cũng là nhờ vào sự lãnh đạo kỹ thuật xuất sắc tại Yelp cho phép chúng tôi di chuyển tự do và làm những gì chúng tôi làm tốt nhất: giao hàng nhanh.

Là CTO & Co-Founder của một công ty trí tuệ hội thoại, Pathlight, bạn đang giúp xây dựng một cơ sở hạ tầng LLMOps từ đầu. Bạn có thể thảo luận về các yếu tố khác nhau cần được lắp ráp khi triển khai cơ sở hạ tầng LLMOps, chẳng hạn như cách bạn quản lý lớp quản lý lời nhắc, lớp luồng bộ nhớ, lớp quản lý mô hình, v.v.

Vào cuối năm 2022, chúng tôi đã cam kết thực hiện một dự án nghiêm túc là phát triển và thử nghiệm các Mô hình Ngôn ngữ Lớn (LLM), một dự án đã nhanh chóng dẫn đến việc ra mắt thành công sản phẩm Trí tuệ Hội thoại bản địa GenAI của chúng tôi chỉ bốn tháng sau. Sản phẩm này kết hợp các tương tác của khách hàng từ các kênh khác nhau – dù là văn bản, âm thanh hay video – vào một nền tảng duy nhất, cho phép một mức độ phân tích và hiểu biết sâu sắc về cảm xúc của khách hàng.

Trong quá trình điều hướng quá trình phức tạp này, chúng tôi đã chuyển录, tinh lọc và tối ưu hóa dữ liệu để phù hợp lý tưởng với quá trình xử lý LLM. Một khía cạnh quan trọng của quy trình này là việc tạo ra các bản nhúng từ các bản ghi, một bước cơ bản cho hiệu quả của mô hình phân loại và tóm tắt phức tạp của chúng tôi.

Điều thực sự khiến dự án này khác biệt là tính mới và chưa được khám phá của lĩnh vực này. Chúng tôi đang ở trong một vị trí độc đáo, tiên phong và khám phá các phương pháp hay đồng thời với cộng đồng rộng lớn hơn. Một ví dụ nổi bật về việc khám phá này là trong kỹ thuật lời nhắc – giám sát, gỡ lỗi và đảm bảo kiểm soát chất lượng của các lời nhắc được tạo ra bởi ứng dụng của chúng tôi. Thật đáng chú ý, chúng tôi đang chứng kiến sự ra đời của nhiều công ty khởi nghiệp đang cung cấp các công cụ thương mại cho các nhu cầu cấp cao hơn, bao gồm cả tính năng cộng tác và khả năng ghi nhật ký và lập chỉ mục tiên tiến.

Tuy nhiên, đối với chúng tôi, trọng tâm vẫn không thay đổi trong việc củng cố các lớp cơ sở của cơ sở hạ tầng LLMOps của chúng tôi. Từ việc điều chỉnh quy trình, lưu trữ mô hình, đến thiết lập các API suy luận mạnh mẽ, những thành phần cấp thấp này là rất quan trọng cho sứ mệnh của chúng tôi. Bằng cách tập trung nguồn lực và chuyên môn kỹ thuật của chúng tôi vào đây, chúng tôi đảm bảo rằng sản phẩm của chúng tôi không chỉ ra mắt thị trường nhanh chóng mà còn đứng trên một nền tảng vững chắc và đáng tin cậy.

Cơ sở của Pathlight CI được cung cấp bởi một nền tảng đa LLM, những thách thức khi sử dụng nhiều hơn một LLM và đối phó với các giới hạn tốc độ khác nhau của chúng?

LLM và GenAI đang di chuyển với tốc độ nhanh, điều này khiến cho bất kỳ ứng dụng kinh doanh nào phụ thuộc mạnh mẽ vào các công nghệ này phải có khả năng theo kịp các mô hình được đào tạo mới nhất, dù đó là dịch vụ được quản lý độc quyền hay triển khai mô hình FOSS trong cơ sở hạ tầng của riêng bạn. Đặc biệt là khi nhu cầu của dịch vụ tăng lên và giới hạn tốc độ ngăn cản thông lượng cần thiết.

Ảo giác là một vấn đề phổ biến đối với bất kỳ công ty nào đang xây dựng và triển khai LLM, Pathlight giải quyết vấn đề này như thế nào?

Ảo giác, theo nghĩa mà tôi nghĩ mọi người thường đề cập đến, là một thách thức lớn khi làm việc với LLM một cách nghiêm túc. Có một mức độ không chắc chắn / không thể đoán trước xảy ra trong những gì được mong đợi từ một lời nhắc thậm chí giống hệt. Có nhiều cách tiếp cận vấn đề này, bao gồm cả việc tinh chỉnh (trong đó tối đa hóa việc sử dụng các mô hình chất lượng cao nhất có sẵn cho mục đích tạo dữ liệu tinh chỉnh).

Pathlight cung cấp các giải pháp khác nhau cho các phân khúc thị trường khác nhau như du lịch & khách sạn, tài chính, trò chơi, bán lẻ & thương mại điện tử, trung tâm liên hệ, v.v. Bạn có thể thảo luận về cách Trí tuệ Tạo sinh được sử dụng khác nhau đằng sau các phân khúc thị trường này?

Khả năng giải quyết ngay lập tức một loạt các phân khúc như vậy là một trong những khía cạnh độc đáo và quý giá nhất của Trí tuệ Tạo sinh. Để có thể tiếp cận các mô hình được đào tạo trên toàn bộ internet, với một phạm vi kiến thức rộng lớn như vậy trong tất cả các lĩnh vực, là một đặc tính độc đáo của bước đột phá mà chúng ta đang trải qua hiện nay. Đây là cách AI sẽ chứng minh bản thân theo thời gian, trong sự phổ biến và chắc chắn sẽ sớm được chứng minh khi nó tiếp tục trên con đường hiện tại.

Bạn có thể thảo luận về cách Pathlight sử dụng học máy để tự động hóa phân tích dữ liệu và khám phá các thông tin ẩn?

Đúng vậy! Chúng tôi có một lịch sử lâu dài về việc xây dựng và xuất bản nhiều dự án học máy trong nhiều năm. Mô hình tạo sinh đằng sau tính năng Insight Streams mới nhất của chúng tôi là một ví dụ tuyệt vời về cách chúng tôi đã tận dụng học máy để tạo ra một sản phẩm trực tiếp nhằm khám phá những gì bạn không biết về khách hàng của mình. Công nghệ này sử dụng khái niệm Trợ lý AI có khả năng tạo ra một tập hợp các Thông tin不断 phát triển, điều này làm cho cả sự mới mẻ và độ sâu của phân tích thủ công trở nên không thể đạt được. Theo thời gian, những dòng thông tin này có thể tự học và

Phân tích dữ liệu hoặc các nhà khoa học dữ liệu, nhà phân tích kinh doanh, bán hàng hoặc các bộ phận hỗ trợ khách hàng hoặc bất kỳ ai mà công ty chỉ định là người chịu trách nhiệm phân tích dữ liệu hỗ trợ khách hàng đều bị ngập trong các yêu cầu quan trọng mọi lúc. Loại phân tích sâu, loại yêu cầu các lớp và lớp phức tạp của hệ thống và dữ liệu.

Quan điểm cá nhân của bạn về loại đột phá mà chúng ta nên mong đợi trong làn sóng LLM và AI nói chung?

Quan điểm cá nhân của tôi là cực kỳ lạc quan về lĩnh vực đào tạo và tinh chỉnh LLM sẽ tiếp tục tiến bộ rất nhanh, cũng như đạt được những thành tựu trong các lĩnh vực rộng lớn hơn, và đa phương thức trở thành một chuẩn mực. Tôi tin rằng FOSS đã “tốt như” GPT4 theo nhiều cách, nhưng chi phí lưu trữ những mô hình này sẽ tiếp tục là một mối quan tâm đối với hầu hết các công ty.