Chuyển đổi Mô hình Ngôn ngữ Lớn (LLM) sang Ứng dụng Kinh doanh Thực tế

Các mô hình ngôn ngữ lớn đang ở mọi nơi. Mỗi cuộc trò chuyện của khách hàng hoặc buổi trình bày của VC đều liên quan đến các câu hỏi về mức độ sẵn sàng của công nghệ LLM và cách nó sẽ thúc đẩy các ứng dụng trong tương lai. Tôi đã đề cập đến một số mẫu trong chủ đề này trong bài đăng trước của tôi. Ở đây, tôi sẽ nói về một số mẫu thực tế cho ứng dụng trong ngành dược phẩm mà Persistent Systems đã thực hiện.

Mô hình Ngôn ngữ Lớn và Điểm Mạnh Cốt lõi

LLM tốt trong việc hiểu ngôn ngữ, đó là điểm mạnh của chúng. Mẫu phổ biến nhất mà chúng tôi đang thấy với các ứng dụng là tạo ra kiến thức từ các nguồn dữ liệu và cung cấp nó trong ngữ cảnh như một lời nhắc để LLM diễn đạt lại một câu trả lời. Trong trường hợp này, các cơ chế tìm kiếm siêu nhanh như cơ sở dữ liệu vector và động cơ dựa trên Elasticsearch đóng vai trò là hàng rào tìm kiếm đầu tiên. Sau đó, kết quả tìm kiếm được biên soạn thành một lời nhắc và gửi đến LLM chủ yếu dưới dạng cuộc gọi API.

Một mẫu khác là tạo ra một truy vấn trên dữ liệu có cấu trúc bằng cách cung cấp cho LLM một mô hình dữ liệu như một lời nhắc và một truy vấn cụ thể của người dùng. Mẫu này có thể được sử dụng để phát triển một giao diện “nói chuyện với dữ liệu” tiên tiến cho các cơ sở dữ liệu SQL như Snowflake, cũng như các cơ sở dữ liệu đồ thị như Neo4j.

Sử dụng Mẫu LLM để có Được Thông Tin Thực tế

Gần đây, Persistent Systems đã xem xét một mẫu cho Blast Motion, một công ty đo lường thể thao (phân tích cú đánh bóng chày, golf, v.v.), nơi chúng tôi phân tích dữ liệu thời gian của tóm tắt người chơi để có được các khuyến nghị.

Đối với các ứng dụng phức tạp hơn, chúng tôi thường cần kết hợp các yêu cầu LLM với việc xử lý giữa các cuộc gọi. Đối với một công ty dược phẩm, chúng tôi đã phát triển một ứng dụng thông minh để lọc bệnh nhân cho các thử nghiệm lâm sàng dựa trên các tiêu chí được trích xuất từ tài liệu thử nghiệm lâm sàng. Ở đây, chúng tôi đã sử dụng một cách tiếp cận chuỗi LLM. Đầu tiên, chúng tôi đã phát triển một LLM để đọc tài liệu thử nghiệm và sử dụng mẫu RAG để trích xuất các tiêu chí bao gồm và loại trừ.

Để làm điều này, một LLM tương đối đơn giản như GPT-3.5-Turbo (ChatGPT) đã được sử dụng. Sau đó, chúng tôi đã kết hợp các thực thể được trích xuất này với mô hình dữ liệu của cơ sở dữ liệu SQL của bệnh nhân trong Snowflake để tạo một lời nhắc. Lời nhắc này được cung cấp cho một LLM mạnh mẽ hơn như GPT4, cho chúng tôi một truy vấn SQL để lọc bệnh nhân, sẵn sàng chạy trên Snowflake. Vì chúng tôi sử dụng chuỗi LLM, chúng tôi có thể sử dụng nhiều LLM cho mỗi bước của chuỗi, do đó cho phép chúng tôi quản lý chi phí.

Hiện tại, chúng tôi đã quyết định giữ chuỗi này có tính xác định để có kiểm soát tốt hơn. Đó là, chúng tôi đã quyết định có nhiều trí tuệ hơn trong các liên kết và giữ việc điều phối rất đơn giản và có thể dự đoán. Mỗi yếu tố của chuỗi là một ứng dụng phức tạp riêng biệt sẽ mất vài tháng để phát triển trong những ngày trước khi có LLM.

Cung Cấp Các Trường Hợp Sử dụng Tiên tiến Hơn

Đối với một trường hợp tiên tiến hơn, chúng tôi có thể sử dụng các đại lý như ReAct để nhắc LLM tạo ra các hướng dẫn từng bước để thực hiện cho một truy vấn người dùng cụ thể. Điều này sẽ cần một LLM cao cấp như GPT4 hoặc Cohere hoặc Claude 2. Tuy nhiên, sau đó có một rủi ro rằng mô hình có thể thực hiện một bước không chính xác sẽ cần được xác minh bằng cách sử dụng các rào cản. Đây là một sự đánh đổi giữa việc di chuyển trí tuệ vào các liên kết có thể kiểm soát được của chuỗi hoặc làm cho toàn bộ chuỗi tự động.

Ngày nay, khi chúng ta quen với thời đại của Trí tuệ Nhân tạo Tạo sinh cho ngôn ngữ, ngành công nghiệp đang bắt đầu áp dụng các ứng dụng LLM với các chuỗi có thể dự đoán. Khi việc áp dụng này tăng trưởng, chúng ta sẽ sớm bắt đầu thử nghiệm với nhiều tự chủ hơn cho các chuỗi này thông qua các đại lý. Đó là điều mà cuộc tranh luận về Trí tuệ Nhân tạo Tổng quát (AGI) đang nói đến và chúng tôi quan tâm đến việc xem tất cả những điều này sẽ phát triển như thế nào theo thời gian.