Julien Salinas, Người sáng lập & CTO của NLP Cloud – Phỏng vấn

Julien Salinas là Người sáng lập & CTO của NLP Cloud. Nền tảng NLP Cloud cung cấp các mô hình NLP hiệu suất cao, sẵn sàng sản xuất dựa trên spaCy và HuggingFace transformers, cho nhiều trường hợp sử dụng bao gồm NER, phân tích cảm xúc, phân loại văn bản, tóm tắt, trả lời câu hỏi, tạo văn bản, dịch, phát hiện ngôn ngữ, sửa lỗi ngữ pháp và chính tả, phân loại ý định và tương đồng ngữ nghĩa.

Điều gì đã thu hút bạn vào lĩnh vực khoa học máy tính?

Tôi bắt đầu lập trình trong… trường kinh doanh! Tôi biết điều đó có vẻ bất ngờ. Trên thực tế, tôi nhanh chóng nhận ra rằng kinh doanh bản thân nó rất nhàm chán và tôi sẽ bị giới hạn nhanh chóng nếu tôi không có kỹ năng kỹ thuật để thực hiện các dự án của mình.

Dự án đầu tiên vào thời điểm đó là một trang web nhỏ cho giáo viên âm nhạc của tôi, sau đó là một trang web khác cho gia đình tôi, sau đó tôi bắt đầu học Python… và cứ như vậy. Hiện tại, tôi đã là nhà phát triển Python/Go và DevOps trong 15 năm.

Có thể bạn chia sẻ câu chuyện về sự ra đời của NLP Cloud?

Nó bắt đầu từ 2 năm trước khi tôi nhận ra rằng, với tư cách là một nhà phát triển, việc triển khai các mô hình học máy vào sản xuất khá khó khăn.

Tôi bị bất ngờ bởi sự tiến bộ của các framework như Hugging Face Transformers và spaCy, và tôi đã có thể tận dụng các mô hình NLP rất tiên tiến trong các dự án của mình. Nhưng việc sử dụng các mô hình này trong sản xuất là một chuyện khác và, đáng ngạc nhiên, tôi không thể tìm thấy bất kỳ dịch vụ No-Ops cloud nào thú vị cho NLP trên thị trường.

Vì vậy, tôi quyết định bắt đầu nền tảng của riêng mình để triển khai mô hình NLP. Rất nhanh chóng, chúng tôi đã nhận được phản hồi tuyệt vời từ khách hàng và chúng tôi đã thêm nhiều tính năng dựa trên phản hồi đó (mô hình được đào tạo trước, tinh chỉnh, khu vực chơi…).

Nền tảng NLP Cloud hỗ trợ GPT-J, một lựa chọn thay thế mã nguồn mở cho GPT-3. GPT-J là gì?

GPT-J đã được phát hành bởi một nhóm các nhà nghiên cứu gọi là EleutherAI vào tháng 6 năm nay. Họ tin rằng GPT-3 nên là một mô hình mã nguồn mở, giống như các phiên bản trước đó (GPT và GPT-2). Họ cho rằng, ngay cả khi chúng ta nên lo lắng về việc sử dụng sai các mô hình AI mạnh mẽ như GPT, thì đó không phải là lý do để không làm cho các mô hình này trở thành mã nguồn mở. Ngược lại: họ tin rằng nếu các mô hình AI vẫn còn mã nguồn mở, thì đó là cách tốt nhất để cộng đồng hiểu cách các mô hình này hoạt động và đảm bảo rằng chúng không hoạt động sai (phân biệt chủng tộc, kỳ thị phụ nữ,…).

GPT-J là một lựa chọn thay thế trực tiếp cho GPT-3 Curie vì cả hai đều được đào tạo trên khoảng 6 tỷ tham số.

Cả hai đều có thể được sử dụng gần như thay thế cho nhau.

Tại sao GPT-J lại là một lựa chọn thay thế vượt trội so với GPT-3?

GPT-3 thuộc về Microsoft (MSFT ) và cách duy nhất để mọi người sử dụng nó là thông qua API GPT-3 chính thức.

Tuy nhiên, API này rất đắt và cực kỳ hạn chế: bạn cần phải yêu cầu quyền truy cập vào API và, ngay cả khi ứng dụng của bạn được chấp nhận, quyền truy cập của bạn có thể bị chấm dứt bất cứ lúc nào nếu họ coi rằng mô hình kinh doanh của bạn không tuân thủ các hướng dẫn của họ. Ví dụ, bạn không thể tạo “văn bản mở” (văn bản dài gồm nhiều đoạn) vì nó vi phạm chính sách của họ.

Không có hạn chế nào như vậy với GPT-J vì nó là mã nguồn mở và bất kỳ ai cũng có thể cài đặt và sử dụng nó.

Những thách thức kỹ thuật nào bạn gặp phải khi tích hợp GPT-J vào NLP Cloud?

GPT-J phức tạp để cài đặt do tiêu thụ tài nguyên cao (RAM, CPU, GPU…). Nó hoạt động mà không cần GPU nhưng nó rất chậm và không thực tế.

Cuối cùng, phần cứng cần thiết để chạy GPT-J rất đắt nên chúng tôi phải làm việc trên nhiều chi tiết triển khai để giảm chi phí.

Ngoài ra, để đảm bảo tính khả dụng cao của GPT-J trên NLP Cloud và làm cho nó phù hợp cho sản xuất, chúng tôi phải làm việc trên các chiến lược dự phòng và chuyển đổi cho GPT-J, điều này có thể khá thách thức.

Có thể bạn thảo luận về một số mô hình AI được đào tạo trước mà bạn cung cấp?

Chúng tôi đang cố gắng chọn mô hình AI được đào tạo trước tốt nhất cho mỗi trường hợp sử dụng.

Đối với tóm tắt văn bản, mô hình tốt nhất – theo quan điểm của chúng tôi – là Bart Large CNN của Facebook (META ), cung cấp kết quả rất tốt nhưng có thể khá chậm mà không có GPU.

Đối với phân loại văn bản, chúng tôi đã triển khai Bart Large MNLI của Facebook (cho phân loại tiếng Anh) và XLM Roberta Large XLNI của Joe Davison (cho ngôn ngữ không phải tiếng Anh). Cả hai đều nhanh và chính xác.

Đối với trả lời câu hỏi, chúng tôi sử dụng Roberta Base Squad 2 của Deepset. Nó nhanh và chính xác nhưng đối với trả lời câu hỏi tiên tiến hơn, bạn có thể muốn sử dụng GPT-J.

Và nhiều hơn nữa!

Các trường hợp sử dụng tốt nhất cho NLP Cloud là gì?

Các trường hợp sử dụng được sử dụng nhiều nhất là tóm tắt văn bản, phân loại văn bản và tạo văn bản với GPT-J cho việc tạo mô tả sản phẩm, paraphrase, tạo bài viết…

Nhưng các trường hợp sử dụng mà chúng tôi thấy trong số khách hàng của mình rất đa dạng và thật ấn tượng khi chứng kiến nhiều ý tưởng tuyệt vời xuất hiện!

Có điều gì khác bạn muốn chia sẻ về NLP Cloud?

Dường như AI cho hiểu và tạo văn bản cuối cùng được sử dụng “thực sự” trong các sản phẩm hoặc quy trình công việc nội bộ, bởi nhiều công ty hơn.

Điều này thật tuyệt khi thấy rằng NLP không chỉ là một lĩnh vực nghiên cứu thuần túy nữa, mà có những trường hợp sử dụng kinh doanh thực sự có thể tận dụng NLP.

Tại NLP Cloud, chúng tôi sẽ tiếp tục cố gắng làm cho nó dễ dàng cho bất kỳ ai để thử nghiệm và sử dụng NLP trong sản xuất.

Cảm ơn vì cuộc phỏng vấn tuyệt vời, những người đọc muốn tìm hiểu thêm nên truy cập NLP Cloud.