จูเลียน ซาลินาส ผู้ก่อตั้งและซีทีโอของ NLP Cloud – ซีรีส์สัมภาษณ์

จูเลียน ซาลินาส เป็นผู้ก่อตั้งและซีทีโอของ NLP Cloud แพลตฟอร์ม NLP Cloud ให้บริการโมเดล NLP ที่พร้อมใช้งานสำหรับการผลิตสูง โดยอาศัย spaCy และ HuggingFace transformers สำหรับการใช้งานหลายกรณี รวมถึง NER การวิเคราะห์ความรู้สึก การจำแนกประเภทข้อความ การสรุปคำถาม การสร้างข้อความ การแปลภาษา การตรวจจับภาษา การแก้ไขไวยากรณ์และการสะกด การจำแนกความตั้งใจ และความคล้ายคลึงกันทางภาษา

สิ่งใดที่ทำให้คุณสนใจในด้านวิทยาศาสตร์คอมพิวเตอร์?

ฉันเริ่มเขียนโปรแกรมใน… โรงเรียนธุรกิจ! ฉันรู้ว่ามันอาจดูไม่คาดคิด แต่ฉันรู้สึกว่าการทำธุรกิจนั้นไม่น่าสนใจและฉันจะถูกจำกัดหากไม่มีทักษะทางเทคนิคในการบรรลุโปรเจ็กต์ของฉัน

โปรเจ็กต์แรกของฉันในขณะนั้นคือเว็บไซต์ขนาดเล็กสำหรับครูสอนดนตรีของฉัน จากนั้นฉันก็เริ่มเรียนรู้ Python… และอื่นๆ และตอนนี้ฉันทำงานเป็นนักพัฒนา Python/Go และ DevOps มาเป็นเวลา 15 ปีแล้ว

คุณสามารถเล่าเรื่องราวเกี่ยวกับการก่อตั้ง NLP Cloud ได้หรือไม่?

มันเริ่มต้นเมื่อ 2 ปีที่แล้ว เมื่อฉันรู้สึกว่าเป็นนักพัฒนา การติดตั้งโมเดลการเรียนรู้ของเครื่องลงในระบบการผลิตนั้นเป็นเรื่องที่ยาก

ฉันประทับใจกับการพัฒนาของเฟรมเวิร์กอย่าง Hugging Face Transformers และ spaCy และฉันสามารถใช้โมเดล NLP ที่ทันสมัยในโปรเจ็กต์ของฉันได้ แต่การใช้โมเดลเหล่านี้ในระบบการผลิตเป็นอีกเรื่องหนึ่ง และฉันไม่พบ No-Ops Cloud ที่น่าสนใจสำหรับ NLP ในตลาด

ดังนั้น ฉันจึงตัดสินใจเริ่มแพลตฟอร์มของตัวเองสำหรับการติดตั้งโมเดล NLP และเรามีผลตอบรับที่ดีจากลูกค้าและเราก็ได้เพิ่มฟังก์ชันหลายอย่างตามคำติชม (โมเดลที่ได้รับการฝึกฝน การปรับแต่ง การเล่น…

NLP Cloud รองรับ GPT-3 ที่เป็นโอเพ่นซอร์ส GPT-J คืออะไร?

GPT-J ถูกปล่อยออกมาโดยทีมนักวิจัยที่เรียกว่า EleutherAI ในเดือนมิถุนายนปีนี้ พวกเขามีความเชื่อว่า GPT-3 ควรเป็นโมเดลโอเพ่นซอร์ส เช่นเดียวกับรุ่นก่อนหน้า (GPT และ GPT-2) พวกเขายังบอกอีกว่า แม้ว่าเราควรจะกังวลเกี่ยวกับการใช้งานที่อาจเกิดขึ้นของโมเดล AI ที่มีพลัง แต่ก็ไม่ใช่เหตุผลที่ดีในการไม่ทำให้โมเดลเหล่านี้เป็นโอเพ่นซอร์ส

GPT-J เป็นโมเดลที่เทียบเท่ากับ GPT-3 Curie ทั้งสองได้รับการฝึกฝนบนพารามิเตอร์ประมาณ 6 พันล้าน

ทั้งสองสามารถใช้แทนกันได้

ทำไม GPT-J จึงเป็นตัวเลือกที่ดีกว่า GPT-3?

GPT-3 เป็นของ Microsoft (MSFT ) และทางเดียวที่ผู้คนสามารถใช้งานได้คือผ่าน API ของ GPT-3 อย่างเป็นทางการ

แต่ API นี้มีค่าใช้จ่ายสูงและถูกจำกัดอย่างมาก: คุณต้องขออนุญาตเข้าถึง API และแม้ว่าแอปพลิเคชันของคุณจะได้รับการยอมรับ คุณก็สามารถถูกปิดการเข้าถึงได้ทุกเมื่อหากพวกเขาเห็นว่ารูปแบบธุรกิจของคุณไม่สอดคล้องกับแนวทางของพวกเขา ตัวอย่างเช่น คุณไม่สามารถสร้างข้อความ “เปิด” (ข้อความยาวที่ประกอบด้วยหลายย่อหน้า) ได้ เนื่องจากเป็นไปตามนโยบายของพวกเขา

ไม่มีข้อจำกัดดังกล่าวสำหรับ GPT-J เนื่องจากเป็นโอเพ่นซอร์ส และใครก็ตามสามารถติดตั้งและใช้งานได้

คุณสามารถพูดถึงความท้าทายทางเทคนิคในการรวม GPT-J เข้ากับ NLP Cloud ได้หรือไม่?

GPT-J มีการใช้ทรัพยากรสูง (RAM, CPU, GPU…) และทำงานได้ช้ามากหากไม่มี GPU

สุดท้าย ฮาร์ดแวร์ที่ต้องการในการรัน GPT-J มีค่าใช้จ่ายสูงมาก ดังนั้นเพื่อลดค่าใช้จ่าย เราจึงต้องทำงานในรายละเอียดหลายอย่าง

นอกจากนี้ เพื่อให้แน่ใจว่า GPT-J มีการใช้งานสูงและเหมาะสำหรับการผลิตบน NLP Cloud เราต้องทำงานในเรื่องของการสำรองข้อมูลและการฟื้นตัวของ GPT-J ซึ่งอาจเป็นเรื่องที่ท้าทาย

คุณสามารถพูดถึงโมเดล AI ที่ได้รับการฝึกฝนล่วงหน้าที่มีให้ใช้บ้างหรือไม่?

เราทำสิ่งที่ดีที่สุดเพื่อเลือกโมเดล AI ที่ดีที่สุดสำหรับการใช้งานแต่ละกรณี

สำหรับการสรุปข้อความ โมเดลที่ดีที่สุดในความคิดเห็นของเราคือ Facebook’s Bart Large CNN ซึ่งให้ผลลัพธ์ที่ดีมาก แต่ช้ามากหากไม่มี GPU

สำหรับการจำแนกประเภทข้อความ เราใช้ Facebook’s Bart Large MNLI (สำหรับการจำแนกประเภทภาษาอังกฤษ) และ Joe Davison’s XLM Roberta Large XLNI (สำหรับภาษาที่ไม่ใช่ภาษาอังกฤษ) ทั้งสองมีความเร็วและแม่นยำสูง

สำหรับการตอบคำถาม เราใช้ Deepset’s Roberta Base Squad 2 ซึ่งเร็วและแม่นยำ แต่สำหรับการตอบคำถามที่ซับซ้อนกว่านี้ คุณอาจต้องการใช้ GPT-J

และอื่นๆ อีกมากมาย!

กรณีการใช้งานที่ดีที่สุดสำหรับ NLP Cloud คืออะไร?

กรณีการใช้งานที่ได้รับความนิยมมากที่สุดคือการสรุปข้อความ การจำแนกประเภทข้อความ และการสร้างข้อความด้วย GPT-J สำหรับการสร้างคำอธิบายผลิตภัณฑ์ การเขียนใหม่ การสร้างบทความ…

แต่กรณีการใช้งานที่เราเห็นในหมู่ลูกค้าของเรานั้นหลากหลายมาก และน่าประทับใจที่จะเห็นความคิดที่ดีมากมายที่เกิดขึ้น!

มีอะไรอีกที่คุณต้องการแบ่งปันเกี่ยวกับ NLP Cloud หรือไม่?

ดูเหมือนว่า AI สำหรับการทำความเข้าใจและสร้างข้อความภาษาได้ถูกใช้ “จริงๆ” ในผลิตภัณฑ์หรือกระบวนการภายในของบริษัทต่างๆ มากขึ้น

เป็นเรื่องที่ดีที่จะเห็นว่า NLP ไม่ใช่แค่สาขาวิจัยเท่านั้น แต่มีกรณีการใช้งานทางธุรกิจที่แท้จริงที่สามารถใช้ NLP ได้

ที่ NLP Cloud เราจะทำสิ่งที่ดีที่สุดเพื่อให้แน่ใจว่าใครก็ตามสามารถทดสอบและใช้ NLP ในการผลิตได้อย่างง่ายดาย

ขอขอบคุณสำหรับการสัมภาษณ์ที่ดี ผู้อ่านสามารถเยี่ยมชม NLP Cloud เพื่อเรียนรู้เพิ่มเติม