ดิลัน ฟ็อกซ์ ซีอีโอและผู้ก่อตั้ง AssemblyAI – ชุดบทสัมภาษณ์

ดิลัน ฟ็อกซ์ เป็น CEO และผู้ก่อตั้ง AssemblyAI ซึ่งเป็นแพลตฟอร์มที่แปลงไฟล์เสียงและวิดีโอ รวมถึงสตรีมเสียงสดเป็นข้อความโดยใช้ Speech-to-Text APIs ของ AssemblyAI

สิ่งใดที่ดึงดูดคุณให้เข้าสู่สาขาการเรียนรู้ของเครื่องจักร?

ฉันเริ่มต้นด้วยการเรียนรู้การเขียนโปรแกรมและเข้าร่วม Python Meetups ในวอชิงตัน ดีซี ซึ่งเป็นที่ที่ฉันเรียนมหาวิทยาลัย ผ่านการเรียนในมหาวิทยาลัย ฉันพบว่าตัวเองมีความสนใจในเรื่องของการเขียนโปรแกรมประเภทอัลกอริทึม ซึ่งนำไปสู่การเรียนรู้เกี่ยวกับการเรียนรู้ของเครื่องจักรและ NLP

ก่อนที่คุณจะก่อตั้ง AssemblyAI คุณเคยทำงานเป็น Senior Software Engineer ที่ Cisco คุณทำงานอะไร?

ที่ Cisco ฉันทำงานเป็น Senior Software Engineer โดยมุ่งเน้นในการพัฒนา Machine Learning สำหรับผลิตภัณฑ์ในการทำงานร่วมกัน

งานของคุณที่ Cisco และปัญหาในการจัดหาเทคโนโลยีรู้จำเสียงพูด นำไปสู่การก่อตั้ง AssemblyAI ได้อย่างไร?

ในงานก่อนหน้านี้ ฉันมีโอกาสทำงานในโครงการ AI มากมาย รวมทั้งหลายโครงการที่ต้องใช้การรู้จำเสียงพูด แต่ทุกบริษัทที่ให้บริการการรู้จำเสียงพูด เป็นบริการนั้นมีความเก่าแก่และยากต่อการซื้อหรือใช้งาน นอกจากนี้ยังใช้เทคโนโลยี AI ที่ล้าสมัย

เมื่อฉันสนใจการวิจัย AI มากขึ้น ฉันพบว่ามีการวิจัยมากมายในด้านการรู้จำเสียงพูด และความเร็วในการพัฒนานั้นมาก ฉันจึงคิดว่า “ถ้าเราสามารถสร้างบริษัท API ในรูปแบบ Twilio ที่ใช้ผลวิจัย AI ล่าสุดเพื่อช่วยให้นักพัฒนาเข้าถึงเทคโนโลยี AI ที่ดีที่สุดสำหรับการรู้จำเสียงพูดได้ง่ายขึ้น พร้อมประสบการณ์สำหรับนักพัฒนาที่ดีกว่ามาก จะเป็นอย่างไร?”

และจากนั้นความคิดในการก่อตั้ง AssemblyAI ก็เกิดขึ้น

สิ่งที่ท้าทายที่สุดในการสร้างเทคโนโลยีการรู้จำเสียงพูดที่แม่นยำและเชื่อถือได้คืออะไร?

ค่าใช้จ่ายและการหาบุคลากรที่มีความสามารถเป็นสองสิ่งที่ท้าทายที่สุดสำหรับบริษัทใดๆ ในการสร้างเทคโนโลยีการรู้จำเสียงพูดที่แม่นยำและเชื่อถือได้

การจัดหาข้อมูลมีราคาแพง และโดยทั่วไปต้องใช้เสียงหลายแสนชั่วโมงเพื่อสร้างระบบรู้จำเสียงพูดที่แข็งแกร่ง การฝึกยังใช้ทรัพยากรประมวลผลมหาศาล ส่วนการให้บริการโมเดลในระบบใช้งานจริงก็มีค่าใช้จ่ายสูงและต้องใช้ผู้เชี่ยวชาญเพื่อปรับให้เหมาะสมและคุ้มทุน

การสร้างเทคโนโลยีเหล่านี้ต้องการทักษะพิเศษซึ่งยากต่อการหามา นี่เป็นเหตุผลสำคัญที่ลูกค้ามาหาโมเดล AI อันทรงพลังซึ่งเราวิจัย ฝึก และนำไปใช้ภายในบริษัท พวกเขาเข้าถึงผลวิจัยหลายปีของโมเดล AI ล้ำสมัยสำหรับ ASR และ NLP ผ่าน API ที่เรียบง่าย

นอกเหนือจากการถอดเสียงและวิดีโอ AssemblyAI ยังมีโมเดล AI อื่นๆ อีกมากมาย คุณสามารถอธิบายได้หรือไม่?

ชุดโมเดล AI ของเราครอบคลุมมากกว่าการถอดเสียงแบบเรียลไทม์และแบบอะซิงโครนัส เราเรียกโมเดลเพิ่มเติมเหล่านี้ว่า Audio Intelligence เพราะช่วยให้ลูกค้าวิเคราะห์และเข้าใจข้อมูลเสียงได้ดีขึ้น

โมเดล Summarization ให้ทั้งสรุปโดยรวมและสรุปพร้อมรหัสเวลา โดยแบ่งและสรุปแต่ละบทอัตโนมัติเมื่อหัวข้อสนทนาเปลี่ยน คล้ายบทใน YouTube

โมเดล Sentiment Analysis ตรวจจับความรู้สึกของแต่ละประโยคที่พูดในไฟล์เสียง และระบุแต่ละประโยคในบทถอดเสียงเป็นบวก ลบ หรือเป็นกลางได้

โมเดล Entity Detection ระบุเอนทิตีหลากหลายที่กล่าวถึงในไฟล์เสียง เช่น ชื่อบุคคลหรือบริษัท อีเมล วันที่ และสถานที่

โมเดล Topic Detection ติดป้ายหัวข้อที่พูดถึงในไฟล์เสียงและวิดีโอ ป้ายที่คาดการณ์เป็นไปตามอนุกรมวิธานมาตรฐาน IAB จึงเหมาะกับการกำหนดเป้าหมายตามบริบท

โมเดล Content Moderation ตรวจจับเนื้อหาอ่อนไหวในไฟล์เสียงและวิดีโอ เช่น ถ้อยคำสร้างความเกลียดชัง ความรุนแรง ประเด็นสังคมอ่อนไหว แอลกอฮอล์ ยาเสพติด และอื่นๆ

ใช้กรณีใดบ้างที่ใหญ่ที่สุดสำหรับบริษัทที่ใช้ AssemblyAI?

ใช้กรณีที่ใหญ่ที่สุดสำหรับ AssemblyAI คือ การใช้งานในด้านโทรศัพท์ วิดีโอ การประชุมเสมือน และสื่อ

CallRail เป็นตัวอย่างลูกค้าในด้านโทรศัพท์ที่ใช้โมเดล Core Transcription, Automatic Transcript Highlights และ PII Redaction ของ AssemblyAI เพื่อให้โซลูชันข่าวกรองการสนทนาอันทรงพลังแก่ลูกค้า

CallRail จึงแสดงและระบุเนื้อหาสำคัญจากสายโทรศัพท์ให้ลูกค้าได้อัตโนมัติในวงกว้าง เช่น คำขอเฉพาะ คำถามที่พบบ่อย และคำหรือวลีที่ใช้บ่อย โมเดล PII Redaction ของเราช่วยตรวจจับและลบข้อมูลอ่อนไหวในบทถอดเสียง เช่น หมายเลขประกันสังคม เลขบัตรเครดิต และที่อยู่ส่วนบุคคล

การใช้งานวิดีโอครอบคลุมตั้งแต่แพลตฟอร์มสตรีมมิ่งถึงโปรแกรมตัดต่ออย่าง Veed ซึ่งใช้ Core Transcription เพื่อทำให้การตัดต่อง่ายขึ้น ผู้ใช้ Veed ถอดเสียงวิดีโอและตัดต่อโดยใช้คำบรรยายได้โดยตรง

ในการประชุมเสมือน บริษัทซอฟต์แวร์ถอดเสียงประชุมอย่าง Fathom ใช้ AssemblyAI สร้างฟังก์ชันอัจฉริยะเพื่อถอดเสียงและเน้นช่วงสำคัญจากการโทร Zoom ช่วยเพิ่มการมีส่วนร่วมและลดงานน่าเบื่อระหว่างและหลังประชุม เช่น จดบันทึก

ในด้านสื่อ แพลตฟอร์มโฮสต์พอดแคสต์ใช้ Content Moderation และ Topic Detection เพื่อให้เครื่องมือโฆษณาที่ดีขึ้นสำหรับความปลอดภัยของแบรนด์ และสร้างรายได้จากเนื้อหาที่ผู้ใช้สร้างด้วยโฆษณาแบบไดนามิก

AssemblyAI เพิ่งได้รับเงินลงทุน 30 ล้านเหรียญสหรัฐฯ ในรอบ Series B จะช่วยให้ AssemblyAI พัฒนาไปอย่างไร?

ความก้าวหน้าของ AI น่าตื่นเต้นมาก เป้าหมายคือทำให้ความก้าวหน้านี้เข้าถึงนักพัฒนาและทีมผลิตภัณฑ์ทุกคนบนอินเทอร์เน็ตผ่าน API เรียบง่าย ขณะวิจัยและฝึกโมเดลล้ำสมัยสำหรับ ASR และ NLP เช่น รู้จำเสียงพูด สรุป และระบุภาษา เราจะเปิดโมเดลเหล่านี้ผ่าน API เรียบง่ายที่ใช้ได้ฟรีต่อไป

AssemblyAI มีเป้าหมายที่จะให้บริการ AI ที่ดีที่สุดสำหรับนักพัฒนาและทีมผลิตภัณฑ์ โดยใช้ API ที่ง่ายต่อการใช้งาน

ในช่วง 6 เดือนที่ผ่านมา เราเปิดตัว ASR สำหรับภาษาใหม่ 15 ภาษา เช่น สเปน เยอรมัน ฝรั่งเศส อิตาลี ฮินดี และญี่ปุ่น รวมทั้งปรับปรุง Summarization, Real-Time ASR, Content Moderation และอัปเดตผลิตภัณฑ์อื่นอีกนับไม่ถ้วน

เราเพิ่งใช้เงิน Series A ไปเพียงเล็กน้อย แต่เงินใหม่นี้ช่วยขยายความพยายามอย่างจริงจังโดยไม่ลดระยะเวลาที่เงินทุนรองรับการดำเนินงานได้

เงินใหม่นี้เร่งแผนพัฒนาผลิตภัณฑ์ สร้างโครงสร้างพื้นฐาน AI ที่ดีขึ้นเพื่อเร่งงานวิจัยและระบบอนุมาน และขยายทีมวิจัย ซึ่งขณะนั้นมีนักวิจัยจาก DeepMind, Google (GOOGL ) Brain, Meta AI, BMW และ Cisco

มีสิ่งอื่นๆ ที่คุณต้องการแบ่งปันเกี่ยวกับ AssemblyAI หรือไม่?

พันธกิจของเราคือทำให้โมเดล AI ล้ำสมัยเข้าถึงนักพัฒนาและทีมผลิตภัณฑ์ในระดับใหญ่มาก ผ่าน API เรียบง่าย

ขอขอบคุณสำหรับการสัมภาษณ์ที่ดี ผู้อ่านสามารถเยี่ยมชม AssemblyAI เพื่อเรียนรู้เพิ่มเติม