Dylan Fox, Διευθύνων Σύμβουλος & Ιδρυτής της AssemblyAI – Σειρά Συνεντεύξεων

O Dylan Fox είναι ο Διευθύνων Σύμβουλος & Ιδρυτής της AssemblyAI, μια πλατφόρμα που μετατρέπει αυτόματα αρχεία ήχου και βίντεο και ζωντανές ροές ήχου σε κείμενο με τα Speech-to-Text APIs της AssemblyAI.

Τι σας έκανε να ενδιαφερθείτε αρχικά για τη μηχανική μάθηση;

Ξεκίνησα μαθαίνοντας να προγραμματίζω και παρακολούθησα συνεδριάσεις Python Meetups στην Ουάσινγκτον DC, όπου πήγα στο κολλέγιο. Μέσω μαθημάτων κολλεγίου, βρέθηκα να προσανατολίζομαι περισσότερο σε προβλήματα προγραμματισμού τύπου αλγορίθμων, τα οποία με οδήγησαν φυσικά στη μηχανική μάθηση και NLP.

Πριν ιδρύσετε την AssemblyAI, ήσασταν Senior Software Engineer στην Cisco, τι δουλεύατε;

Στην Cisco, ήμουν Senior Software Engineer με επίκεντρο τη Μηχανική Μάθηση για τα προϊόντα συνεργασίας.

Πώς σας έκανε η δουλειά σας στην Cisco και ένα πρόβλημα με την προμήθεια τεχνολογίας αναγνώρισης ομιλίας να σας εμπνεύσει να εκκινήσετε την AssemblyAI;

Σε κάποιες από τις προηγούμενες δουλειές μου, είχα την ευκαιρία να δουλέψω σε πολλά προγράμματα AI, συμπεριλαμβανομένων προγραμμάτων που απαιτούσαν αναγνώριση ομιλίας. Αλλά όλες οι εταιρείες που προσφέρουν αναγνώριση ομιλίας ως υπηρεσία ήταν απίστευτα παλαιωμένες, δύσκολες να αγοράσετε κάτι από αυτές και εκτελούσαν παλιές τεχνολογίες AI.

Όσο γινόμουν όλο και πιο ενδιαφερόμενος για την έρευνα AI, παρατήρησα ότι υπήρχε πολλή δουλειά που γινόταν στον τομέα της αναγνώρισης ομιλίας και πόσο γρήγορα βελτιωνόταν η έρευνα. Έτσι ήταν ένας συνδυασμός παραγόντων που με έκανε να σκεφτώ, «Τι αν μπορούσατε να χτίσετε μια εταιρεία API τύπου Twilio χρησιμοποιώντας τις τελευταίες έρευνες AI που ήταν πολύ πιο εύκολες για τους προγραμματιστές να έχουν πρόσβαση σε υπερσύγχρονα μοντέλα AI για αναγνώριση ομιλίας, με πολύ καλύτερη εμπειρία προγραμματιστή.»

Και ήταν από εκεί που η ιδέα για την AssemblyAI μεγάλωσε.

Τι είναι η μεγαλύτερη πρόκληση πίσω από την κατασκευή ακριβούς και αξιόπιστης τεχνολογίας αναγνώρισης ομιλίας;

Το κόστος και το εξειδικευμένο προσωπικό είναι οι μεγαλύτερες προκλήσεις για κάθε εταιρεία να αντιμετωπίσει όταν κατασκευάζει ακριβή και αξιόπιστη τεχνολογία αναγνώρισης ομιλίας.

Τα δεδομένα είναι ακριβά να αποκτήσετε, και συνήθως χρειάζεστε εκατοντάδες χιλιάδες ώρες για να χτίσετε ένα ανθεκτικό σύστημα αναγνώρισης ομιλίας. Όχι μόνο αυτό, οι απαιτήσεις υπολογισμού είναι τεράστιες για να εκπαιδεύσετε. Και η εξυπηρέτηση αυτών των μοντέλων σε παραγωγή είναι επίσης δαπανηρή και απαιτεί εξειδικευμένο προσωπικό για τη βελτιστοποίησή τους και την οικονομικά βιώσιμη λειτουργία τους.

Η κατασκευή αυτών των τεχνολογιών απαιτεί επίσης εξειδικευμένο σετ δεξιοτήτων που είναι δύσκολο να βρεθεί. Αυτός είναι ένας μεγάλος λόγος για τον οποίο οι πελάτες έρχονται σε μας για ισχυρά μοντέλα AI που ερευνάμε, εκπαιδεύουμε και θέτουμε σε λειτουργία εσωτερικά. Λαμβάνουν πρόσβαση σε χρόνια έρευνας σε υπερσύγχρονα μοντέλα AI για ASR και NLP, όλα με ένα απλό API.

Εκτός από την καθαρή μεταγραφή ήχου και βίντεο περιεχομένου, η AssemblyAI προσφέρει επιπλέον μοντέλα, μπορείτε να συζητήσετε τι είναι αυτά τα μοντέλα;

Η συλλογή μας από μοντέλα AI εκτείνεται πέρα από τη μεταγραφή σε πραγματικό χρόνο και την ασύγχρονη μεταγραφή. Τα ονομάζουμε Audio Intelligence μοντέλα, καθώς βοηθούν τους πελάτες να αναλύσουν και να κατανοήσουν καλύτερα τα δεδομένα ήχου.

Το μοντέλο μας Summarization παρέχει μια συνολική περίληψη, καθώς και χρονοκωδικές περίληψεις που αυτόματα διαχωρίζουν και δημιουργούν μια περίληψη για κάθε «κεφάλαιο» όπως τα θέματα σε μια συζήτηση αλλάζουν (παρόμοια με τα κεφάλαια του YouTube).

Το μοντέλο μας Sentiment Analysis ανιχνεύει τη στάση κάθε προτάσεως ομιλίας σε αρχεία ήχου. Κάθε πρόταση σε μια μεταγραφή μπορεί να σημειωθεί ως Θετική, Αρνητική ή Ουδέτερη.

Το μοντέλο μας Entity Detection αναγνωρίζει ένα ευρύ φάσμα οντοτήτων που αναφέρονται σε αρχεία ήχου, όπως ονόματα προσώπων ή εταιρειών, διευθύνσεις email, ημερομηνίες και τοποθεσίες.

Το μοντέλο μας Topic Detection ετικετάρει τα θέματα που αναφέρονται σε αρχεία ήχου και βίντεο. Οι προβλεπόμενες ετικέτες θεμάτων ακολουθούν την τυποποιημένη ταξινόμηση IAB, η οποία τις καθιστά κατάλληλες για διαφημιστική στόχευση βάσει συμφραζομένων.

Το μοντέλο μας Content Moderation ανιχνεύει ευαίσθητο περιεχόμενο σε αρχεία ήχου και βίντεο — όπως ρητορική μίσους, βία, ευαίσθητα κοινωνικά θέματα, αλκοόλ, ναρκωτικά και άλλα.

Ποιες είναι μερικές από τις μεγαλύτερες περιπτώσεις χρήσης για εταιρείες που χρησιμοποιούν την AssemblyAI;

Οι μεγαλύτερες περιπτώσεις χρήσης εταιρειών για την AssemblyAI διασχίζουν τέσσερις κατηγορίες: τηλεφωνία, βίντεο, εικονικές συναντήσεις και μέσα ενημέρωσης.

Η CallRail είναι ένα εξαιρετικό παράδειγμα πελάτη στον χώρο της Τηλεφωνίας, που αξιοποιεί τα μοντέλα AI της AssemblyAI — Core Transcription, Automatic Transcript Highlights και PII Redaction — για να προσφέρει μια ισχυρή λύση Conversational Intelligence στους πελάτες της.

Ουσιαστικά, η CallRail μπορεί τώρα να αναδεικνύει και να προσδιορίζει αυτόματα σημαντικό περιεχόμενο στις τηλεφωνικές κλήσεις των πελατών της σε μεγάλη κλίμακα — σημαντικό περιεχόμενο όπως συγκεκριμένες αιτήσεις πελατών, συχνά ζητούμενα ερωτήματα και συχνά χρησιμοποιούμενες λέξεις-κλειδιά και φράσεις. Το μοντέλο μας PII Redaction βοηθά τους να ανιχνεύσουν και να αφαιρέσουν αυτόματα ευαίσθητα δεδομένα που βρέθηκαν σε κείμενο μεταγραφής (π.χ. αριθμούς κοινωνικής ασφάλισης, αριθμούς πιστωτικών καρτών, προσωπικές διευθύνσεις και άλλα).

Βίντεο περιπτώσεις χρήσης κυμαίνονται από πλατφόρμες βίντεο ροής σε επεξεργαστές βίντεο όπως η Veed, που χρησιμοποιούν τα μοντέλα Core Transcription της AssemblyAI για να απλοποιήσουν τη διαδικασία επεξεργασίας βίντεο για τους χρήστες. Η Veed επιτρέπει στους χρήστες της να μεταγράψουν τα βίντεό της και να τα επεξεργαστούν απευθείας χρησιμοποιώντας τους υπότιτλους.

Στις Εικονικές Συναντήσεις, εταιρείες λογισμικού μεταγραφής συναντήσεων όπως η Fathom χρησιμοποιούν την AssemblyAI για να χτίσουν έξυπνες λειτουργίες που βοηθούν τους χρήστες να μεταγράψουν και να υπογραμμίσουν τις σημαντικές στιγμές από τις κλήσεις Zoom, προάγοντας καλύτερη συμμετοχή σε συναντήσεις και εξαλείφοντας τις κουραστικές εργασίες κατά τη διάρκεια και μετά τις συναντήσεις (π.χ. σημειώσεις).

Στα Μέσα, βλέπουμε πλατφόρμες φιλοξενίας podcast να χρησιμοποιούν τα μοντέλα μας Content Moderation και Topic Detection, ώστε να μπορέσουν να προσφέρουν καλύτερα εργαλεία διαφήμισης για περιπτώσεις ασφάλειας μάρκας και να δημιουργήσουν έσοδα από περιεχόμενο που παράγουν οι χρήστες με δυναμικές διαφημίσεις.

Η AssemblyAI συγκέντρωσε πρόσφατα 30 εκατομμύρια δολάρια σε γύρο χρηματοδότησης Series B. Πώς θα επιταχύνει αυτό την αποστολή της AssemblyAI;

Η πρόοδος που γίνεται στον τομέα του AI είναι απίστευτα ενθουσιώδης. Ο στόχος μας είναι να εκθέσουμε αυτήν την πρόοδο σε κάθε προγραμματιστή και ομάδα προϊόντων στο διαδίκτυο — μέσω ενός απλού συνόλου API. Όσο συνεχίζουμε να ερευνάμε και να εκπαιδεύουμε υπερσύγχρονα μοντέλα AI για ASR και NLP εργασίες (όπως αναγνώριση ομιλίας, περίληψη, αναγνώριση γλώσσας και πολλές άλλες εργασίες), θα συνεχίσουμε να εκθέτουμε αυτά τα μοντέλα AI σε προγραμματιστές και ομάδες προϊόντων μέσω απλών API — διαθέσιμων δωρεάν.

Η AssemblyAI είναι ένας χώρος όπου και προγραμματιστές και ομάδες προϊόντων μπορούν να έρθουν για εύκολη πρόσβαση στα προηγμένα μοντέλα AI που χρειάζονται για να χτίσουν συναρπαστικά νέα προϊόντα, υπηρεσίες και ολόκληρες εταιρείες.

Τους τελευταίους 6 μήνες, παρουσιάσαμε υποστήριξη ASR για 15 νέες γλώσσες — συμπεριλαμβανομένων Ισπανικών, Γερμανικών, Γαλλικών, Ιταλικών, Χίντι και Ιαπωνικών, κυκλοφορήσαμε σημαντικές βελτιώσεις στα μοντέλα μας Summarization, Real-Time ASR, Content Moderation και αμέτρητες άλλες ενημερώσεις προϊόντων.

Έχουμε χρησιμοποιήσει ελάχιστα από τα κεφάλαια του γύρου Series A, αλλά η νέα χρηματοδότηση θα μας δώσει τη δυνατότητα να ενισχύσουμε τις προσπάθειές μας — χωρίς να μειώσουμε το διάστημα κατά το οποίο τα διαθέσιμα κεφάλαιά μας μπορούν να χρηματοδοτούν τις δραστηριότητές μας.

Με τη νέα χρηματοδότηση, θα μπορέσουμε να επιταχύνουμε τον οδικό χάρτη ανάπτυξης των προϊόντων μας, να χτίσουμε καλύτερη AI υποδομή για να επιταχύνουμε την έρευνά μας AI και τις μηχανές εξαγωγής συμπερασμάτων, και να μεγαλώσουμε την ομάδα έρευνας AI — η οποία σήμερα περιλαμβάνει ερευνητές από το DeepMind, Google (GOOGL ) Brain, Meta AI, BMW και Cisco.

Υπάρχει κάτι άλλο που θα θέλατε να μοιραστείτε σχετικά με την AssemblyAI;

Η αποστολή μας είναι να κάνουμε τα υπερσύγχρονα μοντέλα AI προσιτά σε προγραμματιστές και ομάδες προϊόντων σε εξαιρετικά μεγάλη κλίμακα μέσω ενός απλού API.

Ευχαριστούμε για την εξαιρετική συνέντευξη, οι αναγνώστες που θέλουν να μάθουν περισσότερα πρέπει να επισκεφθούν την AssemblyAI.