Η Εκκίνηση Diffbot Διαβάζει Όλο το Δημόσιο Ίντερνετ για την Παραγωγή Βασισμένης σε Πραγματικά Δεδομένα Γεννήτριας Κειμένου

Οι πρόσφατες προόδους στην επεξεργασία φυσικής γλώσσας και την παραγωγή κειμένου που επιτύχθηκαν από την OpenAI μέσω των μοντέλων γλώσσας GPT-2 και GPT-3 έχουν sido εντυπωσιακές,能够 να παράγουν κείμενο που μοιάζει σαν να γράφτηκε από άνθρωπο. Δυστυχώς, mặc dù αυτά τα μοντέλα είναι εξαιρετικά στην γραφή φυσικού κειμένου, δεν είναι εξοπλισμένα να γράφουν κείμενο που είναι πραγματικό. Τα προηγμένα μοντέλα γλώσσας συνδυάζουν προτάσεις από λέξεις που έχουν τη μεγαλύτερη σημασία στο контέκστ, χωρίς να λαμβάνουν υπόψη την αλήθεια των ισχυρισμών στο παραγόμενο κείμενο. Όπως αναφέρθηκε από την αναθεώρηση τεχνολογίας του MIT, μια εκκίνηση γνωστή ως Diffbot στοχεύει να λύσει αυτό το πρόβλημα έχοντας ένα AI να εξάγει όσο το δυνατόν περισσότερα πραγματικά δεδομένα από το ίντερνετ.

Η Diffbot είναι μια εκκίνηση που ελπίζει να κάνει το AI πιο χρήσιμο για πρακτικές εργασίες παραγωγής κειμένου, όπως η αυτόματη συμπλήρωση εντύπων και η αυτόματη συμπλήρωση προτάσεων ή κώδικα. Για να είναι το κείμενο που παράγεται από το AI αξιόπιστο, το AI πρέπει να είναι αξιόπιστο και να έχει κάποια έννοια πραγματικών έναντι φανταστικών δηλώσεων. Η προσέγγιση της Diffbot για την απόδοση της ικανότητας σε ένα πρόγραμμα παραγωγής κειμένου να παράγει πραγματικά δεδομένα αρχίζει με τη συλλογή τεράστιων ποσοτήτων κειμένου από σχεδόν όλο το δημόσιο ίντερνετ. Η Diffbot αναλύει κείμενο σε πολλές γλώσσες και το χωρίζει σε σύνολα τριπλέττων βασισμένων σε πραγματικά δεδομένα, με το θέμα, το αντικείμενο και το ρήμα μιας δεδομένης πραγματικής κατάστασης να χρησιμοποιούνται για τη σύνδεση μιας έννοιας με μια άλλη. Για παράδειγμα, μπορεί να αντιπροσωπεύει πραγματικά δεδομένα σχετικά με τον Μπιλ Γκέιτς και τη Microsoft (MSFT ) όπως αυτό:

Ο Μπιλ Γκέιτς είναι ο ιδρυτής της Microsoft. Η Microsoft είναι μια εταιρεία τεχνολογίας υπολογιστών.

Η Diffbot λαμβάνει όλα αυτά τα μικρά πραγματικά δεδομένα και τα συνδέει για να δημιουργήσει ένα γράφο γνώσεων. Οι γράφοι γνώσεων δημιουργούν ιστούς σχέσεων μεταξύ εννοιών, συχνά μαζί με ένα reasoner που βοηθά στη δημιουργία νέων συμπερασμάτων βάσει αυτών των σχέσεων. Για να το εξηγήσω με άλλα λόγια, οι γράφοι γνώσεων χρησιμοποιούν διασύνδεση δεδομένων και μπορούν να βοηθήσουν τους αλγορίθμους μηχανικής μάθησης να μοντελοποιήσουν τομείς γνώσεων. Οι γράφοι γνώσεων έχουν υπάρξει για δεκαετίες και πολλοί πρώτοι ερευνητές του AI τους θεωρούσαν σημαντικά εργαλεία για να επιτρέψουν στο AI να κατανοήσει τον κόσμο των ανθρώπων. Ωστόσο, οι γράφοι γνώσεων δημιουργούνταν συνήθως με το χέρι, το οποίο είναι một δύσκολο και χρονοβόρο процесс. Η αυτοματοποίηση της δημιουργίας γράφων γνώσεων θα μπορούσε να επιτρέψει στα AI να αποκτήσουν μια πολύ μεγαλύτερη, контекστοποιημένη κατανόηση εννοιών και να παράγουν κείμενο που βασίζεται σε πραγματικά δεδομένα.

Η Google (GOOGL ) άρχισε να χρησιμοποιεί γράφους γνώσεων πριν από quelques χρόνια για να βοηθήσει στην παροχή περιλήψεων πληροφοριών όταν ένας δημοφιλής τομέας αναζητείται. Ο γράφος γνώσεων χρησιμοποιείται για να τραβήξει τα πιο σχετικά πραγματικά δεδομένα και να τα αντιπροσωπεύει ως περίληψη. Η Diffbot θέλει να κάνει το ίδιο για κάθε τομέα, όχι μόνο για τους πιο δημοφιλείς. Αυτό απαιτεί την κατασκευή ενός απόλυτα τεράστιου γράφου γνώσεων, που συλλέγεται με το σάρωση του ολόκληρου δημόσιου ίντερνετ, κάτι που κάνει μόνο η Google και η Microsoft. Η Diffbot σαρώνει όλο το ίντερνετ και ενημερώνει τον γράφο γνώσεων με νέα πληροφορία κάθε τέσσερις ή πέντε ημέρες, και κατά τη διάρκεια ενός μήνα προστίθενται μεταξύ 100 εκατομμυρίων και 150 εκατομμυρίων καταχωρήσεων.

Η Diffbot δεν διαβάζει το κείμενο μιας ιστοσελίδας όπως οι συνήθεις web-crawlers, αλλά χρησιμοποιεί αλγόριθμους υπολογιστικής όρασης για να εξάγει τα raw pixels μιας ιστοσελίδας και να τραβήξει δεδομένα βίντεο, εικόνας, άρθρου και συζήτησης από τη σελίδα. Ταυτοποιεί τα βασικά στοιχεία της ιστοσελίδας και στη συνέχεια εξάγει πραγματικά δεδομένα σε πολλές γλώσσες, σύμφωνα με το τριμερές σχήμα πραγματικών δεδομένων.

Σημερινά, η Diffbot προσφέρει και πληρωμένη και δωρεάν πρόσβαση στο γράφο γνώσεων. Ενώ οι ερευνητές μπορούν να έχουν πρόσβαση στο γράφο δωρεάν, εταιρείες όπως η DuckDuckGo και η Snapchat το χρησιμοποιούν για να συνοψίσουν κείμενο και να εξάγουν αποσπάσματα από δημοφιλείς ειδήσεις. Εν τω μεταξύ, η Nike και η Adidas χρησιμοποιούν την πλατφόρμα για να βρουν ιστοσελίδες που πωλούν πλαστά προϊόντα, το οποίο είναι δυνατό επειδή η Diffbot είναι σε θέση να καθορίσει ποίες ιστοσελίδες πωλούν πραγματικά παπούτσια και όχι απλώς να συζητούν γι’ αυτά.

Στο μέλλον, η Diffbot σχεδιάζει να επεκτείνει τις ικανότητές της και να προσθέσει μια φυσική διεπαφή γλώσσας στην πλατφόρμα, ικανή να απαντήσει几乎 σε οποιαδήποτε ερώτηση που της ζητηθεί και να υποστηρίξει αυτές τις απαντήσεις με πηγές. Ιδανικά, οι ικανότητες της Diffbot θα συνδυαστούν με ένα ισχυρό μοντέλο σύνθεσης γλώσσας όπως το GPT-3.