Η Quantum Stat κυκλοφορεί τη "Big Bad NLP Database"

Η Quantum Stat κυκλοφόρησε το "Big Bad NLP Database” σε αυτό που είναι ένα μεγάλο βήμα προς τα εμπρός για την επεξεργασία φυσικής γλώσσας (NLP). Η βάση δεδομένων περιέχει εκατοντάδες διαφορετικά σύνολα δεδομένων για χρήση από προγραμματιστές μηχανικής εκμάθησης. 

Σύμφωνα με την εταιρεία, παρέχουν λύσεις σε πρωτοβουλίες NLP και AI. Αυτό το κάνουν μέσω υπηρεσιών όπως η προεπεξεργασία στην ανάπτυξη εφαρμογών ιστού, μια πολύπλευρη προσέγγιση που περιλαμβάνει μηχανική μάθηση και βαθιά νευρωνικά δίκτυα, chatbot και διαχείριση διαλόγου και τη νέα βάση δεδομένων NLP. 

Η εταιρεία διεξάγει επίσης πρωτογενή και δευτερογενή έρευνα για να βοηθήσει τα άτομα να αναλύσουν τις εξελίξεις εντός των βιομηχανιών. 

Κεντρικό κέντρο δεδομένων NLP

Η απόφαση για τη δημιουργία της βάσης δεδομένων, η οποία είναι η μεγαλύτερη βιβλιοθήκη δεδομένων στον κόσμο στην επεξεργασία φυσικής γλώσσας, προέκυψε από την ανάγκη για έναν κεντρικό κόμβο για τη διατήρηση δεδομένων NLP. Η εταιρεία στόχευε να το καταστήσει πιο εύκολα προσβάσιμο και προσβάσιμο από την εναλλακτική, η οποία συχνά απαιτεί από τους ερευνητές να πραγματοποιούν αναζήτηση σε πολλές βιβλιοθήκες τρίτων. 

Η εταιρεία έχει αναπτύξει τη βάση δεδομένων για αρκετές εβδομάδες. έχουν επί του παρόντος περίπου 200 σύνολα δεδομένων. Υπάρχει μια ποικιλία από διαφορετικά σύνολα δεδομένων, όχι μόνο τα κλασικά. Η εταιρεία έχει συμπεριλάβει αυτά όπως το CommonCrawl και το Penn Treebank. 

Μαζί με μια σειρά διαφορετικών βάσεων δεδομένων έρχονται και διαφορετικές εργασίες NLP. Υπάρχουν εκείνα που εστιάζουν στην ταξινόμηση και την απάντηση ερωτήσεων, αλλά υπάρχουν επίσης σύνολα δεδομένων για μετατροπή κειμένου σε SQL, αναγνώριση ομιλίας και πολυτροπική λειτουργία. 

Η Quantum Stat θέλει η βάση δεδομένων να βασίζεται στην κοινότητα με συνεισφορές από χρήστες. Η εταιρεία άνοιξε τις πόρτες της σε οποιονδήποτε μπορεί να στείλει ένα νέο σύνολο δεδομένων ή να προτείνει αλλαγές. 

Μια άλλη εστίαση είναι να προσθέσετε σύνολα δεδομένων που διαφοροποιούν τη γλώσσα, απομακρύνοντας το να είναι αυστηρά αγγλικά. Στόχος τους είναι να κάνουν τη βιβλιοθήκη πιο παγκόσμια και προσβάσιμη σε άλλους. 

Με την είσοδο στη «Βάση δεδομένων Big Bad NLP», ένας χρήστης θα έρθει αντιμέτωπος με μια καθαρή και οργανωμένη διάταξη. Το όνομα του συνόλου δεδομένων παρατίθεται, ακολουθούμενο από τη γλώσσα και μια λεπτομερή περιγραφή. Επίσης, παραθέτει περιπτώσεις, μορφή, εργασία, έτος δημιουργίας και τον δημιουργό. Κάθε βάση δεδομένων έχει έναν σύνδεσμο λήψης που πρέπει να ακολουθήσετε. 

Διάφορες βάσεις δεδομένων

Θα συναντήσει κανείς βάσεις δεδομένων όπως το σύνολο δεδομένων Historical Newspapers Daily World Time Series, που περιέχει καθημερινά περιεχόμενα εφημερίδων στις ΗΠΑ και το Ηνωμένο Βασίλειο από το 1836 έως το 1922. Σύνολο δεδομένων SciQ, που περιέχει 13,679 ερωτήσεις εξετάσεων επιστήμης με πλήθος προέλευσης στους τομείς της Φυσικής, της Βιολογίας και της Χημείας. CommonCrawl, που περιέχει τα δεδομένα από 25 δισεκατομμύρια ιστοσελίδες. και MovieLens, ένα σύνολο δεδομένων που περιέχει 22,000,000 αξιολογήσεις και 580,000 ετικέτες για 33,000 ταινίες από 240,000 χρήστες. 

Η εντυπωσιακή βάση δεδομένων της Quantum Stat έρχεται σε μια εποχή που οι ερευνητές απαιτούν μεγαλύτερα και πιο διαφορετικά σύνολα δεδομένων λόγω της προόδου στη βαθιά μάθηση. Λόγω του τεράστιου όγκου δεδομένων που περιέχονται στην ανθρώπινη γλώσσα, κάθε μοναδικό σύνολο δεδομένων καθιστά λίγο πιο εύκολη την επεξεργασία του. Η πρόοδος του NLP βασίζεται σε αυτές τις βάσεις δεδομένων και η Quantum Stat συνέβαλε στην επιτάχυνση αυτής της εξέλιξης συγκεντρώνοντας τόσα πολλά σύνολα δεδομένων σε έναν χώρο. 

Το NLP θα είναι σημαντικό σε πολλές πτυχές της κοινωνίας. Μπορεί να βοηθήσει στην πρόβλεψη ασθενειών με βάση τα ηλεκτρονικά αρχεία υγείας και την ομιλία του ασθενούς, να βοηθήσει τις εταιρείες να ανακαλύψουν τι λένε οι πελάτες για ένα προϊόν και να εντοπίσουν ψεύτικες ειδήσεις σε έναν κόσμο όπου είναι ανεξέλεγκτα. 

Η τεχνολογία προχωρά εξαιρετικά γρήγορα και δεν θα αργήσει να καταφέρει να αντιμετωπίσει αυτές τις πολύπλοκες εφαρμογές.