Κατανοώντας το Χάος: Ο Ρόλος των LLMs στη Διαδικασία Εξαγωγής Δεδομένων από Μη ΕSTRUCTURED Δεδομένα

Οι πρόσφατες πρόοδοι στην υλική υποδομή, όπως η GPU Nvidia H100, έχουν αυξήσει σημαντικά τις υπολογιστικές ικανότητες. Με εννέα φορές την ταχύτητα της Nvidia A100, αυτές οι GPU διακρίνονται στην αντιμετώπιση φόρτων εργασίας βαθιάς μάθησης. Αυτή η πρόοδος έχει προωθήσει την εμπορική χρήση της γενετικής τεχνητής νοημοσύνης στην επεξεργασία φυσικής γλώσσας (NLP) και στην οπτική αντίληψη, επιτρέποντας την αυτοματοποιημένη και έξυπνη εξαγωγή δεδομένων. Οι επιχειρήσεις μπορούν τώρα να μετατρέψουν εύκολα μη δομημένα δεδομένα σε πολύτιμες πληροφορίες, σηματοδοτώντας einen σημαντικό βήμα στην τεχνολογική ολοκλήρωση. 

Παραδοσιακές Μέθοδοι Εξαγωγής Δεδομένων 

Χειροκίνητη Εισαγωγή Δεδομένων 

Εξαιρετικά, πολλές εταιρείες εξακολουθούν να βασίζονται στη χειροκίνητη εισαγωγή δεδομένων, παρά την διαθεσιμότητα πιο προηγμένων τεχνολογιών. Αυτή η μέθοδος περιλαμβάνει την εισαγωγή πληροφοριών απευθείας στο σύστημα. Είναι συχνά πιο εύκολη να υιοθετηθεί λόγω του χαμηλότερου αρχικού κόστους. Ωστόσο, η χειροκίνητη εισαγωγή δεδομένων δεν είναι μόνο χρονοβόρα και επίπονη, αλλά και高度 ευάλωτη σε σφάλματα. Επιπλέον, θέτει κίνδυνο ασφαλείας όταν χειρίζεται ευαίσθητα δεδομένα, καθιστώντας την μια λιγότερο επιθυμητή επιλογή στην εποχή της αυτοματοποίησης και της ψηφιακής ασφαλείας. 

Οπτική Αναγνώριση Χαρακτήρων (OCR)  

Η τεχνολογία OCR, η οποία μετατρέπει εικόνες και χειρόγραφο περιεχόμενο σε δεδομένα που μπορούν να διαβαστούν από μηχανή, προσφέρει μια ταχύτερη και πιο οικονομική λύση για την εξαγωγή δεδομένων. Ωστόσο, η ποιότητα μπορεί να είναι αναξιόπιστη. Για παράδειγμα, χαρακτήρες όπως το “S” μπορεί να συγχέονται με το “8” και αντίστροφα.  

Η απόδοση της OCR επηρεάζεται σημαντικά από τη σύνθετη και τις ιδιότητες των εισαγόμενων δεδομένων. Λειτουργεί καλά με υψηλής ανάλυσης σκαναρισμένες εικόνες που είναι ελεύθερες από προβλήματα όπως κλίση, υδατογραφήματα ή υπέρθεση. Ωστόσο, αντιμετωπίζει προκλήσεις με χειρόγραφο κείμενο, ιδιαίτερα όταν οι οπτικές είναι περίπλοκες ή δύσκολο να επεξεργαστούν. Οι προσαρμογές μπορεί να είναι απαραίτητες για βελτιωμένα αποτελέσματα όταν χειρίζεται κείμενο. Τα εργαλεία εξαγωγής δεδομένων στην αγορά με την OCR ως βασική τεχνολογία συχνά τοποθετούν στρώματα και στρώματα μετα-επεξεργασίας για να βελτιώσουν την ακρίβεια των εξαγόμενων δεδομένων. Ωστόσο, αυτές οι λύσεις δεν μπορούν να εγγυηθούν 100% ακριβή αποτελέσματα.  

Σύγκριση Κειμένου 

Η σύγκριση κειμένου είναι μια μέθοδος για την αναγνώριση και εξαγωγή συγκεκριμένων πληροφοριών από κείμενο χρησιμοποιώντας προκαθορισμένες κανόνες ή πρότυπα. Είναι ταχύτερη και προσφέρει υψηλότερο οικονόμικο αποτέλεσμα από άλλες μεθόδους. Είναι αποτελεσματική σε όλα τα επίπεδα σύνθεσης και επιτυγχάνει 100% ακρίβεια για αρχεία με παρόμοια διάταξη.  

Ωστόσο, η αυστηρότητά της σε λέξη-προς-λέξη αντιστοιχίες μπορεί να περιορίσει την προσαρμοστικότητα, απαιτώντας απόλυτη αντιστοιχία για επιτυχημένη εξαγωγή. Οι προκλήσεις με συνώνυμα μπορούν να οδηγήσουν σε δυσκολίες στην αναγνώριση ισοδύναμων όρων, όπως η διάκριση του “καιρού” από το “κλίματος”. Επιπλέον, η σύγκριση κειμένου εμφανίζει контекστο-ευαίσθητη, λείπουν της συνειδητοποίησης πολλαπλών σημασιών σε διαφορετικά контекστα. Η επίτευξη του σωστού балανς μεταξύ αυστηρότητας και προσαρμοστικότητας παραμένει μια συνεχής πρόκληση στην αποτελεσματική χρήση αυτής της μεθόδου. 

Αναγνώριση Ονομάτων Οντοτήτων (NER)  

Η αναγνώριση ονομάτων οντοτήτων (NER), μια τεχνική NLP, αναγνωρίζει και ταξινομεί κλειδιά πληροφορίες στο κείμενο. 

Οι εξαγωγές της NER περιορίζονται σε προκαθορισμένες οντότητες όπως ονόματα οργανισμών, τοποθεσίες, προσωπικά ονόματα και ημερομηνίες. Με άλλα λόγια, τα συστήματα NER σήμερα λείπουν της εγγενικής ικανότητας να εξάγουν προσαρμοσμένες οντότητες πέρα από αυτήν την προκαθορισμένη σειρά, η οποία θα μπορούσε να είναι συγκεκριμένη για μια συγκεκριμένη περιοχή ή χρήση. Δεύτερον, η εστίαση της NER στις βασικές τιμές που σχετίζονται με αναγνωρισμένες οντότητες δεν επεκτείνεται στην εξαγωγή δεδομένων από πίνακες, περιορίζοντας την εφαρμοσιμότητά της σε πιο σύνθετες ή δομημένες τύπους δεδομένων. 

 Καθώς οι οργανισμοί αντιμετωπίζουν αυξανόμενες ποσότητες μη δομημένων δεδομένων, αυτές οι προκλήσεις υπογραμμίζουν την ανάγκη για μια ολοκληρωμένη και κλιμακωτή προσέγγιση στις μεθόδους εξαγωγής. 

Απελευθερώνοντας Μη Δομημένα Δεδομένα με LLMs 

Η χρήση μεγάλων μοντέλων γλώσσας (LLMs) για την εξαγωγή μη δομημένων δεδομένων είναι μια πειστική λύση με διακριτά πλεονεκτήματα που αντιμετωπίζουν κρίσιμες προκλήσεις. 

Εξαγωγή Δεδομένων με Γνώση του Κοντέκστου 

Τα LLMs διαθέτουν ισχυρή γνώση του κοντέκστου, που έχει διαμορφωθεί μέσω εκτεταμένης εκπαίδευσης σε μεγάλες βάσεις δεδομένων. Η ικανότητά τους να πηγαίνουν πέρα από την επιφάνεια και να κατανοούν τις λεπτομέρειες του κοντέκστου τις καθιστά πολύτιμες στην αντιμετώπιση διαφόρων εργασιών εξαγωγής πληροφοριών. Για παράδειγμα, όταν τους ζητείται να εξαγάγουν τιμές καιρού, συλλαμβάνουν τις προβλεπόμενες πληροφορίες και λαμβάνουν υπόψη σχετικές στοιχεία όπως οι τιμές του κλίματος, ενσωματώνοντας ομαλά συνώνυμα και σημασιολογία. Αυτό το προηγμένο επίπεδο κατανόησης καθιστά τους ως δυναμική και προσαρμοστική επιλογή στον τομέα της εξαγωγής δεδομένων.  

Εξαγωγή Δεδομένων με Παράλληλη Επεξεργασία 

Τα LLMs χρησιμοποιούν παράλληλη επεξεργασία, καθιστώντας τις εργασίες ταχύτερες και πιο αποτελεσματικές. Σε αντίθεση με τα μοντέλα σειράς, τα LLMs βελτιστοποιούν την κατανομή των πόρων, οδηγώντας σε επιταχυνόμενη εξαγωγή δεδομένων. Αυτό βελτιώνει την ταχύτητα και συμβάλλει στην συνολική απόδοση της διαδικασίας εξαγωγής.  

Προσαρμογή σε Διαφορετικούς Τύπους Δεδομένων 

Ενώ κάποια μοντέλα όπως τα Recurrent Neural Networks (RNNs) είναι περιορισμένα σε συγκεκριμένες ακολουθίες, τα LLMs χειρίζονται μη-σειριακούς τύπους δεδομένων, διευκολύνοντας την προσαρμογή σε διαφορετικές δομές προτάσεων. Αυτή η ευελιξία περιλαμβάνει διαφορετικούς τύπους δεδομένων, όπως πίνακες και εικόνες. 

Βελτίωση των Διαδικασιών Επεξεργασίας 

Η χρήση των LLMs σηματοδοτεί μια σημαντική μετατόπιση στην αυτοματοποίηση τόσο των προ-όσο και των μετα-επεξεργασιών. Τα LLMs μειώνουν την ανάγκη για χειροκίνητη προσπάθεια, αυτοματοποιώντας ακριβώς τις διαδικασίες εξαγωγής, ροής της επεξεργασίας των μη δομημένων δεδομένων. Η εκτεταμένη εκπαίδευση τους σε διαφορετικές βάσεις δεδομένων τους επιτρέπει να αναγνωρίζουν μοτίβα και συσχετίσεις που παραλείπονται από τις παραδοσιακές μεθόδους. 

Source: Μια διαδικασία για την Γενετική Τεχνητή Νοημοσύνη

Αυτή η εικόνα μιας διαδικασίας γενετικής τεχνητής νοημοσύνης δείχνει την εφαρμοσιμότητα μοντέλων όπως τα BERT, GPT και OPT στην εξαγωγή δεδομένων. Αυτά τα LLMs μπορούν να εκτελέσουν διάφορες λειτουργίες NLP, συμπεριλαμβανομένης της εξαγωγής δεδομένων. Τυπικά, το μοντέλο γενετικής τεχνητής νοημοσύνης παρέχει μια πρόσκληση που περιγράφει τα επιθυμητά δεδομένα, και η επόμενη απάντηση περιέχει τα εξαγόμενα δεδομένα. Για παράδειγμα, μια πρόσκληση όπως “Εξάγετε τα ονόματα όλων των προμηθευτών από αυτήν την παραγγελία αγοράς” μπορεί να οδηγήσει σε μια απάντηση που περιέχει όλα τα ονόματα προμηθευτών που υπάρχουν στο ημι-δομημένο rapport. Στη συνέχεια, τα εξαγόμενα δεδομένα μπορούν να αναλυθούν και να φορτωθούν σε einen πίνακα βάσης δεδομένων ή ένα επίπεδο αρχείο, διευκολύνοντας την ομαλή ενσωμάτωση στις εργασίες της εταιρείας. 

Εξελισσόμενες Πλαίσια Τεχνητής Νοημοσύνης: RNNs σε Transformers στη Σύγχρονη Εξαγωγή Δεδομένων 

Η γενετική τεχνητή νοημοσύνη λειτουργεί μέσα σε ένα πλαίσιο κωδικοποιητή-αποκωδικοποιητή με δύο συνεργατικά νευρωνικά δίκτυα. Ο κωδικοποιητής επεξεργάζεται τα εισαγόμενα δεδομένα, συμπυκνώνοντας τις βασικές λειτουργίες σε einen “Κοντεκστικό Διανυσμα”. Αυτό το διανυσμα χρησιμοποιείται στη συνέχεια από τον αποκωδικοποιητή για γενετικές εργασίες, όπως η μετάφραση γλώσσας. Αυτή η αρχιτεκτονική, που αξιοποιεί νευρωνικά δίκτυα όπως τα RNNs και Transformers, βρίσκει εφαρμογές σε διάφορους τομείς, συμπεριλαμβανομένης της μετάφρασης μηχανής, της γενετικής εικόνας, της σύνθεσης ομιλίας και της εξαγωγής οντοτήτων δεδομένων. Αυτά τα δίκτυα διακρίνονται στο μοντελ링 σύνθετων σχέσεων και εξαρτήσεων εντός ακολουθιών δεδομένων. 

Επαναλαμβανόμενα Νευρωνικά Δίκτυα 

Επαναλαμβανόμενα Νευρωνικά Δίκτυα (RNNs) έχουν σχεδιαστεί για να αντιμετωπίσουν εργασίες ακολουθίας όπως η μετάφραση και η περίληψη, διακρίνονται σε ορισμένους контέκστους. Ωστόσο, έχουν δυσκολίες στην ακρίβεια σε εργασίες που涉ňují μακροχρόνιες εξαρτήσεις.  

 Τα RNNs διακρίνονται στην εξαγωγή ζευγών κλειδιών από προτάσεις, αλλά αντιμετωπίζουν δυσκολίες με δομές πίνακα. Η αντιμετώπιση αυτού απαιτεί προσεκτική σκέψη της ακολουθίας και της τοποθεσίας, απαιτώντας ειδικές προσεγγίσεις για την оптимποίηση της εξαγωγής δεδομένων από πίνακες. Ωστόσο, η υιοθέτησή τους ήταν περιορισμένη λόγω χαμηλού οικονόμηματος και κακής απόδοσης στις περισσότερες εργασίες επεξεργασίας κειμένου, ακόμη και μετά την εκπαίδευση σε μεγάλους όγκους δεδομένων. 

Δίκτυα Μικρής και Μακράς Μνήμης 

Δίκτυα Μικρής και Μακράς Μνήμης (LSTMs) εμφανίζονται ως μια λύση που αντιμετωπίζει τις περιορισμούς των RNNs, ιδιαίτερα μέσω ενός μηχανισμού επιλεκτικής ενημέρωσης και λήθαργου. Όπως τα RNNs, τα LSTMs διακρίνονται στην εξαγωγή ζευγών κλειδιών από προτάσεις, αλλά αντιμετωπίζουν παρόμοιες προκλήσεις με δομές πίνακα, απαιτώντας στρατηγική σκέψη της ακολουθίας και των στοιχείων θέσης.  

 Οι GPU χρησιμοποιήθηκαν για πρώτη φορά για βαθιά μάθηση το 2012 για την ανάπτυξη του famou AlexNet CNN μοντέλου. Στη συνέχεια, κάποια RNNs εκπαιδεύτηκαν επίσης χρησιμοποιώντας GPU, αλλά δεν έδωσαν καλά αποτελέσματα. Σήμερα, παρά την διαθεσιμότητα των GPU, αυτά τα μοντέλα έχουν πλέον εγκαταλειφθεί και έχουν αντικατασταθεί από μοντέλα LLMs βασισμένα σε transformers. 

Transformer – Μηχανισμός Προσοχής 

Η εισαγωγή των transformers, ιδιαίτερα με το πρωτοποριακό έγγραφο “Προσοχή είναι Όλα όσα Χρειάζεστε” (2017), επαναχάραξε την NLP προτείνοντας την αρχιτεκτονική “transformer”. Αυτή η αρχιτεκτονική επιτρέπει παράλληλες υπολογίσεις και καταφέρνει να συλλάβει μακροχρόνιες εξαρτήσεις, ανοίγοντας νέες δυνατότητες για τα μοντέλα γλώσσας. Τα LLMs όπως τα GPT, BERT και OPT έχουν αξιοποιήσει τεχνολογία transformers. Στο κέντρο των transformers βρίσκεται ο μηχανισμός “προσοχής”, ένας βασικός συντελεστής στην βελτιωμένη απόδοση στη διαδικασία ακολουθίας-προς-ακολουθία. 

Ο μηχανισμός “προσοχής” στους transformers υπολογίζει ένα σταθμισμένο άθροισμα των τιμών με βάση τη συμβατότητα μεταξύ της “ερώτησης” (πρόσκλησης) και του “κλειδιού” (κατανόησης του μοντέλου για κάθε λέξη). Αυτή η προσέγγιση επιτρέπει εστιασμένη προσοχή κατά τη διαδικασία ακολουθίας, εξασφαλίζοντας ακριβή εξαγωγή. Δύο κρίσιμες συνιστώσες μέσα στον μηχανισμό προσοχής είναι η Αυτο-Προσοχή, που συλλαμβάνει τη σημασία μεταξύ λέξεων στην εισαγώμενη ακολουθία, και η Πολυ-Κεφαλή Προσοχή, που επιτρέπει διαφορετικές προσοχές για συγκεκριμένες σχέσεις.  

Στο контέκστ της Εξαγωγής Παραστατικών, η Αυτο-Προσοχή αναγνωρίζει τη σημασία μιας προηγουμένως αναφερθείσας ημερομηνίας κατά την εξαγωγή ποσοτήτων πληρωμής, ενώ η Πολυ-Κεφαλή Προσοχή εστιάζει ανεξάρτητα σε αριθμητικές τιμές (ποσά) και σε προτύπωση κειμένου (ονόματα προμηθευτών). Σε αντίθεση με τα RNNs, οι transformers δεν κατανοούν φυσικά τη σειρά των λέξεων. Για να αντιμετωπίσουν αυτό, χρησιμοποιούν κωδικοποίηση θέσης για να παρακολουθούν τη θέση κάθε λέξης σε μια ακολουθία. Αυτή η τεχνική εφαρμόζεται και στις εισαγώμενες και στις εξαγώμενες ενσωματώσεις, βοηθώντας στην αναγνώριση κλειδιών και των αντίστοιχων τιμών τους εντός ενός εγγράφου.  

Η συνδυασμός των μηχανισμών προσοχής και των κωδικοποιήσεων θέσης είναι κρίσιμος για την ικανότητα ενός μεγάλου μοντέλου γλώσσας να αναγνωρίσει μια δομή ως πίνακα, λαμβάνοντας υπόψη το περιεχόμενό του, το διάστημα και τα οπτικά σημάδια. Αυτή η ικανότητα το διακρίνει από άλλες μεθόδους εξαγωγής μη δομημένων δεδομένων.

Τρέχουσες Τάσεις και Αναπτύξεις 

Ο χώρος της Τεχνητής Νοημοσύνης εξελίσσεται με υποσχόμενες τάσεις και αναπτύξεις, που μετασχηματίζουν τον τρόπο με τον οποίο εξάγουμε πληροφορίες από μη δομημένα δεδομένα. Ας εμβαθύνουμε στα κλειδιά σημεία που διαμορφώνουν το μέλλον αυτού του τομέα. 

Προόδους στα Μεγάλα Μοντέλα Γλώσσας (LLMs) 

Η γενετική τεχνητή νοημοσύνη βιώνει μια μεταμορφωτική φάση, με τα LLMs να βρίσκονται στο επίκεντρο της αντιμετώπισης σύνθετων και ποικίλων συνόλων δεδομένων για την εξαγωγή μη δομημένων δεδομένων. Δύο αξιοσημείωτες στρατηγικές ωθούν αυτές τις προόδους: 

1. Πολυ-τροπική Μάθηση: Τα LLMs επεκτείνουν τις ικανότητές τους επεξεργαζόμενες ταυτόχρονα διάφορους τύπους δεδομένων, συμπεριλαμβανομένου κειμένου, εικόνων και ήχου. Αυτή η ανάπτυξη ενισχύει την ικανότητά τους να εξάγουν πολύτιμες πληροφορίες από διάφορες πηγές, αυξάνοντας την χρησιμότητά τους στην εξαγωγή μη δομημένων δεδομένων. Ερευνητές εξερευνούν αποτελεσματικούς τρόπους για να χρησιμοποιήσουν αυτά τα μοντέλα, με στόχο να εξαλείψουν την ανάγκη για GPU και να ενεργοποιήσουν τη λειτουργία μεγάλων μοντέλων με περιορισμένους πόρους.

2. Εφαρμογές RAG: Ανασυρμένη Γενετική (RAG) είναι μια αναδυόμενη τάση που συνδυάζει μεγάλα προ-εκπαιδευμένα μοντέλα γλώσσας με εξωτερικούς μηχανισμούς αναζήτησης για να ενισχύσει τις ικανότητές τους. Βάσει της πρόσβασης σε ένα τεράστιο σώμα εγγράφων κατά τη διαδικασία γενετικής, η RAG μετατρέπει τα βασικά μοντέλα γλώσσας σε δυναμικά εργαλεία προσαρμοσμένα για επιχειρηματικές και καταναλωτικές εφαρμογές.

Αξιολόγηση της Απόδοσης των LLMs 

Η πρόκληση της αξιολόγησης της απόδοσης των LLMs αντιμετωπίζεται με μια στρατηγική προσέγγιση, που ενσωματώνει μετρήσεις ειδικές για εργασίες και καινοτόμες μεθόδους αξιολόγησης. Κλειδιά εξελίξεις σε αυτόν τον χώρο περιλαμβάνουν: 

1. Μετρήσεις που έχουν ρυθμιστεί: Μετρήσεις αξιολόγησης που έχουν ρυθμιστεί για να αξιολογήσουν την ποιότητα των εργασιών εξαγωγής πληροφοριών. Ακρίβεια, ανακλησιμότητα και F1-스코ρ μετρήσεις αποδεικνύονται αποτελεσματικές, ιδιαίτερα σε εργασίες όπως η εξαγωγή οντοτήτων.

2. Ανθρώπινη Αξιολόγηση: Η ανθρώπινη αξιολόγηση παραμένει κρίσιμη παράλληλα με αυτοματοποιημένες μετρήσεις, εξασφαλίζοντας μια ολοκληρωμένη αξιολόγηση των LLMs. Η ενσωμάτωση αυτοματοποιημένων μετρήσεων με ανθρώπινη κρίση, υβριδικές μεθόδους αξιολόγησης προσφέρουν μια νюανσική άποψη της контεκστο-ορθότητας και της σχετικότητας των εξαγόμενων πληροφοριών.

Επεξεργασία Εικόνων και Εγγράφων  

Τα πολυ-τροπικά LLMs έχουν αντικαταστήσει πλήρως την OCR. Οι χρήστες μπορούν να μετατρέψουν σκαναρισμένο κείμενο από εικόνες και έγγραφα σε κείμενο που μπορεί να διαβαστεί από μηχανή, με την ικανότητα να αναγνωρίζουν και να εξάγουν πληροφορίες απευθείας από οπτικό περιεχόμενο χρησιμοποιώντας modules όρασης. 

Εξαγωγή Δεδομένων από Σύνδεσμους και Ιστοσελίδες 

Τα LLMs εξελίσσονται για να ανταποκριθούν στην αυξανόμενη ζήτηση για εξαγωγή δεδομένων από ιστοσελίδες και σύνδεσμους. Αυτά τα μοντέλα γίνονται ολοένα και πιο ικανά στην εξαγωγή δεδομένων από ιστοσελίδες, μετατρέποντας δεδομένα από ιστοσελίδες σε δομημένες μορφές. Αυτή η τάση είναι απαραίτητη για εργασίες όπως η συλλογή ειδήσεων, η συλλογή δεδομένων ηλεκτρονικού εμπορίου και η ανταγωνιστική νοημοσύνη, ενισχύοντας την контεκστο-κατανόηση και την εξαγωγή σχεσιακών δεδομένων από το διαδίκτυο. 

Η Άνοδος των Μικρών Γίγαντων στη Γενετική Τεχνητή Νοημοσύνη 

Το πρώτο μισό του 2023 είδε εστίαση στην ανάπτυξη μεγάλων γλωσσικών μοντέλων βασισμένων στην υπόθεση “μεγαλύτερο είναι καλύτερο”. Ωστόσο, πρόσφατα αποτελέσματα δείχνουν ότι μικρότερα μοντέλα όπως το TinyLlama και το Dolly-v2-3B, με λιγότερα από 3 δισεκατομμύρια παραμέτρους, διακρίνονται σε εργασίες όπως η συλλογή και η περίληψη, κερδίζοντας τον τίτλο των “μικρών γίγαντων”. Αυτά τα μοντέλα χρησιμοποιούν λιγότερη υπολογιστική δύναμη και αποθήκευση, καθιστώντας την τεχνητή νοημοσύνη πιο προσιτή σε μικρότερες εταιρείες χωρίς την ανάγκη για ακριβές GPU. 

Συμπέρασμα 

Οι πρώιμες γενετικές μοντέλα τεχνητής νοημοσύνης, συμπεριλαμβανομένων των γενετικών ανταγωνιστικών δικτύων (GANs) και των αυτο-κωδικοποιητών (VAEs), εισήγαγαν νέες προσεγγίσεις για τη διαχείριση δεδομένων εικόνων. Ωστόσο, η πραγματική επανάσταση ήρθε με τα μεγάλα γλωσσικά μοντέλα βασισμένα σε transformers. Αυτά τα μοντέλα ξεπέρασαν όλες τις προηγούμενες τεχνικές στην επεξεργασία μη δομημένων δεδομένων λόγω της δομής κωδικοποιητή-αποκωδικοποιητή, της αυτο-προσοχής και της πολυ-κεφαλής προσοχής, δίνοντάς τους μια βαθιά κατανόηση της γλώσσας και ενεργοποιώντας ανθρώπινα ικανότητες συλλογισμού. 

 Ενώ η γενετική τεχνητή νοημοσύνη προσφέρει μια υποσχόμενη αρχή για την εξαγωγή κειμένου από αναφορές, η κλιμάκωση τέτοιων προσεγγίσεων είναι περιορισμένη. Τα πρώτα βήματα συχνά περιλαμβάνουν επεξεργασία OCR, η οποία μπορεί να οδηγήσει σε σφάλματα, και προκλήσεις παραμένουν στην εξαγωγή κειμένου από εικόνες μέσα σε αναφορές.  

 Η εξαγωγή κειμένου μέσα στις εικόνες στις αναφορές είναι μια άλλη πρόκληση. Η υιοθέτηση λύσεων όπως η πολυ-τροπική επεξεργασία δεδομένων και η επέκταση του ορίου συμβόλων στο GPT-4, Claud3, Gemini προσφέρει μια υποσχόμενη οδό προς τα εμπρός. Ωστόσο, είναι σημαντικό να σημειωθεί ότι αυτά τα μοντέλα είναι προσβάσιμα μόνο μέσω API. Ενώ η χρήση API για την εξαγωγή δεδομένων από έγγραφα είναι αποτελεσματική και οικονομική, συνοδεύεται από τις δικές της περιορισμούς, όπως καθυστέρηση, περιορισμένος έλεγχος και κίνδυνοι ασφαλείας.  

 Μια πιο ασφαλής και προσαρμόσιμη λύση βρίσκεται στη ρύθμιση ενός εσωτερικού LLM. Αυτή η προσέγγιση όχι μόνο μετριάζει τις ανησυχίες για την ιδιωτικότητα και την ασφάλεια των δεδομένων, αλλά επίσης ενισχύει τον έλεγχο της διαδικασίας εξαγωγής δεδομένων. Η ρύθμιση ενός LLM για την κατανόηση του διαγράμματος εγγράφου και για την κατανόηση του κειμένου με βάση το контέκστ του προσφέρει μια ροβούστα μέθοδο για την εξαγωγή ζευγών κλειδιών και στοιχείων γραμμής. Χρησιμοποιώντας μηδενική και λίγη μάθηση, ένα ρυθμισμένο μοντέλο μπορεί να προσαρμοστεί σε διάφορα διαγράμματα εγγράφου, εξασφαλίζοντας αποτελεσματική και ακριβή εξαγωγή μη δομημένων δεδομένων σε διάφορους τομείς.