Το Μέλλον της Γεννήσεως Εικόνων με Ενίσχυση RAG

Τα γεννητικά μοντέλα διάχυσης όπως το Stable Diffusion, Flux και τα μοντέλα βίντεο όπως το Hunyuan βασίζονται σε γνώσεις που αποκτώνται κατά τη διάρκεια μιας seule, πλούσιας σε πόρους εκπαίδευσης με ένα σταθερό σύνολο δεδομένων. Οποιοδήποτε концепτο που εισαχθεί μετά από αυτήν την εκπαίδευση – που αναφέρεται ως οριοθέτηση γνώσεων – είναι απουσιάζουν από το μοντέλο εκτός εάν συμπληρωθούν μέσω εξειδικευμένης εκπαίδευσης ή εξωτερικών τεχνικών προσαρμογής όπως η Προσαρμογή Χαμηλού Βαθμού (LoRA).

Θα ήταν ιδανικό εάν ένα γεννητικό σύστημα που εξοδεύει εικόνες ή βίντεο θα μπορούσε να επικοινωνήσει με διαδικτυακές πηγές και να τις εντάξει στη διαδικασία γεννήσεως όπως χρειάζεται. Με αυτόν τον τρόπο, για παράδειγμα, ένα μοντέλο διάχυσης που δεν γνωρίζει τίποτα για την τελευταία κυκλοφορία της Apple ή της Tesla θα μπορούσε ακόμα να παράγει εικόνες που περιέχουν αυτά τα νέα προϊόντα.

Σχετικά με τα μοντέλα γλωσσών, οι περισσότεροι από εμάς είναι εξοικειωμένοι με συστήματα όπως το Perplexity, Notebook LM και ChatGPT-4o, που μπορούν να εντάξουν νέα εξωτερική πληροφορία σε ένα Μοντέλο Γεννήσεως με Ενίσχυση RAG (RAG).

Οι διαδικασίες RAG κάνουν τις απαντήσεις του ChatGPT 4o πιο σχετικές. Πηγή: https://chatgpt.com/

Ωστόσο, αυτό είναι ένα ασυνήθιστο χαρακτηριστικό όταν πρόκειται για τη γεννήσεως εικόνων, και το ChatGPT θα ομολογήσει τις δικές του περιορισμούς σε αυτόν τον τομέα:

Το ChatGPT 4o έχει κάνει μια καλή εκτίμηση για την οπτική της κυκλοφορίας ενός καινούργιου ρολογιού, με βάση τη γενική γραμμή και τις περιγραφές που έχει ερμηνεύσει; αλλά δεν μπορεί να «απορροφήσει» και να εντάξει νέες εικόνες σε μια γεννήσεως DALL-E-βάσει.

Η ενσωμάτωση εξωτερικών δεδομένων σε μια γεννημένη εικόνα είναι μια πρόκληση επειδή η εισερχόμενη εικόνα πρέπει πρώτα να διασπαστεί σε token και ενσωματώσεις, τα οποία στη συνέχεια αντιστοιχούν στη γνώση του μοντέλου για το αντικείμενο.

Ενώ αυτή η διαδικασία λειτουργεί αποτελεσματικά για εργαλεία μετά την εκπαίδευση όπως το ControlNet, τέτοιες χειρισμοί παραμένουν σε μεγάλο βαθμό επιφανειακοί, ουσιαστικά διευθύνοντας την ανακτημένη εικόνα μέσω μιας διαδικασίας απόδοσης, αλλά χωρίς να την εντάξουν sâuоко στην εσωτερική αναπαράσταση του μοντέλου.

Ως αποτέλεσμα, το μοντέλο λείπει της ικανότητας να παράγει νέες προοπτικές με τον τρόπο που τα συστήματα νευρωνικής απόδοσης όπως το NeRF μπορούν, τα οποία κατασκευάζουν σκηνές με αληθινή χωρική και δομική κατανόηση.

Ωριμότητα Λογικής

Ένας παρόμοιος περιορισμός ισχύει για τις ερωτήσεις RAG-βάσει σε Μεγάλους Μοντέλους Γλωσσών (LLM), όπως το Perplexity. Όταν ένα μοντέλο αυτού του τύπου επεξεργάζεται εξωτερικά ανακτημένα δεδομένα, λειτουργεί πολύ σαν ένας ενήλικας που σχεδιάζει σε μια ζωή γνώσεων για να συναγάγει πιθανότητες για ένα θέμα.

Ωστόσο, όπως ένας άνθρωπος δεν μπορεί να εντάξει νέα πληροφορία στο γνωστικό του πλαίσιο που διαμορφώθηκε όταν οι προκαταλήψεις και οι προϋποθέσεις του ήταν ακόμα σε διαμόρφωση – το μοντέλο LLM δεν μπορεί να εντάξει ομαλά νέα γνώση στη προ-εκπαιδευμένη δομή του.

Αντίθετα, μπορεί μόνο να «επηρεάσει» ή να αντιπαραβάλει τα νέα δεδομένα με τις υπάρχουσες εσωτερικές γνώσεις του, χρησιμοποιώντας τις μάθειες αρχές για να αναλύσει και να συναγάγει παρά να συνθέσει στο θεμελιώδες επίπεδο.

Αυτή η ανεπάρκεια στην ισοδυναμία μεταξύ αντιπαραβάλλουσας και εσωτερικής γεννήσεως είναι πιθανό να είναι πιο εμφανής σε μια γεννημένη εικόνα παρά σε μια γλωσσική γεννήσεως: οι βαθύτερες συνδέσεις δικτύου και η αυξημένη δημιουργικότητα της «μητρικής» (παρά RAG-βάσει) γεννήσεως έχει καθοριστεί σε πολλές μελέτες.

Κρυφές Περιπτώσεις της Γεννήσεως Εικόνων με RAG

Ακόμη και αν ήταν τεχνικά εφικτό να ενσωματωθούν ανακτημένες εικόνες διαδικτύου ομαλά σε νέες συνθετικές εικόνες με έναν RAG-τύπο τρόπο, οι περιορισμοί ασφαλείας θα παρουσίαζαν μια πρόσθετη πρόκληση.

Πολλά σύνολα δεδομένων που χρησιμοποιούνται για την εκπαίδευση γεννητικών μοντέλων έχουν επιλεγεί για να ελαττωθούν η παρουσία σαφούς, ρατσιστικής ή βίαιης περιεχομένου, μεταξύ άλλων ευαίσθητων κατηγοριών. Ωστόσο, αυτή η διαδικασία είναι ατελής, και οι υπολειμματικές συσχετίσεις μπορούν να παραμείνουν. Για να μετριάσει αυτό, συστήματα όπως το DALL·E και το Adobe Firefly βασίζονται σε δευτερεύουσες μηχανισμούς φιλτραρίσματος που ελέγχουν τόσο τις εισερχόμενες προτροπές όσο και τις γεννημένες εξόδους για απαγορευμένο περιεχόμενο.

Ως αποτέλεσμα, ένα απλό φίλτρο NSFW – που μπλοκάρει κυρίως σαφώς σαφές περιεχόμενο – θα ήταν ανεπαρκές για την αξιολόγηση της αποδοχής των ανακτημένων RAG-βάσει δεδομένων. Τέτοιο περιεχόμενο θα μπορούσε ακόμα να είναι προσβλητικό ή επιζήμιο με τρόπους που δεν εμπίπτουν στα προκαθορισμένα παραμέτρους μετριάσεων του μοντέλου, πιθανότατα εισάγοντας υλικό που το AI δεν έχει την контекстική ευαισθησία να αξιολογήσει σωστά.

Η ανακάλυψη μιας πρόσφατης ευπάθειας στο CCP-παραγόμενο DeepSeek, που σχεδιάστηκε για να καταστείλει τις συζητήσεις για απαγορευμένο πολιτικό περιεχόμενο, έχει υπογραμμίσει πώς οι εναλλακτικές διαδικτυακές οδοί μπορούν να εκμεταλλευτούν για να παρακάμψουν τις ασφαλιστικές προστασίες του μοντέλου; επιχείρημα που ισχύει επίσης για τυχόν νέα δεδομένα που ανακτώνται από το διαδίκτυο, όταν προορίζονται να ενσωματωθούν σε μια νέα γεννήσεως εικόνας.

RAG για τη Γεννήσεως Εικόνων

Παρά αυτές τις προκλήσεις και τις δυσχερείς πολιτικές πτυχές, πολλά έργα έχουν αναδυθεί που επιχειρούν να χρησιμοποιήσουν RAG-βάσει μεθόδους για να ενσωματώσουν νέα δεδομένα σε οπτικές γεννήσεις.

ReDi

Το 2023 Retrieval-βάσει Διάχυσης (ReDi) είναι ένα μάθηση-ελεύθερο πλαίσιο που επιταχύνει την εκτίμηση του μοντέλου διάχυσης ανακτώντας παρόμοιες τραекторίες από μια προ-υπολογισμένη βάση γνώσεων.

Τιμές από ένα σύνολο δεδομένων μπορούν να «δανειστούν» για μια νέα γεννήσεως στο ReDi. Πηγή: https://arxiv.org/pdf/2302.02285

Στο контέκστ του μοντέλου διάχυσης, μια τραекторία είναι ο βήμα-προς-βήμα δρόμος που το μοντέλο ακολουθεί για να παράγει μια εικόνα από καθαρό θόρυβο. Κανονικά, αυτή η διαδικασία συμβαίνει σταδιακά σε πολλά βήματα, με κάθε βήμα να βελτιώνει την εικόνα λίγο περισσότερο.

Το ReDi επιταχύνει αυτή τη διαδικασία. Αντι να υπολογίζει κάθε βήμα, ανακτά μια παρόμοια προηγούμενη τραекторία από μια βάση δεδομένων και πηδάει μπροστά σε ένα μεταγενέστερο σημείο της διαδικασίας. Αυτό μειώνει τον αριθμό των υπολογισμών που απαιτούνται, καθιστώντας τη γεννήσεως διάχυσης πολύ πιο γρήγορη, ενώ διατηρεί την ποιότητα υψηλή.

Το ReDi δεν τροποποιεί τα βαρίδια του μοντέλου διάχυσης, αλλά χρησιμοποιεί τη βάση γνώσεων για να παραλείψει τα ενδιάμεσα βήματα, μειώνοντας τον αριθμό των εκτιμήσεων συναρτήσεων που απαιτούνται για δειγματοληψία.

Φυσικά, αυτό δεν είναι το ίδιο με την ενσωμάτωση συγκεκριμένων εικόνων κατά βούληση σε μια γεννήσεως αίτημα; αλλά σχετίζεται με παρόμοιους τύπους γεννήσεως.

Εκδοθέν το 2022, το έτος που τα μοντέλα διάχυσης κατέλαβαν την δημόσια φαντασία, το ReDi φαίνεται να είναι μεταξύ των πρώτων προσεγγίσεων διάχυσης-βάσει για να βασιστεί σε μια RAG-μεθοδολογία.

Παρά το γεγονός ότι θα πρέπει να αναφερθεί ότι το 2021 η Facebook Research κυκλοφόρησε Instance-Conditioned GAN, που επιχείρησε να καταστήσει GAN εικόνες σε νέα εικόνες εισόδου, αυτό το είδος προβολής στο χώρο.latent είναι εξαιρετικά κοινό στη βιβλιογραφία, τόσο για GAN όσο και για μοντέλα διάχυσης; η πρόκληση είναι να κάνει τέτοια διαδικασία εκπαίδευσης-ελεύθερη και λειτουργική σε πραγματικό χρόνο, όπως οι RAG-εστιασμένες μεθόδους LLM.

RDM

Μια άλλη πρώιμη απόπειρα για RAG-ενισχυμένη γεννήσεως εικόνας είναι Retrieval-Augmented Diffusion Models (RDM), το οποίο εισάγει μια ημι-παραμετρική προσέγγιση για τη γεννήσεως εικόνας. Ενώ τα παραδοσιακά μοντέλα διάχυσης αποθηκεύουν όλες τις μάθειες οπτικές γνώσεις μέσα στα νευρωνικά δικτυακά παραμέτρους, το RDM βασίζεται σε μια εξωτερική βάση δεδομένων εικόνων:

Ανακτημένοι γείτονες σε μια εικονική ψευδο-ερώτηση στο RDM*.

Κατά τη διάρκεια της εκπαίδευσης, το μοντέλο ανακτά γείτονες (οπτικά ή σεμαντικά παρόμοιες εικόνες) από την εξωτερική βάση δεδομένων, για να οδηγήσει τη διαδικασία γεννήσεως. Αυτό επιτρέπει στο μοντέλο να καταστήσει τις εξόδους του σε πραγματικές οπτικές περιπτώσεις.

Η διαδικασία ανακάλυψης είναι ενεργοποιημένη από CLIP ενσωματώσεις, σχεδιασμένες για να αναγκάσουν τις ανακτημένες εικόνες να μοιράζονται σημαντικές ομοιότητες με την ερώτηση, και επίσης να παρέχουν νέα πληροφορία για να βελτιώσουν τη γεννήσεως.

Αυτή η προσέγγιση μειώνει την εξάρτηση από παραμέτρους, διευκολύνοντας μικρότερα μοντέλα που επιτύγχανον ανταγωνιστικά αποτελέσματα χωρίς την ανάγκη εκτεταμένων συνόλων δεδομένων.

Η προσέγγιση RDM υποστηρίζει μεταγενέστερες τροποποιήσεις: οι ερευνητές μπορούν να ανταλλάξουν τη βάση δεδομένων κατά τη διάρκεια της εκτίμησης, επιτρέποντας τη μηδενική προσαρμογή σε νέους στυλ, τομείς ή ακόμη και εντελώς διαφορετικές εργασίες όπως η στυλιστική ή η συνθήκη-υποκειμενική σύνθεση.

Στις κατώτερες σειρές, βλέπουμε τους γείτονες που ανακτώνται στην διαδικασία διάχυσης στο RDM*.

Ένα βασικό πλεονέκτημα του RDM είναι η ικανότητά του να βελτιώνει τη γεννήσεως εικόνας χωρίς να ξανα-εκπαιδεύσει το μοντέλο. Απλώς τροποποιώντας τη βάση ανακάλυψης, το μοντέλο μπορεί να γενικευτεί σε νέα концепτά που δεν είχε εκπαιδευτεί ρητά. Αυτό είναι ιδιαίτερα χρήσιμο για εφαρμογές όπου τομές τομέα συμβαίνουν, όπως η γεννήσεως ιατρικών εικόνων με βάση εξελισσόμενα σύνολα δεδομένων, ή η προσαρμογή μοντέλων κειμένου-σε-εικόνα για δημιουργικές εφαρμογές.

Αρνητικά, οι μεθόδους ανακάλυψης αυτού του είδους εξαρτώνται από την ποιότητα και την επικαιρότητα της εξωτερικής βάσης δεδομένων, το οποίο καθιστά τη διευθέτηση δεδομένων einen σημαντικό παράγοντα για την επίτευξη υψηλής ποιότητας γεννήσεων; και αυτή η προσέγγιση παραμένει μακριά από μια ισοδύναμη σύνθεση εικόνας του είδους των RAG-βάσει αλληλεπιδράσεων που είναι τυπικές σε εμπορικά LLM.

ReMoDiffuse

Το ReMoDiffuse είναι ένα μοντέλο διάχυσης κίνησης με ανακτηση-ενισχυμένη για τη γεννήσεως κίνησης 3D. Αντιθέτως με παραδοσιακά μοντέλα κίνησης που βασίζονται αποκλειστικά σε μάθειες αναπαραστάσεις, το ReMoDiffuse ανακτά σχετικές δείγματα κίνησης από ένα μεγάλο σύνολο δεδομένων κίνησης και τα ενσωματώνει στη διαδικασία απο-θορύβωσης, σε ένα σχήμα παρόμοιο με το RDM (βλέπε παραπάνω).

Σύγκριση του RAG-ενισχυμένου ReMoDiffuse (δεξιά) με προηγούμενες μεθόδους. Πηγή: https://arxiv.org/pdf/2304.01116

Αυτό επιτρέπει στο μοντέλο να παράγει ακολουθίες κίνησης που σχεδιάζονται να είναι πιο φυσικές και ποικίλες, καθώς και σεμαντικά πιστές στις κειμενικές προτροπές του χρήστη.

Το ReMoDiffuse χρησιμοποιεί einen καινοτόμο υβριδικό μηχανισμό ανακάλυψης, ο οποίος επιλέγει δείγματα κίνησης με βάση τόσο σεμαντικές όσο και κινηματικές ομοιότητες, με σκοπό να διασφαλίσει ότι τα ανακτημένα κινήματα δεν είναι μόνο θεματικά σχετικά αλλά και φυσικά πιθανά όταν ενσωματώνονται στη νέα γεννήσεως.

Το μοντέλο στη συνέχεια βελτιώνει αυτά τα ανακτημένα δείγματα χρησιμοποιώντας einen Σημασιολογικά-Ρυθμιζόμενο Transformer, ο οποίος επιλεκτικά ενσωματώνει γνώσεις από τα ανακτημένα κινήματα ενώ διατηρεί τις χαρακτηριστικές ιδιότητες της γεννημένης ακολουθίας:

Σχήμα για την πορεία του ReMoDiffuse.

Η τεχνική Μίξη Συνθήκης του έργου ενισχύει την ικανότητα του μοντέλου να γενικευτεί σε διαφορετικές προτροπές και συνθήκες ανακάλυψης, ισορροπώντας ανακτημένα δείγματα κίνησης με κειμενικές προτροπές κατά τη διάρκεια της γεννήσεως, και điều chỉnhοντας πόσο βάρος κάθε πηγή λαμβάνει σε κάθε βήμα.

Αυτό μπορεί να βοηθήσει στην πρόληψη αρεστών ή επαναλαμβανόμενων εξόδων, ακόμη και για σπάνιες προτροπές. Επίσης, αντιμετωπίζει το ζήτημα ευαισθησίας κλίμακας που συχνά ανακύπτει στις τεχνικές καθοδήγησης χωρίς ταξινόμηση που χρησιμοποιούνται συνήθως σε μοντέλα διάχυσης.

RA-CM3

Το 2023 έγγραφο Retrieval-Augmented Multimodal Language Modeling (RA-CM3) της Stanford επιτρέπει στο σύστημα να αποκτήσει πρόσβαση σε πραγματικές πληροφορίες κατά τη διάρκεια της εκτίμησης:

Το Μοντέλο Γλωσσικού Μοντέλου Πολυμεσικής RA-CM3 της Stanford χρησιμοποιεί ανακτημένες εικόνες διαδικτύου για να ενισχύσει τη γεννήσεως, αλλά παραμένει ένα πρωτότυπο χωρίς δημόσια πρόσβαση. Πηγή: https://cs.stanford.edu/~myasu/files/RACM3_slides.pdf

Το RA-CM3 ενσωματώνει ανακτημένα κείμενα και εικόνες στη διαδικασία γεννήσεως, βελτιώνοντας τόσο τη σύνθεση κειμένου-σε-εικόνα όσο και την εικόνα-σε-κειμενο σύνθεση. Χρησιμοποιώντας CLIP για ανακτηση και einen Transformer ως τον γεννήτορα, το μοντέλο αναφέρεται σε σχετικές πολυμεσικές εγγραφές πριν από τη σύνθεση μιας εξόδου.

Βελτιώσεις σε MS-COCO δείχνουν αξιοσημείωτες βελτιώσεις σε σχέση με το DALL-E και παρόμοια συστήματα, επιτύγχανον μια 12-βαθμιαία Fréchet Inception Distance (FID) μείωση, με πολύ χαμηλότερο υπολογιστικό κόστος.

Ωστόσο, όπως και με άλλες ανακτηση-ενισχυμένες προσεγγίσεις, το RA-CM3 δεν ενσωματώνει ομαλά τις ανακτημένες γνώσεις. Αντίθετα, τοποθετεί νέα δεδομένα ενάντια στη προ-εκπαιδευμένη δικτύωσή του, πολύ σαν ένα LLM που ενισχύει τις απαντήσεις του με αποτελέσματα αναζήτησης. Αν και αυτή η μέθοδος μπορεί να βελτιώσει την фактиτική ακρίβεια, δεν αντικαθιστά την ανάγκη για ενημερώσεις εκπαίδευσης σε τομείς όπου απαιτείται βαθιά σύνθεση.

Επιπλέον, μια πρακτική εφαρμογή αυτού του συστήματος δεν φαίνεται να έχει κυκλοφορήσει, ακόμη και σε μια πλατφόρμα API-βάσει.

RealRAG

Μια νέα κυκλοφορία από την Κίνα, και αυτή που έχει προκαλέσει αυτή τη ματιά στα RAG-ενισχυμένα γεννητικά συστήματα εικόνας, ονομάζεται Retrieval-Augmented Realistic Image Generation (RealRAG).

Εξωτερικές εικόνες που ανακτώνται στο RealRAG (κάτω-μεσαία). Πηγή: https://arxiv.o7rg/pdf/2502.00848

Το RealRAG ανακτά πραγματικές εικόνες σχετικών αντικειμένων από μια βάση δεδομένων που έχει επιλεγεί από δημόσια διαθέσιμα σύνολα δεδομένων όπως ImageNet, Stanford Cars, Stanford Dogs, και Oxford Flowers. Στη συνέχεια, ενσωματώνει τις ανακτημένες εικόνες στη διαδικασία γεννήσεως, αντιμετωπίζοντας κενά γνώσεων στο μοντέλο.

Ένα βασικό συστατικό του RealRAG είναι η αυτο-ανακτική αντίθετη μάθηση, η οποία εκπαιδεύει ένα μοντέλο ανακάλυψης για να βρει ενημερωτικές αναφορικές εικόνες, αντί να επιλέγει μόνο οπτικά παρόμοιες εικόνες.

Οι συγγραφείς δηλώνουν:

‘Η βασική μας έμπνευση είναι να εκπαιδεύσουμε einen ανακτή που ανακτά εικόνες που παραμένουν έξω από το χώρο γεννήσεως του γεννήτορα, αλλά που είναι κοντά στην αναπαράσταση των κειμενικών προτροπών.

‘Για αυτό, πρώτα γεννάμε εικόνες από τις δοθείσες κειμενικές προτροπές και στη συνέχεια χρησιμοποιούμε τις γεννημένες εικόνες ως ερωτήσεις για να ανακτήσουμε τις πιο σχετικές εικόνες στη βάση δεδομένων πραγματικών αντικειμένων. Αυτές οι πιο σχετικές εικόνες χρησιμοποιούνται ως ανακτικές αρνητικές.’

Αυτή η προσέγγιση διασφαλίζει ότι οι ανακτημένες εικόνες συμβάλλουν λείπουσα γνώση στη διαδικασία γεννήσεως, αντί να ενισχύουν τις υπάρχουσες προκαταλήψεις του μοντέλου.

Αριστερά, η ανακτημένη αναφορική εικόνα; κέντρο, χωρίς RAG; δεξιά, με τη χρήση της ανακτημένης εικόνας.

Ωστόσο, η εξάρτηση από την ποιότητα ανακάλυψης και την κάλυψη της βάσης δεδομένων σημαίνει ότι η αποτελεσματικότητά του μπορεί να ποικίλλει ανάλογα με τη διαθεσιμότητα υψηλής ποιότητας αναφορών. Αν μια σχετική εικόνα δεν υπάρχει στη βάση δεδομένων, το μοντέλο μπορεί ακόμα να παλέψει με άγνωστες έννοιες.

Το RealRAG είναι μια πολύ modulaire αρχιτεκτονική, που προσφέρει συμβατότητα με πολλαπλά άλλα γεννητικά αρχιτεκτονικά, συμπεριλαμβανομένων U-Net-βάσει, DiT-βάσει, και αυτο-αναδρομικών μοντέλων.

Γενικά, η ανακτηση και επεξεργασία εξωτερικών εικόνων προστίθεται υπολογιστική υπερβολή, και η απόδοση του συστήματος εξαρτάται από το πόσο καλά ο μηχανισμός ανακάλυψης γενικεύει σε διαφορετικές εργασίες και σύνολα δεδομένων.

Συμπέρασμα

Αυτή είναι μια αντιπροσωπευτική παράθεση των image-ανακτών πολυμεσικών γεννητικών συστημάτων. Κάποια συστήματα αυτού του είδους χρησιμοποιούν ανακτηση μόνο για να βελτιώσουν την κατανόηση της όρασης ή τη διευθέτηση συνόλων δεδομένων, μεταξύ άλλων διαφορετικών κινήτρων, παρά να επιδιώξουν να γεννήσουν εικόνες. Ένα παράδειγμα είναι Internet Explorer.

Πολλά από τα άλλα RAG-ενσωματωμένα έργα στη βιβλιογραφία παραμένουν μη κυκλοφορημένα. Πρωτότυπα, με μόνο δημοσιευμένη έρευνα, περιλαμβάνουν Re-Imagen, το οποίο – παρά την προέλευσή του από την Google – μπορεί να αποκτήσει πρόσβαση μόνο σε εικόνες από μια τοπική προσαρμοσμένη βάση δεδομένων.

Επίσης, τον Νοέμβριο του 2024, η Baidu ανακοίνωσε Image-Based Retrieval-Augmented Generation (iRAG), μια νέα πλατφόρμα που χρησιμοποιεί ανακτημένες εικόνες «από μια βάση δεδομένων». Αν και το iRAG αναφέρεται ότι είναι διαθέσιμο στην πλατφόρμα Ernie, δεν υπάρχουν περαιτέρω λεπτομέρειες για αυτή τη διαδικασία ανακάλυψης, η οποία φαίνεται να βασίζεται σε μια τοπική βάση δεδομένων (δηλαδή, τοπική προς την υπηρεσία και όχι直接 διαθέσιμη στον χρήστη).

Επιπλέον, το 2024 έγγραφο Unified Text-to-Image Generation and Retrieval προσφέρει μια άλλη RAG-βάσει μέθοδο για την उपयποίηση εξωτερικών εικόνων για να ενισχύσει τα αποτελέσματα κατά τη διάρκεια της γεννήσεως – και πάλι, από μια τοπική βάση δεδομένων και όχι από ad hoc διαδικτυακές πηγές.

Η ενθουσιασμός για RAG-βάσει ενίσχυση στη γεννήσεως εικόνας είναι πιθανό να επικεντρωθεί σε συστήματα που μπορούν να ενσωματώσουν διαδικτυακές πηγές ή χρήστη-ανεγμένες εικόνες απευθείας στη γεννήσεως διαδικασία, και που επιτρέπουν στους χρήστες να συμμετέχουν στις επιλογές ή τις πηγές εικόνων.

Ωστόσο, αυτό είναι μια σημαντική πρόκληση για τουλάχιστον δύο λόγους; πρώτον, επειδή η αποτελεσματικότητα τέτοιων συστημάτων συνήθως εξαρτάται από βαθιά ενσωματωμένες σχέσεις που διαμορφώνονται κατά τη διάρκεια μιας πλούσιας σε πόρους εκπαίδευσης; και δεύτερον, επειδή οι ανησυχίες για ασφάλεια, νομικότητα, και πνευματικά δικαιώματα, όπως αναφέρθηκαν νωρίτερα, κάνουν αυτή τη λειτουργία απίθανη για μια API-κίνητη διαδικτυακή υπηρεσία, και για εμπορική ανάπτυξη γενικά.

* Πηγή: https://proceedings.neurips.cc/paper_files/paper/2022/file/62868cc2fc1eb5cdf321d05b4b88510c-Paper-Conference.pdf

Κυκλοφόρησε για πρώτη φορά την Τρίτη, 4 Φεβρουαρίου 2025