Andrew Gordon, Senior Research Consultant, Prolific – Συνέντευξη Σειράς

Ο Andrew Gordon αξιοποιεί το ισχυρό του υπόβαθρο στην ψυχολογία και τις νευροεπιστήμες για να αποκαλύψει ερευνήσεις ως ερευνητής. Με πτυχίο στην Ψυχολογία, μεταπτυχιακό στη Νευροψυχολογία και διδακτορικό στη Γνωστική Νευροεπιστήμη, ο Andrew αξιοποιεί επιστημονικές αρχές για να κατανοήσει τις мотिवές, τη συμπεριφορά και τις αποφάσεις των καταναλωτών.

Prolific δημιουργήθηκε από ερευνητές για ερευνητές, με στόχο να προσφέρει ένα ανώτερο μέσο για την απόκτηση υψηλής ποιότητας ανθρώπινων δεδομένων και εισροών για την προηγμένη έρευνα. Σήμερα, περισσότεροι από 35.000 ερευνητές από την ακαδημαϊκή και βιομηχανική κοινότητα βασίζονται στο Prolific AI για τη συλλογή οριστικών ανθρώπινων δεδομένων και σχολίων. Η πλατφόρμα είναι γνωστή για τους αξιόπιστους, ενεργούς και δίκαια αντιμετωπισμένους συμμετέχοντες, με μια νέα μελέτη να ξεκινά κάθε τρία λεπτά.

Πώς αξιοποιείτε το υπόβαθρο σας στη γνωστική νευροεπιστήμη για να βοηθήσετε ερευνητές που αναλαμβάνουν έργα που涉ρούν την τεχνητή νοημοσύνη;

Ένα καλό σημείο εκκίνησης είναι η ορισμός του τι περιλαμβάνει πραγματικά η γνωστική νευροεπιστήμη. Βασικά, η γνωστική νευροεπιστήμη διερευνά τις βιολογικές βάσεις των γνωστικών διαδικασιών. Συνδυάζει αρχές από τις νευροεπιστήμες και την ψυχολογία, και περιστασιακά την πληροφορική, μεταξύ άλλων, που μας βοηθούν να κατανοήσουμε πώς ο εγκέφαλός μας επιτρέπει διάφορες νοητικές λειτουργίες. Ουσιαστικά, όποιος ασκεί έρευνα στη γνωστική νευροεπιστήμη πρέπει να έχει μια ισχυρή κατανόηση των μεθοδολογιών έρευνας και μια καλή κατανόηση του πώς οι άνθρωποι σκέφτονται και συμπεριφέρονται. Αυτά τα δύο στοιχεία είναι κρίσιμα και μπορούν να συνδυαστούν για την ανάπτυξη και την εκτέλεση υψηλής ποιότητας έρευνας τεχνητής νοημοσύνης. Ένα σημείο προσοχής, όμως, είναι ότι η έρευνα της τεχνητής νοημοσύνης είναι ένας ευρύς όρος· μπορεί να περιλαμβάνει mọi thứ, από την εκπαίδευση μοντέλων και την αναnotation δεδομένων μέχρι την κατανόηση του πώς οι άνθρωποι αλληλεπιδρούν με συστήματα τεχνητής νοημοσύνης. Η διεξαγωγή ερευνητικών έργων με τεχνητή νοημοσύνη δεν διαφέρει από τη διεξαγωγή ερευνητικών έργων εκτός της τεχνητής νοημοσύνης· ακόμη χρειάζεστε μια καλή κατανόηση των μεθοδολογιών, σχεδίασης μελετών για τη δημιουργία των καλύτερων δεδομένων, δειγματοληψίας για την αποφυγή της προκατάληψης και στη συνέχεια χρήση αυτών των δεδομένων σε αποτελεσματικές αναλύσεις για να απαντήσετε σε οποιοδήποτε ερευνητικό ερώτημα που αντιμετωπίζετε.

Το Prolific τονίζει την εθική αντιμετώπιση και την δίκαιη αμοιβή των συμμετεχόντων. Μπορείτε να μοιραστείτε ερευνήσεις σχετικά με τις προκλήσεις και τις λύσεις στη διατήρηση αυτών των προτύπων;

Το μοντέλο αμοιβής μας σχεδιάστηκε για να διασφαλίσει ότι οι συμμετέχοντες αξιοποιούνται και ανταμείβονται, αισθανόμενοι ότι παίζουν ένα σημαντικό ρόλο στην ερευνητική μηχανή (γιατί το κάνουν). Πιστεύουμε ότι η δίκαιη αντιμετώπιση των συμμετεχόντων και η παροχή ενός δίκαιου ποσοστού αμοιβής, τους мотιβάρει να αλληλεπιδρούν πιο sâuθά με την έρευνα και, κατά συνέπεια, να παρέχουν καλύτερα δεδομένα.

Δυστυχώς, οι περισσότερες διαδικτυακές πλατφόρμες δειγματοληψίας δεν επιβάλλουν αυτές τις αρχές της εθικής αμοιβής και αντιμετώπισης. Το αποτέλεσμα είναι ένας πул συμμετεχόντων που ενθαρρύνεται να μην αλληλεπιδρούν με την έρευνα, αλλά να τη διέρχονται όσο το δυνατόν γρηγορότερα για να μεγιστοποιήσουν το κέρδος τους, οδηγώντας σε χαμηλής ποιότητας δεδομένα. Η διατήρηση της στάσης που έχουμε στο Prolific είναι προκλητική· βασικά, πολεμάμε ενάντια στη ροή. Η κατάσταση στην έρευνα της τεχνητής νοημοσύνης και άλλων μορφών διαδικτυακής έρευνας δεν έχει επικεντρωθεί στην αντιμετώπιση των συμμετεχόντων ή την ευημερία τους, αλλά στην μεγιστοποίηση της ποσότητας δεδομένων που μπορούν να συλλεχθούν με το χαμηλότερο κόστος.

Η κάνωση της ευρύτερης ερευνητικής κοινότητας να κατανοήσει γιατί abbiamo αυτήν την προσέγγιση και την αξία που θα δουν χρησιμοποιώντας μας, αντί για μια ανταγωνιστική πλατφόρμα, παρουσιάζει μια σημαντική πρόκληση. Μια άλλη πρόκληση, από λογιστική πλευρά, περιλαμβάνει την αφιέρωση σημαντικού χρόνου για να απαντήσουμε σε ανησυχίες, ερωτήσεις ή παραπόνων από τους συμμετέχοντες ή ερευνητές μας σε ένα zeitlich και δίκαιο τρόπο. Αφιερώνουμε πολύ χρόνο σε αυτό, επειδή διατηρεί τους χρήστες και στις δύο πλευρές – συμμετέχοντες και ερευνητές – χαρούμενους, ενθαρρύνοντας τους να συνεχίσουν να έρχονται στο Prolific. Ωστόσο, βασίζουμε επίσης πολύ στους ερευνητές που χρησιμοποιούν την πλατφόρμα μας να τηρήσουν τα υψηλά πρότυπα αντιμετώπισης και αμοιβής, όταν οι συμμετέχοντες μεταφερθούν στην εργασία ή την έρευνα του ερευνητή και έτσι εγκαταλείψουν το οικοσύστημα του Prolific. Τι συμβαίνει εκτός της πλατφόρμας μας είναι πραγματικά υπό τον έλεγχο της ερευνητικής ομάδας, οπότε εξαρτόμαστε όχι μόνο από τους συμμετέχοντες να μας ενημερώσουν αν κάτι είναι λάθος, αλλά και από τους ερευνητές μας να τηρήσουν τα υψηλότερα δυνατά πρότυπα.

Λαμβάνοντας υπόψη το επιχειρηματικό μοντέλο του Prolific, ποια είναι η γνώμη σας για το απαραίτητο ρόλο της ανθρώπινης ανατροφοδότησης στην ανάπτυξη της τεχνητής νοημοσύνης, ιδιαίτερα σε περιοχές όπως η ανίχνευση προκατάληψης και η βελτίωση της κοινωνικής λογικής;

Η ανθρώπινη ανατροφοδότηση στην ανάπτυξη της τεχνητής νοημοσύνης είναι κρίσιμη. Χωρίς την ανθρώπινη εμπλοκή, κινδυνεύουμε να διατηρήσουμε προκαταλήψεις, να παραβλέψουμε τις νюανς της ανθρώπινης κοινωνικής αλληλεπίδρασης και να μην αντιμετωπίσουμε ορισμένες από τις αρνητικές ηθικές σκέψεις που σχετίζονται με την τεχνητή νοημοσύνη. Αυτό θα μπορούσε να εμποδίσει την πρόοδο μας προς την δημιουργία υπεύθυνων, αποτελεσματικών και ηθικών συστημάτων τεχνητής νοημοσύνης. Σε ό,τι αφορά την ανίχνευση προκατάληψης, η ενσωμάτωση της ανθρώπινης ανατροφοδότησης κατά τη διάρκεια της ανάπτυξης είναι κρίσιμη, επειδή πρέπει να στοχεύουμε να αναπτύξουμε τεχνητή νοημοσύνη που αντανακλά όσο το δυνατόν ευρύτερο φάσμα απόψεων και αξιών, χωρίς να προτιμά το ένα από το άλλο. Διαφορετικές δημογραφικές, υπόβαθρα και πολιτισμικές παρασκηνίου έχουν ασυνείδητες προκαταλήψεις που, ενώ μπορεί να μην είναι αρνητικές, μπορεί να αντανακλούν μια άποψη που δεν θα ήταν ευρέως αποδεκτή. Η συνεργατική έρευνα μεταξύ του Prolific και του Πανεπιστημίου του Μίσιγκαν υπογράμμισε πώς τα υπόβαθρα των διαφορετικών annotators μπορεί να επηρεάσουν σημαντικά τον τρόπο με τον οποίο αξιολογούν πτυχές όπως η τοξικότητα του λόγου ή η ευγένεια. Για να αντιμετωπίσουμε αυτό, η συμμετοχή συμμετεχόντων από διαφορετικά υπόβαθρα, πολιτισμούς και προοπτικές μπορεί να αποτρέψει αυτές τις προκαταλήψεις από το να ενσωματωθούν στα συστήματα τεχνητής νοημοσύνης που αναπτύσσονται. Επιπλέον, η ανθρώπινη ανατροφοδότηση επιτρέπει στους ερευνητές της τεχνητής νοημοσύνης να ανιχνεύουν πιο λεπτές μορφές προκατάληψης που μπορεί να μην ανιχνευθούν από αυτοματοποιημένα μέσα. Αυτό διευκολύνει την ευκαιρία να αντιμετωπίσουμε προκαταλήψεις μέσω διορθώσεων σε αλγόριθμους, υποκείμενα μοντέλα ή τεχνικές προεπεξεργασίας δεδομένων.

Η κατάσταση με την κοινωνική λογική είναι ουσιαστικά η ίδια. Η τεχνητή νοημοσύνη συχνά αγωνίζεται με εργασίες που απαιτούν κοινωνική λογική, επειδή, από τη φύση της, δεν είναι ένα κοινωνικό ον, ενώ οι άνθρωποι είναι. Η ανίχνευση του контекστού όταν ζητείται μια ερώτηση, η κατανόηση του σαρκασμού ή η αναγνώριση συναισθηματικών σημάτων, απαιτεί ανθρώπινη κοινωνική λογική που η τεχνητή νοημοσύνη δεν μπορεί να μάθει μόνη της. Μαθαίνουμε, ως άνθρωποι, κοινωνικά, οπότε ο único τρόπος να διδάξουμε ένα σύστημα τεχνητής νοημοσύνης αυτού του είδους τεχνικών είναι χρησιμοποιώντας πραγματική ανθρώπινη ανατροφοδότηση για να εκπαιδεύσουμε την τεχνητή νοημοσύνη να ερμηνεύει και να απαντά σε διάφορες κοινωνικές σηματοδοτήσεις. Στο Prolific, αναπτύξαμε ένα σύνολο δεδομένων κοινωνικής λογικής ειδικά σχεδιασμένο για να διδάξει μοντέλα τεχνητής νοημοσύνης αυτήν την σημαντική ικανότητα.

Ουσιαστικά, η ανθρώπινη ανατροφοδότηση όχι μόνο βοηθά στην ταυτοποίηση περιοχών όπου τα συστήματα τεχνητής νοημοσύνης ξεχωρίζουν ή αποτυχαίνουν, αλλά επίσης επιτρέπει στους développers να κάνουν τις απαραίτητες βελτιώσεις και αναθεωρήσεις των αλγορίθμων. Ένα πρακτικό παράδειγμα αυτού είναι το πώς λειτουργεί το ChatGPT. Όταν σας ζητείται μια ερώτηση, đôi φορές το ChatGPT παρουσιάζει δύο απαντήσεις και σας ζητά να τις κατατάξετε. Αυτή η προσέγγιση λαμβάνεται επειδή το μοντέλο είναι πάντα σε εκπαίδευση, και οι développers κατανοούν τη σημασία της ανθρώπινης εισροής για να καθορίσουν τις καλύτερες απαντήσεις, αντί να βασίζονται αποκλειστικά σε ένα άλλο μοντέλο.

Το Prolific έχει διαδραματίσει σημαντικό ρόλο στη σύνδεση ερευνητών με συμμετέχοντες για την εκπαίδευση και την έρευνα της τεχνητής νοημοσύνης. Μπορείτε να μοιραστείτε κάποιες ιστορίες επιτυχίας ή σημαντικές προόδους στην τεχνητή νοημοσύνη που έγιναν δυνατές μέσω της πλατφόρμας σας;

Λόγω του εμπορικού χαρακτήρα πολλών από τα έργα μας, ιδιαίτερα σε μη ακαδημαϊκούς χώρους, πολλά από τα έργα που συμμετέχουμε είναι υπό στενές Συμφωνίες Μη Αποκάλυψης. Αυτό είναι κυρίως για να διασφαλιστεί η εμπιστευτικότητα των τεχνικών ή μεθόδων, προστατεύοντάς τες από την αναπαραγωγή. Ωστόσο, ένα έργο που μπορούμε να συζητήσουμε είναι η συνεργασία μας με την Remesh, μια πλατφόρμα ανάλυσης με τεχνητή νοημοσύνη. Συνεργαστήκαμε με την OpenAI και την Remesh για την ανάπτυξη ενός συστήματος που χρησιμοποιεί αντιπροσωπευτικά δείγματα του πληθυσμού των Ηνωμένων Πολιτειών. Σε αυτό το έργο, χιλιάδες άτομα από ένα αντιπροσωπευτικό δείγμα συμμετείχαν σε συζητήσεις σχετικά με πολιτικές που αφορούν την τεχνητή νοημοσύνη μέσω του συστήματος της Remesh, επιτρέποντας την ανάπτυξη πολιτικών που αντανακλούν τη γενική βούληση του κοινού, αντί για μια επιλεγμένη δημογραφική ομάδα, χάρη στην ικανότητα του Prolific να παρέχει ένα τόσο διαφοροποιημένο δείγμα.

Βλέποντας μπροστά, ποια είναι η όρασή σας για το μέλλον της ηθικής ανάπτυξης της τεχνητής νοημοσύνης, και πώς σχεδιάζει το Prolific να συνεισφέρει στην επίτευξη αυτής της όρασης;

Η ελπίδα μου για το μέλλον της τεχνητής νοημοσύνης και της ανάπτυξής της, βασίζεται στην αναγνώριση ότι η τεχνητή νοημοσύνη θα είναι τόσο καλή όσο τα δεδομένα στα οποία εκπαιδεύεται. Η σημασία της ποιότητας των δεδομένων δεν μπορεί να υπερβληθεί για τα συστήματα τεχνητής νοημοσύνης. Η εκπαίδευση ενός συστήματος τεχνητής νοημοσύνης σε χαμηλής ποιότητας δεδομένα οδηγεί αναπόφευκτα σε ένα κακό σύστημα τεχνητής νοημοσύνης. Ο único τρόπος να διασφαλιστεί η υψηλή ποιότητα δεδομένων είναι διασφαλίζοντας την πρόσληψη ενός διαφοροποιημένου και мотιβασμένου ομαδίου συμμετεχόντων, πρόθυμων να παρέχουν τα καλύτερα δυνατά δεδομένα. Στο Prolific, η προσέγγισή μας και οι οδηγικές αρχές μας στοχεύουν να καλλιεργήσουν ακριβώς αυτό. Δημιουργώντας einen bespoke, πλήρως ελεγμένο και αξιόπιστο πул συμμετεχόντων, προβλέπουμε ότι οι ερευνητές θα χρησιμοποιήσουν αυτήν την πηγή για να αναπτύξουν πιο αποτελεσματικά, αξιόπιστα και αξιόπιστα συστήματα τεχνητής νοημοσύνης στο μέλλον.

Ποια είναι κάποιες από τις μεγαλύτερες προκλήσεις που αντιμετωπίζετε στη συλλογή υψηλής ποιότητας, ανθρώπινης-κίνητης εκπαίδευσης δεδομένων για την τεχνητή νοημοσύνη, και πώς το Prolific τις υπερνικά;

Η μεγαλύτερη πρόκληση, χωρίς αμφιβολία, είναι η ποιότητα των δεδομένων. Όχι μόνο τα κακά δεδομένα είναι άχρηστα, αλλά μπορούν επίσης να οδηγήσουν σε επιζήμιες επιπτώσεις, ιδιαίτερα όταν τα συστήματα τεχνητής νοημοσύνης χρησιμοποιούνται σε κρίσιμους τομείς όπως οι χρηματοοικονομικές αγορές ή οι στρατιωτικές επιχειρήσεις. Αυτή η ανησυχία υπογραμμίζει την απαραίτητη αρχή του “σκουπίδι μέσα, σκουπίδι έξω”. Αν τα δεδομένα εισόδου είναι κακά, το συstem της τεχνητής νοημοσύνης θα είναι αναπόφευκτα χαμηλής ποιότητας ή χρησιμότητας. Τα περισσότερα διαδικτυακά δείγματα τείνουν να παράγουν δεδομένα χαμηλότερης ποιότητας από ό,τι είναι ιδανικό για την ανάπτυξη της τεχνητής νοημοσύνης. Υπάρχουν πολλές αιτίες για αυτό, αλλά ένας κρίσιμος παράγοντας που το Prolific αντιμετωπίζει είναι η γενική αντιμετώπιση των διαδικτυακών συμμετεχόντων. Συχνά, αυτά τα άτομα θεωρούνται ανταλλακτικά, λαμβάνοντας χαμηλή αμοιβή, κακή αντιμετώπιση και μικρή σεβασμό από τους ερευνητές. Αξιοποιώντας την εθική αντιμετώπιση των συμμετεχόντων, το Prolific έχει καλλιεργήσει einen πул συμμετεχόντων που είναι мотιβασμένοι, ενεργοί, σκέπτονται, ειλικρινείς και προσεκτικοί. Συνεπώς, όταν συλλέγονται δεδομένα μέσω του Prolific, η υψηλή ποιότητά τους είναι εγγυημένη, υποστηρίζοντας αξιόπιστα και αξιόπιστα μοντέλα τεχνητής νοημοσύνης.

Μια άλλη πρόκληση που αντιμετωπίζουμε με τα δεδομένα εκπαίδευσης της τεχνητής νοημοσύνης είναι η διασφάλιση της διαφοροποίησης μέσα στο δείγμα. Ενώ τα διαδικτυακά δείγματα έχουν διευρύνει σημαντικά το φάσμα και την ποικιλία των ατόμων που μπορούμε να διεξάγουμε έρευνα, είναι κυρίως περιορισμένα σε άτομα από δυτικές χώρες. Αυτά τα δείγματα συχνά στρέφονται προς νεότερες, υπολογιστικά εγγράφους, υψηλά μορφωμένες και περισσότερο αριστερές δημογραφικές ομάδες. Αυτό δεν αντιπροσωπεύει πλήρως τον παγκόσμιο πληθυσμό. Για να αντιμετωπίσουμε αυτό, το Prolific έχει συμμετέχοντες από πάνω από 38 χώρες παγκοσμίως. Επίσης, παρέχουμε στους ερευνητές μας εργαλεία για να ορίσουν την ακριβή δημογραφική σύνθεση του δείγματος τους εκ των προτέρων. Επιπλέον, προσφέρουμε αντιπροσωπευτική δειγματοληψία μέσω προτύπων αντιστοίχισης απογραφής όπως η ηλικία, το φύλο και η εθνικότητα, ή ακόμη και από πολιτική προσχώρηση. Αυτό διασφαλίζει ότι οι μελέτες, οι εργασίες αναnotation ή άλλα έργα λαμβάνουν eine διαφοροποιημένη ποικιλία συμμετεχόντων και, κατά συνέπεια, eine ευρεία ποικιλία ερευνήσεων.

Ευχαριστούμε για τη μεγάλη συνέντευξη, οι αναγνώστες που επιθυμούν να μάθουν περισσότερα πρέπει να επισκεφθούν Prolific.