Andrew Gordon, Senior Research Consultant, Prolific – Interview Series

Ο Andrew Gordon αξιοποιεί το ισχυρό του υπόβαθρο στην ψυχολογία και τις νευροεπιστήμες για να αποκαλύψει ερευνήσεις ως ερευνητής. Με πτυχίο στην Ψυχολογία, μεταπτυχιακό στη Νευροψυχολογία και διδακτορικό στην Κогνιтивική Νευροεπιστήμη, ο Andrew αξιοποιεί επιστημονικές αρχές για να κατανοήσει τις мотиваções, τη συμπεριφορά και την λήψη αποφάσεων των καταναλωτών.

Prolific δημιουργήθηκε από ερευνητές για ερευνητές, με στόχο να προσφέρει einen υπεροχή μέθοδο για την απόκτηση υψηλής ποιότητας ανθρώπινων δεδομένων και εισροών για την προηγμένη έρευνα. Σήμερα, πάνω από 35.000 ερευνητές από την ακαδημία και τη βιομηχανία εξαρτώνται από το Prolific AI για τη συλλογή οριστικών ανθρώπινων δεδομένων και σχολίων. Η πλατφόρμα είναι γνωστή για τους αξιόπιστους, ενεργούς και δίκαια αντιμετωπιζόμενους συμμετέχοντες, με μια νέα μελέτη να εκκινεί κάθε τρία λεπτά.

Πώς αξιοποιείτε το υπόβαθρο σας στις κогνιтивικές νευροεπιστήμες για να βοηθήσετε ερευνητές που αναλαμβάνουν έργα που涉ρούν την τεχνητή νοημοσύνη;

Ένας καλός起点 είναι η ορισμός του τι περιλαμβάνει πραγματικά η κогνιтивική νευροεπιστήμη. Ουσιαστικά, η κогνιтивική νευροεπιστήμη ερευνά τις βιολογικές βάσεις των κогνιτικών διεργασιών. Συνδυάζει αρχές από τις νευροεπιστήμες και την ψυχολογία, και περιστασιακά την επιστήμη των υπολογιστών, μεταξύ άλλων, που μας βοηθούν να κατανοήσουμε πώς ο εγκέφαλός μας ενεργοποιεί διάφορες νοητικές λειτουργίες. Ουσιαστικά, όποιος ασκεί έρευνα στις κогνιτικές νευροεπιστήμες πρέπει να έχει μια ισχυρή κατανόηση των μεθοδολογιών έρευνας και μια καλή κατανόηση του πώς οι άνθρωποι σκέφτονται και συμπεριφέρονται. Αυτά τα δύο στοιχεία είναι κρίσιμα και μπορούν να συνδυαστούν για την ανάπτυξη και την εκτέλεση υψηλής ποιότητας ερευνών τεχνητής νοημοσύνης. Ένα σημείο προσοχής, όμως, είναι ότι η έρευνα της τεχνητής νοημοσύνης είναι ένας ευρύς όρος· μπορεί να περιλαμβάνει mọi thứ, από την εκπαίδευση μοντέλων και την αναnotation δεδομένων μέχρι την κατανόηση του πώς οι άνθρωποι αλληλεπιδρούν με συστήματα τεχνητής νοημοσύνης. Η διεξαγωγή ερευνητικών έργων με τη τεχνητή νοημοσύνη δεν διαφέρει από την διεξαγωγή ερευνητικών έργων εκτός της τεχνητής νοημοσύνης· ακόμη χρειάζεστε μια καλή κατανόηση των μεθόδων, σχεδίαση μελετών για τη δημιουργία των καλύτερων δεδομένων, δειγματοληψία για την αποφυγή των προκαταλήψεων και στη συνέχεια χρήση αυτών των δεδομένων σε αποτελεσματικές αναλύσεις για να απαντήσετε σε οποιοδήποτε ερευνητικό ερώτημα αντιμετωπίζετε.

Το Prolific τονίζει την εθική αντιμετώπιση και την δίκαιη αμοιβή των συμμετεχόντων. Μπορείτε να μοιραστείτε ερευνήσεις σχετικά με τις προκλήσεις και τις λύσεις στη διατήρηση αυτών των προτύπων;

Το μοντέλο αμοιβής μας σχεδιάστηκε για να διασφαλίσει ότι οι συμμετέχοντες αξιοποιούνται και ανταμείβονται, νιώθοντας ότι παίζουν ένα σημαντικό ρόλο στην ερευνητική μηχανή (γιατί το κάνουν). Πιστεύουμε ότι η δίκαιη αντιμετώπιση των συμμετεχόντων και η παροχή μιας δίκαιης αμοιβής, τους мотιβάρει να αλληλεπιδράσουν πιο βαθιά με την έρευνα και, ως αποτέλεσμα, να παρέχουν καλύτερα δεδομένα.

Δυστυχώς, οι περισσότερες διαδικτυακές πλατφόρμες δειγματοληψίας δεν επιβάλλουν αυτές τις αρχές της εθικής αμοιβής και αντιμετώπισης. Το αποτέλεσμα είναι ένα πλήθος συμμετεχόντων που κινητρούνται όχι να αλληλεπιδράσουν με την έρευνα, αλλά να την ολοκληρώσουν όσο το δυνατόν γρηγορότερα για να μεγιστοποιήσουν το κέρδος τους, οδηγώντας σε χαμηλής ποιότητας δεδομένα. Η διατήρηση της στάσης που έχουμε στο Prolific είναι προκλητική· μαχόμαστε ουσιαστικά ενάντια στη ροή. Η κατάσταση στην έρευνα της τεχνητής νοημοσύνης και άλλων μορφών διαδικτυακής έρευνας δεν έχει επικεντρωθεί στην αντιμετώπιση των συμμετεχόντων ή την ευημερία τους, αλλά μάλλον στη μεγιστοποίηση της ποσότητας δεδομένων που μπορούν να συλλεχθούν με το χαμηλότερο κόστος.

Η ευαισθητοποίηση της ευρύτερης ερευνητικής κοινότητας σχετικά με τον λόγο για τον οποίο έχουμε υιοθετήσει αυτήν την προσέγγιση και την αξία που θα δουν χρησιμοποιώντας μας, αντί για μια ανταγωνιστική πλατφόρμα, παρουσιάζει μια σημαντική πρόκληση. Μια άλλη πρόκληση, από логιστική πλευρά, περιλαμβάνει την αφιέρωση σημαντικού χρόνου για την απάντηση των ανησυχιών, ερωτημάτων ή παραπόνων των συμμετεχόντων ή ερευνητών σε ένα έγκαιρο και δίκαιο τρόπο. Αφιερώνουμε πολύ χρόνο σε αυτό, επειδή διατηρεί τους χρήστες και στις δύο πλευρές – συμμετέχοντες και ερευνητές – ευχαριστημένους, ενθαρρύνοντας τους να συνεχίσουν να επισκέπτονται το Prolific. Ωστόσο, εξαρτόμαστε επίσης σε μεγάλο βαθμό από τους ερευνητές που χρησιμοποιούν την πλατφόρμα μας να τηρούν τις υψηλές μας προδιαγραφές αντιμετώπισης και αμοιβής, όταν οι συμμετέχοντες οδηγούνται στην εργασία ή την έρευνα του ερευνητή και έτσι εγκαταλείπουν το οικοσύστημα του Prolific. Ό,τι συμβαίνει εκτός της πλατφόρμας μας είναι πραγματικά υπό τον έλεγχο της ερευνητικής ομάδας, οπότε εξαρτόμαστε όχι μόνο από τους συμμετέχοντες να μας ενημερώσουν αν κάτι είναι λάθος, αλλά και από τους ερευνητές μας να τηρούν τους υψηλότερους δυνατούς προδιαγραφές. Προσπαθούμε να παρέχουμε όσο το δυνατόν περισσότερες οδηγίες για να διασφαλίσουμε ότι αυτό συμβαίνει.

Λαμβάνοντας υπόψη το επιχειρηματικό μοντέλο του Prolific, ποίες είναι οι σκέψεις σας σχετικά με τον απαραίτητο ρόλο της ανθρώπινης ανατροφοδότησης στην ανάπτυξη της τεχνητής νοημοσύνης, ιδιαίτερα σε περιοχές όπως η ανίχνευση προκαταλήψεων και η βελτίωση της κοινωνικής συλλογιστικής;

Η ανθρώπινη ανατροφοδότηση στην ανάπτυξη της τεχνητής νοημοσύνης είναι κρίσιμη. Χωρίς την ανθρώπινη συμμετοχή, κινδυνεύουμε να διαιωνίσουμε τις προκαταλήψεις, να παραβλέψουμε τις νюανς της ανθρώπινης κοινωνικής αλληλεπίδρασης και να μην αντιμετωπίσουμε ορισμένες από τις αρνητικές ηθικές προεκτάσεις που σχετίζονται με την τεχνητή νοημοσύνη. Αυτό θα μπορούσε να εμποδίσει την πρόοδο μας προς την δημιουργία υπεύθυνων, αποτελεσματικών και ηθικών συστημάτων τεχνητής νοημοσύνης. Όσον αφορά την ανίχνευση προκαταλήψεων, η ενσωμάτωση της ανθρώπινης ανατροφοδότησης κατά τη διάρκεια της ανάπτυξης είναι κρίσιμη, επειδή πρέπει να στοχεύουμε στην ανάπτυξη τεχνητής νοημοσύνης που αντικατοπτρίζει όσο το δυνατόν περισσότερες απόψεις και αξίες, χωρίς να προτιμάει την μία από την άλλη. Διαφορετικές δημογραφικές ομάδες, φόντα και πολιτισμικές προελεύσεις έχουν όλες τις προκαταλήψεις που, ενώ μπορεί να μην είναι αρνητικές, μπορεί να αντανακλούν μια άποψη που δεν θα ήταν ευρέως αποδεκτή. Μια συνεργατική έρευνα μεταξύ του Prolific και του Πανεπιστημίου του Μίσιγκαν υπογράμμισε πώς τα φόντα των διαφορετικών annotators μπορούν να επηρεάσουν σημαντικά τον τρόπο με τον οποίο αξιολογούν πτυχές όπως η τοξικότητα του λόγου ή η ευγένεια. Για να αντιμετωπίσουμε αυτό, η συμμετοχή συμμετεχόντων από διάφορες φόντο, πολιτισμούς και προοπτικές μπορεί να αποτρέψει αυτές τις προκαταλήψεις από το να ενσωματωθούν στα συστήματα τεχνητής νοημοσύνης που αναπτύσσονται. Επιπλέον, η ανθρώπινη ανατροφοδότηση επιτρέπει στους ερευνητές της τεχνητής νοημοσύνης να ανιχνεύσουν πιο υποtile μορφές προκαταλήψεων που μπορεί να μην ανιχνευθούν από αυτοματοποιημένες μεθόδους. Αυτό διευκολύνει την ευκαιρία να αντιμετωπίσουμε τις προκαταλήψεις μέσω調整ών στα αλγόριθμα, τα υποκείμενα μοντέλα ή τις τεχνικές προεπεξεργασίας δεδομένων.

Η κατάσταση με την κοινωνική συλλογιστική είναι ουσιαστικά η ίδια. Η τεχνητή νοημοσύνη συχνά δυσκολεύεται με εργασίες που απαιτούν κοινωνική συλλογιστική, επειδή, κατά φύση, δεν είναι ένα κοινωνικό ον, ενώ οι άνθρωποι είναι. Η ανίχνευση του контекστού όταν提出εται ένα ερώτημα, η κατανόηση του σαρκασμού ή η αναγνώριση συναισθηματικών σημάτων, απαιτεί ανθρώπινη κοινωνική συλλογιστική που η τεχνητή νοημοσύνη δεν μπορεί να μάθει μόνη της. Μάθουμε κοινωνικά, οπότε ο único τρόπος να διδάξουμε ένα σύστημα τεχνητής νοημοσύνης αυτές τις τεχνικές συλλογιστικής είναι χρησιμοποιώντας πραγματική ανθρώπινη ανατροφοδότηση για να εκπαιδεύσουμε την τεχνητή νοημοσύνη να ερμηνεύει και να απαντά σε διάφορες κοινωνικές σημαίες. Στο Prolific, αναπτύξαμε ένα σύνολο δεδομένων κοινωνικής συλλογιστικής που σχεδιάστηκε ειδικά για να διδάξει στα μοντέλα της τεχνητής νοημοσύνης αυτήν την σημαντική ικανότητα.

Ουσιαστικά, η ανθρώπινη ανατροφοδότηση όχι μόνο βοηθά στην αναγνώριση των περιοχών όπου τα συστήματα της τεχνητής νοημοσύνης ξεχωρίζουν ή αποτυγχάνουν, αλλά cũng επιτρέπει στους dévelopерів να κάνουν τις απαραίτητες βελτιώσεις και τις αναθεωρήσεις των αλγορίθμων. Ένα πρακτικό παράδειγμα αυτού είναι το πώς λειτουργεί το ChatGPT. Όταν提出εται ένα ερώτημα, το ChatGPT παρουσιάζει đôiες απαντήσεις και σας ζητά να τις κατατάξετε, ποιά είναι η καλύτερη. Αυτή η προσέγγιση λαμβάνεται επειδή το μοντέλο είναι πάντα σε εκπαίδευση, και οι dévelopείς κατανοούν την σημασία της ανθρώπινης εισροής για να καθορίσουν τις καλύτερες απαντήσεις, αντί να βασίζονται αποκλειστικά σε ένα άλλο μοντέλο.

Το Prolific έχει παίξει ένα σημαντικό ρόλο στη σύνδεση ερευνητών με συμμετέχοντες για την εκπαίδευση και την έρευνα της τεχνητής νοημοσύνης. Μπορείτε να μοιραστείτε ορισμένες ιστορίες επιτυχίας ή σημαντικές προόδους στην τεχνητή νοημοσύνη που έγιναν δυνατές μέσω της πλατφόρμας σας;

Λόγω του εμπορικού χαρακτήρα πολλών από τα έργα μας της τεχνητής νοημοσύνης, ιδιαίτερα σε μη ακαδημαϊκούς χώρους, τα περισσότερα από τα έργα μας που συμμετέχουμε είναι υπό σκληρές Συμφωνίες Μη Αποκάλυψης. Αυτό είναι κυρίως για να διασφαλίσουμε την εμπιστευτικότητα των τεχνικών ή μεθόδων, προστατεύοντάς τες από το να αναπαραχθούν. Ωστόσο, ένα έργο που μπορούμε να συζητήσουμε είναι η συνεργασία μας με την Remesh, μια πλατφόρμα ανάλυσης με τη βοήθεια της τεχνητής νοημοσύνης. Συνεργαστήκαμε με την OpenAI και την Remesh για την ανάπτυξη ενός συστήματος που χρησιμοποιεί αντιπροσωπευτικά δείγματα του πληθυσμού των Ηνωμένων Πολιτειών. Σε αυτό το έργο, χιλιάδες άτομα από ένα αντιπροσωπευτικό δείγμα συμμετείχαν σε συζητήσεις σχετικά με τις πολιτικές της τεχνητής νοημοσύνης μέσω του συστήματος της Remesh, επιτρέποντας την ανάπτυξη πολιτικών της τεχνητής νοημοσύνης που αντικατοπτρίζουν τη γενική βούληση του κοινού, και όχι μια επιλεγμένη δημογραφική ομάδα, χάρη στην ικανότητα του Prolific να παρέχει ένα τόσο διαφοροποιημένο δείγμα.

Προσβλέποντας, ποιά είναι η όρασή σας για το μέλλον της εθικής ανάπτυξης της τεχνητής νοημοσύνης, και πώς σχεδιάζει το Prolific να συνεισφέρει στην επίτευξη αυτής της όρασης;

Η ελπίδα μου για το μέλλον της τεχνητής νοημοσύνης και της ανάπτυξής της, εξαρτάται από την αναγνώριση ότι η τεχνητή νοημοσύνη θα είναι τόσο καλή όσο τα δεδομένα στα οποία εκπαιδεύεται. Η σημασία της ποιότητας των δεδομένων δεν μπορεί να υπερβληθεί για τα συστήματα της τεχνητής νοημοσύνης. Η εκπαίδευση ενός συστήματος της τεχνητής νοημοσύνης με χαμηλής ποιότητας δεδομένα οδηγεί αναπόφευκτα σε ένα κακό σύστημα της τεχνητής νοημοσύνης. Ο único τρόπος για να διασφαλιστεί η υψηλή ποιότητα των δεδομένων είναι διασφαλίζοντας την πρόσληψη ενός διαφοροποιημένου και мотιβάρειου ομαδίου συμμετεχόντων, πρόθυμων να παρέχουν τα καλύτερα δεδομένα δυνατά. Στο Prolific, η προσέγγισή μας και οι οδηγίες μας έχουν ως στόχο να δημιουργήσουν ακριβώς αυτό. Δημιουργώντας μια ειδικά επιλεγμένη, πλήρως ελεγμένη και αξιόπιστη πηγή συμμετεχόντων, προβλέπουμε ότι οι ερευνητές θα χρησιμοποιήσουν αυτήν την πηγή για να αναπτύξουν πιο αποτελεσματικά, αξιόπιστα και αξιόπιστα συστήματα της τεχνητής νοημοσύνης στο μέλλον.

Ποίες είναι ορισμένες από τις μεγαλύτερες προκλήσεις που αντιμετωπίζετε στη συλλογή υψηλής ποιότητας, ανθρώπινης ανατροφοδότησης δεδομένων εκπαίδευσης της τεχνητής νοημοσύνης, και πώς το Prolific υπερνικά αυτές τις εμπόδια;

Η μεγαλύτερη πρόκληση, χωρίς αμφιβολία, είναι η ποιότητα των δεδομένων. Δεν μόνο τα κακά δεδομένα είναι ανύποπτα – μπορούν επίσης να οδηγήσουν σε επιζήμιες επιπτώσεις, ιδιαίτερα όταν τα συστήματα της τεχνητής νοημοσύνης χρησιμοποιούνται σε κρίσιμους τομείς όπως οι χρηματοοικονομικές αγορές ή οι στρατιωτικές επιχειρήσεις. Αυτή η ανησυχία υπογραμμίζει την απαραίτητη αρχή του “σκουπίδια μέσα, σκουπίδια έξω”. Αν τα δεδομένα εισόδου είναι κακά, το αποτέλεσμα θα είναι ένα σύστημα της τεχνητής νοημοσύνης που είναι εγγενώς χαμηλής ποιότητας ή χρησιμότητας. Τα περισσότερα διαδικτυακά δείγματα τείνουν να παράγουν δεδομένα χαμηλότερης ποιότητας από ό,τι είναι ιδανικό για την ανάπτυξη της τεχνητής νοημοσύνης. Υπάρχουν πολλές αιτίες για αυτό, αλλά ένας κρίσιμος παράγοντας που το Prolific αντιμετωπίζει είναι η γενική αντιμετώπιση των διαδικτυακών συμμετεχόντων. Συχνά, αυτά τα άτομα θεωρούνται αναλώσιμα, λαμβάνοντας χαμηλή αμοιβή, κακή αντιμετώπιση και λίγη σεβασμό από τους ερευνητές. Αξιοποιώντας την εθική αντιμετώπιση των συμμετεχόντων, το Prolific έχει καλλιεργήσει μια πηγή συμμετεχόντων που είναι мотιβάρει, ενεργοί, σκεπτικοί, ειλικρινείς και προσεκτικοί. Όταν τα δεδομένα συλλέγονται μέσω του Prolific, η υψηλή τους ποιότητα είναι εγγυημένη, υποστηρίζοντας αξιόπιστα και αξιόπιστα μοντέλα της τεχνητής νοημοσύνης.

Μια άλλη πρόκληση που αντιμετωπίζουμε με τα δεδομένα εκπαίδευσης της τεχνητής νοημοσύνης είναι η διασφάλιση της διαφοροποίησης μέσα στο δείγμα. Ενώ τα διαδικτυακά δείγματα έχουν διευρύνει σημαντικά το πεδίο και την ποικιλία των ατόμων που μπορούμε να διεξαγάγουμε έρευνα, είναι κυρίως περιορισμένα σε άτομα από δυτικές χώρες. Αυτά τα δείγματα συχνά παρουσιάζουν μια στροφή προς νεότερες, υπολογιστικά εύστοχες, υψηλά μορφωμένες και περισσότερο αριστερές δημογραφικές ομάδες. Αυτό δεν αντιπροσωπεύει πλήρως τον παγκόσμιο πληθυσμό. Για να αντιμετωπίσουμε αυτό, το Prolific έχει συμμετέχοντες από πάνω από 38 χώρες σε όλο τον κόσμο. Παρέχουμε επίσης στους ερευνητές μας εργαλεία για να ορίσουν την ακριβή δημογραφική σύνθεση του δείγματος τους εκ των προτέρων. Επιπλέον, προσφέρουμε αντιπροσωπευτική δειγματοληψία μέσω προτύπων απογραφής όπως ηλικία, φύλο και εθνικότητα, ή ακόμη και από πολιτική προσχώρηση. Αυτό διασφαλίζει ότι οι μελέτες, οι εργασίες αναnotation ή άλλα έργα λαμβάνουν μια ποικιλία συμμετεχόντων και, ως αποτέλεσμα, μια ευρεία γκάμα ερευνών.

Ευχαριστούμε για τη μεγάλη συνέντευξη, οι αναγνώστες που επιθυμούν να μάθουν περισσότερα πρέπει να επισκεφθούν Prolific.