Andrew Gordon, Konsulent i Lartë Kërkimor, Prolific - Seria e Intervistave

Andrew Gordon bazohet në sfondin e tij të fuqishëm në psikologji dhe neuroshkencë për të zbuluar njohuritë si studiues. Me një BSc në Psikologji, MSc në Neuropsikologji dhe Ph.D. në Neuroshkencën Kognitive, Andrew përdor parimet shkencore për të kuptuar motivimet, sjelljen dhe vendimmarrjen e konsumatorit.

pjellor u krijua nga studiues për studiuesit, duke synuar të ofrojë një metodë superiore për marrjen e të dhënave njerëzore me cilësi të lartë dhe të dhëna për kërkime të fundit. Sot, mbi 35,000 studiues nga akademia dhe industria mbështeten në AI Prolific për të mbledhur të dhëna dhe reagime përfundimtare njerëzore. Platforma është e njohur për pjesëmarrësit e saj të besueshëm, të angazhuar dhe të trajtuar në mënyrë të drejtë, me një studim të ri që fillon çdo tre minuta.

Si e shfrytëzoni sfondin tuaj në neuroshkencën njohëse për të ndihmuar studiuesit që po ndërmarrin projekte që përfshijnë AI?

Një pikënisje e mirë është përcaktimi se çfarë përfshin në të vërtetë neuroshkenca njohëse. Në thelb, neuroshkenca konjitive heton bazat biologjike të proceseve njohëse. Ai ndërthur parime nga neuroshkenca dhe psikologjia, dhe herë pas here nga shkenca kompjuterike, ndër të tjera, të cilat na ndihmojnë të kuptojmë se si truri ynë mundëson funksione të ndryshme mendore. Në thelb, kushdo që praktikon kërkime konjitive të neuroshkencës duhet të ketë një zotërim të fortë të metodologjive të kërkimit dhe një kuptim të mirë të mënyrës se si njerëzit mendojnë dhe sillen. Këto dy aspekte janë thelbësore dhe mund të kombinohen për të zhvilluar dhe drejtuar gjithashtu kërkime me cilësi të lartë të AI. Megjithatë, një paralajmërim është se kërkimi i AI është një term i gjerë; ai mund të përfshijë çdo gjë nga trajnimi i modelit themelor dhe shënimi i të dhënave deri te të kuptuarit se si njerëzit ndërveprojnë me sistemet e AI. Drejtimi i projekteve kërkimore me AI nuk ndryshon nga drejtimi i projekteve kërkimore jashtë AI; ju ende keni nevojë për një kuptim të mirë të metodave, studime të projektimit për të krijuar të dhënat më të mira, mostër të saktë për të shmangur paragjykimet dhe më pas t'i përdorni ato të dhëna në analiza efektive për t'iu përgjigjur çdo pyetjeje kërkimore që po adresoni.

Prolific thekson trajtimin etik dhe kompensimin e drejtë për pjesëmarrësit e tij. A mund të ndani njohuri mbi sfidat dhe zgjidhjet në ruajtjen e këtyre standardeve?

Modeli ynë i kompensimit është krijuar për të siguruar që pjesëmarrësit të vlerësohen dhe të shpërblehen, duke ndier se ata po luajnë një rol të rëndësishëm në makinën e kërkimit (sepse po). Ne besojmë se trajtimi i drejtë i pjesëmarrësve dhe sigurimi i një norme të drejtë pagese, i motivon ata të angazhohen më thellë në kërkime dhe rrjedhimisht të ofrojnë të dhëna më të mira.

Fatkeqësisht, shumica e platformave të marrjes së mostrave në internet nuk i zbatojnë këto parime të pagesës dhe trajtimit etik. Rezultati është një grup pjesëmarrësish që nxiten të mos angazhohen në kërkime, por të nxitojnë drejt tij sa më shpejt që të jetë e mundur për të maksimizuar potencialin e tyre të fitimit, duke çuar në të dhëna me cilësi të ulët. Mbajtja e qëndrimit që mbajmë në Prolific është sfiduese; ne në thelb po luftojmë kundër valës. Status quo-ja në kërkimin e AI dhe format e tjera të kërkimit në internet nuk është fokusuar në trajtimin ose mirëqenien e pjesëmarrësve, por në maksimizimin e sasisë së të dhënave që mund të mblidhen për koston më të ulët.

Bërja e komunitetit të gjerë të kërkimit të kuptojë pse ne kemi marrë këtë qasje dhe vlerën që ata do të shohin duke na përdorur, në krahasim me një platformë konkurruese, paraqet mjaft sfidë. Një sfidë tjetër, nga pikëpamja logjistike, përfshin kushtimin e një sasie të konsiderueshme kohe për t'iu përgjigjur shqetësimeve, pyetjeve ose ankesave nga pjesëmarrësit ose studiuesit tanë në kohën e duhur dhe të drejtë. Ne i kushtojmë shumë kohë kësaj, sepse i mban përdoruesit nga të dyja anët – pjesëmarrësit dhe studiuesit – të lumtur, duke i inkurajuar ata që të vazhdojnë të kthehen në Prolific. Megjithatë, ne gjithashtu mbështetemi shumë te kërkuesit që përdorin platformën tonë për t'iu përmbajtur standardeve tona të larta të trajtimit dhe kompensimit pasi pjesëmarrësit të merren në detyrën ose sondazhin e studiuesit dhe kështu të largohen nga ekosistemi Prolific. Ajo që ndodh jashtë platformës sonë është në të vërtetë nën kontrollin e ekipit kërkimor, kështu që ne varemi jo vetëm nga pjesëmarrësit që na bëjnë të ditur nëse diçka nuk është në rregull, por edhe nga studiuesit tanë që respektojnë standardet më të larta të mundshme. Ne përpiqemi të ofrojmë sa më shumë udhëzime që të jetë e mundur për të siguruar që kjo të ndodhë.

Duke marrë parasysh modelin e biznesit Prolific, cilat janë mendimet tuaja për rolin thelbësor të reagimeve njerëzore në zhvillimin e AI, veçanërisht në fusha si zbulimi i paragjykimeve dhe përmirësimi i arsyetimit social?

Reagimet njerëzore në zhvillimin e AI janë thelbësore. Pa përfshirjen njerëzore, ne rrezikojmë të përjetësojmë paragjykimet, të anashkalojmë nuancat e ndërveprimit shoqëror njerëzor dhe të dështojmë të adresojmë disa nga konsideratat etike negative që lidhen me AI. Kjo mund të pengojë përparimin tonë drejt krijimit të sistemeve të përgjegjshme, efektive dhe etike të AI. Për sa i përket zbulimit të paragjykimeve, përfshirja e reagimeve njerëzore gjatë procesit të zhvillimit është thelbësore, sepse ne duhet të synojmë të zhvillojmë AI që pasqyron një gamë sa më të gjerë pikëpamjesh dhe vlerash, pa favorizuar njëra mbi tjetrën. Demografia, prejardhja dhe kulturat e ndryshme kanë të gjitha paragjykime të pavetëdijshme që, megjithëse jo domosdoshmërisht negative, mund të pasqyrojnë ende një këndvështrim që nuk do të mbahej gjerësisht. Hulumtimi bashkëpunues midis Prolific dhe Universitetit të Miçiganit theksoi se si sfondet e anotuesve të ndryshëm mund të ndikojnë në mënyrën se si ata vlerësojnë aspekte të tilla si toksiciteti i të folurit ose mirësjellja. Për të adresuar këtë, përfshirja e pjesëmarrësve nga prejardhje, kultura dhe perspektiva të ndryshme mund të parandalojë që këto paragjykime të rrënjosen në sistemet e AI në zhvillim. Për më tepër, reagimet njerëzore i lejojnë studiuesit e AI të zbulojnë forma më delikate të paragjykimeve që mund të mos merren me metoda të automatizuara. Kjo lehtëson mundësinë për të adresuar paragjykimet përmes rregullimeve në algoritme, modele themelore ose teknika të parapërpunimit të të dhënave.

Situata me arsyetimin social është në thelb e njëjtë. Inteligjenca artificiale shpesh lufton me detyra që kërkojnë arsyetim social sepse, nga natyra, ajo nuk është një qenie sociale, ndërsa njerëzit janë. Zbulimi i kontekstit kur bëhet një pyetje, të kuptuarit e sarkazmës ose njohja e shenjave emocionale, kërkon arsyetim shoqëror të ngjashëm me njeriun që AI nuk mund ta mësojë vetë. Ne, si njerëz, mësojmë shoqërisht, kështu që mënyra e vetme për t'i mësuar një sistemi të AI këto lloje të teknikave të arsyetimit është duke përdorur reagimet aktuale njerëzore për të trajnuar AI për të interpretuar dhe për t'iu përgjigjur shenjave të ndryshme sociale. Në Prolific, ne zhvilluam një Të dhënat e të dhënave të arsyetimit social projektuar posaçërisht për t'u mësuar modeleve të AI këtë aftësi të rëndësishme.

Në thelb, reagimet njerëzore jo vetëm që ndihmojnë në identifikimin e zonave ku sistemet e AI shkëlqejnë ose lëkunden, por gjithashtu u mundëson zhvilluesve të bëjnë përmirësimet dhe përsosjet e nevojshme në algoritme. Një shembull praktik i kësaj vërehet në mënyrën se si funksionon ChatGPT. Kur bëni një pyetje, ndonjëherë ChatGPT paraqet dy përgjigje dhe ju kërkon të renditni cila është më e mira. Kjo qasje është marrë sepse modeli është gjithmonë duke mësuar dhe zhvilluesit e kuptojnë rëndësinë e kontributit njerëzor për të përcaktuar përgjigjet më të mira, në vend që të mbështeten vetëm në një model tjetër.

Prolific ka qenë i dobishëm në lidhjen e studiuesve me pjesëmarrësit për trajnimin dhe kërkimin e AI. A mund të ndani disa histori suksesi ose përparime të rëndësishme në AI që u bënë të mundura përmes platformës suaj?

Për shkak të natyrës komerciale të shumë punëve tona të AI, veçanërisht në hapësirat joakademike, shumica e projekteve në të cilat ne jemi të përfshirë janë nën Marrëveshje strikte të mos zbulimit. Kjo është kryesisht për të siguruar konfidencialitetin e teknikave ose metodave, duke i mbrojtur ato nga përsëritja. Megjithatë, një projekt që ne jemi të lirë të diskutojmë përfshin partneritetin tonë me Remesh, një platformë njohurish e fuqizuar nga AI. Ne bashkëpunuam me OpenAI dhe Remesh për të zhvilluar një sistem që përdor mostra përfaqësuese të popullsisë amerikane. Në këtë projekt, mijëra individë nga një kampion përfaqësues u angazhuan në diskutime mbi politikat e lidhura me AI përmes sistemit të Remesh, duke mundësuar zhvillimin e politikave të AI që pasqyrojnë vullnetin e gjerë të publikut, në vend të një demografie të zgjedhur, falë aftësisë së Prolific për të ofruar një mostër kaq e larmishme.

Duke parë përpara, cili është vizioni juaj për të ardhmen e zhvillimit etik të AI dhe si planifikon Prolific të kontribuojë në arritjen e këtij vizioni?

Shpresa ime për të ardhmen e AI dhe zhvillimin e saj varet nga njohja se AI do të jetë po aq e mirë sa të dhënat mbi të cilat është trajnuar. Rëndësia e cilësisë së të dhënave nuk mund të mbivlerësohet për sistemet e AI. Trajnimi i një sistemi AI për të dhëna me cilësi të dobët rezulton në mënyrë të pashmangshme në një sistem nënvlerësues të AI. Mënyra e vetme për të siguruar të dhëna me cilësi të lartë është duke siguruar rekrutimin e një grupi të larmishëm dhe të motivuar pjesëmarrësish, të etur për të ofruar të dhënat më të mira të mundshme. Në Prolific, qasja dhe parimet tona udhëzuese synojnë të nxisin pikërisht këtë. Duke krijuar një grup pjesëmarrësish të personalizuar, të verifikuar plotësisht dhe të besueshëm, ne parashikojmë që studiuesit do ta përdorin këtë burim për të zhvilluar sisteme më efektive, të besueshme dhe më të besueshme të AI në të ardhmen.

Cilat janë disa nga sfidat më të mëdha me të cilat përballeni në mbledhjen e të dhënave të trajnimit të inteligjencës artificiale me cilësi të lartë dhe me fuqi njerëzore dhe si i kapërcen Prolific këto pengesa?

Sfida më e rëndësishme, pa dyshim, është cilësia e të dhënave. Jo vetëm që të dhënat e këqija nuk janë të dobishme - ato në fakt mund të çojnë në rezultate të dëmshme, veçanërisht kur sistemet e AI përdoren në fusha kritike si tregjet financiare ose operacionet ushtarake. Ky shqetësim nënvizon parimin thelbësor të "plehrave brenda, mbeturinave jashtë". Nëse të dhënat hyrëse janë nënvlerësuese, sistemi rezultues i AI do të jetë në thelb i cilësisë ose dobisë së ulët. Shumica e mostrave në internet tentojnë të prodhojnë të dhëna me cilësi më të ulët sesa ajo që është optimale për zhvillimin e AI. Ka shumë arsye për këtë, por një faktor kyç që trajton Prolific është trajtimi i përgjithshëm i pjesëmarrësve në internet. Shpesh, këta individë shihen si të shpenzueshëm, që marrin kompensim të ulët, trajtim të dobët dhe pak respekt nga studiuesit. Duke u përkushtuar ndaj trajtimit etik të pjesëmarrësve, Prolific ka kultivuar një grup kontribuesish të motivuar, të angazhuar, të zhytur në mendime, të ndershëm dhe të vëmendshëm. Prandaj, kur të dhënat mblidhen përmes Prolific, cilësia e tyre e lartë është e garantuar, duke mbështetur modele të besueshme dhe të besueshme të AI.

Një sfidë tjetër me të cilën përballemi me të dhënat e trajnimit të AI është sigurimi i diversitetit brenda kampionit. Ndërsa mostrat në internet kanë zgjeruar ndjeshëm shtrirjen dhe shumëllojshmërinë e individëve mbi të cilët mund të bëjmë kërkime në krahasim me metodat personale, ato janë kryesisht të kufizuara për njerëzit nga vendet perëndimore. Këto mostra shpesh anojnë drejt demografisë më të re, me njohuri kompjuterike, me arsim të lartë dhe më të majta. Kjo nuk përfaqëson plotësisht popullsinë globale. Për të adresuar këtë, Prolific ka pjesëmarrës nga mbi 38 vende në mbarë botën. Ne gjithashtu u ofrojmë studiuesve tanë mjete për të specifikuar paraprakisht përbërjen e saktë demografike të kampionit të tyre. Për më tepër, ne ofrojmë mostra përfaqësuese përmes modeleve të përputhjes së regjistrimit si mosha, gjinia dhe përkatësia etnike, apo edhe nga përkatësia politike. Kjo siguron që studimet, detyrat e shënimeve ose projektet e tjera të marrin një gamë të larmishme pjesëmarrësish dhe, rrjedhimisht, një shumëllojshmëri të gjerë njohurish.

Faleminderit për intervistën e mrekullueshme, lexuesit që dëshirojnë të mësojnë më shumë duhet ta vizitojnë pjellor.