Andrew Gordon, Tư vấn Nghiên cứu Senior, Prolific – Loạt Phỏng vấn

Andrew Gordon dựa trên nền tảng vững chắc về tâm lý học và khoa học thần kinh để khám phá những hiểu biết như một nhà nghiên cứu. Với bằng Cử nhân Tâm lý học, Thạc sĩ Tâm lý học thần kinh và Tiến sĩ Khoa học thần kinh nhận thức, Andrew tận dụng các nguyên tắc khoa học để hiểu động lực, hành vi và quyết định của người tiêu dùng.

Prolific được tạo ra bởi các nhà nghiên cứu cho các nhà nghiên cứu, nhằm cung cấp một phương pháp vượt trội để thu được dữ liệu và thông tin chất lượng cao từ con người cho các nghiên cứu tiên tiến. Hiện nay, hơn 35.000 nhà nghiên cứu từ các trường đại học và ngành công nghiệp phụ thuộc vào Prolific AI để thu thập dữ liệu và phản hồi của con người. Nền tảng này nổi tiếng với các tham gia đáng tin cậy, tham gia và được đối xử công bằng, với một nghiên cứu mới được khởi động mỗi ba phút.

Làm thế nào bạn tận dụng nền tảng về khoa học thần kinh nhận thức để giúp các nhà nghiên cứu thực hiện các dự án liên quan đến AI?

Điểm khởi đầu tốt là định nghĩa về khoa học thần kinh nhận thức bao gồm những gì. Về cơ bản, khoa học thần kinh nhận thức điều tra các cơ sở sinh học của các quá trình nhận thức. Nó kết hợp các nguyên tắc từ khoa học thần kinh và tâm lý học, và đôi khi là khoa học máy tính, trong số những lĩnh vực khác, giúp chúng ta hiểu làm thế nào não bộ của chúng ta cho phép các chức năng tinh thần khác nhau. Về cơ bản, bất kỳ ai thực hành nghiên cứu khoa học thần kinh nhận thức cần phải có một sự hiểu biết vững chắc về phương pháp nghiên cứu và một sự hiểu biết tốt về cách con người nghĩ và hành động. Hai khía cạnh này rất quan trọng và có thể được kết hợp để phát triển và chạy nghiên cứu chất lượng cao về AI cũng như. Một lưu ý, tuy nhiên, là nghiên cứu AI là một thuật ngữ rộng; nó có thể liên quan đến mọi thứ từ đào tạo mô hình cơ bản và chú thích dữ liệu đến việc hiểu cách con người tương tác với các hệ thống AI. Chạy các dự án nghiên cứu với AI không khác gì chạy các dự án nghiên cứu ngoài AI; bạn vẫn cần một sự hiểu biết tốt về phương pháp, thiết kế nghiên cứu để tạo ra dữ liệu tốt nhất, lấy mẫu đúng cách để tránh thiên vị, và sau đó sử dụng dữ liệu đó trong các phân tích hiệu quả để trả lời bất kỳ câu hỏi nghiên cứu nào bạn đang giải quyết.

Prolific nhấn mạnh việc đối xử công bằng và đền bù cho các tham gia. Bạn có thể chia sẻ những hiểu biết về các thách thức và giải pháp trong việc duy trì những tiêu chuẩn này?

Mô hình đền bù của chúng tôi được thiết kế để đảm bảo rằng các tham gia được đánh giá cao và được trả lương, do đó họ cảm thấy mình đang đóng một vai trò quan trọng trong máy móc nghiên cứu (vì họ đang làm như vậy). Chúng tôi tin rằng việc đối xử công bằng với các tham gia và cung cấp cho họ một mức lương công bằng, khích lệ họ tham gia sâu hơn vào nghiên cứu và do đó cung cấp dữ liệu tốt hơn.

Thật không may, hầu hết các nền tảng lấy mẫu trực tuyến không thực thi những nguyên tắc này về thanh toán và đối xử công bằng. Kết quả là một nhóm tham gia được khuyến khích không tham gia vào nghiên cứu, mà là hoàn thành nó càng nhanh càng tốt để tối đa hóa tiềm năng kiếm tiền của họ, dẫn đến dữ liệu chất lượng thấp. Việc duy trì quan điểm chúng tôi tại Prolific là một thách thức; chúng tôi cơ bản đang chống lại xu hướng. Tình trạng hiện tại trong nghiên cứu AI và các hình thức nghiên cứu trực tuyến khác không tập trung vào việc đối xử với tham gia hoặc phúc lợi của họ mà tập trung vào tối đa hóa lượng dữ liệu có thể thu thập với chi phí thấp nhất.

Làm cho cộng đồng nghiên cứu rộng lớn hơn hiểu tại sao chúng tôi đã thực hiện cách tiếp cận này và giá trị họ sẽ thấy khi sử dụng chúng tôi, so với một nền tảng cạnh tranh, trình bày một thách thức khá lớn. Một thách thức khác, từ quan điểm hậu cần, liên quan đến việc dành một lượng thời gian đáng kể để trả lời các mối quan tâm, truy vấn hoặc khiếu nại của các tham gia hoặc nhà nghiên cứu một cách kịp thời và công bằng. Chúng tôi dành nhiều thời gian cho điều này vì nó giữ cho người dùng trên cả hai phía – tham gia và nhà nghiên cứu – hạnh phúc, khuyến khích họ tiếp tục quay lại Prolific. Tuy nhiên, chúng tôi cũng phụ thuộc rất nhiều vào các nhà nghiên cứu sử dụng nền tảng của chúng tôi để tuân thủ các tiêu chuẩn cao của chúng tôi về đối xử và đền bù một khi các tham gia được đưa đến nhiệm vụ hoặc khảo sát của nhà nghiên cứu và do đó rời khỏi hệ sinh thái Prolific. Những gì xảy ra ngoài nền tảng của chúng tôi thực sự nằm trong tầm kiểm soát của nhóm nghiên cứu, vì vậy chúng tôi phụ thuộc không chỉ vào các tham gia cho chúng tôi biết nếu có điều gì đó sai mà còn vào các nhà nghiên cứu của chúng tôi duy trì các tiêu chuẩn có thể cao nhất. Chúng tôi cố gắng cung cấp càng nhiều hướng dẫn càng tốt để đảm bảo rằng điều này xảy ra.

Đánh giá mô hình kinh doanh của Prolific, bạn nghĩ gì về vai trò thiết yếu của phản hồi của con người trong việc phát triển AI, đặc biệt là trong các lĩnh vực như phát hiện thiên vị và cải thiện lý luận xã hội?

Phản hồi của con người trong việc phát triển AI rất quan trọng. Nếu không có sự tham gia của con người, chúng ta có nguy cơ duy trì các thiên vị, bỏ qua sự tinh vi của tương tác xã hội của con người và không giải quyết một số vấn đề đạo đức tiêu cực liên quan đến AI. Điều này có thể cản trở tiến bộ của chúng ta trong việc tạo ra các hệ thống AI có trách nhiệm, hiệu quả và đạo đức. Về việc phát hiện thiên vị, việc tích hợp phản hồi của con người trong quá trình phát triển là rất quan trọng vì chúng ta nên nhằm mục đích phát triển AI phản ánh càng nhiều quan điểm và giá trị càng tốt, mà không thiên vị một quan điểm hơn quan điểm khác. Các nền tảng dân số học, nền tảng, và văn hóa khác nhau đều có những thiên vị vô thức mà, mặc dù không nhất thiết là tiêu cực, có thể phản ánh một quan điểm mà không được chấp nhận rộng rãi. Một nghiên cứu hợp tác giữa Prolific và Đại học Michigan đã nhấn mạnh cách nền tảng của các nhà chú thích khác nhau có thể ảnh hưởng đáng kể đến cách họ đánh giá các khía cạnh như độc tính của ngôn ngữ hoặc sự lịch sự . Để giải quyết vấn đề này, việc tham gia của các tham gia từ các nền tảng, nền tảng và quan điểm khác nhau có thể ngăn chặn những thiên vị này được tích hợp vào các hệ thống AI đang được phát triển. Ngoài ra, phản hồi của con người cho phép các nhà nghiên cứu AI phát hiện ra các hình thức thiên vị tinh vi hơn mà có thể không được phát hiện bởi các phương pháp tự động. Điều này tạo điều kiện cho cơ hội giải quyết các thiên vị thông qua các điều chỉnh trong các thuật toán, mô hình cơ bản hoặc các kỹ thuật tiền xử lý dữ liệu.

Tình hình với lý luận xã hội về cơ bản là giống nhau. AI thường gặp khó khăn với các nhiệm vụ yêu cầu lý luận xã hội vì, theo bản chất, nó không phải là một sinh vật xã hội, trong khi con người là. Phát hiện ngữ cảnh khi một câu hỏi được hỏi, hiểu sự讽刺, hoặc nhận ra các tín hiệu cảm xúc, đòi hỏi lý luận xã hội giống như con người mà AI không thể học một mình. Chúng ta, như con người, học tập xã hội, vì vậy cách duy nhất để dạy một hệ thống AI những kỹ thuật lý luận này là bằng cách sử dụng phản hồi thực sự của con người để đào tạo AI giải thích và phản ứng với các tín hiệu xã hội khác nhau. Tại Prolific, chúng tôi đã phát triển một bộ dữ liệu lý luận xã hội được thiết kế đặc biệt để dạy các mô hình AI kỹ năng quan trọng này.

Về bản chất, phản hồi của con người không chỉ giúp xác định các lĩnh vực mà các hệ thống AI vượt trội hoặc gặp khó khăn mà còn cho phép các nhà phát triển thực hiện các cải tiến và tinh chỉnh cần thiết cho các thuật toán. Một ví dụ thực tế về điều này được quan sát thấy trong cách ChatGPT hoạt động. Khi bạn hỏi một câu hỏi, đôi khi ChatGPT trình bày hai câu trả lời và hỏi bạn xếp hạng哪 một là tốt nhất. Cách tiếp cận này được thực hiện vì mô hình luôn học hỏi, và các nhà phát triển hiểu tầm quan trọng của đầu vào con người để xác định các câu trả lời tốt nhất, thay vì chỉ dựa vào một mô hình khác.

Prolific đã đóng vai trò quan trọng trong việc kết nối các nhà nghiên cứu với các tham gia cho đào tạo và nghiên cứu AI. Bạn có thể chia sẻ một số câu chuyện thành công hoặc tiến bộ đáng kể trong AI mà được thực hiện thông qua nền tảng của bạn?

Do tính chất thương mại của nhiều công việc AI của chúng tôi, đặc biệt là trong không gian phi học thuật, hầu hết các dự án chúng tôi tham gia đều nằm dưới các Thỏa thuận Không Tiết Lộ. Điều này chủ yếu là để đảm bảo tính bảo mật của các kỹ thuật hoặc phương pháp, bảo vệ chúng khỏi bị sao chép. Tuy nhiên, một dự án chúng tôi được phép thảo luận liên quan đến quan hệ đối tác của chúng tôi với Remesh, một nền tảng thông tin AI. Chúng tôi đã hợp tác với OpenAI và Remesh để phát triển một hệ thống sử dụng các mẫu đại diện của dân số Hoa Kỳ. Trong dự án này, hàng nghìn cá nhân từ một mẫu đại diện đã tham gia vào các cuộc thảo luận về các chính sách liên quan đến AI thông qua hệ thống của Remesh, cho phép phát triển các chính sách AI phản ánh ý chí rộng lớn của công chúng, chứ không phải là một nhóm dân số chọn lọc, nhờ vào khả năng của Prolific trong việc cung cấp một mẫu đa dạng như vậy.

Nhìn về tương lai, tầm nhìn của bạn cho tương lai phát triển AI đạo đức là gì, và Prolific sẽ đóng góp như thế nào để đạt được tầm nhìn này?

Hy vọng của tôi cho tương lai của AI, và sự phát triển của nó, dựa trên việc nhận ra rằng AI sẽ chỉ tốt như dữ liệu nó được đào tạo. Tầm quan trọng của chất lượng dữ liệu không thể được nhấn mạnh quá mức đối với các hệ thống AI. Việc đào tạo một hệ thống AI trên dữ liệu chất lượng thấp sẽ dẫn đến một hệ thống AI kém chất lượng. Cách duy nhất để đảm bảo dữ liệu chất lượng cao là đảm bảo việc tuyển dụng một nhóm tham gia đa dạng và có động lực, sẵn sàng cung cấp dữ liệu tốt nhất có thể. Tại Prolific, cách tiếp cận và nguyên tắc hướng dẫn của chúng tôi nhằm mục đích tạo ra chính xác điều đó. Bằng cách tạo ra một nhóm tham gia tùy chỉnh, được kiểm tra kỹ lưỡng và đáng tin cậy, chúng tôi dự đoán rằng các nhà nghiên cứu sẽ sử dụng tài nguyên này để phát triển các hệ thống AI hiệu quả, đáng tin cậy và đáng tin cậy hơn trong tương lai.

Những thách thức lớn nhất bạn gặp phải trong việc thu thập dữ liệu đào tạo AI chất lượng cao, do con người cung cấp, là gì, và Prolific vượt qua những chướng ngại vật này như thế nào?

Thách thức quan trọng nhất, không có gì nghi ngờ, là chất lượng dữ liệu. Không chỉ dữ liệu kém là không hữu ích – nó thậm chí có thể dẫn đến kết quả có hại, đặc biệt là khi các hệ thống AI được sử dụng trong các lĩnh vực quan trọng như thị trường tài chính hoặc hoạt động quân sự. Điều này nhấn mạnh nguyên tắc thiết yếu của “rác vào, rác ra.” Nếu dữ liệu đầu vào là kém, hệ thống AI kết quả sẽ vốn dĩ là chất lượng thấp hoặc không hữu ích. Hầu hết các mẫu trực tuyến có xu hướng tạo ra dữ liệu kém hơn so với mức tối ưu cho phát triển AI. Có nhiều lý do cho điều này, nhưng một yếu tố chính mà Prolific giải quyết là việc đối xử chung với các tham gia trực tuyến. Thường thì những người này được coi là có thể thay thế, nhận được mức lương thấp, đối xử kém và ít tôn trọng từ các nhà nghiên cứu. Bằng cách cam kết đối xử công bằng với các tham gia, Prolific đã tạo ra một nhóm những người đóng góp có động lực, tham gia, suy nghĩ, trung thực và chú ý. Do đó, khi dữ liệu được thu thập thông qua Prolific, chất lượng cao của nó được đảm bảo, tạo cơ sở cho các mô hình AI đáng tin cậy và đáng tin cậy.

Một thách thức khác chúng tôi gặp phải với dữ liệu đào tạo AI là đảm bảo sự đa dạng trong mẫu. Trong khi các mẫu trực tuyến đã mở rộng đáng kể phạm vi và sự đa dạng của các cá nhân chúng ta có thể nghiên cứu so với các phương pháp trực tiếp, chúng thường bị hạn chế ở những người từ các nước phương Tây. Những mẫu này thường thiên về dân số trẻ, có kiến thức về máy tính, có trình độ học vấn cao và thiên về phía cánh tả. Điều này không phản ánh đầy đủ dân số toàn cầu. Để giải quyết vấn đề này, Prolific có tham gia từ hơn 38 quốc gia trên thế giới. Chúng tôi cũng cung cấp cho các nhà nghiên cứu của mình các công cụ để chỉ định chính xác thành phần dân số của mẫu trước. Ngoài ra, chúng tôi cung cấp việc lấy mẫu đại diện thông qua các mẫu phù hợp với điều tra dân số như tuổi, giới tính và dân tộc, hoặc thậm chí là theo liên kết chính trị. Điều này đảm bảo rằng các nghiên cứu, nhiệm vụ chú thích hoặc các dự án khác nhận được một loạt các tham gia đa dạng và, do đó, một loạt các thông tin đa dạng.

Cảm ơn vì cuộc phỏng vấn tuyệt vời, những người đọc muốn tìm hiểu thêm nên truy cập Prolific.