Andrew Gordon, Tư vấn Nghiên cứu Senior, Prolific – Loạt Phỏng vấn

Andrew Gordon dựa trên nền tảng vững chắc trong tâm lý học và khoa học thần kinh để khám phá những hiểu biết như một nhà nghiên cứu. Với bằng Cử nhân Tâm lý học, Thạc sĩ Khoa học Thần kinh và Tiến sĩ Khoa học Thần kinh Nhận thức, Andrew tận dụng các nguyên tắc khoa học để hiểu động lực, hành vi và quyết định của người tiêu dùng.

Prolific được tạo ra bởi các nhà nghiên cứu cho các nhà nghiên cứu, nhằm cung cấp một phương pháp vượt trội để thu được dữ liệu và đầu vào chất lượng cao cho nghiên cứu tiên tiến. Ngày nay, hơn 35.000 nhà nghiên cứu từ học thuật và ngành công nghiệp phụ thuộc vào Prolific AI để thu thập dữ liệu và phản hồi của con người. Nền tảng này được biết đến với các tham gia đáng tin cậy, tham gia và được đối xử công bằng, với một nghiên cứu mới được phát động mỗi ba phút.

Làm thế nào bạn tận dụng nền tảng tâm lý học thần kinh nhận thức để giúp các nhà nghiên cứu thực hiện dự án liên quan đến Trí tuệ Nhân tạo?

Một điểm khởi đầu tốt là định nghĩa những gì khoa học thần kinh nhận thức thực sự bao gồm. Về cơ bản, khoa học thần kinh nhận thức điều tra các cơ sở sinh học của các quá trình nhận thức. Nó kết hợp các nguyên tắc từ khoa học thần kinh và tâm lý học, và đôi khi là khoa học máy tính, trong số những lĩnh vực khác, giúp chúng ta hiểu làm thế nào não bộ của chúng ta cho phép các chức năng tinh thần khác nhau. Về cơ bản, bất kỳ ai thực hành nghiên cứu khoa học thần kinh nhận thức cần phải có một sự hiểu biết vững chắc về phương pháp nghiên cứu và một sự hiểu biết tốt về cách con người nghĩ và hành động. Hai khía cạnh này rất quan trọng và có thể được kết hợp để phát triển và chạy nghiên cứu Trí tuệ Nhân tạo chất lượng cao. Một lưu ý, tuy nhiên, là nghiên cứu Trí tuệ Nhân tạo là một thuật ngữ rộng; nó có thể liên quan đến mọi thứ từ đào tạo mô hình cơ bản và chú thích dữ liệu đến hiểu cách con người tương tác với các hệ thống Trí tuệ Nhân tạo. Chạy dự án nghiên cứu với Trí tuệ Nhân tạo không khác gì chạy dự án nghiên cứu ngoài Trí tuệ Nhân tạo; bạn vẫn cần có một sự hiểu biết tốt về phương pháp, thiết kế nghiên cứu để tạo ra dữ liệu tốt nhất, lấy mẫu đúng cách để tránh thiên vị, và sau đó sử dụng dữ liệu đó trong phân tích hiệu quả để trả lời bất kỳ câu hỏi nghiên cứu nào bạn đang giải quyết.

Prolific nhấn mạnh việc đối xử đạo đức và bồi thường công bằng cho các tham gia. Bạn có thể chia sẻ những hiểu biết về thách thức và giải pháp trong việc duy trì các tiêu chuẩn này?

Mô hình bồi thường của chúng tôi được thiết kế để đảm bảo rằng các tham gia được đánh giá cao và được thưởng, do đó cảm thấy như họ đang đóng một vai trò quan trọng trong máy móc nghiên cứu (vì họ thực sự như vậy). Chúng tôi tin rằng việc đối xử với các tham gia một cách công bằng và cung cấp cho họ một mức bồi thường công bằng, khuyến khích họ tham gia sâu vào nghiên cứu và do đó cung cấp dữ liệu tốt hơn.

Thật không may, hầu hết các nền tảng lấy mẫu trực tuyến không thực thi những nguyên tắc về thanh toán và đối xử đạo đức. Kết quả là một nhóm tham gia được khuyến khích không tham gia vào nghiên cứu, mà là chạy qua nó càng nhanh càng tốt để tối đa hóa tiềm năng kiếm tiền của họ, dẫn đến dữ liệu chất lượng thấp. Việc duy trì quan điểm chúng tôi tại Prolific là một thách thức; chúng tôi cơ bản đang chống lại xu hướng. Tình trạng hiện tại trong nghiên cứu Trí tuệ Nhân tạo và các hình thức nghiên cứu trực tuyến khác không tập trung vào việc đối xử với tham gia hoặc phúc lợi của họ, mà là tối đa hóa lượng dữ liệu có thể được thu thập với chi phí thấp nhất.

Việc làm cho cộng đồng nghiên cứu rộng lớn hơn hiểu tại sao chúng tôi đã thực hiện phương pháp này và giá trị họ sẽ thấy bằng cách sử dụng chúng tôi, thay vì một nền tảng cạnh tranh, trình bày một thách thức. Một thách thức khác, từ góc độ hậu cần, liên quan đến việc dành một lượng thời gian đáng kể để trả lời các mối quan tâm, truy vấn hoặc khiếu nại của các tham gia hoặc nhà nghiên cứu một cách kịp thời và công bằng. Chúng tôi dành nhiều thời gian cho điều này vì nó giữ cho người dùng trên cả hai phía – tham gia và nhà nghiên cứu – hạnh phúc, khuyến khích họ tiếp tục quay lại Prolific. Tuy nhiên, chúng tôi cũng phụ thuộc rất nhiều vào các nhà nghiên cứu sử dụng nền tảng của chúng tôi để tuân thủ các tiêu chuẩn cao nhất về đối xử và bồi thường một khi các tham gia được đưa đến nhiệm vụ hoặc khảo sát của nhà nghiên cứu và do đó rời khỏi hệ sinh thái Prolific. Những gì xảy ra ngoài nền tảng của chúng tôi thực sự nằm trong tầm kiểm soát của nhóm nghiên cứu, vì vậy chúng tôi phụ thuộc không chỉ vào các tham gia cho chúng tôi biết nếu có điều gì đó sai mà còn vào các nhà nghiên cứu của chúng tôi duy trì các tiêu chuẩn cao nhất có thể. Chúng tôi cố gắng cung cấp càng nhiều hướng dẫn càng tốt để đảm bảo rằng điều này xảy ra.

Xem xét mô hình kinh doanh của Prolific, bạn nghĩ gì về vai trò thiết yếu của phản hồi con người trong việc phát triển Trí tuệ Nhân tạo, đặc biệt là trong các lĩnh vực như phát hiện thiên vị và cải thiện lý lẽ xã hội?

Phản hồi con người trong việc phát triển Trí tuệ Nhân tạo là rất quan trọng. Nếu không có sự tham gia của con người, chúng tôi rủi ro duy trì các thiên vị, bỏ qua sự tinh tế của tương tác xã hội của con người và không giải quyết được một số vấn đề đạo đức tiêu cực liên quan đến Trí tuệ Nhân tạo. Điều này có thể cản trở tiến bộ của chúng tôi trong việc tạo ra các hệ thống Trí tuệ Nhân tạo có trách nhiệm, hiệu quả và đạo đức. Về việc phát hiện thiên vị, việc tích hợp phản hồi con người trong quá trình phát triển là rất quan trọng vì chúng tôi nên nhằm mục đích phát triển Trí tuệ Nhân tạo phản ánh càng nhiều quan điểm và giá trị càng tốt, mà không ưu tiên một quan điểm hơn quan điểm khác. Các nền tảng, nền tảng và văn hóa khác nhau đều có những thiên vị vô thức mà, mặc dù không nhất thiết là tiêu cực, có thể phản ánh một quan điểm mà không được rộng泛 chấp nhận. Nghiên cứu hợp tác giữa Prolific và Đại học Michigan đã nhấn mạnh cách nền tảng của các người chú thích khác nhau có thể ảnh hưởng đáng kể đến cách họ đánh giá các khía cạnh như độc tính của lời nói hoặc sự lịch sự . Để giải quyết vấn đề này, việc tham gia của các tham gia từ các nền tảng, nền tảng và quan điểm khác nhau có thể ngăn chặn những thiên vị này được khắc sâu vào các hệ thống Trí tuệ Nhân tạo đang được phát triển. Ngoài ra, phản hồi con người cho phép các nhà nghiên cứu Trí tuệ Nhân tạo phát hiện ra các hình thức thiên vị tinh tế hơn mà có thể không được phát hiện bởi các phương pháp tự động.

Tình huống với lý lẽ xã hội cơ bản là giống nhau. Trí tuệ Nhân tạo thường gặp khó khăn với các nhiệm vụ yêu cầu lý lẽ xã hội vì, theo bản chất, nó không phải là một sinh vật xã hội, trong khi con người là. Phát hiện ngữ cảnh khi một câu hỏi được hỏi, hiểu sự讽刺, hoặc nhận ra các tín hiệu cảm xúc, đòi hỏi lý lẽ xã hội giống con người mà Trí tuệ Nhân tạo không thể học được một mình. Chúng tôi, như con người, học tập xã hội, vì vậy cách duy nhất để dạy một hệ thống Trí tuệ Nhân tạo những kỹ thuật lý lẽ này là bằng cách sử dụng phản hồi con người thực sự để đào tạo Trí tuệ Nhân tạo giải thích và phản ứng với các tín hiệu xã hội khác nhau. Tại Prolific, chúng tôi đã phát triển một tập dữ liệu lý lẽ xã hội được thiết kế đặc biệt để dạy Trí tuệ Nhân tạo kỹ năng quan trọng này.

Về cơ bản, phản hồi con người không chỉ giúp xác định các lĩnh vực mà hệ thống Trí tuệ Nhân tạo vượt trội hoặc gặp khó khăn mà còn cho phép các nhà phát triển thực hiện các cải tiến và tinh chỉnh cần thiết cho các thuật toán. Một ví dụ thực tế về điều này được quan sát trong cách ChatGPT hoạt động. Khi bạn hỏi một câu hỏi, đôi khi ChatGPT trình bày hai câu trả lời và hỏi bạn xếp hạng nào là tốt nhất. Cách tiếp cận này được thực hiện vì mô hình luôn học hỏi, và các nhà phát triển hiểu tầm quan trọng của đầu vào con người để xác định câu trả lời tốt nhất, thay vì chỉ dựa vào một mô hình khác.

Prolific đã đóng vai trò quan trọng trong việc kết nối các nhà nghiên cứu với các tham gia cho đào tạo và nghiên cứu Trí tuệ Nhân tạo. Bạn có thể chia sẻ một số câu chuyện thành công hoặc tiến bộ đáng kể trong Trí tuệ Nhân tạo được thực hiện thông qua nền tảng của bạn?

Do tính chất thương mại của nhiều công việc Trí tuệ Nhân tạo của chúng tôi, đặc biệt là trong không gian phi học thuật, hầu hết các dự án chúng tôi tham gia đều nằm dưới các Thỏa thuận Không Tiết Lộ. Điều này chủ yếu là để đảm bảo tính bảo mật của các kỹ thuật hoặc phương pháp, bảo vệ chúng khỏi bị sao chép. Tuy nhiên, một dự án chúng tôi được phép thảo luận liên quan đến quan hệ đối tác của chúng tôi với Remesh, một nền tảng thông tin Trí tuệ Nhân tạo. Chúng tôi đã hợp tác với OpenAI và Remesh để phát triển một hệ thống sử dụng mẫu đại diện của dân số Hoa Kỳ. Trong dự án này, hàng nghìn cá nhân từ một mẫu đại diện đã tham gia vào các cuộc thảo luận về chính sách liên quan đến Trí tuệ Nhân tạo thông qua hệ thống của Remesh, cho phép phát triển các chính sách Trí tuệ Nhân tạo phản ánh ý chí rộng lớn của công chúng, chứ không phải là một nền tảng dân số chọn lọc, nhờ vào khả năng của Prolific trong việc cung cấp một mẫu đa dạng như vậy.

Nhìn về tương lai, bạn có tầm nhìn gì về tương lai của việc phát triển Trí tuệ Nhân tạo đạo đức, và Prolific sẽ đóng góp như thế nào để đạt được tầm nhìn này?

Hy vọng của tôi cho tương lai của Trí tuệ Nhân tạo, và sự phát triển của nó, phụ thuộc vào việc nhận ra rằng Trí tuệ Nhân tạo sẽ chỉ tốt như dữ liệu nó được đào tạo. Tầm quan trọng của chất lượng dữ liệu không thể được nhấn mạnh quá mức đối với các hệ thống Trí tuệ Nhân tạo. Đào tạo một hệ thống Trí tuệ Nhân tạo trên dữ liệu chất lượng thấp sẽ不可 tránh khỏi dẫn đến một hệ thống Trí tuệ Nhân tạo kém. Cách duy nhất để đảm bảo chất lượng dữ liệu cao là đảm bảo việc tuyển dụng một nhóm tham gia đa dạng và có động lực, sẵn sàng cung cấp dữ liệu tốt nhất có thể. Tại Prolific, cách tiếp cận và nguyên tắc hướng dẫn của chúng tôi nhằm mục đích tạo ra chính xác điều đó. Bằng cách tạo ra một nhóm tham gia tùy chỉnh, được kiểm tra kỹ lưỡng và đáng tin cậy, chúng tôi dự đoán rằng các nhà nghiên cứu sẽ sử dụng tài nguyên này để phát triển các hệ thống Trí tuệ Nhân tạo hiệu quả, đáng tin cậy và đáng tin cậy hơn trong tương lai.

Điều gì là một số thách thức lớn nhất bạn đối mặt trong việc thu thập dữ liệu đào tạo Trí tuệ Nhân tạo chất lượng cao, được cung cấp bởi con người, và Prolific vượt qua những chướng ngại vật này như thế nào?

Thách thức lớn nhất, không có gì nghi ngờ, là chất lượng dữ liệu. Không chỉ dữ liệu kém là không hữu ích – nó thực sự có thể dẫn đến kết quả có hại, đặc biệt là khi các hệ thống Trí tuệ Nhân tạo được sử dụng trong các lĩnh vực quan trọng như thị trường tài chính hoặc hoạt động quân sự. Điều này làm nổi bật nguyên tắc thiết yếu của “rác vào, rác ra.” Nếu dữ liệu đầu vào là kém, hệ thống Trí tuệ Nhân tạo kết quả sẽ vốn dĩ là chất lượng thấp hoặc tiện ích. Hầu hết các mẫu trực tuyến có xu hướng tạo ra dữ liệu chất lượng thấp hơn so với mức tối ưu cho việc phát triển Trí tuệ Nhân tạo. Có nhiều lý do cho điều này, nhưng một yếu tố quan trọng mà Prolific giải quyết là việc đối xử chung với các tham gia trực tuyến. Thường xuyên, những cá nhân này được coi là có thể thay thế, nhận được bồi thường thấp, đối xử kém và ít được tôn trọng từ các nhà nghiên cứu. Bằng cách cam kết đối xử đạo đức với các tham gia, Prolific đã tạo ra một nhóm tham gia có động lực, tham gia, suy nghĩ, trung thực và chú ý. Do đó, khi dữ liệu được thu thập thông qua Prolific, chất lượng cao của nó được đảm bảo, tạo cơ sở cho các mô hình Trí tuệ Nhân tạo đáng tin cậy.

Một thách thức khác chúng tôi đối mặt với dữ liệu đào tạo Trí tuệ Nhân tạo là đảm bảo sự đa dạng trong mẫu. Mặc dù các mẫu trực tuyến đã mở rộng đáng kể phạm vi và sự đa dạng của các cá nhân chúng tôi có thể tiến hành nghiên cứu, nhưng chúng thường bị hạn chế ở những người từ các quốc gia phương Tây. Những mẫu này thường nghiêng về các nhân khẩu học trẻ hơn, có kiến thức máy tính, giáo dục cao và thiên về phía trái. Điều này không phản ánh đầy đủ dân số toàn cầu. Để giải quyết vấn đề này, Prolific có tham gia từ hơn 38 quốc gia trên thế giới. Chúng tôi cũng cung cấp cho các nhà nghiên cứu của mình các công cụ để chỉ định chính xác thành phần nhân khẩu học của mẫu của họ trước. Ngoài ra, chúng tôi cung cấp mẫu đại diện thông qua các mẫu phù hợp với điều tra dân số như tuổi, giới tính và dân tộc, hoặc thậm chí theo liên kết chính trị. Điều này đảm bảo rằng các nghiên cứu, nhiệm vụ chú thích hoặc các dự án khác nhận được một loạt các tham gia và, do đó, một loạt các thông tin.

Cảm ơn bạn vì cuộc phỏng vấn tuyệt vời, những người đọc muốn tìm hiểu thêm nên truy cập Prolific.