Andrew Gordon, Senior Research Consultant, Prolific – 인터뷰 시리즈

Andrew Gordon는 심리학 및 신경과학 분야의 견고한 배경을 바탕으로 연구자로서 통찰력을 얻고 있습니다. 심리학 학사, 신경과학 석사, 인지신경과학 박사 학위를 가지고 있는 Andrew는 과학적 원리를 이용하여 소비자 동기, 행동, 의사결정을 이해합니다.

Prolific는 연구자를 위한 플랫폼으로, 높은 품질의 인간 데이터와 입력을 얻는 우수한 방법을 제공하는 것을 목표로 합니다. 현재 35,000명이 넘는 연구자들이 학계와 산업계에서 Prolific AI를 이용하여 결정적인 인간 데이터와 피드백을 수집하고 있습니다. 이 플랫폼은 신뢰할 수 있고 참여적이며 공정하게 대우받는 참가자로 알려져 있습니다. 새로운 연구가 매 3분마다 시작됩니다.

인지신경과학 분야의 배경을 바탕으로 AI 관련 프로젝트를 수행하는 연구자를 어떻게 도와주시나요?

인지신경과학이 무엇인지 정의하는 것이 좋은 시작점입니다. 본질적으로 인지신경과학은 인지 과정의 생물학적 기초를 조사합니다. 이는 신경과학과 심리학의 원리들을 결합하며, 때때로 컴퓨터 과학을 포함합니다. 이는 우리가 어떻게 생각하고 행동하는지 이해하는 데 도움이 됩니다. 이러한 두 가지 측면은 인지신경과학 연구를 수행하는 데 필수적이며, 높은 품질의 AI 연구를 개발하고 실행하는 데에도 필요합니다. 그러나 AI 연구는 광범위한 분야로, 기초 모델 훈련 및 데이터 주석부터 AI 시스템과 상호작용하는 방법에 이르기까지 다양한 주제를 포함할 수 있습니다. AI를 사용하여 연구 프로젝트를 실행하는 것은 AI를 사용하지 않는 경우와 다르지 않습니다. 좋은 방법론을 이해하고, 연구를 설계하여 최고의 데이터를 생성하고, 편향을 피하기 위해 샘플링을 올바르게 수행해야 합니다. 그런 다음 데이터를 효과적으로 분석하여 연구 질문에 답해야 합니다.

Prolific은 참가자의 공정한 대우와 보상을 강조합니다. 이러한 표준을 유지하는 데 직면하는 도전과 해결책에 대해 어떤 통찰력을 공유하실 수 있나요?

우리의 보상 모델은 참가자가 가치 있게 느끼고 보상받는 것을 đảm장하기 위해 설계되었습니다. 우리는 참가자들이 연구에 깊이 참여하여 더 좋은 데이터를 제공하도록 동기를 부여하는 것이 중요하다고 믿습니다.

불행히도, 대부분의 온라인 샘플링 플랫폼은 이러한 원칙을 강제하지 않습니다. 결과적으로 참가자들은 연구에 참여하기보다는 가능한 한 빠르게 진행하여 최대한의 수익을 얻으려고 합니다. 이는 낮은 품질의 데이터로 이어집니다. 우리는 이러한 접근 방식을 취함으로써 도전을 맞습니다. 우리는 본질적으로 물결을 거스르는 것입니다. AI 연구와 다른 형태의 온라인 연구의 현狀은 참가자 대우나 복지보다는 가능한 한 낮은 비용으로 최대한의 데이터를 수집하는 데 초점이 맞춰져 있습니다.

우리가採用한 접근 방식의 가치를 이해시키고, 참가자와 연구자 모두가 행복하고 돌아오도록 하는 데 많은 시간을 할애하는 것이 도전입니다. 우리는 참가자와 연구자 모두가 우리 플랫폼을 사용하여 최고의 데이터를 얻을 수 있도록 도와줍니다. 그러나 우리가 플랫폼을 벗어난 경우, 참가자와 연구자가 우리의 높은 표준을 지키도록 의존해야 합니다. 우리는 참가자와 연구자가 최고의 데이터를 얻을 수 있도록 도와주는 데 시간을 할애합니다.

AI 개발에서 인간 피드백의 역할에 대한您的 생각은 무엇인가요? 특히 편향 감지와 사회적推論 개선과 같은 분야에서?

AI 개발에서 인간 피드백은 매우 중요합니다. 인간의 참여 없이, 우리는 편향을 지속시키고, 인간의 사회적 상호작용의细微한 점을 간과하며, AI와 관련된 부정적인 윤리적 고려를 해결하지 못할 수 있습니다. 이는 책임감 있게, 효과적이며, 윤리적인 AI 시스템을 개발하는我们的 진행을 방해할 수 있습니다. 편향 감지의 경우, 개발 과정에서 인간 피드백을 포함하는 것이 중요합니다. 우리는 가능한 한 다양한 관점과 가치를 반영하는 AI를 개발하려고 합니다. 다른 인구통계, 배경, 문화는 모두 무의식적인 편향을 가지고 있을 수 있으며, 이는 부정적인 결과를 초래할 수 있습니다. Prolific과 미시간 대학교의 공동 연구는 다른 주석자의 배경이 어떻게 언어의 유독성이나 예의를 평가하는지에 영향을 미칠 수 있는지를 보여주었습니다. 이를 해결하기 위해, 다양한 배경, 문화, 관점의 참가자를 참여시키는 것이 중요합니다. 또한, 인간 피드백을 통해 연구자들은 더 세련된 편향을 감지할 수 있습니다. 이는 알고리즘, 모델, 데이터 전처리 기술에서 편향을 해결하는 데 도움이 됩니다.

사회적 推論의 경우에도 마찬가지입니다. AI는 본질적으로 사회적 존재가 아니므로, 인간과 같은 사회적 推論을 학습할 수 없습니다. 문맥을 감지하는 것, 비꼬음을 이해하는 것, 감정적 신호를 인식하는 것은 모두 인간과 같은 사회적 推論을 필요로 합니다. 이러한 推論 기술을 가르치기 위해서는 실제 인간 피드백을 사용하여 AI를 훈련시켜야 합니다. Prolific에서는 사회적 推論을 가르치는 데 특별히 설계된 데이터 세트를 개발했습니다.

본질적으로, 인간 피드백은 AI 시스템의 강점과 약점을 식별하는 데 도움이 되며, 개발자가 필요한 개선과 세부 사항을 수행할 수 있도록 합니다. 예를 들어, ChatGPT는 때때로 두 가지 답변을 제시하고, 사용자에게 어느 것이 더 좋은지 물어봅니다. 이는 모델이 항상 학습 중이며, 개발자가 인간의 입력을 통해 최고의 답변을 결정하는 데 중요하다는 것을 이해하기 때문입니다.

Prolific은 AI 훈련과 연구를 위한 참가자와 연구자를 연결하는 데 중요한 역할을 했습니다. 어떤 성공 사례나 중요한 발전이 있나요?

상업적인 성격의 많은 프로젝트로 인해, 우리는 대부분의 프로젝트에 대한 비공개 협약을 맺고 있습니다. 이는 기법이나 방법이 복제되지 않도록 보호하기 위한 것입니다. 그러나 우리는 Remesh와의 파트너십에 대해 논의할 수 있습니다. 우리는 OpenAI와 Remesh와 함께 미국 인구의 대표적인 샘플을 사용하는 시스템을 개발했습니다. 이 프로젝트에서, 수천명의 개인이 Remesh의 시스템을 통해 AI 관련 정책에 대해 논의했습니다. 이는 공공의 광범위한 의견을 반영하는 AI 정책을 개발하는 데 도움이 되었습니다.

미래의 윤리적인 AI 개발에 대한 비전은 무엇인가요? Prolific은 어떻게 이러한 비전을 달성하는 데 기여할 수 있나요?

AI의 미래와 개발에 대한 나의 희망은 AI가 훈련된 데이터만큼 좋은 것이라는 것을 인식하는 데 있습니다. 높은 품질의 데이터는 AI 시스템을 개발하는 데 필수적입니다. 낮은 품질의 데이터로 훈련된 AI 시스템은 결국 낮은 품질의 시스템이 됩니다. 높은 품질의 데이터를 보장하는唯一한 방법은 다양한 참가자와 동기부여된 참가자를 모집하는 것입니다. Prolific의 접근 방식과 원칙은 이러한 참가자를 모집하는 데 있습니다. 우리는 신뢰할 수 있고 신뢰할 수 있는 참가자 풀을 만들기 위해 노력하고 있습니다. 우리는 이러한 자원을 사용하여 연구자들이 더 효과적이고 신뢰할 수 있는 AI 시스템을 개발할 수 있도록 합니다.

고품질의 인간 기반 AI 훈련 데이터를 수집하는 데 직면하는 가장 큰 도전은 무엇인가요? Prolific은 이러한 장애물을 어떻게 극복합니까?

가장 큰 도전은 데이터 품질입니다. 나쁨 데이터는 단순히 무용한 것이 아니라, 특히 금융 시장이나 군사 작전과 같은 중요한 분야에서 AI 시스템을 사용하는 경우에는 유해할 수 있습니다. 이는 “쓰레기가 들어가면 쓰레기가 나온다”라는 원칙을 강조합니다. 입력 데이터가 낮은 품질이라면, 결과적으로 AI 시스템도 낮은 품질이거나 유용하지 않을 것입니다. 대부분의 온라인 샘플은 최적의 AI 개발을 위한 것보다 낮은 품질의 데이터를 생성합니다. 이러한 이유 중 하나는 참가자들이 어떻게 대우받는지입니다. 참가자들은 종종 가치 없는 것으로 간주되어, 낮은 보상과 나쁨 대우를 받습니다. Prolific은 참가자들이 동기부여되고, 참여적이며,誠實하고, 주의깊게 참여하도록 하는 참가자 풀을 만들기 위해 노력하고 있습니다. 따라서 Prolific을 통해 수집된 데이터는 높은 품질을 보장합니다.

또 다른 도전은 샘플 내의 다양성을 보장하는 것입니다. 온라인 샘플은 비교적 넓은 범위의 개인을 연구할 수 있게 해주지만, 주로 서구 국가의 개인들로 구성됩니다. 이러한 샘플은 종종 젊은, 컴퓨터를 사용하는, 높은 교육 수준을 가진, 그리고 더 좌경적인 인구통계로 편향되어 있습니다. 이는 세계 인구를 완전히 대표하지 않습니다. Prolific은 38개 이상의 국가에서 참가자를 모집하고 있으며, 연구자들이 미리 참가자의 인구통계적 구성에 대한 요구 사항을 지정할 수 있도록 도구를 제공합니다. 또한, 우리는 인구통계적 대표 샘플링을 제공하며, 연령, 성별, 민족성, 또는 정치적 소속과 같은 템플릿을 사용할 수 있습니다. 이는 연구, 주석 작업, 또는 다른 프로젝트가 다양한 참가자와 통찰력을 얻을 수 있도록 합니다.

인터뷰에 감사드립니다. 더 많은 정보를 원하는 독자는 Prolific을 방문할 수 있습니다.