Rescale 미팅 예약

인터뷰

Andrew Gordon, Prolific – 인터뷰 시리즈 수석 연구 컨설턴트

mm

게재

 on

앤드루 고든(Andrew Gordon)은 심리학과 신경과학에 대한 탄탄한 배경을 바탕으로 연구자로서 통찰력을 발견합니다. 심리학 학사, 신경심리학 석사, 박사 학위를 취득했습니다. 인지 신경과학 분야에서 Andrew는 과학적 원리를 활용하여 소비자 동기, 행동 및 의사 결정을 이해합니다.

다작의 고품질의 인간 데이터를 획득하고 최첨단 연구를 위한 입력을 위한 우수한 방법을 제공하는 것을 목표로 연구자를 위해 연구자에 의해 만들어졌습니다. 오늘날 학계와 업계의 35,000명 이상의 연구원이 Prolific AI를 사용하여 확실한 인간 데이터와 피드백을 수집하고 있습니다. 이 플랫폼은 신뢰할 수 있고 적극적이며 공정한 대우를 받는 참여자로 알려져 있으며 XNUMX분마다 새로운 연구가 시작됩니다.

AI와 관련된 프로젝트를 수행하는 연구자들을 돕기 위해 인지 신경과학에 대한 배경 지식을 어떻게 활용합니까?

좋은 출발점은 인지 신경과학이 실제로 무엇을 포함하는지 정의하는 것입니다. 본질적으로 인지 신경과학은 인지 과정의 생물학적 토대를 조사합니다. 이는 신경과학과 심리학, 때로는 컴퓨터 과학의 원리를 결합하여 우리의 뇌가 어떻게 다양한 정신 기능을 가능하게 하는지 이해하는 데 도움이 됩니다. 본질적으로, 인지 신경과학 연구를 수행하는 사람이라면 누구나 연구 방법론을 잘 이해하고 사람들이 어떻게 생각하고 행동하는지 잘 이해해야 합니다. 이 두 가지 측면은 매우 중요하며 이를 결합하여 고품질 AI 연구를 개발하고 실행할 수도 있습니다. 하지만 한 가지 주의할 점은 AI 연구가 광범위한 용어라는 점입니다. 여기에는 기초 모델 교육 및 데이터 주석부터 사람들이 AI 시스템과 상호 작용하는 방식을 이해하는 것까지 모든 것이 포함될 수 있습니다. AI로 연구 프로젝트를 실행하는 것은 AI 외부에서 연구 프로젝트를 실행하는 것과 다르지 않습니다. 여전히 방법을 잘 이해하고, 최고의 데이터를 생성하기 위한 연구를 설계하고, 편견을 피하기 위해 올바르게 샘플링한 다음, 해당 데이터를 효과적인 분석에 사용하여 다루고 있는 연구 질문에 답해야 합니다.

Prolific은 참가자에 대한 윤리적 대우와 공정한 보상을 강조합니다. 이러한 표준을 유지하는 데 따른 과제와 솔루션에 대한 통찰력을 공유해 주실 수 있나요?

우리의 보상 모델은 참가자가 가치 있고 보상을 받음으로써 그들이 연구 기계에서 중요한 역할을 하고 있다는 느낌을 갖도록 설계되었습니다. 우리는 참가자를 공정하게 대우하고 공정한 지불률을 제공함으로써 참가자가 연구에 더 깊이 참여하도록 동기를 부여하고 결과적으로 더 나은 데이터를 제공한다고 믿습니다.

불행하게도 대부분의 온라인 샘플링 플랫폼은 이러한 윤리적 지불 및 처리 원칙을 시행하지 않습니다. 그 결과, 연구에 참여하지 않고 최대한 빨리 연구에 돌입하여 수익 잠재력을 극대화하도록 장려되는 참가자 풀이 생겨서 품질이 낮은 데이터가 발생합니다. Prolific에서 우리가 취하는 입장을 유지하는 것은 어려운 일입니다. 우리는 본질적으로 조류에 맞서 싸우고 있습니다. AI 연구 및 기타 형태의 온라인 연구의 현 상태는 참가자의 치료나 복지에 초점을 맞추기보다는 최저 비용으로 수집할 수 있는 데이터의 양을 최대화하는 데 중점을 두고 있습니다.

우리가 이 접근 방식을 취한 이유와 경쟁 플랫폼이 아닌 우리를 사용함으로써 보게 될 가치를 더 넓은 연구 커뮤니티에 이해시키는 것은 상당한 도전 과제입니다. 물류적 관점에서 볼 때 또 다른 과제는 참여자나 연구자의 우려 사항, 질의 또는 불만 사항에 시기적절하고 공정한 방식으로 응답하기 위해 상당한 시간을 투자하는 것입니다. 우리는 참가자와 연구자 모두의 사용자를 행복하게 하고 그들이 Prolific으로 계속 돌아오도록 장려하기 때문에 여기에 많은 시간을 할애합니다. 그러나 우리는 또한 참가자가 연구원의 작업이나 설문 조사에 참여하여 Prolific 생태계를 떠나면 높은 수준의 대우 및 보상을 준수하기 위해 플랫폼을 사용하는 연구원들에게 크게 의존합니다. 우리 플랫폼 밖에서 일어나는 일은 실제로 연구팀의 통제에 달려 있습니다. 따라서 우리는 무언가 잘못되었는지 알려주는 참가자뿐만 아니라 가능한 가장 높은 표준을 유지하는 연구원에게도 의존합니다. 우리는 이러한 일이 발생하도록 가능한 한 많은 지침을 제공하려고 노력합니다.

다작(Prolific) 비즈니스 모델을 고려할 때, 특히 편견 탐지 및 사회적 추론 개선과 같은 분야에서 AI 개발에 있어 인간 피드백의 필수적인 역할에 대해 어떻게 생각하시나요?

AI 개발에서는 인간의 피드백이 중요합니다. 인간의 개입이 없으면 우리는 편견을 지속시키고, 인간의 사회적 상호 작용의 미묘한 차이를 간과하고, AI와 관련된 부정적인 윤리적 고려 사항을 해결하지 못할 위험이 있습니다. 이는 책임감 있고 효과적이며 윤리적인 AI 시스템을 만들기 위한 우리의 발전을 방해할 수 있습니다. 편견 탐지 측면에서, 개발 과정에서 인간의 피드백을 통합하는 것은 매우 중요합니다. 왜냐하면 우리는 서로를 편애하지 않고 가능한 한 다양한 관점과 가치를 반영하는 AI를 개발하는 것을 목표로 해야 하기 때문입니다. 다양한 인구 통계, 배경 및 문화는 모두 무의식적인 편견을 갖고 있으며, 이는 꼭 부정적이지는 않더라도 여전히 널리 받아들여지지 않는 관점을 반영할 수 있습니다. Prolific과 University of Michigan의 공동 연구는 다양한 주석 작성자의 배경이 어떻게 크게 영향을 미칠 수 있는지를 강조했습니다. 말의 독성이나 공손함과 같은 측면을 평가하는 방법에 영향을 미칩니다.. 이 문제를 해결하기 위해 다양한 배경, 문화 및 관점을 가진 참가자를 참여시키면 개발 중인 AI 시스템에 이러한 편견이 뿌리내리는 것을 방지할 수 있습니다. 또한 AI 연구자들은 인간의 피드백을 통해 자동화된 방법으로는 포착할 수 없는 보다 미묘한 형태의 편향을 감지할 수 있습니다. 이는 알고리즘, 기본 모델 또는 데이터 전처리 기술의 조정을 통해 편향을 해결할 수 있는 기회를 촉진합니다.

사회적 추론의 상황은 본질적으로 동일합니다. AI는 본질적으로 사회적 존재가 아니지만 인간은 그렇기 때문에 사회적 추론이 필요한 작업에 어려움을 겪는 경우가 많습니다. 질문이 있을 때 맥락을 감지하고, 풍자를 이해하고, 감정적 단서를 인식하려면 AI가 스스로 학습할 수 없는 인간과 같은 사회적 추론이 필요합니다. 우리는 인간으로서 사회적으로 학습하므로 AI 시스템에 이러한 유형의 추론 기술을 가르치는 유일한 방법은 실제 인간 피드백을 사용하여 AI가 다양한 사회적 신호를 해석하고 응답하도록 훈련시키는 것입니다. Prolific에서 우리는 사회적 추론 데이터세트 AI 모델에게 이 중요한 기술을 가르치기 위해 특별히 설계되었습니다.

본질적으로 인간의 피드백은 AI 시스템이 뛰어나거나 흔들리는 영역을 식별하는 데 도움이 될 뿐만 아니라 개발자가 알고리즘을 필요한 방식으로 개선하고 개선할 수 있도록 해줍니다. 이에 대한 실제적인 예는 ChatGPT 작동 방식에서 관찰됩니다. 질문을 하면 가끔 ChatGPT가 두 가지 답변을 제시하고 어느 것이 가장 좋은지 순위를 매기도록 요청하는 경우가 있습니다. 이 접근 방식을 취하는 이유는 모델이 항상 학습하고 개발자가 다른 모델에만 의존하기보다는 최선의 답변을 결정하기 위한 인간 입력의 중요성을 이해하기 때문입니다.

Prolific은 AI 교육 및 연구를 위해 연구자와 참가자를 연결하는 데 중요한 역할을 해왔습니다. 귀하의 플랫폼을 통해 가능해진 AI의 성공 사례나 중요한 발전을 공유할 수 있습니까?

특히 비학술 공간에서의 AI 작업의 상업적 성격으로 인해 우리가 참여하는 대부분의 프로젝트는 엄격한 비공개 계약을 따릅니다. 이는 주로 기술이나 방법의 기밀성을 보장하고 복제되지 않도록 보호하기 위한 것입니다. 그러나 우리가 자유롭게 논의할 수 있는 프로젝트 중 하나는 AI 기반 통찰력 플랫폼인 Remesh와의 파트너십에 관한 것입니다. 우리는 OpenAI 및 Remesh와 협력하여 미국 인구의 대표 샘플을 활용하는 시스템을 개발했습니다. 이번 프로젝트에서는 대표 표본 중 수천 명이 Remesh의 시스템을 통해 AI 관련 정책에 대한 논의에 참여했고, Prolific의 역량 덕분에 특정 인구통계가 아닌 폭넓은 대중의 의지를 반영하는 AI 정책 개발이 가능해졌습니다. 이렇게 다양한 샘플.

앞으로 윤리적 AI 개발의 미래에 대한 귀하의 비전은 무엇이며, Prolific은 이 비전 달성에 어떻게 기여할 계획입니까?

AI의 미래와 그 발전에 대한 나의 희망은 AI가 훈련받은 데이터만큼만 훌륭할 것이라는 인식에 달려 있습니다. AI 시스템에서 데이터 품질의 중요성은 아무리 강조해도 지나치지 않습니다. 품질이 낮은 데이터로 AI 시스템을 훈련하면 필연적으로 수준 이하의 AI 시스템이 생성됩니다. 고품질 데이터를 보장하는 유일한 방법은 가능한 최고의 데이터를 제공하고자 하는 다양하고 의욕 있는 참가자 그룹을 모집하는 것입니다. Prolific의 접근 방식과 지침 원칙은 바로 이를 육성하는 것을 목표로 합니다. 철저하게 검증되고 신뢰할 수 있는 맞춤형 참가자 풀을 생성함으로써 연구자들은 이 리소스를 사용하여 향후 보다 효과적이고 신뢰할 수 있으며 신뢰할 수 있는 AI 시스템을 개발할 것으로 기대합니다.

고품질의 인간 기반 AI 훈련 데이터를 수집하는 데 있어 직면하는 가장 큰 과제는 무엇이며, Prolific은 이러한 장애물을 어떻게 극복합니까?

의심할 여지없이 가장 중요한 과제는 데이터 품질입니다. 나쁜 데이터는 도움이 되지 않을 뿐만 아니라 실제로 해로운 결과를 초래할 수 있습니다. 특히 AI 시스템이 금융 시장이나 군사 작전과 같은 중요한 영역에 사용될 때 더욱 그렇습니다. 이러한 우려는 "가비지 인, 쓰레기 아웃"이라는 기본 원칙을 강조합니다. 입력 데이터가 수준 이하인 경우 결과 AI 시스템은 본질적으로 품질이나 유용성이 낮습니다. 대부분의 온라인 샘플은 AI 개발에 최적인 것보다 품질이 낮은 데이터를 생성하는 경향이 있습니다. 여기에는 여러 가지 이유가 있지만 Prolific이 다루는 핵심 요소 중 하나는 온라인 참가자에 대한 일반적인 대우입니다. 종종 이러한 개인은 소모품으로 간주되어 낮은 보상, 열악한 대우, 연구자들로부터 거의 존경을 받지 못합니다. Prolific은 참가자의 윤리적 대우에 전념함으로써 의욕이 넘치고 참여도가 높으며 사려 깊고 정직하며 세심한 기여자 풀을 육성했습니다. 따라서 Prolific을 통해 데이터가 수집되면 높은 품질이 보장되어 신뢰할 수 있고 신뢰할 수 있는 AI 모델이 뒷받침됩니다.

AI 훈련 데이터와 관련하여 우리가 직면한 또 다른 과제는 샘플 내 다양성을 보장하는 것입니다. 온라인 샘플을 통해 직접 조사 방법에 비해 연구를 수행할 수 있는 개인의 범위와 다양성이 크게 확대되었지만 주로 서구 국가의 사람들로 제한됩니다. 이러한 샘플은 종종 더 젊고 컴퓨터 사용 능력이 뛰어나며 교육 수준이 높고 좌파 성향이 더 강한 인구 집단에 치우쳐 있습니다. 이는 전 세계 인구를 완전히 대표하지 않습니다. 이 문제를 해결하기 위해 Prolific에는 전 세계 38개국 이상의 참가자가 있습니다. 또한 우리는 연구자들에게 표본의 정확한 인구통계학적 구성을 미리 지정할 수 있는 도구를 제공합니다. 또한 연령, 성별, 민족 또는 정치적 성향과 같은 인구 조사 일치 템플릿을 통해 대표적인 샘플링을 제공합니다. 이를 통해 연구, 주석 작업 또는 기타 프로젝트에 다양한 참가자가 참여하고 결과적으로 다양한 통찰력을 얻을 수 있습니다.

훌륭한 인터뷰 감사합니다. 자세한 내용을 알고 싶은 독자는 방문하세요. 다작의

unite.AI의 창립 파트너이자 포브스 기술 위원회, 앙투안은 미래파 예술가 AI와 로봇공학의 미래에 열정을 갖고 있는 사람입니다.

그는 또한 증권.io, 파괴적인 기술에 대한 투자에 초점을 맞춘 웹사이트입니다.