노라 페트로바, Prolific의 머신 러닝 엔지니어 & AI 컨설턴트 – 인터뷰 시리즈

노라 페트로바는 Prolific의 머신 러닝 엔지니어 및 AI 컨설턴트입니다. Prolific은 2014년에 설립되었으며 이미 Google (GOOGL ), 스탠퍼드 대학교, 옥스포드 대학교, 킹스 칼리지 런던, 유럽 위원회 등이 고객으로 있으며, 새로운 제품 테스트, AI 시스템 훈련, 인간과 상호작용하는 AI 애플리케이션의 기능 테스트 등에 참여자 네트워크를 사용하고 있습니다.

귀하의 배경과 경력을 소개해 주시겠습니까? AI에 관심을 가지게 된 계기는 무엇입니까?

저의 역할은 AI 사용 사례와 기회에 대한 자문을 제공하는 것과 더 직접적인 머신 러닝 엔지니어로서의 역할을 병행합니다. 저는 소프트웨어 엔지니어링에서 경력을 시작하여渐渐적으로 머신 러닝으로 전환했습니다. 최근 5년 동안 대부분의 시간을 NLP 사용 사례와 문제에 집중했습니다.

AI에 처음 관심을 가지게 된 것은 데이터에서 학습할 수 있는 능력과 인간이 학습하고 뇌가 구조화되는 방식과의 연결입니다. 저는 머신 러닝과 신경과학이 서로를 보완하여 AI 시스템을 구축하는 방법을 더 잘 이해할 수 있도록 도와줄 수 있다고 생각합니다.

귀하는 개인적으로 인지하는 가장 큰 AI 편향 문제는 무엇입니까?

편향은 AI 모델에 입력하는 데이터에 내재되어 있으며, 이를 완전히 제거하는 것은 매우 어렵습니다. 그러나 이러한 편향을 인식하고, 중요한 작업을 맡기기 전에 유해한 편향을 완화하는 방법을 찾아야 합니다. 우리는 모델이 유해한 고정관념, 체계적인 편견, 사회의 부정의를 지속시키는 문제에 직면하고 있습니다. 이러한 AI 모델이 사용자에게 미칠 영향과 안전性을 고려해야 합니다.

AI 모델이 유해한 편향을 보인 대표적인 영역에는, 학교와 대학 입학에서 소수자 그룹의 차별, 여성 채용에서 성별 고정관념의 부정적인 영향 등이 있습니다. 또한, 미국에서 범죄자 예측 알고리즘이 흑인 피고인을 백인 피고인보다 거의 두 배의 속도로 “고위험”으로 분류한 경우가 발견되었습니다. 얼굴 인식 기술도 대표적인 훈련 데이터의 부족으로 소수자에 대한 오류율이 높습니다.

위의 예는 AI 모델이 보여준 편향의 작은 부분을 다루며, 이러한 문제가 미래에 더 커질 수 있습니다. AI 모델이 이러한 편향을 가진 데이터에서 학습한다는 것을 기억해야 합니다. 이는 인간의 의사결정에 영향을 미치는 무의식적인 편향의 결과입니다. 인간의 의사결정자에게 의존하는 것만으로 편향을 제거할 수 없습니다. 편향을真正로 완화하려면, 데이터에 존재하는 편향을 이해하고, 편향된 예측에 기여하는 요인을 분리하여, 중요한 결정의 기준을 집단적으로 결정해야 합니다. 모델의 안전성을 평가하기 위한 표준을 개발하는 것이 앞으로 중요한 단계가 될 것입니다.

생성형 AI에서 발생하는 AI 환각은 큰 문제입니다. 인간-InThe-Loop(HITL) 훈련이 이러한 문제를 어떻게 완화할 수 있나요?

AI 모델의 환각은 생성형 AI의 특정 사용 사례에서 문제가 될 수 있습니다. 그러나 이러한 환각이 항상 문제는 아닙니다. 예술적 용도에서 환각은 창의적이고 흥미로운 응답을 생성하는 데 도움이 될 수 있습니다.

환각은 사실 정보에 의존하는 경우에 문제가 될 수 있습니다. 예를 들어, 의료 분야에서 의사결정의 신뢰성이 중요합니다.

HITL은 모델이 특정 수준의 신뢰도 아래에 있는 예측에 대한 직접적인 피드백을 제공하는 시스템을 말합니다. 환각의 경우, HITL은 모델이 다양한 사용 사례에서 신뢰도 수준을 학습하도록 도와줍니다. 이러한 임계값은 사용 사례에 따라 다를 것입니다. 예를 들어, 법률 사용 사례에서 인간은 AI 모델에 법적 문서의 사실 확인이 필요한 경우를示すことができます.

AI 근로자들은 어떻게 편향 문제를 줄이는 데 도움이 될 수 있나요?

AI 근로자들은 먼저 데이터에 존재하는 편향을 식별하는 데 도움이 될 수 있습니다. 편향이 식별되면, 완화 전략을 개발하기가 더 쉽습니다. 데이터 주석자는 또한 편향을 줄이는 방법을 제안할 수 있습니다. 예를 들어, NLP 작업에서, 문제가 되는 텍스트를 편향이 없는 대체 문구로 제공할 수 있습니다. 또한, AI 근로자의 다양성은 레이블링 편향 문제를 완화하는 데 도움이 될 수 있습니다.

AI 근로자들이 자신의 인간 편향을 AI 시스템에 의도치 않게 공급하지 않도록 어떻게 보장할 수 있나요?

이는 복잡한 문제로, 신중한 고려가 필요합니다. 인간 편향을 완전히 제거하는 것은 거의 불가능하며, AI 근로자들이 자신의 편향을 모델에 공급할 수 있습니다. 따라서, 근로자들이 최선의 관행을 따를 수 있도록 지침을 개발하는 것이 중요합니다.

인간 편향을 최소화하기 위한 단계에는 다음이 포함됩니다.

• 무의식적인 편향과 편향을 식별하고 관리하는 방법에 대한 AI 근로자 교육.
• 근로자가 자신의 응답을 제출하기 전에 검토하도록 nhắc주는 체크리스트.
• 다양한 유형의 편향에 대한 응답 예시를 보여주고, 가장 편향이 없는 응답을 선택하도록 요청하는 평가.

전 세계 규제 당국은 AI 출력을 규제하려고 합니다. 규제 당국이 이해하지 못하는 점과 올바른 점은 무엇이라고 생각하십니까?

이 문제는 매우 어려운 문제로, 아직 해결책을 찾지 못했습니다. 사회와 AI는 서로 영향을 미치며, 예상치 못한 방식으로 발전할 것입니다. 효과적인 규제 방식을 찾는 데 중요한 전략은 AI의 발전과 그 영향, 그리고 다양한 산업에 미치는 영향을 주시하는 것입니다.

AI 규제의 어려운 점은 AI 모델이 무엇을 할 수 있고, 어떻게 작동하는지에 대한 이해 부족입니다. 이는 모델이 다양한 산업과 사회의 여러 부문에 미칠 영향과 결과를 예측하기 어렵게 만듭니다. 또 다른 부족한 영역은 AI 모델을 인간의 가치와 안전성에 맞추는 방법에 대한 리더십입니다.

규제 당국은 AI 전문가와의 협력을 추구하고, 혁신을 방해하지 않는 규제를 주의 깊게 고려하며, 일자리 감소와 같은 AI의 결과를 고려하고 있습니다. 이는 매우 중요한 영역입니다. 우리의 생각이 명확해짐에 따라, 민주적인 방식으로 접근하고, 가능한 많은 사람을 참여시켜야 합니다.

Prolific 솔루션은 어떻게 기업이 AI 편향과 다른 문제를 줄이는 데 도움이 될 수 있나요?

AI 프로젝트를 위한 데이터 수집은 항상 고려된 과정은 아닙니다. 이전에는 스크레이핑, 아웃소싱 등이 흔했습니다. 그러나 AI를 어떻게 훈련하는지는 매우 중요하며, 차세대 모델은 의도적으로 수집된、高품질의 데이터, 실제 사람들로부터의 데이터, 직접 접촉한 데이터로 구축되어야 합니다. 이는 Prolific이 기여하는 영역입니다.

다른 분야에서는 이미 이러한 사실을 깨달았습니다. 예를 들어, 여론 조사, 시장 조사, 과학 연구 등에서는 샘플링한 대상이 결과에 큰 영향을 미친다는 것을 알고 있습니다. AI도 이러한 사실을 인식하고 있습니다.

이제는 더 나은 샘플링을 시작하고, 대표적인 그룹과 함께 작업하는 것이 중요합니다. 이는 안전하고, 편향이 없는, 그리고 정렬된 모델을 개발하는 데 중요합니다.

Prolific은 기업이 안전하게 AI 실험을 수행하고, 편향을 확인하고 완화하는 과정을 거치며, 데이터를 수집하는 데 필요한 도구를 제공할 수 있습니다. 우리는 데이터 수집, 선택, 참여자 대우, 보상, 공정성에 대한 최고의 관행에 대한 지침을 제공할 수 있습니다.

AI 투명성에 대한 귀하의 견해는 무엇입니까? 사용자는 AI 알고리즘이 훈련된 데이터를 볼 수 있어야 합니까?

투명성에는 장단점이 있습니다. 아직 좋은 균형을 찾지 못했습니다. 회사들은 소송을 두려워하여 AI 모델을 훈련한 데이터에 대한 정보를 공개하지 않고 있습니다. 다른 회사들은 모델을 공개하고, 사용한 데이터에 대한 모든 정보를 공개했습니다. 완전한 투명성은 모델의 취약점을 악용할 수 있는 기회를 제공합니다. 완전한 비밀이 투명성을 구축하는 데 도움이 되지 않습니다. 좋은 중간 지점은, AI 모델이 좋은 품질의 관련 데이터로 훈련되었으며, 우리가 동의한 데이터라는 것을 믿게 하는 투명성을 제공해야 합니다. 우리는 AI가 다양한 산업에 미치는 영향을 주시하고, 영향을 받는 당사자와의 대화를 열어, 모두에게 작동하는 관행을 개발해야 합니다.

사용자가 설명 가능성에 만족하는 것을 고려하는 것도 중요합니다. 모델이 특정 응답을 생성하는 이유를 이해하고 싶을 때, 모델이 훈련된 원시 데이터를 제공하는 것은 도움이 되지 않을 수 있습니다. 따라서, 좋은 설명 가능성과 해석 가능성 도구를 개발하는 것이 중요합니다.

AI 정렬 연구는 AI 시스템을 인간의 의도된 목표, 선호도, 또는 윤리적 원칙으로 지향하도록 합니다. AI 근로자가 훈련되고, AI가 정렬되는 방법에 대해 논의해 주시겠습니까?

이는 활발한 연구 영역이며, 아직 어떤 전략을 사용해야 하는지에 대한 합의는 없습니다.

AI 근로자들은 진정성 있게 자신의 선호도를 나타내고, 안전성, 편향 없음, 무해성, 유용성에 대한 원칙을 준수하여 질문에 대한 답변을 제공하도록 요청받습니다.

목표, 윤리적 원칙, 또는 가치에 대한 정렬에 대해서는 여러 가지 접근법이 유망합니다. 하나의 대표적인 예는 The Meaning Alignment Institute의 민주적 미세 조정(Democratic Fine-Tuning)입니다. 이 아이디어를 소개하는 훌륭한 포스트가 여기에 있습니다.

이 훌륭한 인터뷰에 감사드리며, AI 편향에 대한 귀하의 견해를 공유해 주셔서 감사합니다. 더 많은 정보를 원하는 독자는 Prolific을 방문할 수 있습니다.