노라 페트로바, Prolific의 머신 러닝 엔지니어 & AI 컨설턴트 – 인터뷰 시리즈

노라 페트로바는 Prolific의 머신 러닝 엔지니어 및 AI 컨설턴트입니다. Prolific은 2014년에 설립되었으며 이미 Google (GOOGL ), 스탠퍼드 대학교, 옥스포드 대학교, 킹스 칼리지 런던, 유럽 위원회 등이 고객으로 있으며, 새로운 제품 테스트, 시선 추적 같은 분야의 AI 시스템 훈련, 인간과 상호작용하는 AI 애플리케이션이 개발자의 의도대로 작동하는지 확인하는 작업 등에 참여자 네트워크를 사용하고 있습니다.

귀하의 배경과 경력을 소개해 주시겠습니까? AI에 관심을 가지게 된 계기는 무엇입니까?

저의 역할은 AI 사용 사례와 기회에 대한 자문을 제공하는 것과 더 직접적인 머신 러닝 엔지니어로서의 역할을 병행합니다. 저는 소프트웨어 엔지니어링에서 경력을 시작하여 점진적으로 머신 러닝으로 전환했습니다. 최근 5년 동안 대부분의 시간을 NLP 사용 사례와 문제에 집중했습니다.

AI에 처음 관심을 가지게 된 것은 데이터에서 학습할 수 있는 능력과 인간이 학습하고 뇌가 구조화되는 방식과의 연결입니다. 저는 머신 러닝과 신경과학이 서로를 보완하여 세계를 탐색하고 창의성을 발휘하며 사회에 가치를 더하는 AI 시스템을 만드는 방법을 더 잘 이해하도록 도울 수 있다고 생각합니다.

귀하는 개인적으로 인지하는 가장 큰 AI 편향 문제는 무엇입니까?

편향은 AI 모델에 입력하는 데이터에 내재되어 있으며, 이를 완전히 제거하는 것은 매우 어렵습니다. 그러나 이러한 편향을 인식하고, 중요한 작업을 맡기기 전에 유해한 편향을 완화하는 방법을 찾아야 합니다. 우리는 모델이 유해한 고정관념, 체계적인 편견, 사회의 부정의를 지속시키는 문제에 직면하고 있습니다. 이러한 AI 모델이 사용자에게 미칠 영향과 안전성을 고려해야 합니다.

AI 모델이 유해한 편향을 보인 대표적인 영역에는, 학교와 대학 입학에서 소수자 그룹의 차별, 여성 채용에서 성별 고정관념의 부정적인 영향 등이 있습니다. 또한, 미국의 형사사법 알고리즘이 아프리카계 미국인 피고인을 “고위험”으로 잘못 분류하는 비율이 백인 피고인의 오분류 비율보다 거의 두 배 높았던 사례가 발견되었습니다. 얼굴 인식 기술도 대표적인 훈련 데이터의 부족으로 소수자에 대한 오류율이 높습니다.

위의 예는 AI 모델이 보여준 편향의 작은 부분을 다루며, 이러한 문제가 미래에 더 커질 수 있습니다. AI 모델이 이러한 편향을 가진 데이터에서 학습한다는 것을 기억해야 합니다. 이는 인간의 의사결정에 영향을 미치는 무의식적인 편향의 결과입니다. 인간의 의사결정자에게 의존하는 것만으로 편향을 제거할 수 없습니다. 편향을 진정으로 완화하려면, 데이터에 존재하는 편향을 이해하고, 편향된 예측에 기여하는 요인을 분리하여, 중요한 결정의 기준을 집단적으로 결정해야 합니다. 모델의 안전성을 평가하기 위한 표준을 개발하는 것이 앞으로 중요한 단계가 될 것입니다.

생성형 AI에서 발생하는 AI 환각은 큰 문제입니다. 인간 참여형(Human-in-the-Loop, HITL) 훈련이 이러한 문제를 어떻게 완화할 수 있나요?

AI 모델의 환각은 생성형 AI의 특정 사용 사례에서 문제가 될 수 있습니다. 그러나 이러한 환각이 항상 문제는 아닙니다. 예술적 용도에서 환각은 창의적이고 흥미로운 응답을 생성하는 데 도움이 될 수 있습니다.

환각은 사실 정보에 의존하는 경우에 문제가 될 수 있습니다. 예를 들어, 의료 분야에서 의사결정의 신뢰성이 중요합니다.

HITL은 예측의 신뢰도가 일정 수준보다 낮을 때 사람이 모델에 직접 피드백을 제공할 수 있는 시스템을 뜻합니다. 환각의 경우, HITL은 모델이 다양한 사용 사례에서 신뢰도 수준을 학습하도록 도와줍니다. 이러한 임계값은 사용 사례에 따라 다를 것입니다. 응답하기 전에 용도별로 필요한 확실성 수준을 익히고, 질문에 답하는 데 요구되는 엄격함의 차이를 배우는 것이 문제가 되는 환각을 줄이는 핵심 단계입니다. 예를 들어, 법률 사용 사례에서 인간은 AI 모델에 조항과 조건이 많은 복잡한 법률 문서에 관한 질문에 답할 때 사실 확인이 필수 단계임을 보여줄 수 있습니다.

AI 근로자들은 어떻게 편향 문제를 줄이는 데 도움이 될 수 있나요?

AI 근로자들은 먼저 데이터에 존재하는 편향을 식별하는 데 도움이 될 수 있습니다. 편향이 식별되면, 완화 전략을 개발하기가 더 쉽습니다. 데이터 주석자는 또한 편향을 줄이는 방법을 제안할 수 있습니다. 예를 들어, NLP 작업에서, 문제가 되는 텍스트를 편향이 없는 대체 문구로 제공할 수 있습니다. 또한, AI 근로자의 다양성은 레이블링 편향 문제를 완화하는 데 도움이 될 수 있습니다.

AI 근로자들이 자신의 인간 편향을 AI 시스템에 의도치 않게 공급하지 않도록 어떻게 보장할 수 있나요?

이는 복잡한 문제로, 신중한 고려가 필요합니다. 인간 편향을 완전히 제거하는 것은 거의 불가능하며, AI 근로자들이 자신의 편향을 모델에 공급할 수 있습니다. 따라서, 근로자들이 최선의 관행을 따를 수 있도록 지침을 개발하는 것이 중요합니다.

인간 편향을 최소화하기 위한 단계에는 다음이 포함됩니다.

• 무의식적인 편향과 편향을 식별하고 관리하는 방법에 대한 AI 근로자 교육.
• 근로자가 자신의 응답을 제출하기 전에 검토하도록 상기시키는 체크리스트.
• 다양한 유형의 편향에 대한 응답 예시를 보여주고, 가장 편향이 없는 응답을 선택하도록 요청하는 평가.

전 세계 규제 당국은 AI 출력을 규제하려고 합니다. 규제 당국이 이해하지 못하는 점과 올바른 점은 무엇이라고 생각하십니까?

이 문제는 매우 어려운 문제로, 아직 해결책을 찾지 못했습니다. 사회와 AI는 서로 영향을 미치며, 예상치 못한 방식으로 발전할 것입니다. 효과적인 규제 방식을 찾는 데 중요한 전략은 AI의 발전과 그 영향, 그리고 다양한 산업에 미치는 영향을 주시하는 것입니다.

AI 규제의 어려운 점은 AI 모델이 무엇을 할 수 있고, 어떻게 작동하는지에 대한 이해 부족입니다. 이는 모델이 다양한 산업과 사회의 여러 부문에 미칠 영향과 결과를 예측하기 어렵게 만듭니다. 또 다른 부족한 영역은 AI 모델을 인간의 가치와 안전성에 맞추는 방법에 대한 리더십입니다.

규제 당국은 AI 전문가와의 협력을 추구하고, 혁신을 방해하지 않는 규제를 주의 깊게 고려하며, 일자리 감소와 같은 AI의 결과를 고려하고 있습니다. 이는 매우 중요한 영역입니다. 우리의 생각이 명확해짐에 따라, 민주적인 방식으로 접근하고, 가능한 많은 사람을 참여시켜야 합니다.

Prolific 솔루션은 어떻게 기업이 AI 편향과 다른 문제를 줄이는 데 도움이 될 수 있나요?

AI 프로젝트를 위한 데이터 수집은 항상 고려된 과정은 아닙니다. 이전에는 스크레이핑, 아웃소싱 등이 흔했습니다. 그러나 AI를 어떻게 훈련하는지는 매우 중요하며, 차세대 모델은 의도적으로 수집된 고품질 데이터, 실제 사람들로부터의 데이터, 직접 접촉한 데이터로 구축되어야 합니다. 이는 Prolific이 기여하는 영역입니다.

다른 분야에서는 이미 이러한 사실을 깨달았습니다. 예를 들어, 여론 조사, 시장 조사, 과학 연구 등에서는 샘플링한 대상이 결과에 큰 영향을 미친다는 것을 알고 있습니다. AI도 이러한 사실을 인식하고 있습니다.

이제는 더 나은 샘플링을 시작하고, 대표적인 그룹과 함께 작업하는 것이 중요합니다. 이는 안전하고, 편향이 없는, 그리고 정렬된 모델을 개발하는 데 중요합니다.

Prolific은 기업이 안전하게 AI 실험을 수행하고, 편향을 확인하고 완화하는 과정을 거치며, 데이터를 수집하는 데 필요한 도구를 제공할 수 있습니다. 우리는 데이터 수집, 선택, 참여자 대우, 보상, 공정성에 대한 최고의 관행에 대한 지침을 제공할 수 있습니다.

AI 투명성에 대한 귀하의 견해는 무엇입니까? 사용자는 AI 알고리즘이 훈련된 데이터를 볼 수 있어야 합니까?

투명성에는 장단점이 있습니다. 아직 좋은 균형을 찾지 못했습니다. 회사들은 소송을 두려워하여 AI 모델을 훈련한 데이터에 대한 정보를 공개하지 않고 있습니다. 다른 회사들은 모델을 공개하고, 사용한 데이터에 대한 모든 정보를 공개했습니다. 완전한 투명성은 모델의 취약점을 악용할 수 있는 기회를 제공합니다. 완전한 비밀주의는 신뢰를 쌓거나 안전한 AI를 만드는 데 사회를 참여시키는 데 도움이 되지 않습니다. 좋은 중간 지점은, AI 모델이 좋은 품질의 관련 데이터로 훈련되었으며, 우리가 동의한 데이터라는 것을 믿게 하는 투명성을 제공해야 합니다. 우리는 AI가 다양한 산업에 미치는 영향을 주시하고, 영향을 받는 당사자와의 대화를 열어, 모두에게 작동하는 관행을 개발해야 합니다.

사용자가 설명 가능성에 만족하는 것을 고려하는 것도 중요합니다. 모델이 특정 응답을 생성하는 이유를 이해하고 싶을 때, 모델이 훈련된 원시 데이터를 제공하는 것은 도움이 되지 않을 수 있습니다. 따라서, 좋은 설명 가능성과 해석 가능성 도구를 개발하는 것이 중요합니다.

AI 정렬 연구는 AI 시스템을 인간의 의도된 목표, 선호도, 또는 윤리적 원칙으로 지향하도록 합니다. AI 근로자가 훈련되고, AI가 정렬되는 방법에 대해 논의해 주시겠습니까?

이는 활발한 연구 영역이며, 모델을 인간 가치에 맞추기 위해 어떤 전략을 써야 하는지, 심지어 어떤 가치 집합을 목표로 해야 하는지에 대해서도 아직 합의가 없습니다.

AI 근로자들은 진정성 있게 자신의 선호도를 나타내고, 안전성, 편향 없음, 무해성, 유용성에 대한 원칙을 준수하여 질문에 대한 답변을 제공하도록 요청받습니다.

목표, 윤리 원칙 또는 가치와의 정렬에는 여러 유망한 접근이 있습니다. 대표적인 예는 Meaning Alignment Institute의 민주적 미세 조정(Democratic Fine-Tuning) 연구입니다. 이 아이디어를 소개하는 좋은 글은 여기에서 읽을 수 있습니다.

이 훌륭한 인터뷰에 감사드리며, AI 편향에 대한 귀하의 견해를 공유해 주셔서 감사합니다. 더 많은 정보를 원하는 독자는 Prolific을 방문할 수 있습니다.