뉴욕 대학교의 책임있는 AI 센터 소장인 Julia Stoyanovich 교수 – 인터뷰 시리즈

Julia Stoyanovich 교수는 뉴욕 대학교의 Tandon 공과대학 교수이자 책임있는 AI 센터의 창립 소장입니다. 최근에 그녀는 뉴욕 시의회 기술위원회에 AI를 이용한 채용과 고용 결정에 관한 제안된 법안에 대해 증언했습니다.

뉴욕 대학교의 책임있는 AI 센터의 창립 소장으로서, 센터에서 수행하는 몇 가지 이니셔티브에 대해 알려주실 수 있나요?

Steven Kuyan과 함께 R/AI 센터를 공동으로 이끌고 있습니다. Steven과 나는 보완적인 관심과 전문성을 가지고 있습니다. 나는 컴퓨터 과학자로서 데이터 엔지니어링, 책임있는 데이터 과학, 그리고 정책에 대한 강한 관심을 가지고 있습니다. Steven은 NYU Tandon Future Labs의 관리 소장입니다. Future Labs는 이미 뉴욕 시에서 엄청난 경제적 영향을 미친 스타트업 인큐베이터와 액셀러레이터 네트워크입니다. R/AI의 비전은 응용 연구, 공공 교육 및 참여, 그리고 특히 작은 기업을 포함한 모든 기업이 책임있는 AI를 개발하도록 도와주는 것입니다.

최근 몇 개월 동안, R/AI는 자동화된 의사결정 시스템(ADS) 감독에 관한 대화에积極적으로 참여했습니다. 우리의 접근 방식은 교육 활동과 정책 참여의 조합에 기반합니다.

뉴욕 시는 자동화된 의사결정 시스템을 이용한 채용에 관한 제안된 법안을 고려하고 있습니다. 이 법안은 감사를 통해 그리고 공공 공개를 통해 자동화된 의사결정 시스템을 규제합니다. R/AI는 이 법안에 대한 공공 의견을 제출했습니다. 이는 우리의 연구와 여러 공공 참여 활동을 통해 얻은 직업 찾기자들의 통찰력을 기반으로 합니다.

우리는 또한 NYU의 The GovLab과 뮌헨 공과대학교의 AI 윤리 연구소와 함께 “AI 윤리: 글로벌 관점”이라는 무료 온라인 강좌를 개발했습니다. 이 강좌는 이번 달에 출시되었습니다.

R/AI의 또 다른 최근 프로젝트는 “데이터, 책임있게”라는 만화 시리즈입니다. 첫 번째巻은 “Mirror, Mirror”입니다. 이 만화는 영어, 스페인어, 프랑스어로 제공되며, 세 언어 모두에서 화면 판독기를 이용하여 접근할 수 있습니다. 이 만화는 Metro Lab Network와 GovTech로부터 이달의 혁신상を受賞했습니다. 또한 Toronto Star에서도 보도되었습니다.

AI 편향에 관한 현재 또는 잠재적인 문제는 무엇인가요?

이 질문은 복잡하며, 먼저 “편향”이 무엇을 의미하는지 명확히 해야 합니다. 자동화된 채용 시스템은 예측 분석입니다.它们는 과거를 기반으로 미래를 예측합니다. 과거는 회사에서 고용된 개인에 대한 역사적 데이터와 이러한 개인이 직무에서 어떻게 수행했는지에 대한 데이터로 나타납니다. 시스템은 이 데이터에 의해 훈련되며, 통계적 패턴을 식별하고 예측을 위해 이러한 패턴을 사용합니다. 이러한 통계적 패턴은 AI의 “마법”입니다. 명백히, 하지만 중요하게, 이러한 패턴을 얻은 역사적 데이터는 채용되지 않은 개인에 대한 정보는 제공하지 않습니다. 우리는 이러한 개인이 어떻게 직무에서 수행했을지 알지 못합니다. 여기서 편향이 발생합니다. 만약 우리는 특정 인구통계 및 사회경제적 그룹의 개인을 체계적으로 더 많이 고용한다면, 이러한 그룹의 구성원 및 그룹 멤버십과 관련된 특성은 예측 모델의 일부가 됩니다.

AI 편향은 데이터 편향보다 더 넓은 의미를 가지고 있습니다. 이는 기술을 사용하는 경우에 기술적인 해결책이 적절하지 않거나, AI에 대한 잘못된 목표를 설정했을 때, 또는 AI가 배포된 후에 인간-AI 상호작용에서 우리의 주체성을 포기했을 때 발생합니다. 이러한 편향의 이유는 각각 별도의 토론을 필요로 하며, 이 기사에서 다루기에는 공간이 부족합니다. 편향된 데이터에 대해서만 집중하겠습니다.

데이터 편향을 설명할 때, 나는 거울 반사 메타포를 사용합니다. 데이터는 세계의 이미지입니다. 데이터 편향을 생각할 때, 우리는 이 반사를 조사합니다. 데이터 편향의 한 해석은 이 반사가歪曲되어 있습니다. 데이터 편향의 또 다른 해석은, 即使 반사가 100% 충실하게 반영되었다 하더라도, 그것은 오늘날의 세계를 반영하는 것이며,โลก이되어야 하는 세계를 반영하는 것이 아닙니다. 중요하게, 데이터나 알고리즘이 우리에게 완벽한 반영인지, 불완전한 반영인지, 또는 이러한 왜곡이 합쳐지는지를 말할 수 없습니다. 그것은 사람들, 즉 개인, 그룹, 사회 전체에게 달려 있습니다.

예측 분석으로 돌아가면, 데이터의 불균형이 클수록, 이러한 불균형이 예측 모델에 의해 식별되고 미래에 복제될 가능성이 높습니다.

만약 우리의 목표가 공평성과 다양성을 고려한 채용 관행을 개선하는 것이라면, 우리는 이 일을 기계에 아웃소싱할 수 없습니다. 우리는 편향의真正한 원인을 식별하고, 사회-법률-기술적인 해결책을 모든 이해관계자와의 협의를 통해 해결해야 합니다. 기술은 우리가 현状을 개선하는 데 도움을 줄 수 있습니다. 그러나 데이터나 예측 분석을 편향에서 자유롭게 하는 것이 근본적인 차별 문제를 해결할 수 있다고 생각하는 것은 낙관적입니다.

최근에 뉴욕 시의회 기술위원회에서 증언한 내용 중 하나는 다음과 같습니다. “우리는 광고주의 예산과 광고 내용이 모두 페이스북의 광고 전달에 상당한 기여를 합니다. 중요하게, 우리는 고용과 주택 기회에 대한 ‘실제’ 광고의 경우 중성 타겟팅 매개변수에도 불구하고 성별과 인종으로 구분된 전달에 상당한 편향을 관찰합니다.” 이러한 편향을 피하는 해결책은 무엇인가요?

이번에 제가 한 발언은 Ali et al.의 “최적화를 통해 차별: 페이스북의 광고 전달이 편향된 결과를 초래할 수 있는 방법”이라는 훌륭한 논문을 기반으로 합니다. 저자들은 광고 전달 메커니즘 자체가 차별적인 효과를 초래하고 증폭시킨다는 것을 발견했습니다. 이는 특히 페이스북과 다른 플랫폼에서 투명성이 부족한 상황에서 매우 문제적입니다. 플랫폼은 이러한 차별적인 효과를 제어할 수 있다는 것을 긴급하게 입증해야 합니다. 그렇지 않으면, 나는 주택, 고용, 그리고 사람들의 삶과 생계가 걸린 다른 영역에서 개인화된 광고 타겟팅을 계속 사용할 수 있는 정당한 이유를 찾을 수 없습니다.

데이터 과학자와 AI 개발자는 어떻게 하면 다른 의도하지 않은 편향이 시스템에 침투하는 것을 막을 수 있나요?

이것은 데이터 과학자나 어떤 한 이해관계자 그룹에게만 달려있는 문제가 아닙니다. 그러나 데이터 과학자는 이 전쟁의 최전선에 있습니다. 컴퓨터 과학자로서, 나는 우리가 설계한 시스템이 “객관적”, “최적”, 또는 “정확”하다고 생각하는 유혹에 빠지기 쉽습니다. 컴퓨터 과학과 데이터 과학이 얼마나 성공적이고 널리 사용되는지에 따라, 우리는 더 이상 객관성과 정확성의 불가능한 목표 뒤에 숨을 수 없습니다. 우리 기술자들에게는 우리의 위치를 신중하게 생각하고, 우리가 영향받는 사회적 및 정치적 과정에 대해 교육받는 책임이 있습니다. 사회는 우리가 빠르게 움직이고 깨트리는 것을 용납할 수 없습니다. 우리는 느리게 움직이고 반성해야 합니다.

哲學이 과학 및 사회적 담론의 중심이었던 시절이 있었습니다. 그런 다음 수학이 왔고, 컴퓨터 과학이 왔습니다. 이제 데이터 과학이 중심이 되었으며, 우리는 우리의 철학적 뿌리로 돌아가야 합니다.

또 다른 권장 사항은 정보를 제공하는 것입니다. AI나 AI 편향에 대해 잘 모르는 대중을 어떻게 교육할 수 있나요?

기술에 대해 비기술적인 사람들을 교육하고, 기술의 사회적 의미에 대해 기술적인 사람들을 교육해야 할 필요가 있습니다. 이러한 두 가지 목표를 달성하기 위해서는 정부의 강력한 의지와 상당한 투자가 필요합니다. 우리는 이러한 모든 그룹을 위한 자료와 교육 방법을 개발해야 하며, 참여를 khuyến khích하는 방법을 찾아야 합니다. 우리는 이 작업을 상업적 엔티티에게 맡길 수 없습니다. 유럽 연합은 시민들의 기본 AI 교육을 지원하는 여러 정부를 이끌고 있으며, 고등학교 프로그램에 AI 교육과정을 포함하고 있습니다. 우리는 공개적으로 이용 가능한 교육 과정에 대해 작업하고 있으며, 우리는 AI를 우리가 원하는대로 만드는 데 도움을 줄 수 있는 참여적인 대중을 만들고자 합니다. 우리는 이 작업에 대해 매우 흥奮하고 있으며, 다음 달에 더 많은 정보를 기다려 주시기 바랍니다.

감사합니다. 더 많은 정보를 원하는 독자는 책임있는 AI 센터를 방문하십시오.