아준 나라얀, 스마트뉴스 글로벌 신뢰 및 안전 책임자 – 인터뷰 시리즈

아준 나라얀, 스마트뉴스 글로벌 신뢰 및 안전 책임자이며, 또한 AI 윤리 및 기술 정책 전문가입니다. 스마트뉴스는 뉴스 집계 앱으로서 AI와 인간 편집 팀을 사용하여 독자에게 뉴스를 제공합니다.

구글의 아시아 태평양 신뢰 및 안전 허브를 싱가포르에서 설립하는 데 중요한 역할을 했는데, 이 경험에서 어떤 주요 교훈을 배웠나요?

신뢰 및 안전 팀을 구축할 때 국가 수준의 전문 지식이 중요합니다. 왜냐하면 남용은 국가에 따라 다르기 때문입니다. 예를 들어, 일본에서 구글 (GOOGL ) 제품이 남용되는 방식은 동남아시아와 인도에서 남용되는 방식과 다릅니다. 이것은 남용 벡터가 누가 남용하는지와 국가에 따라 다르다는 것을 의미합니다. 따라서 동질성은 없습니다. 이것은 우리가 초기에 배운 것입니다.

또한 문화적 다양성이 해외에서 신뢰 및 안전 팀을 구축할 때 매우 중요하다는 것을 배웠습니다. 구글에서 우리는 문화적 다양성과 이해가 충분히 있는 사람들을 고용했습니다. 우리는 특정 도메인 전문 지식이 있는 사람들을 찾고 있었지만, 또한 언어와 시장 전문 지식이 있는 사람들을 찾고 있었습니다.

또한 현지 문화에 깊이 참여하는 것은 매우 중요하다는 것을 발견했습니다. 우리는 경계를 넘어 신뢰 및 안전 팀을 구축할 때, 엔지니어링 및 비즈니스 팀이 문화에 익숙해질 수 있도록 해야 했습니다. 이것은 모든 사람이 우리가 관리하려고 하는 문제에 더 가까이 있게 해줍니다. 이를 위해 우리는 주요 인원과 함께 분기별로 현지 문화 체험 세션을 진행했으며, 이것이 모든 사람의 문화적 지능을 높이는 데 도움이 되었습니다.

마지막으로, 교차 문화적 이해는 매우 중요했습니다. 일본, 호주, 인도, 동남아시아에서 팀을 관리했으며, 그들이 상호 작용하는 방식은 매우 달랐습니다. 리더로서 모든 사람이 목소리를 내릴 수 있도록 보장하고 싶습니다. 궁극적으로, 이것은 모든 사람이 민감한 작업인 신뢰 및 안전을 수행할 수 있는 고성능 팀을 구축하는 데 모든 것이 설계되었습니다.

이전에는 바이트댄스에서 틱톡 애플리케이션의 신뢰 및 안전 팀에서 일했습니다. 1분 미만의 비디오를 효과적으로 안전하게 모니터링하는 방법은 무엇입니까?

이 질문을 조금 재구성하고 싶습니다. 비디오의 길이가 중요하지 않습니다. 비디오의 길이가 안전성 평가에 영향을 미치지 않습니다.

남용에 대해 생각할 때, 문제점을 생각합니다. 사용자가 취약한 문제는 무엇입니까? 잘못된 정보? 허위 정보? 비디오가 1분이든 1시간이든, 여전히 잘못된 정보가 공유되고 있으며, 남용의 수준은 비슷합니다.

문제 유형에 따라 정책 시행 및 안전 가드레일을 생각해 보며, 취약한 사용자를 보호하는 방법을 생각해 보아야 합니다. 예를 들어, 자해를 하는 사람의 비디오가 있습니다. 이러한 비디오가 존재한다는 알림을 받으면, 즉각적으로 행동해야 합니다. 왜냐하면 누군가가 목숨을 잃을 수 있기 때문입니다. 우리는 이러한 유형의 감지를 위해 기계 학습에 많이 의존합니다. 첫 번째 조치는 항상 당국에 연락하여 그 생명을 구하려는 것입니다. 그보다 중요한 것은 없습니다. 그다음에는 비디오, 라이브 스트림 또는 공유되고 있는 다른 형식을 중단하려고 합니다. 이러한 유해 콘텐츠에 대한 노출을 가능한 한 빨리 최소화해야 합니다.

또한, 증오 발언이 있는 경우, 이를 풀어내는 다른 방법이 있습니다. 또는 집단 괴롭힘이 있는 경우, 문제 유형에 따라 시행 옵션과 안전 가드레일을 조정합니다. 또 다른 좋은 안전 가드레일은 사용자가 댓글에 부적절한 것을 작성할 때 두 번 생각하게 만드는 기계 학습을 구현하는 것입니다. 우리는 그것을 막지 않을 것입니다. 그러나 우리의 희망은 사람들이 무례한 것을 공유하기 전에 두 번 생각할 것이라는 것입니다.

이것은 기계 학습과 키워드 규칙의 조합으로 요약됩니다. 그러나 라이브 스트림의 경우, 우리는 또한 AI에 의해 플래그가 설정된 스트림을 검토하는 인간 모더레이터도 두어 즉시 신고하고 대응 절차를 시행할 수 있도록 했습니다. 왜냐하면 그것들이 실시간으로 발생하기 때문입니다. 사용자가 보고하는 것만으로는 충분하지 않습니다. 따라서 우리는 실시간으로 모니터링할 수 있는 인간이 필요합니다.

2021년부터 스마트뉴스의 신뢰, 안전, 고객 경험 책임자로 일하고 있습니다. 스마트뉴스가 기계 학습과 자연어 처리를 사용하여 높은 품질의 뉴스 콘텐츠를 식별하고 우선순위를 지정하는 방법에 대해 논의해 보세요.

중심 개념은 규칙이나 기계 학습 기술이 기사나 광고를 분석하여 그 기사가 무엇에 관한 것인지 이해할 수 있다는 것입니다.

기사나 광고가 우리의 “규칙”을 위반할 때, 우리는 기계 학습으로 해당 콘텐츠를 인간 편집 팀의 검토자에게 플래그합니다. 그 단계에서, 편집자는 우리의 편집 가치관을 이해하고 기사의 적절성 또는 품질을 신속하게 판단할 수 있습니다. 그다음에는 이를 해결하기 위한 조치가 취해집니다.

스마트뉴스가 플랫폼을 안전하게, 포용적이고 객관적으로 유지하기 위해 AI를 어떻게 사용하는지 설명해 주세요.

스마트뉴스는 초개인화가 자아를 만족시킬 수는 있지만, 편견을 강화하고 사람들을 필터 버블에 가둬 우리 모두를 양극화한다는 전제에서 설립되었습니다.

스마트뉴스가 AI를 사용하는 방식은 조금 다르습니다. 우리는 사용자 참여만을 목표로 최적화하지 않습니다. 알고리즘은 사용자를 이해하려 하지만 사용자의 취향에 지나치게 맞추려는 것은 아닙니다. 우리는 사람들이 더 넓은 관점을 갖도록 장려합니다. 우리의 AI 엔진은 인접한 개념을 넘어선 개념과 기사를 소개합니다.

이 생각는 사람들이 공공의 이익을 위해 알아야 할 것이 있고, 사람들이 자신의 범위를 넓히기 위해 알아야 할 것이 있다는 것입니다. 우리는 이러한 맥락적 분석을 제공하려고 하지만, 동시에 사용자를 감시하는 빅 브라더가 되지 않도록 합니다. 때때로 사람들은 우리의 알고리즘이 피드에 넣은 기사를 좋아하지 않을 수 있습니다. 그러나 사람들은 그 기사를 읽지 않도록 선택할 수 있습니다. 우리는 AI 엔진이 뜻밖의 발견과 호기심을 촉진하는 능력을 자랑스럽게 생각합니다. 이를 무엇이라 부르든 말입니다.

안전성 측면에서 스마트뉴스는 “출판자 점수”라는 것을 가지고 있습니다. 이것은 출판자가 안전한지 아닌지 지속적으로 평가하는 알고리즘입니다. 궁극적으로, 우리는 출판자가 권위 있는 목소리를 가지고 있는지 확인하고 싶습니다. 예를 들어, 우리는 모두 ESPN이 스포츠 분야에서 권위 있는 목소리라고 동의할 수 있습니다. 그러나 ESPN의 콘텐츠를 복사하는 랜덤 블로그라면, 우리는 ESPN이 그 블로그보다 더 높은 순위를 갖도록 해야 합니다. 출판자 점수는 또한 원본성, 기사 게시 시기, 사용자 리뷰 등 다양한 요소를 고려합니다. 궁극적으로, 이는 많은 요소를 고려하는 스펙트럼입니다.

사용자가 읽고 싶은 것을 읽을 수 있도록 하는 것이 가장 중요합니다. 사용자가 클릭베이트 기사를 보고 싶어 하면, 불법이거나 지침을 위반하는 콘텐츠가 아닌 한 막지 않습니다. 사용자에게 강요하지는 않지만, 콘텐츠가 안전하지 않거나 부적절하면 피드에 표시되기 전에 필요한 검토를 합니다.

기자들이 콘텐츠를 생성하는 데 도움을 주기 위해 생성적 AI를 사용하는 것에 대한 당신의 견해는 무엇입니까?

저는 이것이 윤리적인 문제라고 생각하며, 스마트뉴에서 현재 논의하고 있는 것입니다. 스마트뉴에서는 생성적 AI로 생성된 콘텐츠를 제출하는 출판자를 어떻게 볼 것인가?

저는 그 열차가 이미 출발했다고 생각합니다. 오늘날, 기자들은 글을 쓰는 것을 보완하기 위해 AI를 사용하고 있습니다. 이는 규모의 함수입니다. 우리는 상업적으로 비용 효율적인 속도로 기사를 생산할 시간이 없습니다. 특히 뉴스 조직이 계속 직원을 감축하면서, 질문은 얼마나 많은 창의성이 여기에 들어가는가입니다. 기자가 기사를 다듬었는가, 아니면 기자가 완전히 의존하는가입니다.

현재, 생성적 AI는 아직 훈련 데이터가 없는 뉴스 이벤트에 대한 기사를 작성할 수 없습니다. 그러나 일반적인 템플릿을 제공할 수 있습니다. 예를 들어, 학교 총격 사건은 매우 흔하므로, 생성적 AI는 학교 총격 사건에 대한 프롬프트를 제공할 수 있으며, 기자가 피해를 입은 학교의 정보를 넣어 완전한 템플릿을 받을 수 있습니다.

스마트뉴에서 일하는 저의 관점에서, 고려할 가치가 있는 두 가지 원칙이 있습니다. 첫째, 우리는 출판사가 우리에게 콘텐츠가 AI에 의해 생성되었음을 알리기를 원합니다. 우리는 그것을 표시하고 싶습니다. 이렇게 하면 사람들이 기사를 읽을 때, 기사를 누가 썼는지에 대해 잘못된 정보를 얻지 않을 것입니다. 이것은 최고의 투명성입니다.

둘째, 우리는 그 기사가 사실에 부합하기를 원합니다. 우리는 생성적 AI가 때때로 거짓말을 할 수 있다는 것을 알고 있습니다. 따라서 생성적 AI로 작성된 기사는 기자 또는 편집 팀에 의해 사실 확인되어야 합니다.

이전에는 디지털 플랫폼이 디지털 유독성을 싸우기 위해 공통 표준을 만들기 위해 단결해야 한다고 주장했습니다. 이 문제는 얼마나 중요한가요?

저는 이 문제가 매우 중요하다고 생각합니다. 기업이 윤리적으로 운영되기 위해서는, 그리고 인간의 존엄성을 유지하기 위해서는, 플랫폼이 함께 와서 일정한 표준을 개발해야 합니다. 예를 들어, 누구도 자살을 하도록 격려되어서는 안 됩니다. 그러나 우리는 때때로 이러한 유형의 남용을 플랫폼에서 찾습니다. 저는 기업이 함께 와서 이러한 것을 방지하기 위해 노력해야 한다고 생각합니다.

궁극적으로, 인간의 문제에 대해선 경쟁이 없어야 합니다. 누구도 가장 깨끗한 또는 가장 안전한 커뮤니티라는 경쟁을 하지 않아야 합니다. 우리는 모두 사용자가 안전하고 이해되는 커뮤니티를 만들기 위해 노력해야 합니다. 기능에 대해 경쟁하십시오. 그러나 착취에 대해서는 경쟁하지 마십시오.

디지털 회사가 어떻게 함께 일할 수 있나요?

회사는 공통의 가치와 협력의 가능성이 있을 때 함께 일할 수 있습니다. 특히 디지털 남용을 싸우거나, 플랫폼에서 예의 있는 소통을 보장하거나, 분극을 줄일 때, 항상 회사가 함께 일할 수 있는 공간이 있습니다.

상업적인 각도에서 경쟁이 있습니다. 일반적으로 경쟁은 좋습니다. 이는 기업의 역량과 차별화를 높이고 독점 기업이 보장할 수 없는 수준의 효과적인 해결책을 제공합니다. 그러나 사용자를 보호하거나, 예의 있는 소통을 장려하거나, 남용을 줄이는 문제에 대해선, 이러한 주제는 우리가 인간의 가치를 지키고 자유 세계를 유지하기 위해 함께 일해야 하는 것입니다.

저는 모든 플랫폼이 인간의 가치와 자유 세계의 가치를 방어하기 위해 협력할 책임이 있다고 생각합니다.

현재 책임 있는 AI에 대한 당신의 견해는 무엇입니까?

우리는 우리의 삶에서 매우 보급된 무언가의 시작에 있습니다. 이 다음 단계의 생성적 AI는 우리가 아직 완전히 이해하지 못하거나 부분적으로만 이해할 수 있는 문제입니다.

책임 있는 AI에 대해, 강력한 가드레일을 개발하는 것이 매우 중요합니다. 그렇지 않으면, 우리는 생성적 AI 기술의 프랑켄슈타인 몬스터를 만들 수 있습니다. 우리는 모든 것이 잘못될 수 있는 것을 생각해 보아야 합니다. 편향이 알고리즘에 침투하거나, 대형 언어 모델이 잘못된 사람들에 의해 악의적인 행위를 하는 경우, 또는 다른 경우입니다.

기술 자체는 좋거나 나쁨이 아닙니다. 그러나 잘못된 사람들에 의해 악의적인 행위를 하는데 사용될 수 있습니다. 따라서 설계 결함을 이해하기 위해 적대적 테스트를 수행하는 AI 윤리 전문가들에게 시간과 자원을 투자하는 것이 매우 중요합니다. 이는 악용을 예방하는 방법을 이해하는 데 도움이 됩니다. 이것은 책임 있는 AI의 가장 중요한 측면입니다.

AI는 아직 스스로 생각할 수 없으므로, 우리는 기본값을 설정할 수 있는 지능 있는 사람들을 필요로 합니다. 중요한 것은 시점입니다. 너무 늦기 전에 선의를 가진 사람들이 지금 이러한 일을 해야 합니다.

과거에 설계하고 구축한 시스템과 달리, AI는 스스로 반복하고 학습할 수 있습니다. 따라서, 우리는 강력한 가드레일을 설정하지 않으면, 그것이 무엇이 될지 제어할 수 없습니다.

현재, 우리는 일부 큰 회사들이 윤리위원회와 책임 있는 AI 팀을 주요 해고의 일부로 해고하는 것을 보고 있습니다. 기술 주요자들이 이러한 기술을 얼마나 진지하게 생각하고, 이러한 기술의 잠재적인 결점을 얼마나 심각하게 검토하는지 아직은 알 수 없습니다.

스마트뉴와 함께 일하는 것에 대해 더 공유하고 싶은 것이 있나요?

저는 스마트뉴에 합류했습니다. 왜냐하면 저는 그들의 사명에 믿음을 가지고 있기 때문입니다. 그 사명에는 일종의 순수함이 있습니다. 저는 세상이 점점 더 분극화되고 있고, 현재 미디어 리터러시가 충분하지 않다고 믿습니다.

불행히도, 많은 사람들이 WhatsApp 메시지를 진실로 받아들이고, 그것을 액면 그대로 믿습니다. 이것은 엄청난 결과를 초래할 수 있습니다. 특히 폭력입니다. 이것은 사람들이 무엇을 믿을 수 있고, 무엇을 믿을 수 없는지 이해하지 못하기 때문입니다.

사람들을 교육하거나 소비하는 정보의 신뢰성을 판단하는 방법을 알려 주지 않고, 뉴스와 가짜 뉴스를 구분하는 미디어 리터러시를 높이지 않으면, 문제를 계속 키우고 역사가 피하라고 가르쳐 준 잘못을 늘리게 될 것입니다.

스마트뉴에서 저의 작업의 가장 중요한 구성 요소 중 하나는 세상을 더 분극화하지 않도록 도와주는 것입니다. 저는 창립자의 사명을 완수하고 싶습니다. 즉, 사람들이 무엇을 소비하는지 이해하고, 세계와 다양한 관점에 대해 정보를 얻은 의견을 형성할 수 있도록 미디어 리터러시를 향상시키는 것입니다.

이번 인터뷰에 감사드립니다. 더 많은 것을 배우거나 다른 유형의 뉴스 앱을 시도해 보고 싶은 독자는 스마트뉴를 방문하세요.