아준 나라얀, 스마트뉴스 글로벌 신뢰 및 안전 책임자 – 인터뷰 시리즈

아준 나라얀, 스마트뉴스 글로벌 신뢰 및 안전 책임자이며, 또한 AI 윤리 및 기술 정책 전문가입니다. 스마트뉴스는 뉴스 집계 앱으로서 AI와 인간 편집 팀을 사용하여 독자에게 뉴스를 제공합니다.

구글의 아시아 태평양 신뢰 및 안전 허브를 싱가포르에서 설립하는 데 중요한 역할을 했는데, 이 경험에서 어떤 주요 교훈을 배웠나요?

신뢰 및 안전 팀을 구축할 때 국가 수준의 전문 지식이 중요합니다. 왜냐하면 남용은 국가에 따라 다르기 때문입니다. 예를 들어, 일본에서 구글 제품이 남용되는 방식은 동남아시아와 인도에서 남용되는 방식과 다릅니다. 이것은 남용 벡터가 누가 남용하는지와 국가에 따라 다르다는 것을 의미합니다. 따라서 동질성은 없습니다. 이것은 우리가 초기에 배운 것입니다.

또한 문화적 다양성이 해외에서 신뢰 및 안전 팀을 구축할 때 매우 중요하다는 것을 배웠습니다. 구글에서 우리는 문화적 다양성과 이해가 충분히 있는 사람들을 고용했습니다. 우리는 특정 도메인 전문 지식이 있는 사람들을 찾고 있었지만, 또한 언어와 시장 전문 지식이 있는 사람들을 찾고 있었습니다.

또한 문화적 침주는 매우 중요하다는 것을 발견했습니다. 우리는 경계를 넘어 신뢰 및 안전 팀을 구축할 때, 엔지니어링 및 비즈니스 팀이 문화에 익숙해질 수 있도록 해야 했습니다. 이것은 모든 사람이 우리가 관리하려고 하는 문제에 더 가까이 있게 해줍니다. 이를 위해 우리는 주요 인원과 함께 분기별로 침주 세션을 진행했으며, 이것이 모든 사람의 문화적 지능을 높이는 데 도움이 되었습니다.

마지막으로, 교차 문화적 이해는 매우 중요했습니다. 일본, 호주, 인도, 동남아시아에서 팀을 관리했으며, 그들이 상호 작용하는 방식은 매우 다르었습니다. 리더로서 모든 사람이 목소리를 내릴 수 있도록 보장하고 싶습니다. 궁극적으로, 이것은 모든 사람이 민감한 작업인 신뢰 및 안전을 수행할 수 있는 고성능 팀을 구축하는 데 모든 것이設計되었습니다.

이전에는 바이트댄스에서 틱톡 애플리케이션의 신뢰 및 안전 팀에서 일했습니다. 1분 미만의 비디오를 효과적으로 안전하게 모니터링하는 방법은 무엇입니까?

이 질문을 немного 재구성하고 싶습니다. 비디오의 길이가 중요하지 않습니다. 비디오의 길이가 안전성 평가에 영향을 미치지 않습니다.

남용에 대해 생각할 때, 문제점을 생각합니다. 사용자가 취약한 문제는 무엇입니까? 잘못된 정보? 허위 정보? 비디오가 1분이든 1시간이든, 여전히 잘못된 정보가 공유되고 있으며, 남용의 수준은 비슷합니다.

문제 유형에 따라 정책 시행 및 안전 가드레일을 생각해 보며, 취약한 사용자를 보호하는 방법을 생각해 보아야 합니다. 예를 들어, 자해를 하는 사람의 비디오가 있습니다. 이러한 비디오가 존재한다는 알림을 받으면, 즉각적으로 행동해야 합니다. 왜냐하면 누군가의 목숨을 잃을 수 있기 때문입니다. 우리는 이러한 유형의 감지를 위해 기계 학습에 많이 의존합니다. 첫 번째 조치는 항상 당국에 연락하여 그 삶을 구하려고 하는 것입니다. 그다음에는 비디오, 라이브 스트림 또는 공유되는 형식의 노출을 최소화하기 위해 노력합니다. 우리는 이러한 유해 콘텐츠에 대한 노출을 최대한 줄여야 합니다.

또한, 증오 발언이 있는 경우, 이를 풀어내는 다른 방법이 있습니다. 또는 집단 괴롭힘이 있는 경우, 문제 유형에 따라 시행 옵션과 안전 가드레일을 조정합니다. 또 다른 좋은 안전 가드레일은 사용자가 댓글에 부적절한 것을 작성할 때 두 번 생각하게 만드는 기계 학습을 구현하는 것입니다. 우리는 그것을 막지 않을 것입니다. 그러나 우리의 희망은 사람들이 무례한 것을 공유하기 전에 두 번 생각할 것이라는 것입니다.

이것은 기계 학습과 키워드 규칙의 조합으로 요약됩니다. 그러나 라이브 스트림의 경우, 우리는 또한 AI에 의해 플래그가 설정된 스트림을 검토하는 인간 모더레이터를 가지고 있습니다. 왜냐하면它们가 실시간으로 발생하기 때문입니다. 사용자가 보고하는 것만으로는 충분하지 않습니다. 따라서 우리는 실시간으로 모니터링할 수 있는 인간이 필요합니다.

2021년부터 스마트뉴스의 신뢰, 안전, 고객 경험 책임자로 일하고 있습니다. 스마트뉴스가 기계 학습과 자연어 처리를 사용하여 높은 품질의 뉴스 콘텐츠를 식별하고 우선순위를 지정하는 방법에 대해 논의해 보세요.

중심 개념은 규칙이나 기계 학습 기술이 기사를 분석하여 그 기사가 무엇에 관한 것인지 이해할 수 있다는 것입니다.

기사나 광고가 우리의 “규칙”을 위반할 때, 우리는 기계 학습으로 해당 콘텐츠를 인간 편집 팀의 검토자에게 플래그합니다. 그 단계에서, 편집자는 우리의 편집 가치관을 이해하고 기사의 적절성 또는 품질을 신속하게 판단할 수 있습니다. 그다음에는 이를 해결하기 위한 조치가 취해집니다.

스마트뉴스가 플랫폼을 안전하게, 포용적이고 객관적으로 유지하기 위해 AI를 어떻게 사용하는지 설명해 주세요.

스마트뉴스는 초개인화를 좋다고 생각하지만,同時에 모든 것을 분극화하고 필터 버블로 사람들을 넣는다는 것을 알고 있습니다.

스마트뉴스가 AI를 사용하는 방식은 조금 다르습니다. 우리는 독자를 위해 최적화하고 있지만, 그것은 독자의 취향에만 최적화되어 있지 않습니다. 우리는 사람들이 더广い 관점을 가지도록相信합니다. 우리의 AI 엔진은 인접한 개념을 넘어선 개념과 기사를 소개합니다.

이dea는 사람들이 공공의 이익을 위해 알아야 할 것이 있고, 사람들이 자신의 범위를 넓히기 위해 알아야 할 것이 있다는 것입니다. 우리는 이러한 맥락적 분석을 제공하려고 하지만, 동시에 큰 형제가 되지 않도록 합니다. 때때로 사람들은 우리의 알고리즘이 피드에 넣은 기사를 좋아하지 않을 수 있습니다. 그러나 사람들은 그 기사를 읽지 않도록 선택할 수 있습니다. 우리는 알고리즘의 우연성, 호기심, 또는 그것을 부르는 이름에 자랑스럽습니다.

안전성 측면에서 스마트뉴스는 “출판자 점수”라는 것을 가지고 있습니다. 이것은 출판자가 안전한지 아닌지不断으로 평가하는 알고리즘입니다. 궁극적으로, 우리는 출판자가 권위 있는 목소리를 가지고 있는지 확인하고 싶습니다. 예를 들어, 우리는 모두 ESPN이 스포츠 분야에서 권위 있는 목소리라고 동의할 수 있습니다. 그러나 ESPN의 콘텐츠를 복사하는 랜덤 블로그라면, 우리는 ESPN이 그 블로그보다 더 높은 순위를 갖도록 해야 합니다. 출판자 점수는 또한 원본성, 기사 게시 시기, 사용자 리뷰 등 다양한 요소를 고려합니다. 궁극적으로, 이는 많은 요소를 고려하는 스펙트럼입니다.

사용자가 읽고 싶은 것을 읽을 수 있도록 하는 것이 가장 중요합니다. 사용자가 클릭베이트 기사를 보려면, 우리는 그것을 막지 않을 것입니다. 그러나 사용자가 안전하지 않거나 부적절한 콘텐츠를 볼 수 있도록 하지 않을 것입니다. 우리는 콘텐츠가 피드에 표시되기 전에我们的의무를 다합니다.

기자들이 콘텐츠를 생성하는 데 도움을 주기 위해 생성적 AI를 사용하는 것에 대한您的 견해는 무엇입니까?

저는 이것이 윤리적인 문제라고 생각하며, 스마트뉴에서 현재 논의하고 있는 것입니다. 스마트뉴에서는 생성적 AI로 생성된 콘텐츠를 제출하는 출판자를 어떻게 볼 것인가?

저는 그 열차가 이미 출발했다고 생각합니다. 오늘날, 기자들은 글을 쓰는 것을 보완하기 위해 AI를 사용하고 있습니다. 이는 규모의 함수입니다. 우리는 상업적으로 비용 효율적인 속도로 기사를 생산할 시간이 없습니다. 특히 뉴스 조직이 계속 직원을削減하면서, 질문은 얼마나 많은 창의성이 इसम에 들어가는가입니다. 기자가 기사를 다듬었는가, 아니면 기자가 완전히 의존하는가입니다.

현재, 생성적 AI는 아직 훈련 데이터가 없는 뉴스 이벤트에 대한 기사를 작성할 수 없습니다. 그러나 일반적인 템플릿을 제공할 수 있습니다. 예를 들어, 학교 총격 사건은 매우 흔하므로, 생성적 AI는 학교 총격 사건에 대한 프롬프트를 제공할 수 있으며, 기자에게 영향을 받은 학교를 삽입하여 완전한 템플릿을 받을 수 있습니다.

스마트뉴에서 일하는 저의 관점에서, 고려할 가치가 있는 두 가지 원칙이 있습니다. 첫째, 우리는 출판사가 우리에게 콘텐츠가 AI에 의해 생성되었음을 알리기를 원합니다. 우리는 그것을 표시하고 싶습니다.这样하면 사람들이 기사를 읽을 때, 기사를誰が 썼는지에 대해 잘못된 정보를 얻지 않을 것입니다. 이것은最高의 투명성입니다.

둘째, 우리는 그 기사가 사실적으로 정확하다고 생각합니다. 우리는 생성적 AI가 때때로 거짓말을 할 수 있다는 것을 알고 있습니다. 따라서 생성적 AI로 작성된 기사는 기자 또는 편집 팀에 의해 사실 확인되어야 합니다.

이전에는 디지털 플랫폼이 디지털 유독성을 싸우기 위해 공통 표준을 만들기 위해 단결해야 한다고 주장했습니다. 이 문제는 얼마나 중요한가요?

저는 이 문제가 매우 중요하다고 생각합니다. 기업이 윤리적으로 운영되기 위해서는, 그리고 인간의 존엄성을 유지하기 위해서는, 플랫폼이 함께 와서 일정한 표준을 개발해야 합니다. 예를 들어,誰도 自殺을 하도록 격려되어서는 안 됩니다. 그러나 우리는 때때로 이러한 유형의 남용을 플랫폼에서 찾습니다. 저는 기업이 함께 와서 이러한 것을 방지하기 위해 노력해야 한다고 생각합니다.

궁극적으로, 인간의 문제에 대해선 경쟁이 없어야 합니다.誰도 가장 깨끗한 또는 가장 안전한 커뮤니티라는 경쟁을 하지 않아야 합니다. 우리는 모두 사용자가 안전하고 이해되는 커뮤니티를 만들기 위해 노력해야 합니다. 기능에 대해 경쟁하십시오. 그러나 착취에 대해서는 경쟁하지 마십시오.

디지털 회사가 어떻게 함께 일할 수 있나요?

회사는 공통의 가치와 협력의 가능성이 있을 때 함께 일할 수 있습니다. 특히 디지털 남용을 싸우거나, 플랫폼에서 문명을 보장하거나, 분극을 줄일 때, 항상 회사가 함께 일할 수 있는 공간이 있습니다.

상업적인 각도에서 경쟁이 있습니다. 일반적으로 경쟁은 좋습니다. 그것은 회사가 강하고 차별화된 솔루션을 제공하도록 도와줍니다. 그러나 사용자를 보호하거나, 문명을 홍보하거나, 남용을 줄이는 문제에 대해선, 이러한 주제는 우리가 인간의 가치를 지키고 자유 세계를 유지하기 위해 함께 일해야 하는 것입니다.

저는 모든 플랫폼이 인간의 가치와 자유 세계의 가치를 방어하기 위해 협력할 책임이 있다고 생각합니다.

현재 책임 있는 AI에 대한您的 견해는 무엇입니까?

우리는 우리의 삶에서 매우 보급된 무언가의 시작에 있습니다. 이 다음 단계의 생성적 AI는 우리가 아직 완전히 이해하지 못하거나 부분적으로만 이해할 수 있는 문제입니다.

책임 있는 AI에 대해, 강력한 가드레일을 개발하는 것이非常히 중요합니다. 그렇지 않으면, 우리는 생성적 AI 기술의 프랑켄슈타인 몬스터를 만들 수 있습니다. 우리는 모든 것이 잘못될 수 있는 것을 생각해 보아야 합니다. 편향이 알고리즘에 침투하거나, 대형 언어 모델이 잘못된 사람들에 의해 악의적인 행위를 하는 경우, 또는 다른 경우입니다.

기술 자체는 좋거나 나쁨이 아닙니다. 그러나 잘못된 사람들에 의해 악의적인 행위를 하는데 사용될 수 있습니다. 이것은 왜 적대적 테스트를 통해 설계 결함을 이해하고, 악용을 방지하기 위해 시간과 자원을 투자하는 것이非常히 중요합니다. 이것은 책임 있는 AI의 가장 중요한 측면입니다.

AI는 아직 스스로 생각할 수 없으므로, 우리는 기본값을 설정할 수 있는 지능 있는 사람들을 필요로 합니다. 지금은 이러한 긍정적인 행위자들이 이러한 일을 하는 것이 중요합니다. 너무 늦기 전에, 이러한 기술이 우리를지배하기 전에, 우리는 강력한 가드레일을 설정해야 합니다.

과거에 설계하고 구축한 시스템과 달리, AI는 스스로 반복하고 학습할 수 있습니다. 따라서, 우리는 강력한 가드레일을 설정하지 않으면, 그것이 무엇이 될지 제어할 수 없습니다.

현재, 우리는 일부 큰 회사들이 윤리위원회와 책임 있는 AI 팀을 주요 해고의 일부로 해고하는 것을 보고 있습니다. 기술 주요자들이 이러한 기술을 얼마나 серьез하게 생각하고, 이러한 기술의 잠재적인 결점을 얼마나 심각하게 검토하는지 아직은 알 수 없습니다.

스마트뉴와 함께 일하는 것에 대해 더 공유하고 싶은 것이 있나요?

저는 스마트뉴에 합류했습니다. 왜냐하면 저는 그들의使命에 믿음을 가지고 있기 때문입니다. 그使命에는某种 纯度가 있습니다. 저는 세상이 점점 더 분극화되고 있고, 현재 미디어 리터러시가 충분하지 않다고 믿습니다.

불행히도, 많은 사람들이 WhatsApp 메시지를 진실로 받아들이고, 그것을 yüz值으로 믿습니다. 이것은 엄청난 결과를 초래할 수 있습니다. 특히 暴力입니다. 이것은 사람들이 무엇을 믿을 수 있고, 무엇을 믿을 수 없는지 이해하지 못하기 때문입니다.

우리가 사람들을 교육하지 않거나, 그들이 무엇을 소비할 수 있고, 무엇을 소비할 수 없는지에 대해 결정할 수 있도록 하지 않으면, 우리는 계속해서 문제를 옹호하고, 역사적으로 배운 것을하지 말아야 할 일들을 계속할 것입니다.

스마트뉴에서 저의 작업의 가장 중요한 구성 요소 중 하나는 세상을 더 분극화하지 않도록 도와주는 것입니다. 저는 창립자의使命을 완수하고 싶습니다. 즉, 사람들이 무엇을 소비하는지 이해하고, 세계와 다양한 관점에 대해 정보를 얻은 의견을 형성할 수 있도록 미디어 리터러시를 향상시키는 것입니다.

이번 인터뷰에 감사드립니다. 더 많은 것을 배우거나 다른 유형의 뉴스 앱을 시도해 보고 싶은 독자는 스마트뉴를 방문하세요.