SmartNews의 글로벌 신뢰 및 안전 책임자 Arjun Narayan – 인터뷰 시리즈

아르준 나라얀, 글로벌 신뢰와 안전의 책임자입니다. SmartNews 뉴스 수집기 앱인 그는 AI 윤리 및 기술 정책 전문가이기도 합니다. SmartNews는 독자를 위해 뉴스를 집계할 때 AI와 인간 편집팀을 사용합니다.

싱가포르에 Google의 신뢰와 안전 아시아 태평양 허브를 구축하는 데 중요한 역할을 하셨습니다. 이 경험에서 배운 핵심 교훈은 무엇인가요?

남용은 규제하는 국가에 따라 매우 다르기 때문에 신뢰 및 안전 팀을 구축할 때 국가 수준의 전문성이 매우 중요합니다. 예를 들어 일본에서 Google 제품이 악용되는 방식은 동남아시아 및 인도에서 악용되는 방식과 다릅니다. 이는 남용 벡터가 남용하는 사람과 거주 국가에 따라 매우 다르다는 것을 의미합니다. 그래서 동질성이 없습니다. 이것은 우리가 일찍 배운 것입니다.

또한 해외에서 신뢰와 안전 팀을 구성할 때 문화적 다양성이 매우 중요하다는 것도 배웠습니다. Google에서는 우리가 고용한 사람들에게 충분한 문화적 다양성과 이해가 있는지 확인했습니다. 우리는 특정 분야에 대한 전문 지식뿐만 아니라 언어 및 시장에 대한 전문 지식도 갖춘 사람을 찾고 있었습니다.

나는 또한 문화적 몰입이 엄청나게 중요하다는 것을 알았습니다. 국경을 넘어 신뢰 및 안전 팀을 구성할 때 엔지니어링 및 비즈니스 팀이 몰입할 수 있도록 해야 했습니다. 이렇게 하면 모든 사람이 우리가 관리하려고 했던 문제에 더 가까이 다가갈 수 있습니다. 이를 위해 핵심 인력과 함께 분기별로 몰입 세션을 진행했으며, 이는 모든 사람의 문화적 IQ를 높이는 데 도움이 되었습니다.

마지막으로, 이문화 이해가 매우 중요했습니다. 나는 일본, 호주, 인도, 동남아시아에서 팀을 관리했는데 그들이 상호 작용하는 방식은 크게 달랐습니다. 리더로서 모든 사람이 자신의 목소리를 찾을 수 있도록 해야 합니다. 궁극적으로 이것은 모두 신뢰 및 안전과 같은 민감한 작업을 실행할 수 있는 고성능 팀을 구축하도록 설계되었습니다.

이전에는 TikTok 애플리케이션용 ByteDance의 신뢰 및 안전 팀에 속해 있었습니다. XNUMX분 미만인 경우가 많은 동영상을 안전을 위해 효과적으로 모니터링하는 방법은 무엇인가요?

동영상이 짧은 형식인지 긴 형식인지는 중요하지 않기 때문에 이 질문을 약간 재구성하고 싶습니다. 동영상의 안전성을 평가할 때 이는 요소가 아니며 길이는 동영상이 악용사례를 퍼뜨릴 수 있는지 여부에 실질적인 영향을 미치지 않습니다.

학대를 생각할 때 학대를 "문제"로 생각합니다. 사용자가 취약한 문제는 무엇입니까? 오보? 그릇된 정보? 해당 동영상이 1분이든 1시간이든 여전히 잘못된 정보가 공유되고 있으며 학대 수준은 여전히 ​​비슷합니다.

문제 유형에 따라 정책 시행 및 안전 가드레일과 취약한 사용자를 보호할 수 있는 방법을 생각하기 시작합니다. 예를 들어, 누군가가 자해를 하는 영상이 있다고 가정해 보겠습니다. 이 영상이 존재한다는 알림을 받으면 누군가가 생명을 잃을 수도 있으므로 긴급히 조치를 취해야 합니다. 우리는 이러한 유형의 탐지를 수행하기 위해 기계 학습에 많이 의존합니다. 첫 번째 조치는 항상 당국에 연락하여 생명을 구하는 것입니다. 이보다 더 중요한 것은 없습니다. 거기서부터 우리는 비디오, 라이브 스트리밍 또는 공유되는 모든 형식을 일시 중단하는 것을 목표로 합니다. 우리는 최대한 빨리 그러한 종류의 유해한 콘텐츠에 대한 노출을 최소화해야 합니다.

마찬가지로 증오심 표현인 경우 이를 푸는 방법은 여러 가지가 있습니다. 또는 따돌림 및 괴롭힘의 경우 문제 유형에 따라 다르며 그에 따라 시행 옵션과 안전 가드레일을 조정할 수 있습니다. 좋은 안전 가드레일의 또 다른 예는 누군가가 댓글에 부적절한 내용을 작성할 때 이를 감지하고 해당 댓글을 게시하기 전에 두 번 생각하도록 프롬프트를 제공할 수 있는 머신 러닝을 구현한 것입니다. 우리는 그들을 반드시 막을 수는 없지만, 우리는 사람들이 의미 없는 것을 공유하기 전에 두 번 생각하기를 바랐습니다.

기계 학습과 키워드 규칙의 조합으로 귀결됩니다. 그러나 라이브 스트림의 경우 AI에 의해 플래그가 지정된 스트림을 검토하는 인간 중재자가 있어 즉시 보고하고 프로토콜을 구현할 수 있습니다. 실시간으로 발생하기 때문에 보고하는 사용자에게 의존하는 것만으로는 충분하지 않으므로 사람이 실시간으로 모니터링해야 합니다.

2021년부터 뉴스 집계 앱인 SmartNews에서 신뢰, 안전 및 고객 경험 책임자였습니다. SmartNews가 기계 학습 및 자연어 처리를 활용하여 고품질 뉴스 콘텐츠를 식별하고 우선 순위를 지정하는 방법에 대해 논의할 수 있습니까?

핵심 개념은 기사나 광고를 분석하고 해당 기사의 내용을 이해할 수 있는 특정 "규칙" 또는 기계 학습 기술이 있다는 것입니다.

우리의 "규칙"을 위반하는 것이 있을 때마다 무언가가 사실적으로 부정확하거나 오해의 소지가 있다고 가정해 봅시다. 기계 학습이 해당 콘텐츠를 편집 팀의 검토자에게 알려줍니다. 그 단계에서 그들은 우리의 편집 가치를 이해하고 기사를 신속하게 검토하고 적절성 또는 품질에 대한 판단을 내릴 수 있습니다. 거기에서 문제를 해결하기 위한 조치가 취해집니다.

SmartNews는 플랫폼이 안전하고 포괄적이며 객관적인지 확인하기 위해 AI를 어떻게 사용합니까?

SmartNews는 초개인화가 자아에 좋지만 편견을 강화하고 사람들을 필터 버블에 넣어 우리 모두를 양극화한다는 전제에서 설립되었습니다.

SmartNews가 AI를 사용하는 방식은 참여를 위해 독점적으로 최적화하지 않기 때문에 약간 다릅니다. 우리의 알고리즘은 당신을 이해하기를 원하지만 반드시 당신의 취향에 맞게 지나치게 개인화되는 것은 아닙니다. 그것은 우리가 시야를 넓히는 것을 믿기 때문입니다. 우리의 AI 엔진은 인접한 개념을 넘어서는 개념과 기사를 소개합니다.

공익을 위해 사람들이 알아야 할 것이 있고, 범위를 넓히기 위해 알아야 할 것이 있다는 생각입니다. 우리가 시도하는 균형은 큰 형님이 되지 않고 이러한 맥락 분석을 제공하는 것입니다. 때때로 사람들은 우리의 알고리즘이 피드에 넣는 것을 좋아하지 않을 것입니다. 그런 일이 발생하면 사람들은 해당 기사를 읽지 않도록 선택할 수 있습니다. 그러나 우리는 뜻밖의 발견, 호기심, 무엇이라고 부르든 간에 AI 엔진의 능력을 자랑스럽게 생각합니다.

안전 측면에서 SmartNews에는 게시자가 안전한지 여부를 지속적으로 평가하도록 설계된 알고리즘인 "게시자 점수"라는 것이 있습니다. 궁극적으로 우리는 퍼블리셔가 권위 있는 목소리를 갖고 있는지 확인하고자 합니다. 예를 들어 ESPN이 스포츠의 권위자라는 데 모두 동의할 수 있습니다. 그러나 ESPN 콘텐츠를 복사하는 임의의 블로그인 경우 ESPN이 해당 임의의 블로그보다 높은 순위에 있는지 확인해야 합니다. 게시자 점수는 또한 독창성, 기사가 게시된 시기, 사용자 리뷰의 모양 등과 같은 요소를 고려합니다. 궁극적으로 우리가 고려하는 많은 요소의 스펙트럼입니다.

모든 것을 능가하는 한 가지는 "사용자가 무엇을 읽고 싶어 하는가?"입니다. 사용자가 클릭 베이트 기사를 보고자 하는 경우 불법이 아니거나 가이드라인을 위반하지 않는 한 중단하지 않습니다. 우리는 사용자에게 강요하지 않지만, 무언가가 안전하지 않거나 부적절한 경우 무언가가 피드에 도달하기 전에 실사를 합니다.

제너레이티브 AI를 사용하여 콘텐츠 제작을 지원하는 저널리스트에 대한 귀하의 견해는 무엇입니까?

저는 이 질문이 윤리적이며 현재 여기 SmartNews에서 논의하고 있는 문제라고 생각합니다. SmartNews는 언론인이 작성하는 대신 생성 AI로 구성된 콘텐츠를 제출하는 게시자를 어떻게 보아야 합니까?

나는 기차가 공식적으로 역을 떠났다고 믿는다. 오늘날 언론인들은 AI를 사용하여 글을 보강하고 있습니다. 그것은 규모의 기능입니다. 특히 뉴스 조직이 직원을 계속 감축함에 따라 상업적으로 실행 가능한 속도로 기사를 생산할 시간이 전 세계적으로 없습니다. 그러면 문제는 여기에 얼마나 많은 창의성이 들어가느냐가 됩니다. 기자가 기사를 다듬었습니까? 아니면 기자가 완전히 의존합니까?

이 시점에서 생성 AI는 훈련 데이터가 없기 때문에 속보 이벤트에 대한 기사를 작성할 수 없습니다. 그러나 여전히 그렇게 할 수 있는 꽤 좋은 일반 템플릿을 제공할 수 있습니다. 예를 들어, 학교 총격 사건은 매우 흔한 일이며 생성 AI가 저널리스트에게 학교 총격 사건에 대한 프롬프트를 제공하고 저널리스트가 영향을 받은 학교를 삽입하여 완전한 템플릿을 받을 수 있다고 가정할 수 있습니다.

SmartNews와 함께 일하는 제 입장에서 고려할 가치가 있다고 생각하는 두 가지 원칙이 있습니다. 첫째, 퍼블리셔가 콘텐츠가 AI에 의해 생성된 시기를 미리 알려주고 이를 레이블로 지정하고자 합니다. 이렇게 하면 사람들이 기사를 읽을 때 누가 기사를 썼는지 오해하지 않습니다. 이것은 최고 수준의 투명성입니다.

둘째, 우리는 그 기사가 사실에 입각하여 정확하기를 바랍니다. 우리는 생성 AI가 원할 때 내용을 구성하는 경향이 있으며 생성 AI로 작성된 모든 기사는 저널리스트나 편집진이 교정해야 한다는 것을 알고 있습니다.

당신은 이전에 기술 플랫폼이 디지털 독성과 싸우기 위해 통합하고 공통 표준을 만들어야 한다고 주장했는데, 이것이 얼마나 중요한 문제입니까?

저는 이 문제가 기업이 윤리적으로 운영되는 것뿐만 아니라 품위와 정중함을 유지하는 데 매우 중요하다고 생각합니다. 제 생각에는 플랫폼이 함께 모여 이러한 인간성을 유지하기 위해 특정 표준을 개발해야 합니다. 예를 들어, 어느 누구도 스스로 목숨을 끊도록 권장되어서는 안 되지만 어떤 상황에서는 플랫폼에서 이러한 유형의 남용을 발견할 수 있으며 이는 기업이 함께 힘을 합쳐 보호해야 한다고 생각합니다.

결국 인류의 문제라면 경쟁이 없어야 한다. 누가 가장 깨끗하고 안전한 커뮤니티인지에 대한 경쟁이 있어서는 안 됩니다. 우리 모두는 사용자가 안전하고 이해받고 있다고 느끼도록 하는 것을 목표로 해야 합니다. 착취가 아닌 기능으로 경쟁합시다.

디지털 회사가 함께 일할 수 있는 방법에는 어떤 것이 있습니까?

기업은 공유된 가치와 협업의 가능성이 있을 때 함께해야 합니다. 회사와 산업 전반에 걸쳐 상호교차성이 있는 공간이 항상 존재합니다. 특히 남용과 싸우거나 플랫폼의 예의를 지키거나 양극화를 줄이는 데 있어서는 더욱 그러합니다. 기업이 협력해야 하는 순간입니다.

물론 경쟁에는 상업적인 측면이 있으며 일반적으로 경쟁은 좋은 것입니다. 이는 회사 전반에 걸쳐 강점과 차별화를 보장하고 독점이 보장할 수 없는 수준의 효능을 가진 솔루션을 제공하는 데 도움이 됩니다.

그러나 사용자를 보호하거나 공손함을 증진하거나 악용 벡터를 줄이는 것과 관련하여 이러한 주제는 자유 세계를 보존하는 데 있어 핵심적인 주제입니다. 이것들은 우리와 인류에게 신성한 것을 보호하기 위해 우리가 해야 할 일입니다. 제 생각에는 모든 플랫폼은 인간의 가치와 우리를 자유로운 세상으로 만드는 가치를 수호하기 위해 협력해야 할 책임이 있습니다.

책임 있는 AI에 대한 현재 견해는 무엇입니까?

우리는 우리 삶에 매우 널리 퍼진 무언가의 시작점에 있습니다. 생성 AI의 다음 단계는 우리가 완전히 이해하지 못하거나 현 시점에서 부분적으로만 이해할 수 있는 문제입니다.

책임감 있는 AI에 관해서는 강력한 가드레일을 개발하는 것이 매우 중요합니다. 그렇지 않으면 Generative AI 기술의 프랑켄슈타인 괴물이 될 수 있습니다. 우리는 잘못될 수 있는 모든 것을 생각하는 데 시간을 할애해야 합니다. 그것이 알고리즘에 스며드는 편견인지, 아니면 잘못된 사람들이 사악한 행동을 하기 위해 대규모 언어 모델 자체를 사용하는지 여부입니다.

기술 자체는 좋고 나쁨이 없지만 나쁜 사람들이 나쁜 일을 하는 데 사용할 수 있습니다. 이것이 설계 결함을 이해하기 위해 적대적 테스트를 수행하기 위해 AI 윤리학자에게 시간과 리소스를 투자하는 것이 매우 중요한 이유입니다. 이것은 남용을 방지하는 방법을 이해하는 데 도움이 될 것이며 이것이 아마도 책임 있는 AI의 가장 중요한 측면이라고 생각합니다.

AI는 아직 스스로 생각할 수 없기 때문에 AI가 프로그래밍될 때 이러한 기본값을 구축할 수 있는 똑똑한 사람이 필요합니다. 지금 당장 고려해야 할 중요한 측면은 타이밍입니다. 우리는 너무 늦기 전에 이러한 일을 지금 수행하는 긍정적인 행위자가 필요합니다.

과거에 우리가 설계하고 구축한 다른 시스템과 달리 AI는 자체적으로 반복하고 학습할 수 있기 때문에 다릅니다. 따라서 무엇을 어떻게 학습하는지에 대한 강력한 가드레일을 설정하지 않으면 AI가 어떻게 될지 제어할 수 없습니다. .

지금 우리는 대규모 해고의 일환으로 일부 대기업이 윤리 위원회와 책임 있는 AI 팀을 해고하는 것을 보고 있습니다. 이 기술 전공자들이 기술을 얼마나 진지하게 받아들이고 있는지, 의사 결정에서 AI의 잠재적인 몰락을 얼마나 진지하게 검토하고 있는지는 두고 봐야 합니다.

Smartnews와의 작업에 대해 공유하고 싶은 다른 사항이 있습니까?

저는 SmartNews의 사명을 믿기 때문에 SmartNews에 합류했습니다. 그 사명에는 특정 순수성이 있습니다. 저는 세상이 더욱 양극화되고 있으며 오늘날 그러한 추세에 대처하는 데 도움이 되는 미디어 리터러시가 충분하지 않다고 굳게 믿습니다.

불행히도 WhatsApp 메시지를 복음으로 받아들이고 액면 그대로 믿는 사람들이 너무 많습니다. 그것은 특히 폭력을 포함하여 엄청난 결과를 초래할 수 있습니다. 이 모든 것은 사람들이 믿을 수 있는 것과 믿을 수 없는 것을 이해하지 못하는 것으로 귀결됩니다.

우리가 사람들을 교육하지 않거나 그들이 소비하는 것의 신뢰성에 대한 결정을 내리는 방법에 대해 알려주지 않는다면 말입니다. 뉴스와 가짜 뉴스를 구별할 수 있는 미디어 리터러시 수준을 도입하지 않는다면 우리는 계속해서 문제를 옹호하고 역사가 우리에게 하지 말라고 가르친 문제를 증가시킬 것입니다.

SmartNews에서 제가 하는 일의 가장 중요한 구성 요소 중 하나는 세계의 양극화를 줄이는 것입니다. 저는 그들이 무엇을 소비하고 있는지 이해하고 세상과 다양한 관점에 대해 정보에 입각한 의견을 제시할 수 있는 미디어 리터러시를 향상시키려는 설립자의 사명을 완수하고 싶습니다.

좋은 인터뷰 감사합니다. 더 자세히 알고 싶거나 다른 유형의 뉴스 앱을 사용해 보고 싶은 독자는 방문하세요. SmartNews.