AI를 이용한 뉴스 기사 편향성 검사 도구, 파이썬에서 사용 가능

캐나다, 인도, 중국, 호주의 연구자들이 협력하여 뉴스 기사에서 불공정한 언어를 식별하고 대체할 수 있는 무료 파이썬 패키지를 개발했습니다.

이 시스템은 Dbias라고 불리며, 다양한 기계 학습 기술과 데이터베이스를 사용하여 편향된 텍스트를 정제할 수 있는 3단계의 순환 워크플ロー가 포함되어 있습니다.

Dbias가 편향된 언어를 중립적인 언어로 변환하는 예시

이 시스템은 재사용 가능한 자체 포함 파이프라인으로, Hugging Face에서 Pip를 통해 설치할 수 있으며, 기존 프로젝트에 보충 단계, 애드온 또는 플러그인으로 통합할 수 있습니다.

4월에는 Google Docs에서 유사한 기능이 비판을 받았는데, 그 이유는 편집할 수 없는 것이었습니다. 반면 Dbias는 사용자가 원하는 뉴스 데이터에 대해 더 선택적으로 훈련할 수 있으며, 사용자 정의 공정성 지침을 개발할 수 있습니다.

Dbias 파이프라인의 주요 차이점은 ‘로딩된 언어’를 중립적인 언어로 자동으로 변환하는 것입니다. 이는 사용자를 계속 교육하는 것이 아니라, 사용자가 윤리적 필터를 정의하고 시스템을 훈련시키는 것입니다.

Dbias 워크플로우의 개념적 아키텍처

연구자들은 Dbias가 현재까지 개발된 최초의真正로 구성 가능한 편향성 검사 패키지라고 말합니다. 이는 자연어 처리의 하위 분야에서 이전에 특징지어 왔던 오프-더-쉘프 어셈블리 프로젝트와 대조됩니다.

新的 논문은 뉴스 기사에서 공정성을 보장하는 접근법이라고 제목이 붙여져 있으며, 토론토 대학교, 토론토 메트로폴리탄 대학교, 인도의 방갈로르 환경 자원 관리, 중국의 딥블루 아카데미 오브 사이언스, 시드니 대학교의 기여자들로부터 나왔습니다.

방법

Dbias의 첫 번째 모듈은 Bias Detection으로, DistilBERT 패키지를 사용합니다. 이는 구글의 BERT의高度 최적화된 버전입니다. 이 프로젝트에서는 DistilBERT를 미디어 편향 주석(MBIC) 데이터셋에 대해 미세 조정했습니다.

MBIC는 허핑턴 포스트, USA 투데이, MSNBC를 포함한 다양한 미디어 소스에서 뉴스 기사를 포함합니다. 연구자들은 데이터셋의 확장 버전을 사용했습니다.

원래 데이터는 크라우드소싱된 작업자들에 의해 주석이 달렸습니다. 그러나 연구자들은 추가적으로 주석이 달리지 않은 편향된 인스턴스를 식별하고 수동으로 추가했습니다. 식별된 편향은 인종, 교육, 민족, 언어, 종교, 성별과 관련이 있었습니다.

다음 모듈은 Bias Recognition으로, 명명된 엔티티 인식(NER)을 사용하여 입력 텍스트에서 편향된 단어를 식별합니다. 논문에는 다음과 같이 쓰여 있습니다:

‘예를 들어, “토네이도와 기후 변화에 대한 유사 과학적 과장”이라는 뉴스는 이전의 편향 감지 모듈에 의해 편향된 것으로 분류되었으며, 편향 인식 모듈은 “유사 과학적 과장”이라는 단어를 편향된 단어로 식별할 수 있습니다.’

NER는 이 작업에 특화되어 있지 않지만, 편향 식별을 위해 이전에 사용되었습니다. 특히 2021년 영국의 더럼 대학교 프로젝트에서 사용되었습니다.

이 단계에서는 RoBERTa와 SpaCy 영어 트랜스포머 NER 파이프라인을 결합하여 사용했습니다.

다음 단계는 Bias Masking으로, 식별된 편향된 단어에 대한 다중 마스킹을 포함합니다. 이는 여러 개의 편향된 단어가 식별된 경우에 순차적으로 작동합니다.

Dbias의 세 번째 단계에서 로딩된 언어가 대체됩니다.

필요에 따라, 이 단계의 피드백은 파이프라인의 시작으로 다시 전송되어 더 많은 대체 문구 또는 단어가 생성될 때까지 평가를 반복합니다. 이 단계에서는 마스킹 언어 모델링(MLM)을 사용합니다. 이는 페이스북 연구소가 주도한 2021년 협력 프로젝트에서 확립된 방식과 일치합니다.

일반적으로 MLM 작업은 15%의 단어를 무작위로 마스킹하지만, Dbias 워크플로는 식별된 편향된 단어를 입력으로 사용하도록 지시합니다.

이 아키텍처는 구글 콜랩 프로에서 NVIDIA (NVDA ) P100에 24GB의 VRAM과 배치 크기 16을 사용하여 구현되고 훈련되었습니다. 두 개의 레이블(편향과 중립)을 사용했습니다.

테스트

연구자들은 Dbias를 다섯 가지 비교 가능한 접근 방식과 비교했습니다: LG-TFIDF와 로지스틱 회귀 및 TfidfVectorizer를 사용한 TFIDF 단어 임베딩; LG-ELMO; MLP-ELMO(ELMO 임베딩을 포함하는 피드포워드 인공 신경망); BERT; 및 RoBERTa.

테스트에 사용된 지표는 정확도(ACC), 정밀도(PREC), 재현율(Rec) 및 F1 점수였습니다. 연구자들은 Dbias와 같은 단일 파이프라인에서 세 가지 작업을 모두 수행할 수 있는 기존 시스템이 없다는 점을 고려하여, Dbias의 주요 작업인 편향 감지와 인식을 평가했습니다.

Dbias 테스트 결과

Dbias는 모든 비교 프레임워크를 능가하는 결과를 показ했습니다. 이는 더 무거운 처리 부하를 가진 프레임워크도 포함합니다.

논문에는 다음과 같이 쓰여 있습니다:

‘결과는 또한 깊은 신경망 임베딩이 일반적으로 전통적인 임베딩 방법(e.g., TFIDF)보다 편향 분류 작업에서 더 나은 성능을 보인다는 것을 보여줍니다. 이는 ELMO와 같은 깊은 신경망 임베딩이 LG와 함께 사용될 때 TFIDF 벡터화보다 더 나은 성능을 보인다는的事実에서 알 수 있습니다.’

‘이는 깊은 신경망 임베딩이 텍스트의 다양한 컨텍스트에서 단어의 컨텍스트를 더 잘 캡처할 수 있기 때문일 것입니다. 깊은 신경망 임베딩과 깊은 신경망 방법(MLP, BERT, RoBERTa)은 또한 전통적인 기계 학습 방법(LG)보다 더 나은 성능을 보입니다.’

연구자들은 또한 트랜스포머 기반 방법이 편향 감지에서 경쟁 방법을 능가한다고 주장합니다.

추가 테스트에서는 Dbias와 다양한 SpaCy Core Web 버전(소형, 중형, 대형)을 비교했습니다. Dbias는 이러한 테스트에서도 최고의 성능을 보였습니다:

연구자들은 편향 인식 작업이 일반적으로 더 큰 모델과 더 많은 데이터 포인트에서 더 나은 정확도를 보인다는 것을 관찰합니다. 그들은 또한 향후 이 분야에서 더 나은 성과를 얻기 위해서는 더 높은 품질의 데이터셋을 주석화하는 노력이 필요하다고 주장합니다.

전체와 세부

이러한 미세한 편향성 인식 프로젝트가 궁극적으로 편향성을 찾는 프레임워크에 통합되어, 더 넓은 관점에서 편향성을 고려하고, 특정한 이야기를 다루는 것이 편향성의 행위라는 것을 이해할 수 있기를 바랍니다.

2022년 7월 14일 처음 게시되었습니다.