성별에 따른 언어 번역을 위한 Apple의 솔루션

Apple은 USC와 협력하여 iOS18 운영 체제에서 번역 시 성별 선택권을 더 확대하기 위해 머신 러닝 방법을 적용한 논문을 발표했습니다.

iOS18에서는 사용자가 기본 번역 앱에서 번역된 단어에 대해 대체 성별 제안을 선택할 수 있습니다. 출처: https://support.apple.com/guide/iphone/translate-text-voice-and-conversations-iphd74cb450f/ios

작업에서 다루는 문제(Apple이 발표) LINK)은 어느 정도 현재 성 정의에 대한 주제별 토론에 참여하지만 훨씬 오래된 문제, 즉 세계에서 알려진 84개 언어 중 229개가 성별 기반의 젠더 시스템을 사용하다.

빨간색 점은 성별 기반의 젠더 시스템을 사용하는 언어를 나타냅니다. 출처: https://wals.info/feature/31A#map

놀랍게도 영어는 성별 기반 범주에 속함, 남성형 또는 여성형 단수 대명사를 할당하기 때문입니다.

대조적으로, 모든 로맨스 언어 (포함하여 5 억 스페인어 사용자) 및 러시아어와 같은 여러 다른 인기 언어에서는 번역 시스템이 언어의 성별 지정을 처리하도록 강제하는 방식으로 성별 합의가 필요합니다.

새로운 논문은 문장의 모든 가능한 스페인어 번역을 관찰하여 이를 설명합니다. 비서가 상사에게 화가 났다:

새로운 논문에서는 영어에서 스페인어로 번역된 '비서가 상사에게 화가 났다'라는 문장에서 잠재적인 성별 할당의 예를 보여줍니다. 출처: https://arxiv.org/pdf/2407.20438

더 긴 텍스트의 경우 순진한 번역은 충분하지 않으며, 이는 처음부터 성별을 확립할 수 있습니다.'그', '그녀', 등)을 사용하고 그 이후로는 성별을 다시 언급하지 않습니다. 그럼에도 불구하고 번역은 참여자의 지정된 성별을 기억해야 합니다. 텍스트 전체에 걸쳐.

토큰 기반 접근 방식은 번역을 개별적인 청크로 처리하기 때문에 어려울 수 있으며, 콘텐츠가 진행되는 동안 할당된 성별 맥락을 잃을 위험이 있습니다.

더 나쁜 점은, 편향된 성별 지정에 대한 대체 번역을 제공하는 시스템은 단순히 성별 명사를 대체하는 것만으로는 이를 무차별적으로 수행할 수 없고, 언어의 다른 모든 부분이 변경된 성별 명사와 일치하도록 해야 한다는 것입니다.

Apple/USC 논문의 이 예에서 우리는 다음을 볼 수 있습니다. 비서 남성의 성별이 지정되었습니다. 단수 과거 였다 여성형으로 남겨졌습니다 (했다):

무분별한 성별 대체는 필수적인 성별 일치를 무시할 수 있습니다. 이 예에서 'enojada'라는 단어는 남성형 'El secretario'와 일치하도록 'enojado'로 바꿔야 합니다.

번역 시스템은 또한 성별과 관련하여 특정 언어의 편심성에 대처해야 합니다. 논문에서 지적했듯이 대명사 I 힌디어에는 성별이 구분되어 있어 성별에 대한 흔하지 않은 단서를 제공합니다.

성 평등 문제

. 새 용지제목 기계 번역에서 성별 대안 생성Apple과 USC 연구원들은 다음과 같은 제안을 합니다. 준 감독 성별이 모호한 엔터티를 엔터티 수준 대안의 배열로 변환하는 방법입니다.

iOS18의 Apple Translate 앱에서 번역을 알리는 데 사용된 시스템은 대규모 언어 모델(LLM)을 사용하여 언어 스키마를 구성합니다. 미세 조정 사전 훈련된 오픈소스 기계 번역 모델.

이러한 시스템의 번역 결과는 다음을 포함하는 아키텍처로 학습되었습니다. 성 구조 – 동일한 개체를 나타내는 다양한 성별의 명사의 다양한 형태를 포함하는 구문 그룹입니다.

논문 상태*:

'열차 데이터에 존재하는 성별 편향은 자연어 처리(NLP) 시스템으로 유입되어 전파되는 것으로 알려져 있습니다. 잠재적 증폭 이러한 편견의. 이러한 편견은 종종 오류의 근본 원인이기도 합니다.

예를 들어, 기계 번역(MT) 시스템은 다음과 같습니다. 의사를 스페인어로 번역하다 médico (남성형) médica (여성형) 대신 "의사가 간호사에게 시술을 도와달라고 요청했습니다"라는 입력을 고려합니다.

'잘못된 성별 지정을 방지하기 위해 기계번역 시스템은 맥락을 통해 성별을 명확하게 구분해야 합니다. 맥락을 통해 올바른 성별을 판단할 수 없는 경우, 모든 유효한 성별 선택을 포괄하는 여러 번역 대안을 제공하는 것이 합리적인 접근 방식입니다.'

연구자들이 내놓은 접근방식은 단일 토큰의 변환을 사용자가 제어하는 ​​배열로 효과적으로 전환합니다.

(논문에서는 언급하지 않았지만 이를 통해 Apple Translate나 번역 서비스를 제공하는 유사한 포털에서 사용자 선택 사항을 모델의 후속 반복에 피드백할 가능성이 열렸습니다.)

Apple과 USC가 개발한 모델은 다음과 같은 측면에서 평가되었습니다. GATE 그리고 MT-GenEval 테스트 세트. GATE에는 최대 3개의 성별 모호한 엔터티가 있는 소스 문장이 포함되어 있는 반면, MT-GenEval에는 성별을 추론할 수 없는 자료가 포함되어 있어, 저자는 이것이 사용자에게 대체 성별 옵션을 제공해서는 안 되는 경우를 이해하는 데 도움이 된다고 말합니다.

두 경우 모두, 프로젝트 목표에 맞게 테스트 세트에 다시 주석을 달아야 했습니다.

연구원들은 시스템을 훈련하기 위해 새로운 자동 시스템을 사용했습니다. 데이터 확대 앞서 언급한 테스트 세트와는 대조적으로, 이 알고리즘은 사람이 주석을 단 것입니다.

Apple 큐레이션에 기여하는 데이터 세트는 다음과 같습니다. Europarl; 위키타이틀및 위키매트릭스. 코퍼스는 다음으로 나뉘었습니다. G-태그 (12,000개의 문장 포함) 머리말 모든 엔터티에 대해 성별이 모호한 주석과 함께; 지트랜스 (50,000개의 문장 포함)에는 성별이 모호한 개체와 성별 정렬이 포함되어 있습니다.

저자들은 다음과 같이 주장합니다.

'저희가 아는 한, 이것은 성별 모호성을 담고 있고 그것이 번역에서 성별적 형태에 어떤 영향을 미치는지 보여주는 최초의 대규모 코퍼스입니다.'

이 프로젝트에 대한 데이터 세트와 다양한 데이터가 GitHub에서 사용 가능이 데이터는 영어, 러시아어, 독일어, 프랑스어, 포르투갈어, 스페인어 등 5개 언어 쌍을 특징으로 합니다.

저자는 활용했다 사전 접근 방식 2019년부터 모델에 성별 정렬을 출력하는 기능을 부여하여 교육을 실시합니다. 크로스 엔트로피 오프 및 추가를 정렬 손실.

데이터 증강 루틴의 경우 저자는 기존 방식을 피했습니다. 규칙 기반 방법데이터 중심 접근 방식을 선호하고 미세 조정합니다. BERT G-Tag 데이터 세트에 대한 사전 훈련된 언어 모델.

더블 테이크

모호한 성별 엔터티가 감지되는 경우, Apple과 USC는 사전 훈련된 언어 모델의 미세 조정과 LLM의 사용이라는 두 가지 방법을 모색했습니다.

첫 번째 방법과 관련하여 논문에서는 다음과 같이 기술합니다.

'우리는 G-Trans 데이터 세트에서 추출한 이중 텍스트에 사전 훈련된 MT 모델 M을 미세 조정합니다. 이 이중 텍스트의 소스 문장에는 남성형 또는 여성형으로 태그된 모호한 엔터티가 포함되어 있습니다. / '태그가 있고, 대상 번역은 성별 태그를 감안했을 때 올바른 성별 변형을 보입니다.'

G-Trans 데이터세트에서 이중 텍스트를 추출하기 위한 스키마를 보여주는 그림입니다.

위 이미지에서 하단 가운데 열에는 미세 조정된 텍스트가, 오른쪽 열에는 원하는 출력이 표시되어 있으며 그 기본 근거는 위에 설명되어 있습니다.

이 접근 방식을 위해 저자는 다음을 사용했습니다. 격자 재점수 방법에서 2020년 초 작업. 대상 도메인(성별)만 처리되도록 하려면 제한된 빔 검색 필터로 사용되었습니다.

LLM 접근법의 경우, 저자는 제공된 번역을 다시 작성하여 성별 할당을 제공함으로써 LLM을 편집자로 사용하는 전략을 고안했습니다.

LLM은 성별을 지정하기 위해 맥락 내 예를 사용하여 제시됩니다.

두 가지 접근 방식의 결과를 연결하여 소스 토큰을 분류하도록 모델을 미세 조정했습니다. 정렬 된 (아래 스키마에서 '1'로 표시됨) 또는 정렬되지 않은 (아래 '2'로 표시).

두 가지 접근방식의 결과를 연결하기 위한 스키마입니다.

데이터 및 테스트

The 모호한 실체 이 프로젝트에 사용된 감지기는 Facebook AI의 미세 조정을 통해 개발되었습니다.  xlm-로버타-대형 모델, 사용 변압기이를 위해 다섯 가지 언어 쌍 모두에 걸쳐 결합된 G-태그가 사용되었습니다.

앞서 언급한 두 가지 접근 방식 중 첫 번째 방식에서는 엠투엠 2B 모델은 다음에 대해 훈련되었습니다. 페어섹Wiktionary에서 제공하는 성별 변형을 포함하여 G-Trans 데이터 세트의 이중 텍스트 데이터와 공동으로 사용합니다.

LLM 방법의 경우 저자는 다음을 사용했습니다. GPT-3.5-터보성별 구조의 정렬을 위해 xlm-roberta-large가 다시 사용되었으며, 이번에는 G-Trans에서 추출된 성별 정렬이 사용되었습니다.

대안 평가를 위한 측정항목, 구조( 정확 그리고 소환), 그리고 정렬 정확도.

첫 번째 두 가지는 자명하지만 정렬 정확도는 알려진 올바른 소스 ID에 맞는 출력 성별 구조의 백분율을 측정하고 사용합니다. δ-BLEU 방법MT-GenEval 방법론에 따라.

데이터 증강 파이프라인의 결과는 다음과 같습니다.

데이터 증강 테스트 결과입니다. 위쪽 화살표는 '높을수록 좋음', 아래쪽 화살표는 '낮을수록 좋음'을 나타냅니다.

여기서 저자는 다음과 같이 논평합니다.*

'M2M과 GPT는 영어-러시아어를 제외하고는 대체로 비슷한 성과를 보이며, 영어-러시아어에서는 GPT가 훨씬 낮은 대안 회수율(58.7 대 89.3)을 달성합니다. 생성된 젠더 구조의 품질은 영어-독일어와 영어-포르투갈어에서 GPT가 더 좋고, 영어-스페인어와 영어-러시아어에서 M2M이 더 좋습니다. 이는 구조 지표에서 확인할 수 있습니다.

영어-이탈리아어에 대한 G-Trans 데이터가 없으므로 M2M 모델의 결과와 영어-이탈리아어의 정렬 정확도는 순전히 zero-shot 일반화에 기인합니다. M2M 및 XLM 모델. '

연구진은 또한 GATE가 명시한 조건에 따라 M2M을 통해 데이터 증강 시스템의 성능을 GATE의 문장 수준 성별 재작성 시스템과 비교했습니다.

Apple/USC 데이터 증강 파이프라인은 GATE 문장 수준 방법과 맞붙었습니다.

여기 논문에서는 다음과 같이 기술합니다.

'영어-이탈리아어를 제외하고 정확도는 비교적 낮은 수준으로 유지하면서 재현율은 크게 향상되었습니다. 저희 시스템은 세 가지 언어 쌍 모두에서 GATE가 제안한 F.5 지표를 능가하는 성능을 보입니다.'

마지막으로 저자들은 다양한 '바닐라' 다국어 모델을 훈련했습니다. 바닐라 바이텍스트. 기여 데이터 세트는 WikiMatrix였습니다. 위키타이틀, 다중 UN, 뉴스해설및 틸데.

두 개의 추가 바닐라 모델이 훈련되었으며, 그 중 하나는 접두사 태그가 붙은 G-Trans 데이터 세트를 통합했습니다. 이는 감독 기준으로 활용되었으며, 세 번째는 성별 구조와 정렬을 통합한 것입니다(이 목적을 위해 GPT의 API 기반 서비스를 사용하는 것은 비용이 많이 들기 때문에 더 작은 로컬 모델에 기반함).

이 모델은 2022년에 테스트되었습니다. 플로레스 데이터 세트.

엔드투엔드 바닐라 기계 번역 모델이 테스트되었습니다(P = 정확도, R = 재현율).

이 논문은 이러한 결과를 요약합니다.

'바닐라 모델은 대안을 생성할 수 없으며 남성형을 생성하는 데 큰 편향을 보입니다(δ-BLEU 범위: 5.3~12.5포인트).

'이 편향은 감독된 기준선에 의해 크게 감소합니다. 증강된 데이터로 훈련된 모델은 편향을 더욱 줄이고 대체 지표, 정렬 정확도 및 δ-BLEU 측면에서 최상의 성능을 얻습니다.

이는 데이터 증강 파이프라인의 효과를 보여줍니다. 증강된 데이터를 통해 지도 학습 데이터가 부족한 영어-이탈리아어 학습 시스템을 경쟁력 있게 훈련할 수 있습니다.

저자들은 모델의 성공은 번역 방법에서 성별 할당을 합리화하려는 NLP의 노력이라는 더 넓은 맥락에서 고려되어야 한다고 결론짓고, 이는 여전히 해결되지 않은 문제라고 지적합니다.

연구자들은 얻은 결과가 개체 수준에서 성별 중립적인 번역 및/또는 성별에 대한 모호성 해소라는 목표를 완전히 달성하지는 못했다고 생각하지만, 이 작업이 기계 번역의 가장 어려운 분야 중 하나에 대한 향후 탐색을 위한 '강력한 도구'가 될 것이라고 믿고 있습니다.

* 저자의 인라인 인용을 하이퍼링크로 변환

첫 번째 게시일 8년 2024월 XNUMX일 화요일