생성적 AI는 멸종 위기에 처한 언어를 위한 죽음의 선고가 아니다

유네스코에 따르면, 2100년까지 언어의 절반이 멸종할 수 있다. 많은 사람들이 생성적 AI가 이 과정에 기여하고 있다고 말한다.

언어 다양성의衰退은 AI 또는 인터넷으로 시작되지 않았다. 그러나 AI 는 원주민 언어와 저자원 언어의衰退을 가속화할 위치에 있다.

세계의 7,000개 이상의 언어 중 대부분은 AI 모델을 훈련하기 위한 충분한 자원을 가지고 있지 않으며, 많은 언어가 문자 형태가 없다. 이는 몇 개의 주요 언어가 인간의 잠재적 AI 훈련 데이터의 주도자가 되고, 대부분의 언어가 AI 혁명에서 뒤처질 수 있으며 완전히 사라질 수 있다.

간단한 이유는 대부분의 उपलब한 AI 훈련 데이터가 영어로 되어 있다. 영어는 대규모 언어 모델(LLM)의 주된 동력원이며, 少ない 언어를 사용하는 사람들은 AI 기술에서 대표되지 않는다.

다음 세계 경제 포럼의 통계를 고려해 보자:

• 모든 웹사이트의 3분의 2는 영어로 되어 있다.
• GenAI가 학습하는 대부분의 데이터는 웹에서 수집된다.
• 세계 인구의 20% 미만이 영어를 사용한다.

AI가 우리의 일상 생활에 더 깊이 침투할수록, 우리는 모두 언어의 공평성을 생각해야 한다. AI는 대규모로 문제를 해결할 수 있는 잠재력을 가지고 있으며, 그 약속은 영어 사용자만의 세계에 국한되어서는 안 된다. AI는 발达한 국가의 사람들의 개인과 전문적인 삶을 개선하는 편의와 도구를 만들고 있다.

저자원 언어를 사용하는 사람들은 기술에서 대표되지 않는 것을 당연하게 여긴다. 웹사이트가 그들의 언어로 되어 있지 않거나, 그들의 방언을 Siri가 인식하지 못하는 경우가 많다. 저자원 언어에서 उपलब한 텍스트는 품질이 낮고(자체적으로 의심스러운 정확도로 번역됨) 범위가 좁다.

사회는 어떻게 하면 저자원 언어가 AI 방정식에서 빠지지 않도록 할 수 있을까? 언어가 AI의 약속에 대한 장벽이 되지 않도록 어떻게 할 수 있을까?

언어 包容性을 위한 노력으로, 일부 주요 기술 기업들은 거대한 다국어 언어 모델(MLM)을 훈련하는 이니셔티브를 가지고 있다. 예를 들어, Microsoft (MSFT ) Translate는 “모든 언어, 모든 곳에서”를 지원하겠다고 약속했다. 그리고 Meta는 “언어를 남기지 말자”라는 약속을 했다. 이러한 약속은 칭찬할 만하지만, 실제로 가능한가?

음성 기술의 발전

AI 모델은 주로 텍스트에 훈련되기 때문에, 언어 다양성을 지원하기에는 텍스트에 의존하지 않는 시스템이 필요하다. 인간의 상호작용은 한때 모두 음성 기반이었다. 많은 문화는 여전히 구전을 중시한다. 글로벌 관객을 더 잘 지원하기 위해, AI 산업은 텍스트 데이터에서 음성 데이터로 발전해야 한다.

음성 기술에 대한 연구는 큰 발전을 이루고 있지만, 여전히 텍스트 기반 기술에 비해 뒤처진다. 음성 처리 연구는 진행 중이지만, 직접 음성-음성 기술은 아직 성숙하지 않다. 현실은 산업이 신중하게 움직이고, 기술이 어느 정도 발전한 후에야 움직인다는 것이다.

TransPerfect의 새로 출시된 GlobalLink Live 해석 플랫폼은 더 성숙한 음성 기술인 자동 음성 인식(ASR)과 텍스트-음성(TTS)을 사용한다. 직접 음성-음성 시스템은 아직 성숙하지 않기 때문이다. 그러나 우리의 연구 팀은 완전한 음성-음성 파이프라인이 준비될 때를 준비하고 있다.

음성-음성 번역 모델은 구전 언어의 보존에 큰 약속을 가지고 있다. 2022년, Meta는 약 4,600만 명의 중국계 사람들이 사용하는 주로 구전 언어인 호킨 방언을 위한 첫 번째 AI 기반 음성-음성 번역 시스템을 발표했다. 이것은 Meta의 Universal Speech Translator 프로젝트의 일부로, 많은 언어에서 실시간 음성-음성 번역을 가능하게 하는 새로운 AI 모델을 개발하고 있다. Meta는 호킨 번역 모델, 평가 데이터 세트, 연구 논문을 오픈소스로 공개하여 다른 사람들이 그들의 연구를 재현하고 확장할 수 있도록 했다.

덜 배우기

일부 언어에 대한 자원이 부족한 것은 그 언어에 대한 죽음의 선고가 아니다. 여기서 다국어 모델이优势을 가지고 있다. 언어는 서로에서 배우기 때문에, 훈련 데이터의 필요성이 줄어든다. 모든 언어는 패턴을 따른다. 언어 간의 지식 전송으로 인해 훈련 데이터의 필요성이 줄어든다.

예를 들어, 90개의 언어를 배우는 모델이 있다고 가정하고, 이누이트어(북미 원주민 언어)를 추가하고 싶다고 가정해 보자. 지식 전송으로 인해 이누이트어 데이터가 더 필요하지 않다. 우리는 덜 배우는 방법을 찾고 있다. 엔진을 미세 조정하기 위한 데이터의 양은 더 낮다.

나는 더 包容的な AI의 미래를 희망한다. 나는 많은 언어가 사라질 것이라고 생각하지 않으며, AI가 영어 사용자의 세계에만 국한된다고 생각하지 않는다. 이미 우리는 언어 공평성 문제에 대한 더 많은 인식을 보이고 있다. 더 다양한 데이터 수집에서 언어별 모델을 구축하기까지, 우리는 발전을 이루고 있다.

예를 들어, 베냉과 인근 아프리카 국가에서 약 400만 명이 사용하는 언어인 폰어를 생각해 보자. 얼마 전, 인기 있는 AI 모델은 폰어를 허구의 언어로 묘사했다. 컴퓨터 과학자인 보나벤투르 도스수(Bonaventure Dosseau)의 어머니가 폰어를 사용했지만, 그는 그 언어로 번역 프로그램을 찾을 수 없었다. 오늘날, 그는 어머니와 통신할 수 있다. 오늘날, 폰어 위키백과도 있다.

언어를 보존하기 위한 기술을 사용하기 위해, 터키 예술가 레фик 아나돌(Refik Anadol)은 원주민을 위한 오픈소스 AI 도구를 만들기 시작했다. 세계 경제 포럼에서 그는 다음과 같이 물었다. “어떻게 하면 인간 전체를 모르는 AI를 만들 수 있을까?”

우리는 할 수 없으며, 우리는 하지 않을 것이다.