Anastassia Loukina, Senior Research Scientist (NLP/Speech) at ETS – Interview Series

Anastassia Loukina 는 Educational Testing Services (ETS) 에서 연구 과학자로 일하며 자동화된 음성 평가에 대해 연구합니다.

그녀의 연구 관심사는 광범위한 주제를 다룹니다. 그녀는 현대 그리스 방언, 음성 리듬 및 자동 프로소디 분석과 같은 분야에서 작업했습니다.

현재 그녀의 연구는 음성 기술과 기계 학습의 도구와 방법을 음성 인식/생산에 대한 연구의 통찰력과 결합하여 비모국어 음성을 평가하기 위한 자동화된 평가 모델을 구축하는 데 중점을 두고 있습니다.

당신은 분명히 언어를 사랑하는 것으로 보입니다. 무엇이 당신에게 이러한 열정을 불어넣었나요?

나는 러시아 상트페테르부르크에서 러시아어를 사용하며 자랐습니다. 나는 영어를 처음 접했을 때 어떤 단어에는 러시아어 단어를 “변환”할 수 있는 패턴이 있다는 것을 알게 되었습니다. 그리고 나서 나는 패턴이 실패한 단어를 만나 더 일반적인 규칙을 찾으려고 노력했습니다. 그 당시 나는 언어 타입론이나 동계어와 차용어의 차이에 대해 아무것도 몰랐지만, 이것은 나의 호기심과 언어를 더 배우고 싶은 жел정을 불러일으켰습니다. 사람들의 말하는 방식에서 패턴을 식별하고 데이터에 대해 테스트하는 이러한 열정은 내가 현재 하고 있는 음성학, 기계 학습 및 연구로 이어졌습니다.

당신의 현재 NLP 연구之前, 영어-러시아어 및 현대 그리스-러시아어 번역가로 일했습니다. 번역가로서의 ваша expérience가 NLP와 관련된 일부 세부 사항과 문제에 대한 추가적인 통찰력을 제공했는지 믿으시나요?

나는 항상 연구자로 일했습니다. 나는 현대 그리스어, 특히 현대 그리스어 음성학을 연구하는 학자로 학업을 시작했습니다.私の 박사 학위 논문에서는 여러 현대 그리스어 방언 사이의 음성학적 차이와 이러한 차이가 지역의 역사와 어떻게 связ된는지 조사했습니다. 나는 일부 차이들이 해당 지역에서 사용되는 다른 언어와의 언어 접촉으로 인해 발생할 수 있다고 주장했습니다. 나는 더 이상 현대 그리스어를 연구하지는 않지만, 두 언어가 접촉할 때 발생하는 변화는 여전히私の 연구의 핵심입니다. 다만, 이번에는 개인이 새로운 언어를 배우는 과정에서 어떤 변화가 발생하는지 및 기술이 이를 가장 효율적으로 도와줄 수 있는 방법에 대해 중점을 두고 있습니다.

영어는 다양한 방언이 있습니다. 어떻게 하면 이러한 다양한 방언을 모두 이해할 수 있는 NLP를 설계할 수 있나요? 이는 단순히 더 많은 데이터를 사용하여 глубокое 학습 알고리즘을 훈련시키는 문제인가요?

과거에는 이러한 문제를 해결하기 위해 여러 가지 접근 방식을 사용했습니다. 하나의 큰 모델을 구축하여 모든 방언을 다루거나, 먼저 방언을 식별한 다음 해당 방언에 맞는 사용자 지정 모델을 사용하거나, 여러 모델을 동시에 시도하여 가장 잘 작동하는 모델을 선택할 수 있습니다. 궁극적으로, 다양한 방언에서 좋은 성능을 얻으려면 시스템에遇する 다양한 방언을 대표하는 훈련 및 평가 데이터가 필요합니다.

ETS에서 우리는 자동화된 시스템이 실제로 측정하려는 능력의 차이를 반영하며 학습자의 인구통계적 특성(예: 성별, 인종, 출신 국가)에 영향을 받지 않는지 확인하기 위해 철저한 평가를 수행합니다.

어린이와 언어 학습者는 완벽한 발음을 하는 데 어려움을 겪습니다. 어떻게 하면 발음 문제를 극복할 수 있나요?

완벽한 발음이라는 것은 존재하지 않습니다. 우리가 말하는 방식은 우리의 정체성과密接하게 연결되어 있으며, 개발자 및 연구자로서의 우리의 목표는 시스템이 모든 사용자에게 공정하도록 하는 것입니다.

어린이와 언어 학습자는 음성 기반 시스템에 특별한 도전을 제기합니다. 예를 들어, 어린이의 목소리는 성인의 음성과 매우 다른 음향 품질을 가지며, 어린이들은 성인과 다르게 말하며, 어린이 사이에도 많은 변이가 있습니다. 따라서 어린이용 자동화된 음성 인식 시스템을 개발하는 것은 일반적으로 어린이 음성 데이터가大量으로 필요합니다.

마찬가지로, 동일한 배경을 가진 언어 학습자 사이에도 많은 유사성이 있지만, 학습자는 음성학적, 문법적 및 어휘적 패턴의 사용에서 넓은 범위로 다양할 수 있으며, 이는 음성 인식을 특히 어려운 작업으로 만듭니다. 영어 언어 능력 평가를 위한 자동화된 평가 시스템을 구축할 때, 우리는 다양한 언어 능력과 모국어를 가진 언어 학습자의 데이터를 사용합니다.

2018년 1월, 당신은 ‘사용자 응답을 사용한 자동화된 음성 평가 시스템의 훈련 및 평가’라는 논문을 발표했습니다. 이 논문에서 이해해야 할 주요적인 발전과 기본 개념은 무엇인가요?

이 논문에서 우리는 자동화된 평가 시스템의 성능에 대한 훈련 및 테스트 데이터의 품질이 어떻게 영향을 미치는지 조사했습니다.

자동화된 평가 시스템은 일반적으로 인간이 레이블을 지정한 데이터로 훈련됩니다. 이 경우, 인간 평가자가 할당한 점수입니다. 인간 평가자는 항상 동일한 점수를 부여하지 않습니다. 평가에서 최종 점수를 테스트 참가자에게 보고하는 동안 인간의 동의에 대한 변이를 고려하여 점수가 매우 신뢰할 수 있도록 하는 여러 가지 전략이 있습니다. 그러나 자동화된 평가 엔진은 일반적으로 응답 수준의 점수로 훈련되므로, 인간의 레이블링에서 일관성이 없는 경우(위에서 설명한 이유로 인해) 시스템의 성능에 부정적인 영향을 미칠 수 있습니다.

우리는 인간 평가자 간의 동의가 다른大量의 데이터에 접근할 수 있었으며, 시스템의 성능을 다른 조건에서 비교할 수 있었습니다. 우리가 발견한 것은 완벽한 데이터로 시스템을 훈련시키는 것이 실제로 시스템의 성능을 개선하지 않는다는 것입니다. 완벽한 레이블은 훈련 세트의 크기가 매우小时에만优势를 제공합니다.另一方面, 인간 레이블의 품질은 시스템 평가에 큰 영향을 미칩니다. 깨끗한 레이블에서 평가하면 성능 추정치가 최대 30% 높아질 수 있습니다.

핵심 메시지는 많은 데이터와 레이블을 청소하기 위한 리소스가 있는 경우, 훈련 세트의 레이블을 청소하는 것보다 평가 세트의 레이블을 청소하는 것이 더智能한 선택일 수 있다는 것입니다. 이 발견은 자동화된 평가에만 적용되지 않으며, 많은 다른 분야에도 적용됩니다.

ETS에서 하는 ваш의 일에 대해 설명해 주시겠습니까?

나는 교육 환경에서 음성을 처리하는 음성 평가 엔진 시스템에서 일합니다. 이러한 시스템 중 하나는 SpeechRater®로, 음성 인식 및 분석 기술을 사용하여 영어 언어 스피킹 능력을 평가하고 자세한 피드백을 제공합니다. SpeechRater는 매우 성숙한 응용 프로그램으로 10년 이상 사용되어 왔습니다. 나는 다양한 응용 프로그램을 위한 평가 모델을 구축하며, ETS의 다른 동료와 협력하여 우리의 점수가 모든 시험 참가자에게 신뢰할 수 있고 공정하며 유효한지 확인합니다. 우리는 또한 시스템 성능을 지속적으로 모니터링하기 위해 ETS의 다른 그룹과 협력합니다.

운영 시스템을 유지하고 개선하는 것 외에도, 우리는 새로운 시스템의 프로토타입을 구축합니다. 나는 매우 흥미로운 프로젝트 중 하나는 RelayReader™입니다. 이는 발달 중인 독자들이 유창성과 자신감을 얻는 데 도움을 주기 위한 응용 프로그램입니다. RelayReader와 함께 읽을 때, 사용자는 듣기와 큰 소리로 읽기를 번갈아 가며 책을 읽습니다. 사용자의 읽기가 우리의 서버로 전송되어 피드백을 제공합니다. 음성 처리 측면에서 이 응용 프로그램의 주요 도전은 학습을 측정하고 책과의 사용자의 참여를 방해하지 않고 신뢰할 수 있는 피드백을 제공하는 방법입니다.

ETS에서 일하는 것 중에 가장 좋아하는 부분은 무엇인가요?

처음에 ETS에 끌렸던 것은 비영리 단체로, 모든 사람의 교육의 질을 높이는 것을 목표로 하고 있다는 것입니다. 물론 연구가 제품으로 이어지는 것은 좋지만, 제품 개발에 도움이 되는 더 근본적인 성질의 프로젝트에 일할 수 있는 기회를 가치있게 생각합니다. 또한 ETS는 데이터 개인 정보 보호 및 공정성과 같은 문제를 매우 심각하게 다루고, 모든 시스템이 운영적으로 배포되기 전에 매우 엄격한 평가를 거친다는 사실을 감謝합니다.

그러나 ETS를 훌륭한 작업 환경으로 만드는 것은 그곳의 사람들입니다. 우리는 다양한 배경을 가진 과학자, 엔지니어 및 개발자들의 놀라운 커뮤니티를 가지고 있으며, 이는 많은 интерес로운 협력을 가능하게 합니다.

AI가 튜링 테스트를 통과할 수 있을까요?

1950년대 이후, 튜링 테스트를 실제로 어떻게 수행해야 하는지에 대한 많은 해석이 있었습니다. 아마도 인간과 같이 생각하는 AI 시스템이 아직不存在한다는 일반적인 동의가 있을 것입니다. 그러나 이것은 매우 전문적인 주제가 되었습니다. 대부분의 사람들은 시스템을 튜링 테스트를 통과하도록 구축하지 않습니다. 우리는 특정 목표를 달성하도록 시스템을 구축합니다.

일부 작업의 경우, 예를 들어 음성 인식 또는 자연어 이해, 인간의 성능은 금준으로 간주될 수 있습니다. 그러나 많은 다른 작업에서는 인간보다 훨씬 더 잘 작동하는 자동화된 시스템을 기대하거나, 자동화된 시스템과 인간 전문가가 함께 일하여 최고의 결과를 얻을 수 있습니다. 예를 들어, 교육 환경에서 우리는 AI 시스템이 교사를 대체하는 것이 아닙니다. 우리는 그것이 교사를 도와주기를 원합니다. 학생의 학습 경로에서 패턴을 식별하거나, 채점을 도와주거나, 최好的教学 자료를 찾는 데 도움을 주는 것입니다.

ETS 또는 NLP에 대해 더 공유하고 싶은 것이 있나요?

많은 사람들이 ETS를 평가 및 자동화된 평가 시스템으로 알고 있습니다. 그러나 우리는 더 많은 것을 합니다. 우리는 음성 생체 인증, 음성 대화 응용 프로그램과 같은 많은 능력을 가지고 있으며, 우리는 항상 기술을 학습에 통합하는 새로운 방법을 찾고 있습니다. 현재 많은 학생들이 집에서 학습하고 있으므로, 우리는 일반 대중을 위해 몇 가지 연구 능력을 공개했습니다.

인터뷰에 감사드리며, NLP 및 음성 인식의 최신 발전에 대한 통찰력을 제공해 주셔서 감사합니다. 더 많은 정보를 원하는 사람은 Educational Testing Services를 방문할 수 있습니다.