아나스타シア 루키나, ETS의 시니어 연구 과학자 (NLP/스피치) – 인터뷰 시리즈

아나스타시아 루키나는 교육 테스팅 서비스 (ETS)의 연구 과학자로, 자동화된 음성 평가에 관한 연구를 진행하고 있습니다.

그녀의 연구 관심사는 광범위한 주제를 다룹니다. 그녀는 현대 그리스 방언, 음성 리듬 및 자동 프로소디 분석 등 다양한 주제에 대해 연구해 왔습니다.

현재 그녀의 연구는 음성 기술과 기계 학습의 도구 및 방법을 음성 인식/생산 연구의 통찰력과 결합하여 비모국어者的 음성 평가를 위한 자동화된 평가 모델을 구축하는 데 중점을 두고 있습니다.

당신은 분명히 언어에 대한 열정을 가지고 있습니다. 이 열정을 처음으로 경험한 것은 언제였나요?

저는 러시아 상트페테르부르크에서 러시아어를 사용하며 자랐습니다. 그리고 영어를 처음 접했을 때, 어떤 단어들은 규칙이 있어 러시아어 단어를 영어 단어로 “변환”할 수 있다는 것을 알게 되었습니다. 그리고 그 규칙이 적용되지 않는 단어를 만나면 더 일반적인 규칙을 찾으려고 시도했습니다. 당시에는 언어 유형론이나 동형어와 차용어의 차이에 대해 아무것도 몰랐지만, 이것이 저를 언어에 대한 호기심과 더 많은 언어를 배우고 싶은 열정으로 이끌었습니다. 이것이 음성학, 기계 학습, 그리고 지금 하는 연구로 이어진 것입니다.

당신은 현재 NLP에서 일하고 있지만, 이전에는 영어-러시아어와 현대 그리스어-러시아어 번역가로 일했습니다. 번역가로서의 경험은 NLP에서 직면하는 문제에 대한 통찰력을 제공했나요?

저의 주요 정체성은 연구자입니다. 현대 그리스어, 특히 현대 그리스어 음성학을 연구하는 학자로 시작했습니다. 박사 학위 논문에서 저는 여러 현대 그리스어 방언의 음성학적 차이와 이러한 차이가 해당 지역의 역사와 어떻게 관련되는지 연구했습니다. 저는 이러한 차이가 해당 지역에서 사용되는 다른 언어와의 언어 접촉으로 인해 발생할 수 있다고 주장했습니다. 현대 그리스어를 더 이상 연구하지는 않지만, 두 언어가 접촉할 때 발생하는 변화는 여전히 저의 연구의 핵심입니다. 다만, 이번에는 개인이 새로운 언어를 학습할 때 발생하는 변화와 기술이 이를 가장 효율적으로 도와주는 방법에 중점을 두고 있습니다.

영어는 다양한 방언이 있습니다. 어떻게 하면 이러한 다양한 방언을 이해할 수 있는 NLP를 설계할 수 있나요? 이는 단순히 더 많은 데이터를 제공하여 깊은 학습 알고리즘을 훈련시키는 문제인가요?

과거에는 여러 가지 접근 방식이 사용되었습니다. 모든 방언을 다루는 하나의 큰 모델을 구축하거나, 먼저 방언을 식별한 다음 해당 방언에 맞는 맞춤형 모델을 사용하거나, 여러 모델을 동시에 사용하여 가장 잘 작동하는 모델을 선택할 수 있습니다. 궁극적으로, 다양한 방언에서 좋은 성능을 얻으려면 시스템에서 만날 수 있는 다양한 방언을 대표하는 훈련 및 평가 데이터가 필요합니다.

ETS에서는 우리의 자동화된 시스템이 생산하는 점수가 실제로 평가하고자 하는 기술의 차이를 반영하고, 학습자의 성별, 인종 또는 출신 국가와 같은 인구 통계적 특성에 의해 영향을 받지 않는지 확인하기 위해 철저한 평가를 수행합니다.

어린이와 언어 학습자들은 종종 발음에 어려움을 겪습니다. 어떻게 하면 이러한 발음 문제를 해결할 수 있나요?

완벽한 발음이라는 것은 없습니다. 우리가 말하는 방식은 우리의 정체성과密接하게 관련되어 있기 때문에, 개발자 및 연구자로서의 목표는 우리의 시스템이 모든 사용자에게 공정하도록 하는 것입니다.

어린이와 언어 학습자는 음성 기반 시스템에 특별한 도전을 제기합니다. 예를 들어, 어린이의 목소리는 성인의 목소리와 매우 다른 음향 특성을 가지고 있으며, 어린이들은 성인과 다르게 말합니다. 또한 어린이 사이에는 많은 변이가 있습니다. 따라서 어린이용 자동 음성 인식 시스템을 개발하는 것은 일반적으로 어린이 음성 데이터를大量으로 수집해야 하는 별도의 작업입니다.

마찬가지로, 동일한 배경을 가진 언어 학습자 간에도 많은 유사성이 있지만, 학습자는 음성학적, 문법적 및 어휘적 패턴의 사용에서 크게 다를 수 있습니다. 이는 음성 인식이 특히 어려운 작업임을 의미합니다. 영어 언어 능력 평가를 위한 시스템을 구축할 때, 우리는 다양한 능력과 모국어를 가진 언어 학습자의 데이터를 사용합니다.

2018년 1월, 당신은 ‘예시 응답을 사용한 자동화된 음성 평가 시스템의 훈련 및 평가’라는 논문을 발표했습니다. 이 논문에서 이해해야 할 주요 발견은 무엇인가요?

이 논문에서 우리는 자동화된 평가 시스템의 성능에 영향을 미치는 훈련 및 평가 데이터의 품질을 조사했습니다.

자동화된 평가 시스템, 즉 많은 자동화된 시스템은 인간이 레이블을 붙인 데이터로 훈련됩니다. 이 경우, 인간 평가자가 할당한 점수입니다. 인간 평가자들은 항상 동일한 점수를 부여하지 않습니다. 평가에서 최종 점수를 테스트 참가자에게 보고하는 동안 인간의 일치度를 보장하기 위한 여러 전략이 있습니다. 그러나 자동화된 평가 엔진은 일반적으로 응답 수준의 점수로 훈련되므로, 이러한 점수에 대한 일치도에 대한 다양한 이유로 인해 일치도가 낮을 수 있습니다.

우리는 인간 평가자 간의 일치도에 대한 다양한 조건에서 시스템 성능을 비교할 수 있는大量의 데이터에 접근할 수 있었습니다. 우리가 발견한 것은 완벽한 데이터로 시스템을 훈련시키는 것이 실제로 시스템의 성능을 향상시키지 않는다는 것입니다. 완벽한 레이블은 훈련 세트의 크기가 매우 작을 때만 이점을 제공합니다. 반면, 인간 레이블의 품질은 시스템 평가에 큰 영향을 미칩니다. 깨끗한 레이블로 평가하면 성능 추정치가 최대 30% 높을 수 있습니다.

결론은, 많은 데이터와 깨끗한 레이블을 만들 수 있는 리소스가 있다면, 훈련 세트의 레이블을 깨끗하게 만드는 것보다 평가 세트의 레이블을 깨끗하게 만드는 것이 더 현명할 수 있다는 것입니다. 이 발견은 자동화된 평가뿐만 아니라 많은 다른 분야에도 적용됩니다.

ETS에서 하는 일에 대해 설명해 주시겠습니까?

저는 교육 환경에서 음성을 처리하는 음성 평가 엔진 시스템에서 일합니다. 이러한 시스템 중 하나는 SpeechRater®로, 음성 인식 및 분석 기술을 사용하여 영어 언어 능력의 발화 능력을 평가하고 자세한 피드백을 제공합니다. SpeechRater는 10년 이상 사용된 성숙한 응용 프로그램입니다. 저는 다양한 응용 프로그램을 위한 평가 모델을 구축하고, ETS의 다른 동료들과 협력하여 우리의 점수가 모든 시험 참가자에게 신뢰할 수 있고 공정하며 유효한지 확인합니다. 또한 시스템 성능을 지속적으로 모니터링하기 위해 다른 그룹과 협력합니다.

운영 시스템을 유지하고 개선하는 것 외에도, 우리는 새로운 시스템을 프로토タイプ합니다. 저에게 매우 흥미로운 프로젝트 중 하나는 RelayReader™입니다. 이는 개발 중인 독자들이 유창성과 자신감을 얻을 수 있도록 설계된 응용 프로그램입니다. RelayReader를 사용하여 독자는 책을 읽으면서 듣고, 자신의 음성을 서버에 보내서 피드백을 받을 수 있습니다. 음성 처리의 주요 도전은 독자의 참여를 방해하지 않고, 책과 상호 작용하는 것을 방해하지 않으면서, 학습을 측정하고 신뢰할 수 있는 피드백을 제공하는 것입니다.

ETS에서 일하는 것 중에 가장 좋아하는 부분은 무엇인가요?

저를 ETS에 처음으로 끌린 것은, 이곳이 모든 사람에게 교육의 질을 높이는 비영리 조직이라는 것입니다. 물론 연구가 제품으로 이어지는 것은 좋지만, 저는 제품 개발을 위한 기초적인 연구에 참여하는 것을 좋아합니다. 또한 ETS는 데이터 개인 정보 보호와 공정성에 대한 문제를 매우 심각하게 다루고, 모든 시스템은 운영에 배포되기 전에 매우 엄격한 평가를 거친다는 사실을 저는 소중하게 생각합니다.

하지만真正으로 ETS를 특별한 곳으로 만드는 것은 사람들입니다. 우리는 다양한 배경을 가진 과학자, 엔지니어, 개발자들의 놀라운 커뮤니티를 가지고 있으며, 이는 많은 интерес로운 협력을 가능하게 합니다.

당신은 AI가 튜링 테스트를 통과할 수 있을 것으로 생각합니까?

1950년대 이후, 튜링 테스트를 실제로 어떻게 수행해야 하는지에 대한 많은 해석이 있었습니다. 아마도 튜링 테스트가 철학적인 의미에서 통과되지 않았다는 것, 즉 인간처럼 생각하는 AI 시스템이 없다는 것에 대한 일반적인 동의가 있을 것입니다. 그러나 이것은 매우 전문적인 주제가 되었습니다. 대부분의 사람들은 튜링 테스트를 통과하기 위해 시스템을 구축하지 않습니다. 우리는 특정 목표를 달성하도록 시스템을 설계합니다.

일부 작업, 예를 들어 음성 인식 또는 자연어 이해의 경우, 인간의 성능이 금标准으로 간주될 수 있습니다. 그러나 다른 작업에서는 자동화된 시스템이 인간보다 더 잘 수행하거나 자동화된 시스템과 인간 전문가가 함께 작업하여 최고의 결과를 얻는 경우도 있습니다. 예를 들어, 교육 환경에서 우리는 AI 시스템이 교사를 대체하는 것이 아니라, 교사를 도와주거나, 학생의 학습 경로에서 패턴을 식별하거나, 평가를 도와주거나, 최好的 교육 자료를 찾는 것을 도와주는 것을 원합니다.

ETS 또는 NLP에 대해 더 공유하고 싶은 것이 있나요?

많은 사람들이 ETS를 평가와 자동화된 평가 시스템으로 알고 있습니다. 그러나 우리는 इसस가 더 많은 것을 합니다. 우리는 음성 생체 인증에서 대화 응용 프로그램까지 다양한 기술을 가지고 있으며, 항상 기술을 학습에 통합하는 새로운 방법을 찾고 있습니다. 이제 많은 학생들이 집에서 학습하고 있기 때문에, 우리는 일반 대중에게 일부 연구 능력을 공개했습니다.

인터뷰에 참여해 주셔서, NLP 및 음성 인식의 최신 발전에 대한 통찰력을 제공해 주셔서 감사합니다. 더 많은 정보를 원하는 사람은 교육 테스팅 서비스를 방문할 수 있습니다.