AI 튜터에게 음성을 제공하면 학생들의 학습에 도움이 될까?

그럴듯한 목소리만으로는 튜터의 교수 능력을 알 수 없습니다. 대화가 끝난 뒤 학습자는 무엇을 설명할 수 있을까요?

온라인 MBA 과정에서 음성과 텍스트를 활용한 튜터링을 비교한 최근 연구는 바로 이 질문을 다룹니다. 연구 결과는 학교와 제품 개발팀이 제공하고자 하는 경험과 비용을 들여 얻으려는 교육적 성과를 구분해야 할 이유를 보여줍니다. 음성은 그 경험의 일부로 자리 잡을 수 있습니다. 하지만 학생들이 즐겨 사용한다는 이유만으로 학습 효과가 있다고 주장해서는 안 됩니다.

음성 비교 연구에서 실제로 검증한 것

AI 튜터가 말할 때라는 연구에서 Shihao Yang, Marshall Van Alstyne, Chrysanthos Dellarocas는 온라인 MBA 재무 과정의 구조화된 튜터를 연구했습니다. 이 논문은 2026년 9월 21일 arXiv에 제출됐습니다. 튜터를 이용할 수 있었던 학생들은 음성과 텍스트를 번갈아 사용했습니다. 비교의 초점은 해당 학생 집단 내에서 전달 방식을 비교하는 것이었으며, 이와 별도로 튜터 이용 가능 집단과 대조 집단도 비교했습니다.

연구 시작 시 무작위 배정된 학생 86명 가운데 51명이 두 평가를 모두 마쳤습니다. 선별 과정을 거친 뒤에는 46명이 남았습니다. 방식별 분석에는 튜터를 이용한 학생 29명이 참여했습니다. 이 연구는 각각 86명으로 구성된 집단을 대상으로 한 음성 대 텍스트 시험이 아니었습니다.

연구진은 음성을 사용할 때 대화형 상호작용이 더 활발했다고 보고했지만, 주간 학습 숙달도는 연구진이 설정한 ±0.3 표준편차의 범위 안에서 통계적으로 동등했습니다. 이 연구에서 음성 제공 비용은 텍스트의 약 2.8배였습니다. 이는 해당 제공업체의 제공 비용이지, 학교가 지출할 비용을 보편적으로 추산한 수치는 아닙니다.

이 연구 결과는 아직 프리프린트 단계입니다. 연구 참여자 이탈, 제한된 연구 대상 집단, 평가 방법 때문에 결과를 다른 상황에 적용하는 데 한계가 있습니다. 주간 학습 숙달도만으로는 학습 내용이 오래 유지되는지도 확인할 수 없습니다.

동등하다는 결론에는 단서가 필요합니다. 관찰된 차이는 연구진이 정한 허용 범위 안에 있었지만, 개인별 결과는 다를 수 있고 다른 과목에서는 어떤 결과가 나올지 알려주지 않습니다. 음성 기능을 구매하기 전에 기관은 자교 학생들에게 어느 정도의 교육적 차이가 의미 있는지 정해야 합니다. 연구 결과가 그 판단을 대신해 줄 수는 없습니다.

대화가 늘어나는 것은 여러 성과 중 하나일 뿐

재무 수업이 끝난 뒤 학생이 도움 없이 개념을 설명하고, 아직 풀어 본 적 없는 문제에 그 개념을 적용할 수 있을까요? 평가를 통해 확인해야 하는 것은 바로 이것입니다. 세션을 완료로 표시하는 것만으로는 이 질문에 답할 수 없습니다.

AI가 학습에 미치는 영향을 측정할 때 이것이 문제가 됩니다. 평가에서는 참여도, 이해도, 이후의 회상 능력을 각각 따로 측정해야 합니다. 그렇지 않으면 수집하기 가장 쉬운 수치가 애초에 답하도록 설계되지 않은 질문의 답으로 둔갑할 수 있습니다.

2026년 9월 13일 공개된 현장 실무자가 주도하는 AI 튜터링 시험 프리프린트는 Wayne Harrison과 동료들이 실시한 GCSE 과학 평가를 보고합니다. 많은 참가자가 평가 도중 이탈했습니다. 저자들은 참여도와 학업 성취도의 관계를 살펴볼 수는 있었지만, 어느 한쪽이 다른 쪽을 유발했다는 점은 입증하지 못했습니다. 저자들은 교육용 AI가 변화하는 만큼 반복적인 평가가 필요하다고 주장합니다. 이 연구에서는 두 가지 제공 방식을 비교하지 않았습니다.

참여도를 파악하려면 학생들에게 어려웠던 세션이 무엇인지 묻고, 답변을 튜터 사용을 중단한 시점에 관한 기록과 비교해 보세요. 그런 다음 학습은 별도로 평가해야 합니다. 높은 만족도 점수 때문에 답을 얻지 못한 교육적 질문이 구매 결정에서 빠져서는 안 됩니다.

음성이 여전히 가치 있는 선택지가 될 수 있는 경우

평균 시험 점수를 높이지 않더라도 인터페이스를 제공할 가치는 있을 수 있습니다. 타이핑보다 말하기를 선호하는 학생도 교육자를 지원하는 AI의 역할에 관한 논의에 포함되어야 합니다. 무엇을 제공할지 결정할 때 그런 선호를 고려하는 것은 타당합니다. 다만 이를 더 나은 교수법의 증거라고 보고해서는 안 됩니다.

학생들이 실제로 공부하는 곳에서 튜터를 시험해 보세요. 여러 사람이 함께 쓰는 공간에서 학생들은 답을 소리 내어 말하려고 할까요? 직접 사용해 보게 하세요. 튜터를 사용하는 동안 익숙하지 않은 용어를 다시 살펴보고, 방정식을 확인하고, 텍스트로 전환하도록 요청해 이러한 과제에서 어려움이 있는지 관찰하세요.

오디오 전용 녹음을 듣거나 이해할 수 없는 사람에게는 그 내용을 접할 다른 방법이 필요합니다. 텍스트 대안은 녹화된 수업처럼 나중에 사용하도록 프로그램에 저장된 자료에도 적용되는 사전 녹음 오디오에 관한 W3C 지침에 제시된 방식입니다. 실시간 대화형 튜터를 평가하는 팀은 이 지침에서 다루는 내용 외에도 접근성 요건을 고려해야 합니다.

이 재무 비교 연구에서는 발음 연습과 언어 학습을 검증하지 않았으므로, 그 결과만으로는 음성이 둘 중 어느 것에 도움이 될지 판단할 수 없습니다. 프로그램은 한 연구가 이미 모든 교육 목적에 음성을 승인하거나 배제한 것처럼 가장하지 않고도 이 가능성을 살펴볼 수 있습니다.

구매 결정에 답을 줄 수 있는 파일럿

시범 운영은 기관이 검토 중인 구매안을 대상으로, 실제 도입 대상 학생들과 함께 진행해야 하며, 학생들에게 음성 기능을 제공하려는 이유와 비용을 정당화할 수 있는 합의된 결과 기준이 있어야 한다. 비교 가능한 수업과 명확한 비교 조건을 사용하고, 자격을 갖춘 평가 담당자가 학생들의 사전 지식과 평가 누락에 대비한 계획을 세우도록 해야 한다. 편의상 소규모로 진행한 시범 운영만으로는 인과관계가 자동으로 입증되지 않는다.

수업 준비 담당자와 평가 일정을 잡고 검토할 담당자를 정하는 일은 업무를 조직하는 과정의 일부다. 이는 시범 운영팀에 맡길 업무다. 학생 점수와 녹음 자료는 기관이 승인한 시스템에 보관해야 한다.

평가도 계획에 포함해야 한다. 수업 직후의 성과뿐 아니라 학습 내용의 유지 여부까지 확인할 근거가 필요하다면, 튜터의 도움 없이 평가를 실시하고 나중에 후속 평가를 진행하도록 일정을 잡아야 한다. 어떤 결과가 나와야 비용을 정당화할 수 있을까? 답을 수집하기 전에 이 기준에 합의해야 한다. 접근성이나 선호도를 살펴보려는 시범 운영이라면 해당 편익을 판단할 기준이 필요하며, 학습 효과가 더 높아졌다고 입증했다는 주장을 해서는 안 된다.

학습 결과를 접근성 관련 피드백 및 비용 수치와 나란히 제시하고, 의사결정 자료에서 각 항목을 분명히 확인할 수 있게 해야 한다. 답을 얻지 못한 질문도 함께 남겨야 한다. 구매 담당자는 여러 결과를 합산한 점수를 따로 분석하지 않고도 각 결과를 개별적으로 읽을 수 있어야 한다. 참여자 수치에는 끝까지 마치지 않은 학생도 포함해야 한다. 평가가 누락된 탓에 팀이 어떤 결론을 내릴 수 없는지 설명해야 한다.

Yang과 동료들, Harrison과 동료들, W3C WAI의 내용을 참고한 편집부 평가 프레임워크다. 이는 계획 수립을 위한 질문이지, 측정된 결과가 아니다.

비용 산출 역시 그만큼 명확해야 한다. 제공업체에 지불하는 비용은 한 항목이다. 이와 별도로 준비, 학습자 지원, 평가에 들어가는 직원의 시간을 계산해야 한다. 기관 직원이 직접 업무를 하더라도 그 시간에는 여전히 비용이 들기 때문이다. MBA 연구에서 확인된 음성 기능의 추가 비용은 구매자가 제공 비용을 따져봐야 한다는 점을 시사한다. 해당 비용 항목은 실제로 측정됐다.

학생들이 사용한 모델과 인터페이스를 기록해야 한다. 시스템이 바뀌면 어떤 버전에서 어떤 관찰 결과가 나왔는지 설명해야 한다. 반복 평가가 필요하다는 Harrison과 동료들의 주장은 이 점에서 중요하다. 평가는 학생들이 실제로 사용한 것과 계속 연계되어야 한다.

검토 시점에는 텍스트를 유지하거나, 일부 학생에게만 음성 기능을 제공하거나, 증거를 더 수집하는 방안을 선택지에 포함해야 한다. 결과가 불확실하다면 구매를 보류하고, 구매 결정을 내리는 데 여전히 필요한 증거가 무엇인지 확인해야 한다.

인터페이스보다 먼저 성과 기준을 정하라

재무 분야 비교 연구에서는 음성 기능을 사용할 때 대화량이 더 많았지만, 주간 학습 성취도는 연구진이 설정한 동등성 범위 안에 머물렀다. 다음 시험에서는 학생들과 제안된 구매의 근거가 되는 학습 관련 주장을 일치시켜야 한다.

구매 권고안에는 음성 기능이 해당 학생들에게 어떤 추가 가치를 제공하는지, 그리고 어떤 결과가 그 주장을 뒷받침하는지 명시해야 한다. 음성 기능이 문서화된 접근성 요구를 충족한다면 그 편익을 분명히 설명해야 한다. 학습 효과가 더 높아진다는 주장을 하려면 학생들이 도움 없이 무엇을 설명하거나 적용할 수 있는지 평가해야 한다. 튜터에 대한 학생들의 피드백이 아무리 긍정적이더라도 마찬가지다. 즐거움만으로는 구매 여부에 관한 질문에 답할 수 없다.