Помогает ли голосовой интерфейс ИИ-репетитора студентам учиться?

Убедительный голос мало говорит о том, насколько хорошо репетитор учит. Что сможет объяснить ученик, когда разговор закончится?

Именно этот вопрос лежит в основе недавнего исследования обучения с помощью голоса и текста на онлайн-курсе MBA. Его результаты дают учебным заведениям и командам разработчиков продуктов повод разделять опыт, который они хотят предложить, и образовательный результат, за который платят. Голосовой формат может стать частью такого опыта. Но нельзя утверждать, что он способствует обучению, лишь потому, что студентам нравится им пользоваться.

Что именно проверяло сравнение голосового и текстового форматов

В работе Когда ИИ-репетиторы говорят, направленной в arXiv 21 сентября 2026 года, Шихао Ян, Маршалл Ван Алстайн и Хрисантос Делларокас изучали структурированного репетитора на онлайн-курсе финансов для студентов MBA. Студенты, имевшие доступ к репетитору, попеременно использовали голосовой и текстовый форматы. В рамках этой группы сравнивались каналы взаимодействия, а отдельно доступ к репетитору сопоставлялся с его отсутствием в контрольной группе.

Обе оценки прошел 51 из 86 студентов, распределенных по группам случайным образом в начале исследования. После отбора в исследовании осталось 46 человек. В анализе форматов участвовали 29 студентов, занимавшихся с репетитором. Это было не испытание голосового и текстового форматов, в котором в каждой группе было бы по 86 человек.

По данным исследователей, голосовой формат обеспечивал более активное диалоговое взаимодействие, однако освоение материала за неделю было статистически эквивалентным в пределах установленного ими диапазона: плюс-минус 0,3 стандартного отклонения. В этой реализации голосовой формат обходился примерно в 2,8 раза дороже. Речь идет о расходах поставщика на предоставление услуги, а не об универсальной оценке затрат учебного заведения.

Эти результаты пока остаются препринтом. Отсев участников, ограниченный состав выборки и методы оценки ограничивают возможность распространить выводы на другие ситуации. Кроме того, освоение материала за неделю не свидетельствует о прочности его усвоения.

Вывод об эквивалентности требует оговорок. Наблюдаемая разница уложилась в выбранный исследователями допустимый диапазон, но отдельные результаты могут отличаться; кроме того, они не позволяют судить о том, что произойдет при изучении другого предмета. Прежде чем покупать голосовую функцию, учебному заведению следует решить, какая разница в образовательных результатах будет значимой для его студентов. Исследование не может принять это решение за него.

Более активное общение — лишь один из возможных результатов

Сможет ли студент после занятия по финансам самостоятельно объяснить концепцию и применить ее к задаче, которую раньше не решал? Именно это и должна показать оценка. Отметка о завершении занятия не дает ответа на этот вопрос.

Это важно учитывать при оценке влияния ИИ на обучение. Участие, понимание материала и его последующее воспроизведение следует оценивать отдельно. Иначе самый простой для сбора показатель может стать ответом на вопрос, для которого он не предназначен.

В препринте от 13 сентября 2026 года о испытаниях ИИ-репетиторов под руководством практикующих специалистов описана оценка преподавания естественных наук на уровне GCSE, проведенная Уэйном Харрисоном и его коллегами. Многие участники выбыли из исследования. Авторы смогли изучить связь вовлеченности с успеваемостью, но не смогли доказать, что одно вызывает другое. Они выступают за регулярную оценку по мере развития ИИ в образовании. В их исследовании голосовой и текстовый каналы не сравнивались.

Чтобы понять, насколько активно студенты участвуют в занятиях, спросите их, какие занятия показались им трудными, и сопоставьте их ответы с данными о том, когда они перестали пользоваться репетитором. Затем отдельно оцените результаты обучения. Высокая оценка удовлетворенности не должна позволять оставить без ответа образовательный вопрос при принятии решения о покупке.

В каких случаях голосовой формат все же может быть полезен

Интерфейс может быть полезен и без повышения среднего результата тестирования. Студенты, которым удобнее говорить, чем печатать, должны участвовать в обсуждении роли ИИ в поддержке преподавателей. Принимая решение о том, что предлагать, разумно учитывать их предпочтения — при условии, что команда не будет представлять их как доказательство более эффективного обучения.

Проверьте работу репетитора там, где студенты действительно занимаются. Захотят ли они произносить ответы вслух в общей комнате? Дайте им попробовать. Во время работы с репетитором попросите их вернуться к незнакомому термину, изучить уравнение и переключиться на текстовый формат, чтобы вы могли заметить, если эти задания вызовут трудности.

Человеку, который не может слышать аудиозапись или понимать ее содержание без визуальной опоры, нужен другой способ получить эту информацию. В рекомендациях W3C по предварительно записанным аудиоматериалам предлагается текстовая альтернатива; эти рекомендации распространяются на записанные материалы, например уроки, которые программа сохраняет для последующего использования. Команде, оценивающей интерактивного голосового репетитора, предстоит также учесть требования доступности, выходящие за рамки этих рекомендаций.

В этом сравнении по курсу финансов не проверялись упражнения на произношение и изучение языков, поэтому его результаты не позволяют определить, поможет ли голосовой формат в той или иной области. Программа может изучить эти возможности, не делая вид, будто одно исследование уже одобрило или отвергло голосовой формат для всех образовательных целей.

Пилотное исследование, которое поможет принять решение о покупке

Пилотное исследование должно проверять именно ту покупку, которую рассматривает учреждение, на целевой группе студентов, с указанием причины предложить им голосовой режим и заранее согласованного результата, который оправдал бы затраты. Используйте сопоставимые уроки и чётко заданное условие сравнения; квалифицированные специалисты по оценке должны помочь учесть исходные знания и пропущенные оценки. Удобное небольшое пилотное исследование само по себе не позволит установить причинно-следственную связь.

Решить, кто подготовит уроки, а кто назначит сроки проведения оценивания и проанализирует его результаты, — часть организации работы. Это задачи команды пилотного проекта. Результаты студентов и записи должны храниться в одобренных учреждением системах.

Оценивание должно быть частью этого плана. Проводите его без помощи тьютора; если учреждению нужны данные не только о результатах сразу после урока, но и о сохранении знаний, запланируйте более позднее оценивание. Какой результат оправдал бы затраты? Договоритесь об этом до сбора ответов. Если пилотное исследование посвящено доступности или предпочтениям, для оценки этих преимуществ нужны критерии; при этом нельзя утверждать, что оно доказало улучшение обучения.

Представьте результаты обучения рядом с отзывами о доступности и данными о затратах, чтобы каждый показатель был виден в документе для принятия решения. Укажите там и вопросы, на которые пока нет ответов. Покупатель должен иметь возможность рассмотреть каждый результат отдельно, а не разбирать сводную оценку. В показатели участия необходимо включить студентов, которые не завершили исследование. Объясните, какие выводы команда не может сделать из-за отсутствия их оценок.

Редакционная методика оценки, разработанная с учётом работ Yang и коллег, Harrison и коллег, а также W3C WAI. Это вопросы для планирования, а не результаты измерений.

Учёт затрат должен быть столь же прозрачным. Плата поставщику — лишь одна статья расходов. Отдельно рассчитайте время сотрудников, затраченное на настройку, поддержку учащихся и оценивание: эти часы всё равно обходятся учреждению в определённую сумму, даже если работу выполняют его собственные сотрудники. Доплата за голосовой режим, выявленная в исследовании MBA, подсказывает покупателю, что нужно узнать о затратах на предоставление услуги. В исследовании измерили именно эту составляющую расходов.

Укажите, какую модель и интерфейс использовали студенты. Если система меняется, объясните, какая версия дала те или иные результаты наблюдений. Здесь важен аргумент Harrison и коллег в пользу повторных оценок: оценивание должно оставаться связанным с тем, чем студенты действительно пользовались.

При рассмотрении результатов среди доступных вариантов должны быть сохранение текстового формата, выборочное предоставление голосового режима или сбор дополнительных данных. Неопределённый результат — повод отложить покупку и определить, какие ещё данные нужны для принятия решения.

Сначала определите результат, затем выбирайте интерфейс

Сравнение финансовых показателей выявило, что голосовой режим способствовал более активному общению, тогда как еженедельные результаты освоения материала оставались в пределах установленной исследователями границы эквивалентности. Следующее испытание должно учитывать особенности студентов и утверждение об улучшении обучения, на котором основана предлагаемая покупка.

В рекомендации о покупке следует указать, что голосовой режим даст этим студентам и какие результаты подтверждают это утверждение. Если голосовой режим решает документально подтверждённую проблему доступности, прямо опишите это преимущество. Утверждение об улучшении обучения требует оценки того, что студенты могут объяснить или применить без посторонней помощи, даже если отзывы о тьюторе восторженные. Одного удовольствия от занятий недостаточно, чтобы принять решение о покупке.