Microsoft Research представляет StudentSim для обучения ИИ-тьюторов

В объявлении от 12 октября 2026 года Microsoft Research представила StudentSim — исследовательскую систему, которая создает индивидуальный симулятор для каждого ученика и воспроизводит, как он отвечает на вопросы и как его ответы меняются после подсказок тьютора. В рамках проекта также представлена StudentSimEval — тестовый набор и протокол оценки для трех областей: шахмат, письменной речи на английском как втором языке и математики. Лаборатория сообщила, что сама научная работа и код для обучения находятся в открытом доступе.

Проблема обратной связи при разработке ИИ-тьюторов

Microsoft Research описывает ключевую проблему измерения качества в исследованиях ИИ-тьюторов: оценить качество обучения только по ответу тьютора нельзя, поскольку ему важно знать, что происходит после того, как ученик получает его подсказки. Среди открытых вопросов — исправил ли ученик исходную ошибку, помогла ли подсказка самостоятельно прийти к ответу или раскрыла слишком многое и понадобится ли другому ученику поддержка иного рода. Как отмечает лаборатория, сегодня для ответа на такие вопросы обычно нужны исследования с реальными учащимися. Они ценны, но требуют много времени и средств, поэтому обратную связь от учеников трудно использовать при быстром цикле доработки моделей.

У существующих упрощенных подходов есть известные ограничения. Microsoft Research отмечает, что с помощью промпта большую языковую модель можно попросить сыграть роль ученика: она способна воспроизвести его манеру речи и выразить неуверенность, однако ей сложнее не выходить за пределы реальных способностей этого ученика. Если смоделированный ученик окажется слишком способным, вводящая в заблуждение обратная связь может создать впечатление, что тьютор эффективен. Модели отслеживания знаний и прогнозирования поведения опираются на реальные данные об обучении, но многие из них изначально не предназначались для обработки подсказок тьютора на естественном языке. В аннотации к статье проводится такое же сопоставление: модели отслеживания состояния воспроизводят зарегистрированное поведение, но плохо справляются с объяснениями и исправлениями, тогда как модели, свободно отыгрывающие роль ученика, следуют подсказкам, но не способны надежно воспроизвести уровень знаний имитируемого ученика.

Метрики StudentSimEval и конвейер обучения

При разработке оценки использованы идеи из педагогических исследований, в том числе концепция зоны ближайшего развития Выготского, которая отделяет то, что ученик может сделать самостоятельно, от того, что ему под силу при поддержке. В StudentSim эта идея выражена через две метрики. Точность воспроизведения поведения показывает, насколько близко симулятор воспроизводит ответы конкретного ученика, зафиксированные при решении отложенных задач, а восприимчивость к подсказкам показывает, меняет ли симулятор ответ, ознакомившись с рекомендациями тьютора. Лаборатория называет эти метрики взаимодополняющими: симулятор, который лишь копирует прошлое поведение, не позволяет понять, помогло ли педагогическое вмешательство, а симулятор, который всегда следует указаниям тьютора, может не учитывать сильные и слабые стороны конкретного ученика и типичные для него ошибки.

Согласно странице публикации, StudentSimEval применяет обе метрики в рамках стандартизированного протокола, охватывающего 60 учеников в трех областях. Он основан на общедоступных наборах данных об учащихся с обезличенными записями, предоставленными для исследований; все методы обучаются и оцениваются на одних и тех же записях. В шахматах задача состоит в том, чтобы предсказать следующий ход игрока и то, как он может его изменить после тренерских рекомендаций. При обучении письменной речи на английском как втором языке симулятор составляет эссе с характерными для ученика ошибками и предсказывает, какие исправления тот внесет после отзывов преподавателя. В математике симулятор предсказывает, какой вариант ответа из нескольких выберет ученик и изменится ли его ответ после объяснения.

Поскольку от каждого ученика часто есть лишь небольшое число эссе, ответов или взаимодействий, обучение отдельного симулятора с нуля для каждого из них чревато переобучением и заставляет каждую модель заново усваивать закономерности, общие для всей области. Поэтому StudentSim использует двухэтапный конвейер: на первом этапе модель обучается на объединенных данных многих учеников из одной области, чтобы освоить общие форматы ответов, типичные ошибки и способы, которыми ученики обычно исправляют ответы после подсказок; на втором этапе модель настраивается на данных одного конкретного ученика. В сопутствующем репозитории с кодом эта схема реализована так: на первом этапе для каждой области обучается один адаптер LoRA, после чего на втором этапе его дообучают на данных каждого ученика. При этом сохраняется ранг адаптера с первого этапа, а новый адаптер с нуля не создается. Данные для шахмат взяты из экспорта шахматных партий с лицензией CC0, данные для письменной речи — из выборки EFCAMDAT, а данные по математике — из выборки FoundationalASSIST.

Опубликованные результаты и исследование шахматного тьютора

Microsoft Research сообщает, что StudentSim превосходит ведущие базовые модели во всех трех областях. В шахматах показатели точности воспроизведения поведения и восприимчивости к подсказкам составили 0,5150 и 0,9067 соответственно. Для GPT-5.4 эти показатели равны 0,2316 и 0,7186, а для Maia2 — 0,4535 и 0,2721. Maia2 — специализированная модель, предсказывающая ходы людей в шахматах. Лаборатория отмечает, что это сравнение показывает различие между двумя группами базовых моделей: GPT-5.4 реагирует на подсказки, но не всегда точно воспроизводит поведение конкретного ученика, тогда как Maia2 лучше предсказывает ходы людей в шахматах, но не может воспринимать подсказки на естественном языке. В аннотации к статье утверждается, что StudentSim превосходит GPT-5.4 по обеим метрикам во всех областях.

Команда также проверила, может ли обученный симулятор предоставлять обратную связь для оптимизации тьютора. В исследовании обучения с подкреплением для шахматного тьютора ему показывают позицию и предыдущий неверный ход реального ученика, после чего тьютор дает рекомендации; зафиксированный персонализированный симулятор считывает эти рекомендации и предлагает исправленный ход, а вознаграждением служит улучшение качества хода по сравнению с исходным, оцениваемое шахматным движком Stockfish как независимым источником сигнала. В исследовании сравниваются три варианта с одинаковыми политикой тьютора, начальной моделью, дообученной под контролем, и настройками обучения с подкреплением: тьютор, дообученный под контролем, но не проходивший обучение с подкреплением; тьютор, обученный на вознаграждении от симулированного ученика GPT-5.4; и тьютор, обученный на вознаграждении от StudentSim. Шахматные эксперты оценивали полученные ответы тьюторов, не зная, какой вариант их породил.

Согласно анонсу, точность тьютора, обученного с использованием StudentSim, составляет 90,5% против 75,7% у базового варианта без обучения с подкреплением и 71,6% у варианта с вознаграждением от GPT-5.4; кроме того, он получает более высокие оценки за качество рекомендаций и персонализацию. Microsoft Research характеризует этот результат как подтверждение работоспособности концепции: симуляторы учеников, обученные на реальных данных об учащихся, могут служить полезным сигналом обратной связи при обучении тьюторов.

Заявленные ограничения и доступность

Microsoft Research представляет StudentSim как исследовательскую систему для оценки и совершенствования ИИ-тьюторов до их испытания на реальных учениках; лаборатория отмечает, что это не продукт, система не внедрялась в учебных классах и не предназначена для замены учителей. Лаборатория также заявляет, что система не отменяет необходимости привлекать реальных учеников к исследованиям в сфере образования, поскольку исследования с участием людей по-прежнему необходимы для оценки результатов обучения, безопасности, удобства использования и соответствия условиям учебного класса. По словам лаборатории, симуляторам отведено место на более раннем этапе разработки: они могут помогать исследователям проверять стратегии тьюторов, сравнивать модели и совершенствовать сигналы обучения до проведения более затратных исследований с реальными учениками. К заявленным направлениям дальнейшей работы относятся более длительные траектории обучения, расширение числа предметных областей, более подробные профили учеников и изучение связи между смоделированной обратной связью и измеренными результатами обучения.

Статья, на которой основана работа, «StudentSim: Training LLM-based Student Simulators», была подана в arXiv 1 сентября 2026 года; на странице публикации Microsoft Research указана дата — сентябрь 2026 года. Среди авторов — Ке Янг, аспирант University of Illinois Urbana-Champaign; Чэнлун Ван; Мишель Гэлли; Чандан Сингх; Дживана Прия Инала; Чэнсян Чжай; и Цзяньфэн Гао. Код для обучения и оценки StudentSim, включая протокол StudentSimEval, находится в открытом доступе по лицензии MIT.