Microsoft Research, AI 튜터 학습을 위한 StudentSim 공개

2026년 10월 12일 발표에서 Microsoft Research는 StudentSim을 공개했다. StudentSim은 학생 개개인에 맞춘 시뮬레이터를 구축하는 연구 시스템으로, 학생이 질문에 어떻게 답하는지, 그리고 튜터의 지도를 받은 뒤 답변이 어떻게 달라지는지를 포착한다. 이번 연구에서는 체스, 제2언어로서의 영어 작문, 수학을 아우르는 벤치마크이자 평가 프로토콜인 StudentSimEval도 소개했다. 연구소는 논문 원문과 학습 코드도 공개했다고 밝혔다.

AI 튜터 개발의 피드백 문제

Microsoft Research는 AI 튜터 연구의 핵심에 측정 문제가 있다고 설명한다. 튜터의 답변만으로는 교육의 질을 판단할 수 없는데, 튜터는 자신이 제시한 지침을 학생이 받은 뒤 어떤 일이 일어나는지 알아야 하기 때문이다. 아직 답이 나오지 않은 질문으로는 학생이 처음의 실수를 바로잡았는지, 힌트가 학생의 답 도출을 도왔는지 아니면 답을 지나치게 많이 알려 줬는지, 학생이 달라지면 필요한 지원 방식도 달라지는지가 있다. 연구소에 따르면 현재 이런 질문에 답하려면 대개 실제 학습자를 대상으로 연구를 진행해야 한다. 이러한 연구는 가치가 있지만 실행에 시간과 비용이 많이 들어, 모델을 빠르게 반복 개선하는 과정에서 학생 피드백을 활용하기 어렵다.

기존의 간편한 대안에는 이미 한계가 드러나 있다. Microsoft Research는 대규모 언어 모델에 학습자 역할을 맡기면 학생의 말투를 재현하고 불확실성을 표현하게 할 수 있지만, 그 학습자의 실제 능력 수준을 넘지 않도록 하는 일은 더 어렵다고 지적한다. 시뮬레이션된 학생의 능력이 지나치게 높으면 오해를 부르는 피드백으로 튜터가 효과적인 것처럼 보일 수도 있다. 지식 추적 및 행동 예측 모델은 실제 학습 기록에 기반하지만, 상당수는 자연어로 된 튜터의 지침을 입력으로 받도록 설계되지 않았다. 논문 초록도 같은 대조점을 짚는다. 상태 추적 모델은 기록된 행동을 잘 따라가지만 설명이나 교정에는 제대로 대응하지 못하는 반면, 유창한 역할극 모델은 지침을 따르지만 모방하는 학생의 능력 수준을 안정적으로 재현하지 못한다.

StudentSimEval의 지표와 학습 파이프라인

평가 설계에는 교육 연구의 개념이 반영됐다. 여기에는 학습자가 혼자서 할 수 있는 일과 지원을 받아 할 수 있는 일을 구분하는 비고츠키의 근접발달영역도 포함된다. StudentSim은 이 개념을 두 가지 지표로 구현한다. 행동 충실도는 시뮬레이터가 특정 학생의 보류된 문제에 대한 기록 응답을 얼마나 가깝게 재현하는지를 측정하고, 지침 반응성은 튜터의 지침을 읽은 뒤 시뮬레이터의 답이 달라지는지를 측정한다. 연구소는 두 지표가 서로 보완적이라고 설명한다. 과거 행동만 그대로 반영하는 시뮬레이터로는 교수 개입이 도움이 됐는지 알 수 없고, 튜터의 지침을 언제나 따르는 시뮬레이터는 특정 학생의 강점과 약점, 흔히 저지르는 실수를 놓칠 수 있다.

논문의 게재 페이지에 따르면 StudentSimEval은 세 영역에 걸쳐 학생 60명을 대상으로 두 지표를 표준화된 프로토콜에 적용한다. 이 프로토콜은 연구용으로 공유된 비식별 학습자 기록이 포함된 공개 데이터셋을 바탕으로 하며, 모든 방법을 동일한 기록으로 학습시키고 평가한다. 체스에서는 플레이어의 다음 수와 코칭을 받은 뒤 그 수를 어떻게 수정할지를 예측한다. 제2언어로서의 영어 작문에서는 학습자 특유의 오류 패턴을 담은 에세이를 생성하고, 교사의 피드백을 받은 뒤 이루어지는 수정을 예측한다. 수학에서는 학생이 객관식 보기 중 어떤 답을 고를지, 그리고 설명을 들은 뒤 답을 바꾸는지를 예측한다.

개별 학습자가 제공하는 에세이, 답변 또는 상호작용은 대개 수가 적다. 따라서 학생마다 처음부터 별도의 시뮬레이터를 학습시키면 과적합 위험이 있고, 각 모델이 한 영역에서 여러 학생에게 공통으로 나타나는 패턴을 다시 학습해야 한다. 이에 StudentSim은 2단계 파이프라인을 사용한다. 첫 단계에서는 같은 영역의 여러 학생 기록을 모아 학습해 공통 응답 형식과 전형적인 오류, 지침을 받은 뒤 학생들이 답을 수정하는 경향을 익힌다. 두 번째 단계에서는 한 학생의 기록만으로 모델을 세부 조정한다. 함께 공개된 코드 저장소에는 첫 단계에서 영역별 LoRA 어댑터 하나를 학습한 다음, 두 번째 단계에서 각 학생의 기록으로 추가 학습하는 방식이 구현돼 있다. 이때 새 어댑터를 처음부터 만드는 대신 첫 단계의 랭크를 이어받는다. 체스 기록은 CC0 체스 게임 데이터 내보내기 자료에서, 작문 기록은 EFCAMDAT 추출 데이터에서, 수학 기록은 FoundationalASSIST 추출 데이터에서 가져왔다.

보고된 성과와 체스 튜터 연구

Microsoft Research는 StudentSim이 세 영역 모두에서 주요 기준 모델보다 우수한 성능을 보였다고 보고했다. 체스에서 보고된 행동 충실도는 0.5150, 지침 반응성은 0.9067이었다. GPT-5.4의 경우 각각 0.2316과 0.7186이었고, 체스 전용 인간 수 예측 모델인 Maia2는 각각 0.4535와 0.2721이었다. 연구소는 이 비교가 두 기준 모델 계열의 차이를 보여 준다고 설명한다. GPT-5.4는 지침에 반응하지만 개별 학생의 행동을 일관되게 재현하지 못하는 반면, Maia2는 인간의 체스 수를 더 잘 예측하지만 자연어 지침을 처리하는 경로가 없다. 논문 초록에 따르면 StudentSim은 모든 영역에서 두 지표 모두 GPT-5.4보다 우수한 성능을 보였다.

연구팀은 훈련된 시뮬레이터가 튜터 최적화를 위한 피드백을 제공할 수 있는지도 시험했다. 체스 튜터 강화학습 연구에서 튜터는 실제 학생이 이전에 둔 잘못된 수와 함께 체스판 상황을 입력받아 지침을 제시한다. 고정된 개인화 시뮬레이터는 이 지침을 읽고 수정된 수를 내놓으며, 보상은 Stockfish 체스 엔진으로 독립적으로 평가한 원래 수와 수정된 수 사이의 수의 품질 향상분이다. 이 연구는 동일한 튜터 정책, 지도학습을 통한 초기화, 강화학습 설정을 공유하는 세 가지 조건을 비교한다. 강화학습 없이 지도 미세 조정만 한 튜터, GPT-5.4 시뮬레이션 학생의 보상을 기준으로 훈련한 튜터, StudentSim 보상을 기준으로 훈련한 튜터가 이에 해당한다. 체스 전문가들은 어떤 조건에서 생성된 응답인지 모르는 상태에서 튜터 응답을 평가했다.

발표에 따르면 StudentSim을 기준으로 훈련한 튜터의 정확도는 90.5%로, 강화학습을 적용하지 않은 기준 모델의 75.7%와 GPT-5.4 보상 조건의 71.6%보다 높았으며, 지침의 품질과 개인화 측면에서도 더 높은 평가를 받았다. Microsoft Research는 이번 결과를 실제 학습자 기록을 바탕으로 훈련한 학생 시뮬레이터가 튜터 훈련에 유용한 피드백 신호로 쓰일 수 있음을 보여주는 개념 증명이라고 설명한다.

명시된 한계와 이용 가능성

Microsoft Research는 StudentSim을 실제 학습자와 함께 시험하기 전에 AI 튜터를 평가하고 개선하기 위한 연구 시스템으로 소개한다. 연구소는 이 시스템이 제품이 아니며, 교실에 도입된 적도 없고, 교사를 대체하기 위한 것도 아니라고 밝혔다. 또한 교육 연구에서 학습 성과, 안전성, 사용 편의성, 교실 환경과의 적합성을 측정하려면 사람을 대상으로 한 연구가 여전히 필수적이므로, 이 시스템이 실제 학습자의 필요성을 없애지는 않는다고 덧붙였다. 연구소의 설명에 따르면 시뮬레이터는 개발 과정의 초기 단계에서 활용하는 것이 적절하다. 이 단계에서 연구자들은 시뮬레이터를 활용해 튜터 전략을 시험하고 모델을 비교하며, 실제 학생을 대상으로 하는 비용이 더 많이 드는 연구에 앞서 훈련 신호를 개선할 수 있다. 향후 연구 방향으로는 더 긴 학습 과정, 더 다양한 과목, 더 풍부한 학생 프로필, 시뮬레이션 피드백을 측정된 학습 성과와 연결하는 연구가 제시됐다.

기반이 된 논문 「StudentSim: Training LLM-based Student Simulators」는 2026년 9월 1일 arXiv에 제출됐으며, Microsoft Research 출판 페이지에는 2026년 9월로 표기되어 있다. 저자는 University of Illinois Urbana-Champaign의 박사과정 학생 Ke Yang, Chenglong Wang, Michel Galley, Chandan Singh, Jeevana Priya Inala, ChengXiang Zhai, Jianfeng Gao다. StudentSim 학습 및 평가 코드는 StudentSimEval 프로토콜을 포함해 MIT 라이선스로 공개되어 있다.