Сотрудники Центра психометрики и измерений в образовании Института образования НИУ ВШЭ совместно с командой Института искусственного интеллекта и цифровых наук ФКН ВШЭ провели пилотирование системы адаптивного тестирования математической грамотности для учащихся начальной школы. Разработка объединяет психометрические модели и технологии ИИ, чтобы оценивать математическую грамотность младших школьников и формировать индивидуальные рекомендации для учителей. В пилотировании системы в школах Москвы и Новосибирска приняли участие 284 ученика 3–4-х классов.
Цель пилотирования — проверить работу системы в реальных школьных условиях и собрать обратную связь от учеников и учителей. Полученные данные помогут исследовательской команде усовершенствовать разработку и подготовить ее к более масштабному тестированию.
В основе системы — сочетание современных психометрических моделей и технологий искусственного интеллекта. Технологии ИИ используются для генерации банка заданий и формирования обратной связи по результатам тестирования. Такой подход позволяет поддерживать качество заданий и сокращать время и ресурсы, необходимые для их разработки.
Ключевой элемент системы — адаптивный алгоритм, который подбирает задания индивидуально для каждого ученика на основе его предыдущих ответов. Поэтому школьники могут получать задания разной сложности и выполнять их в разном количестве. Система не предъявляет всем участникам один и тот же набор вопросов: последовательность тестирования зависит от того, какие навыки ребенок уже продемонстрировал и каких данных для оценки пока недостаточно.
Алгоритм оценивает не только общий уровень математической грамотности, но и освоение отдельных ее составляющих — когнитивных атрибутов. Каждое следующее задание подбирается так, чтобы проверить конкретные навыки. Например, если ученик уже уверенно выявляет закономерности, система может перейти к оценке других навыков, по которым информации еще недостаточно. Благодаря этому тестирование может завершаться, когда алгоритм соберет достаточно данных для оценки проверяемых навыков. Такой подход помогает избежать избыточной нагрузки на школьников без потери точности диагностики.
«Мы объединили в одной системе психометрические методики коллег, адаптивный алгоритм и генеративный ИИ. Методики позволяют оценивать отдельные навыки, а алгоритм подбирает задания с учетом ответов ребенка и завершает тестирование, когда данных достаточно. ИИ помогает создавать банк заданий и формировать понятную обратную связь для учителя. Такая связка сокращает объем ручной работы и дает педагогу подробную картину того, какие навыки ученика требуют внимания», — отметил Данил Швецов, руководитель проекта отдела прикладных технологических решений Института искусственного интеллекта и цифровых наук ФКН НИУ ВШЭ.
Во время пилотирования в московских школах исследователи наблюдали за тем, как дети взаимодействуют с системой, и обсуждали с учениками и педагогами их опыт. Один из вопросов, вызвавших интерес учителей, — почему у разных школьников различалось количество заданий.
«Меня, если честно, удивило, что у детей было разное количество заданий. Видимо, программа давала некоторым детям шанс: а вдруг у них следующее задание получится», — поделилась Анна Кузнецова, учитель начальных классов частной школы «Олимп-Плюс».
Различия в продолжительности тестирования замечали и сами школьники, сравнивая свои результаты с результатами одноклассников. Однако неодинаковое количество заданий — закономерная особенность адаптивного подхода: система определяет, какие данные необходимы для оценки навыков конкретного ребенка, и не предлагает ему задания, которые не нужны для уточнения результата.
Еще одна функция системы — автоматическое формирование диагностических отчетов. При их подготовке учитываются ответы учеников и время, затраченное на выполнение заданий. Индивидуальный отчет помогает определить сильные стороны ребенка и навыки, которым стоит уделить дополнительное внимание. Сводный отчет для учителя показывает общую картину по классу и позволяет выявить наиболее распространенные затруднения. По мнению педагогов, независимая диагностика может дополнить школьные инструменты оценки образовательных результатов.
«Наша система адаптивного тестирования представляет собой сочетание современных методов измерений в образовании и технологий ИИ. Это хороший пример того, когда ИИ служит во благо в образовании и позволяет сделать то, что без него было бы сделать невозможно», — говорит Елена Карданова, научный руководитель Центра психометрики и измерений в образовании Института образования НИУ ВШЭ, руководитель проекта.
Пилотирование стало важным этапом развития разработки НИУ ВШЭ. Обратная связь школьников и педагогов поможет исследовательской команде доработать систему и подготовить ее к проверке в большем количестве школ и на более широкой выборке учащихся.
В дальнейшем команда планирует расширять предметные области применения системы, адаптировать ее для других уровней образования и разрабатывать новые функции. Одно из перспективных направлений — переход от адаптивного оценивания к адаптивному обучению. В этом случае результаты диагностики будут использоваться не только для определения текущего уровня математической грамотности, но и для подбора индивидуальных учебных заданий и рекомендаций. Это позволит связать оценку образовательных результатов с последующей работой над навыками, которые требуют развития.
Исследование выполнено при финансовой поддержке Российского научного фонда в рамках научного проекта № 25-18-00751.