Как учебная платформа может учитывать, что ученик уже знает

Новая тема опирается на прежние знания

Школьные темы связаны между собой: для работы с квадратными корнями нужны навыки умножения и деления. Если эти основы усвоены не до конца, дополнительного объяснения новой темы может оказаться недостаточно. Сначала важно понять, какой именно шаг вызывает затруднение.

Для человека, привыкшего разбираться в технических проблемах, ситуация знакомая: место, где проявилась ошибка, не обязательно совпадает с её источником. В обучении есть дополнительная сложность. Даже после выяснения причины нужно помочь ученику разобраться в материале, затем предложить исходное задание и проверить самостоятельное решение.

Индивидуальная помощь позволяет выяснять причины затруднений по ходу занятия. Отсюда вопрос: какую часть этой работы можно перенести в систему, чтобы помощь была доступна большему числу учеников?

Исследования индивидуального обучения помогают определить, какие функции помощи ученику стоит переносить в платформу. Далее — научные основания подхода Exameo, учебный пример и вопросы, которые предстоит проверить в первых тестах.

Индивидуальное обучение: что показали исследования

В работе Бенджамина Блума 1984 года сопоставлялись три условия: обычное обучение в классе, обучение с проверками и устранением выявленных пробелов (mastery learning) и занятия с преподавателем индивидуально либо в группе из двух-трёх учеников. Во втором и третьем случаях использовались проверки, обратная связь и устранение выявленных затруднений.

Сравнение трёх условий у Блума

В описанных исследованиях средний результат учеников, занимавшихся с преподавателем индивидуально или в группе из двух-трёх учеников, был примерно на два стандартных отклонения выше среднего результата обычного класса. Именно этот разрыв дал название проблеме двух сигм.

Результат относился к конкретным условиям: в этих экспериментах ученики изучали теорию вероятностей и картографию, а обучение занимало три недели. Поэтому две сигмы нельзя считать гарантированным преимуществом любого репетитора по любому предмету.

Этот разрыв поставил перед Блумом практический вопрос: как приблизить результаты обучения в классе к результатам индивидуального сопровождения, если обеспечить каждого ученика отдельным преподавателем слишком дорого?

Что уже известно о компьютерной помощи

Попытки ответить на этот вопрос появились задолго до нынешнего интереса к нейросетям. В обзоре Курта ВанЛена 2011 года сравнивались занятия с человеком и разные типы компьютерных обучающих систем. По сравнению с обучением без индивидуального сопровождения средний размер эффекта составил около 0.79 для занятий с преподавателем и около 0.76 для компьютерных систем, взаимодействующих с учеником на уровне шагов решения.

Горизонтальная столбчатая диаграмма по обзору ВанЛена, 2011

Эти результаты не означают, что любой тренажёр равен репетитору. В обзоре важен характер взаимодействия: проверка итогового ответа и помощь на шагах решения — разные вещи. Результаты исследованных систем нельзя автоматически переносить на другие продукты.

Эти данные дают основание исследовать возможности компьютерной помощи в обучении, но пользу каждой конкретной системы нужно проверять отдельно.

Неверный ответ — начало уточнения

Для выполнения задания «вычислить » нужны несколько навыков. Этот учебный пример иллюстрирует подход; он не описывает случай из тестирования.

Задание допускает два способа решения:

• Сначала выполнить деление под корнем: = = .

• Использовать свойство квадратного корня из частного: = = = .

В первом случае ученик делит 144 на 9 и извлекает корень из результата. Во втором — сначала извлекает корни из числителя и знаменателя, затем делит 12 на 3. Здесь дополнительно нужно знать свойство корня из частного.

Неверный ответ сам по себе не показывает, какой шаг вызвал затруднение и какой способ использовал ученик. Причина может быть в делении, понимании квадратного корня или применении его свойств. Возможна и случайная вычислительная ошибка.

Отдельные задания на деление, извлечение квадратного корня и применение его свойств помогают уточнить причину. Проверка только не охватывает оба способа решения. При этом один неверный ответ в уточняющем задании ещё не устанавливает, где находится пробел.

Отсюда логика подхода: уточнять причину затруднения по результатам нескольких заданий, прежде чем выбирать, что объяснять дальше. При подборе учитываются класс ученика и сложность задания. Возврат к базовой теме должен быть связан с конкретной учебной целью.

Учебный пример

Объяснить, потренировать, вернуться

Поиск причины затруднения и возвращение к исходной задаче лежат в основе Exameo — проекта для изучения школьных предметов и подготовки к экзаменам. Система ещё строится, впереди пилот с первыми учениками.

В Exameo предусмотрен следующий цикл: уточнить затруднение, найти связанный с ним пробел в предшествующих темах, предложить учебные материалы и практику для устранения пробела, затем вернуть ученика к исходному типу задач. Если обнаруживается другой пробел, цикл повторяется. Когда ученик уверенно решает задания, система фиксирует навык. Позже система снова проверяет его — через определённое время или после выполнения других заданий.

Схема помощи глазами ученика

Учебные материалы объясняют тему, а практика позволяет применить изученное самостоятельно. Возвращение к исходным задачам помогает проверить, дало ли результат повторение базовой темы.

В примере с корнями успешное выполнение деления ещё не означает, что ученик справляется со всем заданием. Нужно также проверить извлечение корня, а при использовании второго способа — применение свойства корня из частного. Для этого нужны новые задачи: воспроизведение уже разобранного ответа даёт меньше информации о понимании материала.

Почему навык проверяется снова

Успешное решение серии заданий показывает, что ученик справляется сейчас. Следующий вопрос — сможет ли он справиться позднее.

В эксперименте Карпике и Рёдигера 2008 года студенты учили пары иностранных слов. После первого правильного ответа в зависимости от условий эксперимента продолжалось изучение слов, их повторное воспроизведение или оба вида практики прекращались. На проверке через неделю лучше справились студенты, которые продолжали воспроизводить слова после первого правильного ответа. Дополнительное изучение уже воспроизведённых слов такого эффекта не дало.

Это эксперимент с запоминанием слов, поэтому его результат нельзя напрямую перенести на решение школьных задач. Он даёт основание для гипотезы: самостоятельное воспроизведение после первого правильного ответа помогает закреплять изученное.

В Exameo отложенная проверка уже входит в описанный цикл. Помогает ли этот цикл сохранять навык решения задач, предстоит проверить в пилоте.

Временная линия «Освоение темы → успешная практика → занятия по другим темам → отложенная проверка»

Что должны показать первые тесты

Работающая система ещё не подтверждает эффективность обучения. В пилоте важно отделить качество работы системы от изменений в знаниях ученика.

Для оценки подхода важны три вопроса:

• Стал ли ученик самостоятельно решать новые задания по исходной теме?

• Справляется ли он спустя время без опоры на недавний разбор?

• Удалось ли устранить затруднение без ненужного повторения большого объёма материала?

Это ориентиры для проверки, а не готовый протокол исследования. До пилота нужно определить задания, условия и способ оценки. Внутренней отметки «навык освоен» недостаточно для оценки эффективности: результат нужно подтвердить независимой проверкой.

Для оценки адаптивного подбора нужно сравнить его с обучением по тем же материалам и заданиям, но без адаптации, при сопоставимом времени занятий. Без такого сравнения улучшение можно увидеть, но выделить вклад алгоритма будет сложнее.

Результатов, позволяющих говорить, что Exameo разрешил проблему двух сигм, пока нет. Задача первых тестов — проверить, помогает ли система выяснить причину затруднения, восполнить пробел и вернуться к исходной задаче.

Если вы помогаете школьнику с учёбой — как родитель или преподаватель, — как вы отличаете непонимание текущей темы от пробела в базовых знаниях? Какие проверки помогают определить, что ребёнку действительно нужно повторить?

Пока платформа готовится к первым тестам, Exameo активно наполняется учебными материалами. Уже сейчас можно посмотреть доступные темы — новые появляются каждый день.
В Telegram-канале — продолжение темы и заметки о разработке Exameo.