Да, возможно задача не решаема в такой её формулировке. А возможно решаема. В любом случае, правду узнает тот, кто пробует.
Касательно навыков, у меня есть одна гранд-гипотеза. Суть её в том, что человек способен освоить иностранный язык только до уровня владения родным языком. Просто вдумайся: язык это не столько средство общения, сколько средство описания окружающего мира и взаимодействия с ним на уровне мыслительного процесса. Человек, имеющий ограниченный язык, мыслит ограниченными категориями и при попытке расширить перечень этих категорий ловит что-то сродни input/output error. Из этого я предполагаю, что самосаботаж в изучении английского начинается там, где его дают шире чем человеку необходимо. Допустим, он не использует в своей речи сложносочинённые предложения или деепричастные обороты. Любые упражнения на эти темы будут старательно вытесняться, потому что идут вразрез с принципом наименьшего сопротивления. Но что, если вычислить имеющуюся у человека языковую модель, странсферить её в английский и вот так вот, ограниченно, преподавать? Что если обучать человека единственному навыку - выражать свои мысли на английском так, как он выражает их на русском, и не более. Тогда, возможно, он будет прогрессировать сильно быстрее, а главное - не словит отторжения.
Нет, не пробовали и не будем. Причина в том, что нейтивы осваивают язык не так как иностранцы. Как бы тафтологично ни звучало, но для нейтива говорить на своём языке естественно, поэтому изучает он грамматику и сложную функциональную лексику. У русского человека на момент начала изучения английского языка в голове уже уложена языковая модель русского, через призму которой он воспринимает новый язык, даже у детей так. Поэтому преимущественно сначала изучается грамматика и словарный запас, которые проще понять путём сопоставления с русским, а после уже оттачиваются разговорные навыки. Методики преподавания, весь скиллсет, по которому измеряется прогресс, да и уровни владения заточены именно под иностранцев, а не нейтивов.
Есть у нас отдельная серия проектов, проходящих по тарифу "геймификация". Там как раз все эти разнообразные механики. Скажу больше, новая шкала прогресса, которую я упоминал в конце статьи, именно по этой причине работает как набор экспы в ролёвке.
Но повторюсь, при бизнесовой задаче удержать ученика основной всё же остаётся довести его от точки А в точку Б, и тут нужна честная образовательная аналитика. Причём честная, в первую очередь, перед самими собой, чтобы знать наверняка, что мы обучаем, а не просто развлекаем.
Во-первых, определение психотипа это не бесплатная операция. Нужен либо методист, что будет оценивать поведение учеников, коих тысячами прибавляется ежемесячно, либо тест с откликом от учеников и железобетонный механизм обязательного прохождения этого теста. Расходы на такое должны быть существенно ниже, чем профит, полученный от роста лайфтайма ученика в школе, который, кстати, ещё надо доказать.
Во-вторых, оценка успешности - не то же самое, что метрика прогресса, а прогресс надо демонстрировать в понятной пользователю шкале.
В-третьих, даже если эта дурилка будет обладать доказанной экономической целесообразностью, с её помощью невозможно вести какую бы то ни было образовательную аналитику, улучшать контент, и балансировать простоту в освоении с эффективностью.
Вы абсолютно правы в вопросе точности. Действительно, для того чтобы в моменте определять уровень по шкале GSE с точностью 98%, не индивидуализируя тест, необходимо проверить владение 400 навыками. Чтобы получить аналогичную точность по CEFR, достаточно проверить 30 навыков, хотя бы равномерно распределённых по сложности, а лучше - подстраивающихся по сложности в зависимости от ответов ученика.
Что мы имеем по нашим ученикам на момент 4-го урока? В среднем, информацию о 22 навыках, причём по сложности сконцентрированных в районе уровня курса, который проходит ученик. Усугублялась картина тем, что ученики, в большинстве своём, игнорировали специализированные задания на письмо и говорение, а значит у нас была информация лишь по трём аспектам. По таким ограниченным данным мы даже уровень по CEFR +-точно не могли бы определить, а нам нужна была автоматически формируемая точка отсчёта для прогресса, относительно которой можно было бы строить дальнейшую динамику. Поэтому и добавили предиктивные значения. Да, где-то до 10-го урока оценка уровня была весьма волатильна, но потом выравнивалась.
Это сейчас данных собрано достаточно, чтобы имея начальные сведения об уровне ученика можно было считать его прогресс без использования предсказанных значений, но на начальном этапе без этих х' было не обойтись.
Лучше/хуже подразумевает некий критерий, в рамках которого ведётся оценка.
Мой критерий - соотношение эффективности и рациональности для решения конкретной продуктовой задачи. Когда задача стоит демонстрировать ученику прогресс, использование IELTS/TOEFL/etc, требующих непосредственного присутствия ученика, от 2.5 до 6 часов времени, а также проверяющего методиста, эффективно, но не рационально. Моя система работает в фоновом режиме и в первой её версии пересчитывала прогресс раз в сутки, если в эти сутки была какая-либо активность ученика, а в текущей версии пересчитывает после каждого урока или самостоятельно выполненного упражнения, тратя на одного ученика от 0.4 до 0.45 секунды.
Кстати, вводные уроки действительно отличаются от регулярных, но не качеством преподавания, а большей эмоциональной плотностью, от этого и запоминаются лучше, и кажутся круче. Вот только делать все уроки такими нецелесообразно. В 2018 году мы проводили такой эксперимент и выяснили, что "каждый урок как вводный" приедается в среднем уже к 4-му уроку)
Я r&d инженер и не могу комментировать с продуктовой и с ux точки зрения, поэтому отвечу со своей стороны.
Проблема балансировки между индивидуализацией и усреднением (читай минимизацией расходов) существует во всей индустрии edtech, и до её решения как до звёзд. Вопрос в том, как к ней относиться. Можно принять как данность, строить школы, затусовывать оффлайн преподавателей и учеников, требовать и от тех, и от других что-то, как-то это контролировать, вобщем, стать очередным громоздким министерством образования. А можно попытаться сделать что-то. Для меня это именно техническая задача - формализовать то, что отличает человека умеющего преподавать от неумеющего. И на мой взгляд, если не пробовать её решать, то мы так и застрянем на уровне, где учатся из-под палки, а преподают по единственно верной одобренной программе.
Что же касается формулировок в сочинениях, то это довольно распространённая боль. Человек при написании сочинения пытается передать эмоцию, закодировав её в образ, обкладывая образ смыслами и облекая эти смыслы в текст. Сетка видит текст и максимум что может на текущем уровне развития - попытаться декодировать смысл, частенько некорректно. Это, кстати, основная причина, по которой чат-боты вызывают отвращение.Тем не менее мир не стоит на месте, технологии развиваются. Я верю, что и эта задача будет решена.
Ох, как бы тут кратенько ответить, чтобы не открыть портал в инферно)) Просто очень люблю эту тему.
Конечно я думал об этом. Вот тут(https://www.youtube.com/watch?v=9rA6ZEB_o5k) товарищ считает, что потребуется уйма лет, и приводит весьма чёткие аргументы.
Да, возможно задача не решаема в такой её формулировке. А возможно решаема. В любом случае, правду узнает тот, кто пробует.
Касательно навыков, у меня есть одна гранд-гипотеза. Суть её в том, что человек способен освоить иностранный язык только до уровня владения родным языком. Просто вдумайся: язык это не столько средство общения, сколько средство описания окружающего мира и взаимодействия с ним на уровне мыслительного процесса. Человек, имеющий ограниченный язык, мыслит ограниченными категориями и при попытке расширить перечень этих категорий ловит что-то сродни input/output error. Из этого я предполагаю, что самосаботаж в изучении английского начинается там, где его дают шире чем человеку необходимо. Допустим, он не использует в своей речи сложносочинённые предложения или деепричастные обороты. Любые упражнения на эти темы будут старательно вытесняться, потому что идут вразрез с принципом наименьшего сопротивления. Но что, если вычислить имеющуюся у человека языковую модель, странсферить её в английский и вот так вот, ограниченно, преподавать? Что если обучать человека единственному навыку - выражать свои мысли на английском так, как он выражает их на русском, и не более. Тогда, возможно, он будет прогрессировать сильно быстрее, а главное - не словит отторжения.
Нет, не пробовали и не будем. Причина в том, что нейтивы осваивают язык не так как иностранцы. Как бы тафтологично ни звучало, но для нейтива говорить на своём языке естественно, поэтому изучает он грамматику и сложную функциональную лексику. У русского человека на момент начала изучения английского языка в голове уже уложена языковая модель русского, через призму которой он воспринимает новый язык, даже у детей так. Поэтому преимущественно сначала изучается грамматика и словарный запас, которые проще понять путём сопоставления с русским, а после уже оттачиваются разговорные навыки. Методики преподавания, весь скиллсет, по которому измеряется прогресс, да и уровни владения заточены именно под иностранцев, а не нейтивов.
Есть у нас отдельная серия проектов, проходящих по тарифу "геймификация". Там как раз все эти разнообразные механики. Скажу больше, новая шкала прогресса, которую я упоминал в конце статьи, именно по этой причине работает как набор экспы в ролёвке.
Но повторюсь, при бизнесовой задаче удержать ученика основной всё же остаётся довести его от точки А в точку Б, и тут нужна честная образовательная аналитика. Причём честная, в первую очередь, перед самими собой, чтобы знать наверняка, что мы обучаем, а не просто развлекаем.
Выглядит логично, но тут ведь как...
Во-первых, определение психотипа это не бесплатная операция. Нужен либо методист, что будет оценивать поведение учеников, коих тысячами прибавляется ежемесячно, либо тест с откликом от учеников и железобетонный механизм обязательного прохождения этого теста. Расходы на такое должны быть существенно ниже, чем профит, полученный от роста лайфтайма ученика в школе, который, кстати, ещё надо доказать.
Во-вторых, оценка успешности - не то же самое, что метрика прогресса, а прогресс надо демонстрировать в понятной пользователю шкале.
В-третьих, даже если эта дурилка будет обладать доказанной экономической целесообразностью, с её помощью невозможно вести какую бы то ни было образовательную аналитику, улучшать контент, и балансировать простоту в освоении с эффективностью.
Вы абсолютно правы в вопросе точности. Действительно, для того чтобы в моменте определять уровень по шкале GSE с точностью 98%, не индивидуализируя тест, необходимо проверить владение 400 навыками. Чтобы получить аналогичную точность по CEFR, достаточно проверить 30 навыков, хотя бы равномерно распределённых по сложности, а лучше - подстраивающихся по сложности в зависимости от ответов ученика.
Что мы имеем по нашим ученикам на момент 4-го урока? В среднем, информацию о 22 навыках, причём по сложности сконцентрированных в районе уровня курса, который проходит ученик. Усугублялась картина тем, что ученики, в большинстве своём, игнорировали специализированные задания на письмо и говорение, а значит у нас была информация лишь по трём аспектам. По таким ограниченным данным мы даже уровень по CEFR +-точно не могли бы определить, а нам нужна была автоматически формируемая точка отсчёта для прогресса, относительно которой можно было бы строить дальнейшую динамику. Поэтому и добавили предиктивные значения. Да, где-то до 10-го урока оценка уровня была весьма волатильна, но потом выравнивалась.
Это сейчас данных собрано достаточно, чтобы имея начальные сведения об уровне ученика можно было считать его прогресс без использования предсказанных значений, но на начальном этапе без этих х' было не обойтись.
Лучше/хуже подразумевает некий критерий, в рамках которого ведётся оценка.
Мой критерий - соотношение эффективности и рациональности для решения конкретной продуктовой задачи. Когда задача стоит демонстрировать ученику прогресс, использование IELTS/TOEFL/etc, требующих непосредственного присутствия ученика, от 2.5 до 6 часов времени, а также проверяющего методиста, эффективно, но не рационально. Моя система работает в фоновом режиме и в первой её версии пересчитывала прогресс раз в сутки, если в эти сутки была какая-либо активность ученика, а в текущей версии пересчитывает после каждого урока или самостоятельно выполненного упражнения, тратя на одного ученика от 0.4 до 0.45 секунды.
Кстати, вводные уроки действительно отличаются от регулярных, но не качеством преподавания, а большей эмоциональной плотностью, от этого и запоминаются лучше, и кажутся круче. Вот только делать все уроки такими нецелесообразно. В 2018 году мы проводили такой эксперимент и выяснили, что "каждый урок как вводный" приедается в среднем уже к 4-му уроку)
Я r&d инженер и не могу комментировать с продуктовой и с ux точки зрения, поэтому отвечу со своей стороны.
Проблема балансировки между индивидуализацией и усреднением (читай минимизацией расходов) существует во всей индустрии edtech, и до её решения как до звёзд. Вопрос в том, как к ней относиться. Можно принять как данность, строить школы, затусовывать оффлайн преподавателей и учеников, требовать и от тех, и от других что-то, как-то это контролировать, вобщем, стать очередным громоздким министерством образования. А можно попытаться сделать что-то. Для меня это именно техническая задача - формализовать то, что отличает человека умеющего преподавать от неумеющего. И на мой взгляд, если не пробовать её решать, то мы так и застрянем на уровне, где учатся из-под палки, а преподают по единственно верной одобренной программе.
Что же касается формулировок в сочинениях, то это довольно распространённая боль. Человек при написании сочинения пытается передать эмоцию, закодировав её в образ, обкладывая образ смыслами и облекая эти смыслы в текст. Сетка видит текст и максимум что может на текущем уровне развития - попытаться декодировать смысл, частенько некорректно. Это, кстати, основная причина, по которой чат-боты вызывают отвращение.Тем не менее мир не стоит на месте, технологии развиваются. Я верю, что и эта задача будет решена.