Вот как раз встраивание изучаемых слов (с приоритетом тех, которые плохо запоминаются) это и было первым реализовано и это довольно легко. И работает в целом неплохо - в тренажере и в ролевых и в обсуждении новостей может подсунуть, но без фанатизма (в зависимости от уровня изученных слов эффективность разная, конечно).
Но вот эта вечная идея прогрессивного обучения спотыкается о то, что нужно как-то оценить, куда пользователь движется и как у него в мозгу это укладывается. То есть как-то почитать его мысли и узнать его лучше, чем он знает себя сам. Даже учителя не все с этим справляются, не то, что ИИ, к сожалению. И мы не скоро достигнем состояния, когда можно будет хотя бы "уверенность" в ответе измерить каким-то разумным способом, чтобы от него модель считать. Всякие измерения кожного сопротивления не в счет - не каждый ученик будет учить английский в детекторе лжи 😅
Мне кажется как раз программа важна. Путь, по которому пользователя можно или быстро протащить или задержать где, в зависимости от сложности (мне раньше нравилась подача ютубера CGPGray - у него адаптивная скорость подачи в зависимости от важности была очень хорошо настроена. Вот такую бы и мне в тренажер).
Программы во всяких duolingo настроены на наборы фраз и фактически "программой изучения" языка то и не являются, как не является программой любой карманный разговорник. А хочется системность, а не разговорник для туристов. И насчет бесплатных ИИ не вполне согласен. Я пробовал с чатами это делать - набор заданий сделать можно, но это разовая акция, без оценки, без реалтайма, без произношения, в общем сделай и оцени сам. Тоже не мой случай.
Не говорить вроде как-то неправильно, но можно предупредить, что будет переоценка и показывать ее в настройках просто. Что бы потом и пользователь мог сказать "а вот и не угадали" и вернуть обратно. Основная то идея уровня в том, что задания генерируются под уровень, а не слова. Слова нужны, конечно, но в целом нет такой штуки как "слова уровня B2" - это скорее предположение, что 80%, у кого уровень близок к этому столкнулись и знают. Но у меня 4 датасета с разных источников и в них процентов 30 расхождений по оценке уровня слов, поэтому на одном словаре наверное не стоит основываться. На словаре и грамматике вполне можно, наверное
Сейчас пришла идея, что может нужно динамическую переоценку проводить, на основании ошибок? Я же все равно всю историю собираю и по грамматике и по словам. Только как потом пользователю сказать, что мы как будто бы немного ошиблись и у него не C2, а очень даже B1 😣
Вот над этим я тоже думал, но очень уж я часто сталкиваюсь с волшебными решениями, где проходишь какой-нибудь опрос, тратишь время, а они потом тебе "а давай-ка ты сразу подписочку оформишь". А я вроде как и не хочу никому подписочку лишнюю предлагать. Хочу добро людям нести. Основная цель такая была - принести чего-нибудь полезное, потому что мне лично было полезно грамматический тренер. Вообще очень по-дурацки получается, EF грамматика C2, а открываю уроки 1.1/1.2 и половина неправильно говорю в реалтайм. В сущности идея была сделать этакий грамматический решебник, но без идей "3 примера на правило" и вообще без "вставь в пропуск" в идеале (от B1 дефолтный режим ставится "полный перевод"). Потому, что вставь пропуск - это то же самое, что и выбрать из 3х вариантов - не помогает запомнить. Но для A2 понятно, что полностью перевод сразу тяжело сделать, особенно голосом в реалтайм
И вот тут у меня тоже начинаются проблемы. Как будто грамматику +- я понимаю и уж "выбери из 3х вариантов" получаются, вон тот же EF тоже C2 выдает. Но это ж неправильно. Учителя живые на первом занятии просто говорят "давай, поговори там чего-нибудь". Но я боюсь такое сразу людей отпугнет, потому, что меня такое в других продуктах удивило и я продолжать не стал. А самая главная проблема потом начинается - оно же считает, что все, C2, и это подается на вход LLM, типа "не стесняйся в выражениях, там нормально все" и получаются грамматические монстры, которые мне вообще не понятны
Да, это как раз специальная механика, которую я нашел в научной статье по изучению языков - 20% слов ненастоящие. Генерировал их цепями маркова, потом еще Sonnet отсеивал "похожее на слова". Идея в том, что правильные слова добавляют уверенности в оценку, а ненастоящие - убавляют. В результате, если отметить все, то оценка будет "0 слов", что как будто бы и правильная при попытке затыкать все.
О, как, спасибо за баг. Не, это точно просто баг, с тестовой версии приехало. И большая часть людей все-таки в веб приходит. Для меня бот прям сильно не основная штука, т.к. неудобно лично самому такой формат. Веб интерактивный, с уроками и реалтайм голосом, а чат - это я уже видел в других местах, мне не зашел формат
Файлик pesq.exe собран с отладочной версией рантайма. Ругается:
«Приложению не удалось запуститься, поскольку MSVCR100D.dll не был найден»
Пересоберите пожалуйста. Сейчас как раз занимаюсь анализом качества звука на нашей сети. 2 дня назад искал реализованные тулзы для PESQ, оценить влияние пережатия/микширования на звук, ничего не нашел. И тут ваша статья, внезапно :)
Подскажите, что еще можно почитать по теме?
Вот как раз встраивание изучаемых слов (с приоритетом тех, которые плохо запоминаются) это и было первым реализовано и это довольно легко. И работает в целом неплохо - в тренажере и в ролевых и в обсуждении новостей может подсунуть, но без фанатизма (в зависимости от уровня изученных слов эффективность разная, конечно).
Но вот эта вечная идея прогрессивного обучения спотыкается о то, что нужно как-то оценить, куда пользователь движется и как у него в мозгу это укладывается. То есть как-то почитать его мысли и узнать его лучше, чем он знает себя сам. Даже учителя не все с этим справляются, не то, что ИИ, к сожалению. И мы не скоро достигнем состояния, когда можно будет хотя бы "уверенность" в ответе измерить каким-то разумным способом, чтобы от него модель считать. Всякие измерения кожного сопротивления не в счет - не каждый ученик будет учить английский в детекторе лжи 😅
Мне кажется как раз программа важна. Путь, по которому пользователя можно или быстро протащить или задержать где, в зависимости от сложности (мне раньше нравилась подача ютубера CGPGray - у него адаптивная скорость подачи в зависимости от важности была очень хорошо настроена. Вот такую бы и мне в тренажер).
Программы во всяких duolingo настроены на наборы фраз и фактически "программой изучения" языка то и не являются, как не является программой любой карманный разговорник. А хочется системность, а не разговорник для туристов. И насчет бесплатных ИИ не вполне согласен. Я пробовал с чатами это делать - набор заданий сделать можно, но это разовая акция, без оценки, без реалтайма, без произношения, в общем сделай и оцени сам. Тоже не мой случай.
Не говорить вроде как-то неправильно, но можно предупредить, что будет переоценка и показывать ее в настройках просто. Что бы потом и пользователь мог сказать "а вот и не угадали" и вернуть обратно. Основная то идея уровня в том, что задания генерируются под уровень, а не слова. Слова нужны, конечно, но в целом нет такой штуки как "слова уровня B2" - это скорее предположение, что 80%, у кого уровень близок к этому столкнулись и знают. Но у меня 4 датасета с разных источников и в них процентов 30 расхождений по оценке уровня слов, поэтому на одном словаре наверное не стоит основываться. На словаре и грамматике вполне можно, наверное
Сейчас пришла идея, что может нужно динамическую переоценку проводить, на основании ошибок? Я же все равно всю историю собираю и по грамматике и по словам. Только как потом пользователю сказать, что мы как будто бы немного ошиблись и у него не C2, а очень даже B1 😣
Вот над этим я тоже думал, но очень уж я часто сталкиваюсь с волшебными решениями, где проходишь какой-нибудь опрос, тратишь время, а они потом тебе "а давай-ка ты сразу подписочку оформишь". А я вроде как и не хочу никому подписочку лишнюю предлагать. Хочу добро людям нести. Основная цель такая была - принести чего-нибудь полезное, потому что мне лично было полезно грамматический тренер. Вообще очень по-дурацки получается, EF грамматика C2, а открываю уроки 1.1/1.2 и половина неправильно говорю в реалтайм. В сущности идея была сделать этакий грамматический решебник, но без идей "3 примера на правило" и вообще без "вставь в пропуск" в идеале (от B1 дефолтный режим ставится "полный перевод"). Потому, что вставь пропуск - это то же самое, что и выбрать из 3х вариантов - не помогает запомнить. Но для A2 понятно, что полностью перевод сразу тяжело сделать, особенно голосом в реалтайм
И вот тут у меня тоже начинаются проблемы. Как будто грамматику +- я понимаю и уж "выбери из 3х вариантов" получаются, вон тот же EF тоже C2 выдает. Но это ж неправильно. Учителя живые на первом занятии просто говорят "давай, поговори там чего-нибудь". Но я боюсь такое сразу людей отпугнет, потому, что меня такое в других продуктах удивило и я продолжать не стал. А самая главная проблема потом начинается - оно же считает, что все, C2, и это подается на вход LLM, типа "не стесняйся в выражениях, там нормально все" и получаются грамматические монстры, которые мне вообще не понятны
Да, это как раз специальная механика, которую я нашел в научной статье по изучению языков - 20% слов ненастоящие. Генерировал их цепями маркова, потом еще Sonnet отсеивал "похожее на слова". Идея в том, что правильные слова добавляют уверенности в оценку, а ненастоящие - убавляют. В результате, если отметить все, то оценка будет "0 слов", что как будто бы и правильная при попытке затыкать все.
Вот сама статья - https://link.springer.com/article/10.3758/s13428-011-0146-0
Там конечно больше охват и как-то они постарались соединить модельные наборы с реальными, но в целом результаты кажутся довольно здоровыми.
О, как, спасибо за баг. Не, это точно просто баг, с тестовой версии приехало. И большая часть людей все-таки в веб приходит. Для меня бот прям сильно не основная штука, т.к. неудобно лично самому такой формат. Веб интерактивный, с уроками и реалтайм голосом, а чат - это я уже видел в других местах, мне не зашел формат
«Приложению не удалось запуститься, поскольку MSVCR100D.dll не был найден»
Пересоберите пожалуйста. Сейчас как раз занимаюсь анализом качества звука на нашей сети. 2 дня назад искал реализованные тулзы для PESQ, оценить влияние пережатия/микширования на звук, ничего не нашел. И тут ваша статья, внезапно :)
Подскажите, что еще можно почитать по теме?