Comments 29
Спасибо за отличное исследование! Многие вещи прояснились!
Интересно, какой был максимальный возраст у опрошенных… :)
Добрый день! Есть ли жизнь после freecodecamp?) Где нет наставников и всё познаешь на своей шкуре…
Мне кажется, можно было добавить критерий «маркетинг» и соотнести его с последней таблицей. Сразу станет понятно кто МММ, а кто образовательная платформа.
>Все последующие расчеты мы проводили только по тем школам, которые были единственными у опрошенных в их опыте прохождения курсов, и по которым набралось 10 или более мнений
Я правильно понимаю, что вы просто устранили из исследования людей, которые обучались более чем на одной площадке?
Мне кажется, это КРАЙНЕ специфичный контингент.
Конечно, посещать несколько платных курсов это дорого. Но мне сложно представить человека, желающего обучаться на программиста, и при этом не прошедшего даже бесплатных курсов на Курсере или Степике.
Я правильно понимаю, что вы просто устранили из исследования людей, которые обучались более чем на одной площадке?
Мне кажется, это КРАЙНЕ специфичный контингент.
Конечно, посещать несколько платных курсов это дорого. Но мне сложно представить человека, желающего обучаться на программиста, и при этом не прошедшего даже бесплатных курсов на Курсере или Степике.
Да, всё верно, мы не стали анализировать людей, которые отметили более одной площадки. Дело в том, что изначально не было цели проанализировать каждую школу, мы только хотели получить общую картину. Но при работе с данными обнаружилась интересная возможность посмотреть на каждую отдельную школу более внимательно.
И вот мы столкнулись с проблемой: если респондент указал, что проходил две школы, и при этом в другой части опроса ответил, что сертификат школы ему помог с трудоустройством, то на счет какой именно из двух школ это отнести?
Поэтому решили ограничить выборку только теми, у кого такое соотнесение можно сделать однозначно, то есть теми, кто указал только одну школу. Таких оказалось почти половина.
И вот мы столкнулись с проблемой: если респондент указал, что проходил две школы, и при этом в другой части опроса ответил, что сертификат школы ему помог с трудоустройством, то на счет какой именно из двух школ это отнести?
Поэтому решили ограничить выборку только теми, у кого такое соотнесение можно сделать однозначно, то есть теми, кто указал только одну школу. Таких оказалось почти половина.
Это крайне печально.
И то, что такой опрос (с ошибочной методологией) в принципе был проведен
И то, что это допустила крупная компания, непосредственно связанная с тематикой опроса.
И то, что такой опрос (с ошибочной методологией) в принципе был проведен
И то, что это допустила крупная компания, непосредственно связанная с тематикой опроса.
Прошу прощения, не понимаю, в чем ошибочность методологии? Люди получают образование постепенно, сначала в одной школе проходят курсы, потом в другой. Мы взяли тех, у кого пока опыт только одной школы. Наверняка со временем у них будет больший опыт. Но уже сейчас у них есть хотя бы один пройденный курс, они знают, какую квалификацию получили, зачем проходили курс, могут оценить полезность сертификата, сказать нам, помогала ли школа с вакансиями, дала ли работу в портфолио, пригодился ли учебный опыт в дальнейшей работе.
Единственное, что их отличает от другой половины опрошенных: они не могут сравнить курсы данной школы с курсами другой. Но мы об этом и не спрашиваем.
Единственное, что их отличает от другой половины опрошенных: они не могут сравнить курсы данной школы с курсами другой. Но мы об этом и не спрашиваем.
Вот, помню, когда я ещё учился в институте, нерадивые студенты примерно так и отвечали, объясняя свои скудные курсовые: «наша методика соответствует нашим целям и задачам».
Господи, да они же прямо так и писали в курсовых, как у вас в статье: «Поэтому построенный нами рейтинг носит скорее тестовый экспериментальный характер и отражает лишь самые общие закономерности». Курсе на втором, наверное, это было.
С формальной точки зрения — да, это правильный ответ, на защите можно отбрехаться. С практической — это косяк. Ваше исследование не позволяет достоверно предположить, какая школа лучше, куда мне вот, простому среднему человеку, нужно идти, чтобы потом успешно трудоустроиться.
У вас было всего 3700 человек в опросе. А какой кусок вы от них отрезали — неизвестно. Это не зафиксировано в отчёте. Мы и так понимаем, что вам на опросы отвечали только люди, имеющие аккаунт в «Моём круге», это серьёзное смещение, но это мы хотя бы знаем.
Вы предлагаете нам выбрать «лучшую школу» на основании вашего отчёта. Но при этом подробно изучаете только тех студентов, которые прошли только одни курсы. Это как составить рейтинг напитков, опросив людей, которые всю жизнь пили одно и то же. Кто же победит, вино от французов, эль от ирландцев, или японское сакэ? А вдруг к нам придёт толпа мексиканцев и лучшим напитком станет текила?
Но это количественная проблема. Есть ещё и проблема качества респондентов: поскольку это люди, прошедшие по сути одни единственные курсы в жизни. Об этом ваш комментарий — мол, эти люди не могут провести сравнение, но могут дать ответ по своей конкретной школе.
Это не совсем так. Вот вам навскидку гипотеза, которую вы могли бы проверить со стороны работодателей — людей берут не из-за сертификата школы, а из-за того, что сертификат (любой школы) для молодого человека, не имеющего ещё никакого опыта, будет хорошим индикатором его заинтересованности в работе. Я уж не говорю вообще про связь реальности и того, что о ней респондент думает.
Проще говоря, вместо хотя бы простенького факторного анализа вы прикладываете линейку к графику и говорите нам, что в глобальном потеплении виновато исчезновение пиратов. А ведь у вас есть факторы! Вы сделали таблицу с тремя переменными, но дальше…
Откуда вы взяли веса переменных?
«дадим этому критерию вес 4», «дадим этому критерию вес 3». Это вообще что такое?
Когда я учился, мы для этого использовали SPSS, рассчитывали факторную нагрузку.
Мне почему на это больно смотреть — потому что сейчас вы подобные методики подкрепляете своим блогом и публикацией на хабре, потом это всё расползается по сети и берётся на вооружение, а потом тебе начинают рассказывать, что ВОТ ТАК ДЕЛАТЬ ПРАВИЛЬНО, ВЕДЬ ТАК ДЕЛАЮТ АВТОРИТЕТНЫЕ ИССЛЕДОВАТЕЛИ.
Господи, да они же прямо так и писали в курсовых, как у вас в статье: «Поэтому построенный нами рейтинг носит скорее тестовый экспериментальный характер и отражает лишь самые общие закономерности». Курсе на втором, наверное, это было.
С формальной точки зрения — да, это правильный ответ, на защите можно отбрехаться. С практической — это косяк. Ваше исследование не позволяет достоверно предположить, какая школа лучше, куда мне вот, простому среднему человеку, нужно идти, чтобы потом успешно трудоустроиться.
У вас было всего 3700 человек в опросе. А какой кусок вы от них отрезали — неизвестно. Это не зафиксировано в отчёте. Мы и так понимаем, что вам на опросы отвечали только люди, имеющие аккаунт в «Моём круге», это серьёзное смещение, но это мы хотя бы знаем.
Вы предлагаете нам выбрать «лучшую школу» на основании вашего отчёта. Но при этом подробно изучаете только тех студентов, которые прошли только одни курсы. Это как составить рейтинг напитков, опросив людей, которые всю жизнь пили одно и то же. Кто же победит, вино от французов, эль от ирландцев, или японское сакэ? А вдруг к нам придёт толпа мексиканцев и лучшим напитком станет текила?
Но это количественная проблема. Есть ещё и проблема качества респондентов: поскольку это люди, прошедшие по сути одни единственные курсы в жизни. Об этом ваш комментарий — мол, эти люди не могут провести сравнение, но могут дать ответ по своей конкретной школе.
Это не совсем так. Вот вам навскидку гипотеза, которую вы могли бы проверить со стороны работодателей — людей берут не из-за сертификата школы, а из-за того, что сертификат (любой школы) для молодого человека, не имеющего ещё никакого опыта, будет хорошим индикатором его заинтересованности в работе. Я уж не говорю вообще про связь реальности и того, что о ней респондент думает.
Проще говоря, вместо хотя бы простенького факторного анализа вы прикладываете линейку к графику и говорите нам, что в глобальном потеплении виновато исчезновение пиратов. А ведь у вас есть факторы! Вы сделали таблицу с тремя переменными, но дальше…
Откуда вы взяли веса переменных?
«дадим этому критерию вес 4», «дадим этому критерию вес 3». Это вообще что такое?
Когда я учился, мы для этого использовали SPSS, рассчитывали факторную нагрузку.
Мне почему на это больно смотреть — потому что сейчас вы подобные методики подкрепляете своим блогом и публикацией на хабре, потом это всё расползается по сети и берётся на вооружение, а потом тебе начинают рассказывать, что ВОТ ТАК ДЕЛАТЬ ПРАВИЛЬНО, ВЕДЬ ТАК ДЕЛАЮТ АВТОРИТЕТНЫЕ ИССЛЕДОВАТЕЛИ.
++++ жаль не могу плюсовать, но полностью с вами согласен.
Кстати, там есть еще одно измерение: человек учился только в одной школе, но прошел в ней 100500 курсов. Он мог взять специализацию, в которой несколько курсов, а мог проходить несколько несвязанных между собой курсов. На мой взгляд это измерение также интересно, так как непонятно насколько именно специализация отличается от отдельных аналогичных курсов, м.б. надерганных даже из разных школ, но объединенных одной целью, например full stack dev.
Кстати, там есть еще одно измерение: человек учился только в одной школе, но прошел в ней 100500 курсов. Он мог взять специализацию, в которой несколько курсов, а мог проходить несколько несвязанных между собой курсов. На мой взгляд это измерение также интересно, так как непонятно насколько именно специализация отличается от отдельных аналогичных курсов, м.б. надерганных даже из разных школ, но объединенных одной целью, например full stack dev.
Вы имеете в виду, что было бы неплохо оценивать сами пройденные в школе курсы, а не школу в целом?
Да.
Например, на своем опыте могу сказать, что на udemy, ввиду архитектуры этой школы, слишком большой разброс в уровне подачи материала. На udacity, также из собственного опыта, материалы курсов подаются более сбалансировано и явные провалы, в отличие от udemy, мне не попадались.
Но еще я хотел сказать, что в школах есть специализации, т.е. наборы курсов, объединенные общей целью (например full stack dev или инженер ML). Интересно какова доля вообще тех, кто берет и, что важно, проходит всю специализацию, и насколько они оценивают достигнутый результат. Еще бы сравнить их с теми, кто приобрел одинаковую специализацию, но надергав разных курсов, даже/возможно, из разных школ. Интересно достижение результата, а не процесс (м.б. не всем правда :-). Насколько достижим требуемый учащемуся результат и насколько он ценен? Раздел 6, при таком подходе, вообще полностью надо переделывать. Предположим, человек взял курс по HTML в одной школе, а все остальное (пусть до того же full stack) добрал сам. Насколько ему школа ему была полезна? Да почти никак. Что он может сказать о школе? Да ничего путного. Другой взял всю специализацию и прошел ее полностью. Насколько ему помогла школа? Возможно существенно.
Но это все лирика, я уверен, что даже репрезентативную выборку для такого исследования найти сложно. Так что, спасибо, что хоть что-то делаете и публикуете.
Например, на своем опыте могу сказать, что на udemy, ввиду архитектуры этой школы, слишком большой разброс в уровне подачи материала. На udacity, также из собственного опыта, материалы курсов подаются более сбалансировано и явные провалы, в отличие от udemy, мне не попадались.
Но еще я хотел сказать, что в школах есть специализации, т.е. наборы курсов, объединенные общей целью (например full stack dev или инженер ML). Интересно какова доля вообще тех, кто берет и, что важно, проходит всю специализацию, и насколько они оценивают достигнутый результат. Еще бы сравнить их с теми, кто приобрел одинаковую специализацию, но надергав разных курсов, даже/возможно, из разных школ. Интересно достижение результата, а не процесс (м.б. не всем правда :-). Насколько достижим требуемый учащемуся результат и насколько он ценен? Раздел 6, при таком подходе, вообще полностью надо переделывать. Предположим, человек взял курс по HTML в одной школе, а все остальное (пусть до того же full stack) добрал сам. Насколько ему школа ему была полезна? Да почти никак. Что он может сказать о школе? Да ничего путного. Другой взял всю специализацию и прошел ее полностью. Насколько ему помогла школа? Возможно существенно.
Но это все лирика, я уверен, что даже репрезентативную выборку для такого исследования найти сложно. Так что, спасибо, что хоть что-то делаете и публикуете.
Большое спасибо за критику, принимаем её и удаляем из публикации изначально неверно составленный рейтинг. Оставляем полученные статистические данные и показываем всю ту условность выборки, о которой вы говорите.
Полноценный рейтинг сделаем чуть позже, введём несколько критериев качества школы, каждый попросим оценить от 1 (полностью не согласен) до 5 (полностью согласен) и будем выводить общую оценку по каждому критерию качества как средневзвешенное всех полученных индивидуальных оценок.
p.s. Спасибо за идею поспрашивать работодателей, что именно они разглядывают в сертификатах допобразования своих кандидатов: очень вероятно, что и вправду — наличие сертификата свидетельтвует лишь о желании кандидата развиваться и совершенствоваться.
Полноценный рейтинг сделаем чуть позже, введём несколько критериев качества школы, каждый попросим оценить от 1 (полностью не согласен) до 5 (полностью согласен) и будем выводить общую оценку по каждому критерию качества как средневзвешенное всех полученных индивидуальных оценок.
p.s. Спасибо за идею поспрашивать работодателей, что именно они разглядывают в сертификатах допобразования своих кандидатов: очень вероятно, что и вправду — наличие сертификата свидетельтвует лишь о желании кандидата развиваться и совершенствоваться.
а что edx.org настолько никто не использует, что этот ресурс даже в двадцатку не попал?
Почему ж, по числу отметивших, что учились на этих курсах, edx.org занял 15 место, но по известности да, в 20-ку не попал (=
Тогда не совсем понятна методика. Т.е. о edx почти никто не слышал, обучаться там не хотят, но там обучалось 5% респондентов. При этом, например, в раздел 2 «Цели, которые школы помогают достигать» edx не попал, но в этот раздел попали ресурсы, на которых обучалось меньше респондентов, чем на edx.
Раздел 2 — получается про то, что те, кто не учился думают о целях, которые они могут достичь на соответствующих ресурсах? Если это так, то фраза
Сам я, если что, пока не пользовался edx, просто интересно понять, что за результаты мы видим.
Вопрос, кстати, не только про edx, Udacity тоже «то тухнет, то гаснет».
Раздел 2 — получается про то, что те, кто не учился думают о целях, которые они могут достичь на соответствующих ресурсах? Если это так, то фраза
… то увидим, какая структура целей у студентов каждой школызвучит непонятно. Т.е. вы фиксируете не факт (мнение того, кто там обучался), а то, что респонденты только предполагают по отношению к ресурсу на котором они еще не обучались. Возможно это просто особенность вашей методики…
Сам я, если что, пока не пользовался edx, просто интересно понять, что за результаты мы видим.
Вопрос, кстати, не только про edx, Udacity тоже «то тухнет, то гаснет».
Смотрите, тут все дело в том, что в подробное изучение (в таблицы отчета) мы взяли только те школы, которые оказались единственными в опытах образования. Я чуть выше поясняю, зачем так сделали.
И вышло так, что, например, в edx обучалось больше, чем в skillbox. Но когда мы взяли только тех, у кого был только edx и только skillbox, у последнего оказалось более 10 выпускников, а у первого меньше. И edx поэтому мы не взяли за недостатком данных.
То есть edx не попал не потому, что он менее популярен, а просто потому, что он чаще шел как школа, которую прошли, вместе с другими школами. А тех, кто прошел только edx оказалось мало.
Да, я видел ваш комментарий выше.
Думаю, что было бы лучше, если бы вы прямо в преамбуле отметили, что это исследование только о тех, кто обучался ТОЛЬКО в одной школе. И было бы очень кстати если бы вы оценили какова доля тех кто обучался только в одной школе от общего количества обучавшихся в онлайн-школах. А еще лучше портрет того, кто обучался только в одной школе. По моим личным наблюдениям тех, кто обучался только в одной школе существенно меньше чем половина от общего количества. И та, вторая, большая часть, осталась в серой зоне, о которой мы, пока, ничего не узнали.
Думаю, что было бы лучше, если бы вы прямо в преамбуле отметили, что это исследование только о тех, кто обучался ТОЛЬКО в одной школе. И было бы очень кстати если бы вы оценили какова доля тех кто обучался только в одной школе от общего количества обучавшихся в онлайн-школах. А еще лучше портрет того, кто обучался только в одной школе. По моим личным наблюдениям тех, кто обучался только в одной школе существенно меньше чем половина от общего количества. И та, вторая, большая часть, осталась в серой зоне, о которой мы, пока, ничего не узнали.
Есть такое пояснение в тексте, сразу после первых трёх облаков (которые посчитаны по всей выборке):
> Все последующие расчеты мы проводили только по тем школам, которые были единственными у прошенных в их опыте прохождения курсов, и по которым набралось 10 или более мнений. Сделали это потому, чтобы иметь однозначную связь между выбранной респондентом школой и остальными параметрами, которые он выбирал в других местах опроса. В итоге из 40 школ у нас осталось 17.
Единственное, что сейчас добавлю в текст, и о чём говорилось в первой части опроса: что таких респондентов почти половина.
> Все последующие расчеты мы проводили только по тем школам, которые были единственными у прошенных в их опыте прохождения курсов, и по которым набралось 10 или более мнений. Сделали это потому, чтобы иметь однозначную связь между выбранной респондентом школой и остальными параметрами, которые он выбирал в других местах опроса. В итоге из 40 школ у нас осталось 17.
Единственное, что сейчас добавлю в текст, и о чём говорилось в первой части опроса: что таких респондентов почти половина.
Сколько школ проходят
А где же Интуит? Это же один из старейших ресурсов и достаточно крупный
Занятно, Geekbrains обещает гарантированную стажировку при прохождении курсов и гарантированное трудоустройство при годовом обучении в GeekUniversity, но при этом в разделе 6 в таблице только 2% выпускников сертификат помог в трудоустройстве.
Возникает вопрос: эти гарантированные стажировки/трудоустройства не учитывались при составлении рейтинга (то есть учитывалось только помощь от сертификата при самостоятельном трудоустройстве) или эти «гарантии» не выполняются школой?
Возникает вопрос: эти гарантированные стажировки/трудоустройства не учитывались при составлении рейтинга (то есть учитывалось только помощь от сертификата при самостоятельном трудоустройстве) или эти «гарантии» не выполняются школой?
Гарантировать трудойство, а тем более, стажировку, ИМХО дело не хитрое. Весь вопрос в зарплате.
Скорее всего не выполняется.
По «гикбрейнс стажировка» гуглится много интересных отзывов.
Кроме стажировки там в одном блоге вообще жесть отзыв, звонят и впаривают подготовительные курсы, а при отказе повышают баллы вступительного теста, и уговаривают врать банку о доходах для получения кредита (платить надо сразу за всё, а не помесячно).
Ну и кроме этого меня бы насторожила постоянная реклама везде (баннеры и т.д.), видимо сарафанное радио не работает.
По «гикбрейнс стажировка» гуглится много интересных отзывов.
Кроме стажировки там в одном блоге вообще жесть отзыв, звонят и впаривают подготовительные курсы, а при отказе повышают баллы вступительного теста, и уговаривают врать банку о доходах для получения кредита (платить надо сразу за всё, а не помесячно).
Ну и кроме этого меня бы насторожила постоянная реклама везде (баннеры и т.д.), видимо сарафанное радио не работает.
Учитывается любой сертификат, который вы получаете на портале, за бесплатный курс в один урок, у вас так же будет сертификат, получается что 2% это даже много, так как после просмотра одного урока на 2 часа, никого не берут на работу :)
Спасибо большое за интересное исследования, в нем много полезного. Но бросаются в глаза некоторые ошибки в методологии из-за чего результаты могут быть не совсем верны:
1. В исследовании сравниваются доли от выборок разного объёма, что снижает достоверность оценки. Стоило уравнять количество респондентов для участия в рейтинге, (сохраняя структуру соотношений ответов), и отсечь тех, кто ещё не закончил учиться или проходил только бесплатные курсы.
2. Методология весов не указана, нет понимания почему они именно такие. Можно было бы опереться на мнение респондентов, позволив им оценить значимость критериев при выборе школы, или провести факторный анализ.
1. В исследовании сравниваются доли от выборок разного объёма, что снижает достоверность оценки. Стоило уравнять количество респондентов для участия в рейтинге, (сохраняя структуру соотношений ответов), и отсечь тех, кто ещё не закончил учиться или проходил только бесплатные курсы.
2. Методология весов не указана, нет понимания почему они именно такие. Можно было бы опереться на мнение респондентов, позволив им оценить значимость критериев при выборе школы, или провести факторный анализ.
Sign up to leave a comment.
Рейтинг площадок дополнительного образования в ИТ: по результатам исследования «Моего круга»