Каждый из нас пользуется огромным количеством услуг. В ежедневном режиме нам предоставляют электричество и интернет, продукты в магазине или еду через службу доставки. Еженедельно мы используем транспортную сеть, чтобы добраться куда-то, где нам помогут прокачать тело, получить новые ощущения или отдохнуть. Хотя бы раз в жизни мы пользуемся более редкими услугами - юридической, брокерской помощью, страховкой.
Или оплачиваем обучение, чтобы прокачать мозг.
К сожалению, часто мы сталкиваемся и с некачественными услугами. Или когда соотношение цена/качество было так себе, или когда услуга, считай, вообще толком не была оказана.
Услуги, качество которых оценить невозможно
С точки зрения оценки качества всё разнообразие услуг делится на три типа:
Качество услуги можно оценить ДО момента оказания услуги.
Качество услуги можно оценить только ПОСЛЕ оказания услуги.
Качество услуги не получится оценить вообще НИКОГДА (да-да).
При покупке билета на общественный транспорт или абонемента в фитнесс-центр у нас есть все возможности оценить качество услуги ДО ее оказания. Даже если вы первый раз в этом городе, вы можете до покупки билета увидеть, что из себя представляют городские автобусы. А в фитнес-зале до покупки абонемента можно попросить экскурсию.
Самое большое число услуг относится к типу качество можно оценить только ПОСЛЕ оказания услуги. Это относительно простые услуги - стрижка в парикмахерской, доставка еды, отдых в отеле, прокат авто, использование интернета конкретно в вашем доме. Но качество всех этих услуг в значительной степени сложно понять до того момента, пока ими не воспользуешься. Знакомый порекомендовал парикмахерскую, но вас постригли неудачно. В общем-то, хороший сервис доставки еды привез суп разлитым. Интернет-компания считается неплохой в вашем городе, но конкретно в вашем доме какое-то кривое подключение и интернет часто барахлит.
При заказе подобных услуг мы частенько ориентируемся на отзывы и они, в общем-то, помогают отсечь явный шлак, но нет стопроцентных гарантий, что на вас система не даст сбой.
К сожалению, есть и сложные услуги, качество которых непрофессионалу НЕВОЗМОЖНО оценить даже после их оказания.
Звезды сошлись так, что вам пришлось делать хирургическую операцию, и она прошла отлично - уже минуло несколько лет и вас ничего не беспокоит. Или не отлично? Вдруг при проведении операции хирург случайно повредил стенку одной из артерий, что аукнется через десяток лет? Даже если произойдет худшее, вряд ли кто-то когда-то узнает про первопричину.
Юрист грамотно подготовился к суду и спор был решен в вашу сторону. Несомненно, это отличный специалист и его нужно рекомендовать! Или с профессиональной точки зрения дело изначально было настолько простым, что его выиграл бы любой? Или, может, юрист был давно знаком с конкретным судьей, и за тем числился должок?
Еще лет пять назад вы застраховали свою дачу от пожара. В течение следующих десяти лет, пока не продадите ее, вы будете продолжать выплачивать страховые премии. И в результате так и не узнаете, выплатили бы вам страховую сумму в полном размере или нашли бы лазейки ее минимизировать.
Почему инфобизнесмены IT-курсов процветают
Потому что все образовательные услуги попадают в третий раздел - клиенту практически невозможно оценить их качество даже после завершения обучения.
Когда 1.5 года назад началось исследование QA-курсов, автор изначально относился к отзывам достаточно нейтрально. В духе "да, там попадаются заказные, но, в общем-то, на что еще может ориентироваться абитуриент?"
Позже, в ходе самого исследования, пришлось посмотреть на отзывы по-другому.
Потому что выяснились три неприятных вещи:
1. Для подавляющего большинства абитуриентов отзывы - это очень значимые показатели "качества обучения"
Про детский подход к взрослому образованию и как "хорошо" он работает подробно писалось в одной из предыдущих статей.
2. 80% отзывов не имеют никакого отношения к реальности
Ради интереса автор сравнил результаты своего 1.5 годового исследования в части трудоустройства после QA-курсов и отзывы на трех популярных отзывных площадках.
Первая, популярная площадка отзывов про онлайн-обучение:
Максимальное число звезд (!) получил один из самых худших курсов (!), после которого трудоустраивается в пределах 5-7% от изначально поступивших (группа C).
Из курсов группы B (трудоустраивается более 10%) присутствует только один курс.
Из курсов-кандидатов в группу A (трудоустраивается более 35%) нет ни одного курса.
Вторая площадка отзывов:
Максимальное число звезд получил снова тот же самый худший курс! Столько же звезд получил еще один курс, название которого автор видит в первый раз и никто из мониторящихся 400 (!) студентов на нем не учился.
Из курсов группы B (трудоустраивается более 10%) здесь, слава богу, попало уже два курса. Но! У них минимальное число звезд из всех курсов.
Из курсов-кандидатов в группу A (трудоустраивается более 35%) снова нет ни одного.
Третья площадка отзывов:
Добавляет курсы только в результате предъявления чека о покупке курса и честно пишет “Получаем комиссию за покупки курсов, но не искажаем результаты или отзывы”. Что уже большой прогресс.
Но, видимо, как результат, на главной странице раздела QA-курсов выводит только те курсы, которые платят комиссию.
Потому что по прямым ссылкам на этом сайте, наконец, можно найти курсы-кандидаты в группу A (трудоустраивается более 35%) и даже с рейтингом в 5 звезд. Но которые на главной странице раздела не отображаются - что убивает весь его смысл рейтинга.
Фейковые положительные, фейковые отрицательные и коррупция
Никого не удивишь поддельными положительными отзывами о том или ином курсе.
Меньшее число абитуриентов знает про очень популярную тактику черного пиара, когда поддельные негативные отзывы “дарятся” конкуренту.
И практически никто не знает про то, что площадки отзывов превратились в отдельный и более чем коррумпированный бизнес - который уже давно зарабатывает не на рекламных модулях (что нормально) и “приоритизации” некоторых курсов (что приемлемо, если есть соответствующая пометка), а на продаже звезд и выводе на страницах разделов только платящих за показы и трафик курсов.
3. 20% отзывов являются отзывами живых обучавшихся студентов, но эти студенты не способны оценить качество курса
Но почему даже выпускники курсов не в состоянии оценить их качество?
Подавляющее большинство QA-студентов учатся за свою жизнь только на одном QA-курсе, что ожидаемо. Но если за всю жизнь вы попробовали только один бокал вина, по какой шкале вы сможете оценить его качество? Скорее всего, это будет шкала из двух пунктов "да вроде норм" или "да вроде ненорм".
При проведении исследования, кстати, это вызывало большие проблемы. Сами студенты-участники исследования, помечая в еженедельном журнале ощущения от курса, часто оговаривались "модуль преподавался по моим ощущениям хорошо/плохо, но мне не с чем сравнить".
Что немаловажно, различаются между собой достаточно сильно и IT-компании - и в процессах, и в требованиях к кандидатам. Выпускник "плохого" курса может без особых проблем устроиться в "плохую" IT-компанию с отсутствующими процессами и низкими требованиями. При этом выпускнику "хорошего" курса может быть очень сложно пройти собеседование в "хорошую" IT-компанию, у которой достаточно высокая планка.
Первый выпускник будет везде оставлять отзывы, что его выучили замечательно и он легко трудоустроился. А второй - что зря платил за обучение и курс никуда не годится.
Вообще при оценке обучения многие студенты ориентируются на очень субъективные параметры:
Насколько большими были изначальные скидки.
Насколько хорошее впечатление производили преподаватели.
Насколько много тулов дали.
Насколько тяжело/легко было учиться.
Насколько просто было делать домашние задания.
С одной стороны — все эти параметры малозначимы с точки зрения результата — получения новой профессии. Скидки на результат не влияют, умеющий расположить преподаватель может быть полным профаном, знакомство со множеством тулов не означает умение их правильно использовать, а тяжесть/легкость обучения — абсолютно субъективный параметр, больше зависящий от личных качеств и наличия свободного времени.
С другой стороны — всеми этими параметрами легко жонглировать. Чем, собственно, недобросовестные курсы активно и пользуются.
Зачем разрабатывать адекватную программу курса, если можно вложиться в рекламу, а на лендинге перечислить 30 тулов, название которых хотя бы раз прозвучит на курсе?
Зачем вкладываться в развитие обучения, если можно умножить стоимость курса на два, а потом предложить 50% скидку?
Зачем нанимать опытных преподавателей, когда можно нанять недорогих мидлов с подвешенным языком и побольше кураторов‑наставников, чтобы создавать ощущение поддержки?
Зачем работать над качеством, если можно нанять пару спецов, которые будут оставлять фейковые отзывы?
Тем более, что во всех этих манипуляциях хорошо помогает.
Эффект доктора Хауса
Эффект доктора Хауса говорит нам о том, что услуги третьего типа, качество которых НЕЛЬЗЯ оценить даже после их оказания, в результате оцениваются клиентами по уровню проявленной к ним эмпатии.
Доктор Хаус, вымышленный врач‑диагност одноименного сериала, обладает выдающимися профессиональными способностями и, как это часто бывает, сложным характером. Это неприятный тип — он циничен, груб и часто говорит в лицо то, что думает. При этом его пациенты, как правило, не в состоянии оценить его гениальность, так как о фигурирующих в медицинских картах заболеваниях слышат вообще первый раз в жизни.
Будет ли кто‑то рекомендовать врача‑хама, который, вроде бы, вылечил тебя от труднопроизносимой болезни, в которой ты ничего не понимаешь и может быть, эту болезнь смог бы вылечить любой другой врач? Скорее всего — нет. Как результат, в сериале большинство пациентов попадают к нему вне собственного желания — прямиком из реанимации в состоянии комы.
Действительно, в жизни значительная часть людей составляют свое впечатление о враче на основе показателей «вежливости». Был ли врач приветлив? Внимательно ли он слушал рассказ пациента о симптомах (даже если они были совершенно банальными)? Высказал ли обеспокоенность, назначил ли какие‑то дополнительные анализы (даже если они в данном случае были не нужны)?
Точно по таким же «объективным признакам» в большинстве случаев оценивают качество курсов и студенты. Насколько хорошие были отзывы, насколько были впечатляющие скидки, насколько курс был мотивирующим, насколько легко было делать домашние задания и вообще в принципе учиться. Чтобы в конце тоже оставить хороший отзыв, особенно когда за него обещают бонус, что практикуют многие курсы. И таким образом окончательно замкнуть круг.
Конечно, это не значит, что преподаватель курса должен быть грубым и неприветливым, так как он «суперпрофессионал». В отличие от хирурга, который делает операцию без участия пациента, бесстрессовая среда обучения — необходимое условие для адекватного результата.
Профессиональная помощь
Единственное, что спасало пациентов в сериале — это рекомендации других врачей. Которые обладали достаточной компетенцией, чтобы оценить работу своего коллеги и все‑таки перенаправить к нему нуждающегося пациента.
В случае поиска врача единственный адекватный вариант — ориентироваться на отзывы других врачей.
В случае поиска юриста — ориентироваться на отзывы других юристов.
В случае поиска страховщика — на рейтинги страховых агентств (которые составляют профессиональные страховщики‑аудиторы).
Но что спасет абитуриента QA-курса? К чьему мнению он может обратиться? При этом проблема не надуманная - ведь по результатам исследования статистика трудоустройств после некачественных и качественных курсов отличается почти на порядок! От 5-6% трудоустроенных от числа изначально поступивших на курс до 40% трудоустроенных и более!
Неожиданно для себя в ходе исследования QA-курсов именно автор стал для многих абитуриентов таким экспертом-профессионалом. Только после статей на Хабре, набравших более 400’000 просмотров, сотни человек пришли за советом с выбором курса. Но до завершения исследования автор боялся давать однозначные рекомендации, а после его окончания данные начнут быстро устаревать и через полгода станут нерелевантными.
С одной стороны, не хочется, чтобы большой объем проделанной работы в результате устарел и стал никому не нужным.
С другой стороны, история качественного образования стала для автора во многом личной. В меньше степени — из‑за того, что удалось посмотреть на проблему и со стороны курсов, консультируя несколько по вопросам выстраивания правильных процессов и правильного образования. В большей степени — после сотен глубинных интервью с абитуриентами, студентами и выпускниками. Для многих из которых это была попытка изменить свою жизнь в лучшую сторону. И для многих из которых это попытка стала неудачной.
И тогда автору пришла в голову мысль реализовать один достаточно очевидный подход, который широко используется в разных странах и позволяет потребителям не покупать некачественный товар, а добросовестным производителям — не теряться на фоне инфоцыган бракоделов.
Так появился манифест профессионального IT‑образования — объединяющий курсы, нацеленные в первую очередь на результаты обучения для студентов, а не собственные финансовые показатели.
Как этот некоммерческий проект впервые позволит абитуриентам выбирать действительно качественное обучение без шанса быть обманутыми, добросовестным курсам — не теряться на фоне инфоцыган, которые вкладываются в трафик, а не в обучение, и, может быть, даже сформирует и некоторые стандарты в Edtech — в следующей статье, выходящей в ближайшую неделю: «Беда „войти в айти“ или курсы тестировщика отзывы — Как я объявил борьбу IT‑инфоцыганам».
QAsmokeQA
Эта статья - часть большого цикла хабр-статей в рамках исследования QA-курсов:
Беда “войти в айти” или курсы тестировщика отзывы:
Глава 0, в которой перитониты.Беда “войти в айти” или курсы тестировщика отзывы:
Глава 1, в которой нас разводят на деньги.Беда “войти в айти” или курсы тестировщика отзывы:
Глава 2.1, в которой легкий испанский стыд.Беда “войти в айти” или курсы тестировщика, отзывы:
Глава 2.2, в которой сильный испанский стыд.Беда “войти в айти” или курсы тестировщика отзывы:
Интермедия про чек-лист выбора IT-курса.Беда “войти в айти” или курсы тестировщика отзывы:
5-минутный тест на перспективы в QA.Беда “войти в айти” или курсы тестировщика отзывы:
Сэм Канер о входящих после 40 и не только.Беда “войти в айти” или курсы тестировщика отзывы:
Спустя 1.5 года исследования QA-курсов.Беда “войти в айти” или курсы тестировщика отзывы:
Как я объявил борьбу IT-инфоцыганам.
Manifestus Pro
По результатам 1.5 годового исследования курсов автор создал некоммерческий манифест профессионального IT-образования. Он объединяет те IT-курсы, которые ориентированы на результаты обучения для студентов. И делают это не на словах, а подтверждают независимым образовательным аудитом.
P.S. Исследование QA‑курсов продолжается. Если вы сейчас как студент проходите QA‑курс (особенно англоязычный), заинтересованы в получении максимально качественного образования и готовы делиться удовлетворенностью о ходе обучения, напишите мне. В ответ при возникновении брешей в учебе или сложностей с доведением резюме до ума автор поможет.
P.P.S. Подисследование международного трудоустройства. Если вы недавно стали QA‑джуном и заинтересованы в релокации, то у автора есть кое‑что интересное для вас (так как он начал изучать иностранный QA‑рынок). А именно, закрытая группа из 10–20 QA‑джунов, которые настроены на целенаправленное трудоустройство именно в США/Европе и готовы активно кооперироваться по подходам/поиску контор. Условия: а) вход только по нормальному англоязычному резюме/сопроводительному б) готовность шарить с «подельниками» интересные вакансии не реже раза в две недели в) быть готовым к исключению при невыполнении б).
Если не хотите пропустить следующую Хабр‑статью автора, что‑то новое в IT‑курсах, подписывайтесь на http://t.me/QAsmokeQA
