Документа нет, есть расчёт) Статистики для групп (по вашему файлу):
Cдержанной улыбки Avg = 4.91, SD = 1.34, SampleSize = 1261
Cерьёзного лица Avg (x1) = 4.73, SD (s1) = 1.36, SampleSize (n1) = 1257
Широкой улыбки Avg (x2) = 4.65, SD (s2) = 1.41, SampleSize (n2) = 1250
Рассматриваем гипотезу о равенстве средних серьёзного лица и широкой улыбки.
Для серьёзного лица vs широкой улыбки pooled SD (s) = sqrt((n1-1)*s1*s1 + (n2-1)*s2*s2) / sqrt(n1+n2-2) = 1.386
Standard error = s * sqrt (1/n1 + 1/n2) = 0.558
t-статистика = (x1 — x2) / se = 1.515
Степеней свободы у нас более n1+n2-2 > 2500. Смотрим по таблице, какой значимости соответствует наша статистика www.sjsu.edu/faculty/gerstman/StatPrimer/t-table.pdf
Видим, что наше 1.5 находится (в строках для 1000+ степеней свободы) между 1.2 для 80% доверия и 1.6 для 90% доверия. Т.е. вообще говоря, шанс, что эта разница просто случайность — более, чем 10%.
Так даже в вашем примере показано, что если к графику приложены цифры, то манипуляции не получится независимо от шкалы) А на графиках в статье, и шкала прописана, и столбцы. Если же люди смотрят настолько мельком, что цифр не замечают, то и ваш график в статье им ничего не скажет — три примерно одинаковых столбца.
А вот применительно к подобным исследованиям график с «правильной» шкалой, но без интервалов стат.значимости, это такая же «манипуляция», как на рисунке выше — может получиться средняя оценка 3 для бородатых и 6 для безбородых — огромная разница, бородатых в два раза хуже берут на работу(!), но окажется, что в исследовании принимали участие 2 человека или было какое-то ещё смещение (а чтобы узнать это, надо читать статью).
На самом деле нет, просто они химичили с графиками — шкала идёт не от нуля. Мы так не делаем, потому что это нехорошо.
В результате на вашем графике 90% места занимают одинаковые синие столбцы, не несущие полезной информации, а без всматривания в цифры непонятно, какой столбик выше — самый левый или самый правый.
Изменение шкалы используют, чтобы сэкономить место и упростить понимание того, какой столбец выше. А значительно он выше или нет, определяется проверкой значимости.
Зато у вас:
Кажется, мы всё-таки ближе к востоку, потому что широкая улыбка у нас воспринимается хуже всего.
что вообще говоря неверно. 4.74 и 4.65 неразличимы статистически даже на 90% (при данных размерах выборки и SD, спасибо за источник). Т.е. шанс, что эта разница получилась случайно, больше 10%. Надо либо повторный тест проводить, либо выборку увеличивать, либо признавать, что разницы не видно.
Вот 4.91 выше 4.74 на 99% уровне, чего обычно достаточно, чтобы утверждать существенность эффекта.
В общем, не круто с одной стороны оценивать чужую «манипуляцию» графиками, но при этом самим делать однозначные утверждения о результатах теста там, где результаты незначимы.
Основной признак недостатка кандидатов — снижение планки найма.
Активность HRов, это вполне предсказуемый процесс. Яндекс хочет нанимать самых подходящих специалистов на рынке. При этом сильный кандидат может и не подозревать, что его примут в Яндекс. Поэтому Яндексу в целом выгодно множество HRов, которые ходят по рынку и холодными звонками выцепляют людей на собеседования.
И HRы эти далеко не всегда сотрудники Яндекса. В целом есть распространённая модель партнёрства, когда ты заключаешь с компанией договор о том, что она с каждого трудоустроенного от тебя кандидата платит тебе процент. А дальше ты сам себе хозяин и ищешь кандидатов где только можешь. В результате да, бывают эксцессы, а люди могут сокрушаться в комментариях, мол «мне написывал HR из яндекса, как же они задолбали», но это не признак недостатка желающих пройти собеседование.
Мне, например, когда я работал в Яндексе, в Линкедине писали такие HRы предлагая прийти на собеседование в Яндекс. Бывает, что уж
Да, Яндекс рандомно назначает кандидатам собеседующих из пула. Есть внутрянняя система фидбека, куда интервьюеры пишут, что спрашивали, что ответил кандидат и оценку. Другие интервьюеры (если секция не в тот же день), обычно проверяют, чтобы не спрашивать повторно те же задачи.
Не очень понятно, как вместо того, чтобы собеседующие проводили по 6 секций с каждым кандидатом, пустить их время на улучшение процесса. Сажать по 6 человек на кандидата — не уменьшит времязатраты интервьюеров, но уменьшит точность за счёт меньшего числа вопросов.
Есть ли примеры крупных IT-компаний (1000+ разработчиков, не бодишоп), где быстро собеседуют и быстро могут дать положительный фидбек?
В гугле с момента подачи резюме до оффера проходит 3-6 месяцев. В Яндексе 1-2 месяца. Да, не неделя, как в небольших компаниях, но раз недостатка в кандидатах нет и акции растут, значит всё работает норм.
Две задачи достаточно, если один интервьювер на всех и он абсолютно объективен/непоколебим.
На деле же, когда у компании 1000 кандидатов, а нанять надо 50-100, то интервьеров будет человек 100. Из них части попадутся знакомые знакомых, часть окажется олимпиадниками, которым ничьих знаний не будет достаточно, части будет не жалко нанимать всех, кто решит простую задачу, которую решают на первом курсе любого вуза. А ещё кандидат может одному интервьюеру понравиться, а другому нет визуально, может разволноваться с одним интервьюером, а с другим — нет и т.п. Получится рандом, усугубленный тем, что сильных кандидатов меньшинство.
Для примера пусть из 100 собеседующих 25 не наймут никого, 25 наймут любого, а 50 наймут сильного кандидата и не наймут слабого.
Пусть из 1000 кандидатов 100 сильных (кого в идеале хотел бы нанять Яндекс; каждый 10й).
Тогда при одном собеседовании на каждого кандидата будет нанято 25% (шанс попасть на лёгкого собеседующего) * 900 = 225 слабых кандидатов и 75%*100 = 75 сильных. А надо бы, чтобы соотношение было 0 на 100.
Вот и делают дублирующие собеседования.
Если на каждого кандидата по две секции и нанимают только тех, кто прошел обе, будет нанято 56 (900*0,25*0,25) слабых кандидатов и 56 сильных. Уже лучше, но соотношение всё равно плохое. Даже один слабый прогер уровня миддла может уронить продуктивность команды из 3-5 сильных мидлов.
Делаем третье собеседование. Наняли 14 слабых и 42 сильных. Ещё лучше, но большая часть сильных будет отсеяна.
Делаем четвертое и разрешаем одно собеседование провалить. Получаем 900 * (0,25 ** 4 + 0,25 ** 3 * 0,75 * 4) = 45 слабых и 73 сильных.
Много слабых. Добавляем пятое собеседование на ту же тему (одно можно завалить)
Получаем 14 слабых и 63 сильных.
Если сделать 6е, получим 4 слабых кандидата и 54 сильных.
Примерно поэтому в Яндексе обычно 6 секций +- одного и того же. В Гугле аналогично.
Нормально, что среди 942 отсеянных находятся те, кто пишет статьи на хабр о том, какие неадекваты в Яндексе. Согласно модели шанс, что это подходящий Яндексу прогер, процентов 5.
Но по подходу автора (писать квадратичную асимптотику вместо линейной, потому что так привычнее) видно, что тут к Яндексу только один вопрос — зачем было тратить время кандидата и интервьюеров на секции после 2й-3й.
А откуда у вас данные у Гугле?
Я собеседующий в Гугл. За последние пару лет в процессе собеседования не поменялось принципиально ничего. Те же задачи, похожие на литкод. Да, хорошим тоном считается завернуть их в обёртку реального мира. Например, не строку ААААВВВ преобразовать в А4В3, а что-то, что вы военный радист и получаете донесения с передовой для дальнейшей передачи в штаб. Вам надо раз в день собранный поток сообщений как-то уменьшить в объёме, но сохранить порядок. Ещё известно, что часто подряд приходит много однотипных сообщений. Вопрос — как будете преобразовывать? Тут с помощью интервьюера дойдёте до исходного условия и дальше напишете тот же алгоритм (ну или не напишете).
Имхо, такой вопрос применим к большинству онлайн образовательных систем — зачем платить за то, что на 95% можно получить бесплатно. Те же алгоритмы можно учить самостоятельно с парой книжек (откуда брать темы последовательно) и литкодом/кодфорсес, где и задач куча с тегами по темам, и разборы подробные, и система отправки работает надёжно, да и прогресс свой легко отследить. А хочешь общения с людьми — есть вообще сайты подготовки к интервью, где народ по видеосвязи друг другу задачки задаёт и обсуждает решения.
Мне представляется, что люди платят за два дополнительных элемента:
1. расписание+регулярность. Ты заплатил денег, тебя записали на курс, ты втягиваешься и хочешь-не хочешь, но регулярно посвящаешь часть времени обучению.
2. авторитет учителя. Когда тебе программист из Яндекса рассказывает что-то, этому хочется верить и учиться, ведь это «точно круто и полезно». Можно ли найти ту же инфу бесплатно? Конечно. Но надо знать, где искать и верить в авторитет источника.
Соответственно, если человек способен регулярно выделять время на самостоятельное обучение и отличать хороший материал от плохого, платные онлайн-курсы ему никакой доп.пользы не принесут.
Тогда, если ошибка проявляется только на некоторых тестах, достаточно будет просто позасылать решение без изменений, пока не сгенерятся тесты, на которых решение отработает.
А хуже то, что может случайно сгенериться тривиальный тест с первого раза и ученику, сдавшему неверное решение сообщат, что он молодец.
Можно заказывать только определенные группы товаров (в основном мелочевку). Я в законы не углублялся, так что опишу свой опыт заказов.
Пытался заказывать мелкую бытовую технику (увлажнитель воздуха) — нельзя.
Пытался заказывать метеостанцию с определением качества воздуха — нельзя.
В Швейцарии маленький рынок сбыта и, например, найти подходящую мебель (которую не придётся ждать от местных дистрибьюторов иностранных компаний 3 месяца) сложно. На амазоне мебели полно, но заказать её в Швейцарию тоже нельзя никак (даже мелкую вроде журнальных столиков/комп.стульев).
Успешно заказал турник, он стоил 100 евро на амазон.de. 49 евро стоила доставка, а затем пришел ещё счет евро на 20 — налог/растаможка. Дошел за неделю.
Заказывал на алиэкспресс кабели HDMI, доходили за месяц-два без проблем и доп.налогов.
Из Москвы посылка с книгой шла месяц.
Т.е. я верю, что и с амазоном как-то можно вопрос решить через прокси-адреса, но в сравнении с Москвой, где ты можешь ночью заказать почти что угодно и на следующий день получить (а если заказ большой, то ещё и доставка бесплатная), доставка в Швейцарии вызывает горечь.
Но в Швейцарии ведь те же минусы — и долгий сервис, и специфичная/дорогая бытовая медицина (по 250-500фр за взрослого в месяц на страховку, где с этой страховкой первые 2500фр расходов на врачей в год ты всё равно из своего кармана платишь). И на это ещё накладывается отсутствие амазона/прочих международных доставок.
Представь, что было бы, если бы нанимали не олимпиадников) Спутник/Рутьюб...
Cдержанной улыбки Avg = 4.91, SD = 1.34, SampleSize = 1261
Cерьёзного лица Avg (x1) = 4.73, SD (s1) = 1.36, SampleSize (n1) = 1257
Широкой улыбки Avg (x2) = 4.65, SD (s2) = 1.41, SampleSize (n2) = 1250
Рассматриваем гипотезу о равенстве средних серьёзного лица и широкой улыбки.
Для серьёзного лица vs широкой улыбки pooled SD (s) = sqrt((n1-1)*s1*s1 + (n2-1)*s2*s2) / sqrt(n1+n2-2) = 1.386
Standard error = s * sqrt (1/n1 + 1/n2) = 0.558
t-статистика = (x1 — x2) / se = 1.515
Степеней свободы у нас более n1+n2-2 > 2500. Смотрим по таблице, какой значимости соответствует наша статистика
www.sjsu.edu/faculty/gerstman/StatPrimer/t-table.pdf
Видим, что наше 1.5 находится (в строках для 1000+ степеней свободы) между 1.2 для 80% доверия и 1.6 для 90% доверия. Т.е. вообще говоря, шанс, что эта разница просто случайность — более, чем 10%.
А вот применительно к подобным исследованиям график с «правильной» шкалой, но без интервалов стат.значимости, это такая же «манипуляция», как на рисунке выше — может получиться средняя оценка 3 для бородатых и 6 для безбородых — огромная разница, бородатых в два раза хуже берут на работу(!), но окажется, что в исследовании принимали участие 2 человека или было какое-то ещё смещение (а чтобы узнать это, надо читать статью).
Покритикую:
В результате на вашем графике 90% места занимают одинаковые синие столбцы, не несущие полезной информации, а без всматривания в цифры непонятно, какой столбик выше — самый левый или самый правый.
Изменение шкалы используют, чтобы сэкономить место и упростить понимание того, какой столбец выше. А значительно он выше или нет, определяется проверкой значимости.
Зато у вас:
что вообще говоря неверно. 4.74 и 4.65 неразличимы статистически даже на 90% (при данных размерах выборки и SD, спасибо за источник). Т.е. шанс, что эта разница получилась случайно, больше 10%. Надо либо повторный тест проводить, либо выборку увеличивать, либо признавать, что разницы не видно.
Вот 4.91 выше 4.74 на 99% уровне, чего обычно достаточно, чтобы утверждать существенность эффекта.
В общем, не круто с одной стороны оценивать чужую «манипуляцию» графиками, но при этом самим делать однозначные утверждения о результатах теста там, где результаты незначимы.
Но это, конечно, очень смело было — хоститься в Минске. С другой стороны, какая разница, что с хостингом, если всё руководство задержали.
Активность HRов, это вполне предсказуемый процесс. Яндекс хочет нанимать самых подходящих специалистов на рынке. При этом сильный кандидат может и не подозревать, что его примут в Яндекс. Поэтому Яндексу в целом выгодно множество HRов, которые ходят по рынку и холодными звонками выцепляют людей на собеседования.
И HRы эти далеко не всегда сотрудники Яндекса. В целом есть распространённая модель партнёрства, когда ты заключаешь с компанией договор о том, что она с каждого трудоустроенного от тебя кандидата платит тебе процент. А дальше ты сам себе хозяин и ищешь кандидатов где только можешь. В результате да, бывают эксцессы, а люди могут сокрушаться в комментариях, мол «мне написывал HR из яндекса, как же они задолбали», но это не признак недостатка желающих пройти собеседование.
Мне, например, когда я работал в Яндексе, в Линкедине писали такие HRы предлагая прийти на собеседование в Яндекс. Бывает, что уж
Не очень понятно, как вместо того, чтобы собеседующие проводили по 6 секций с каждым кандидатом, пустить их время на улучшение процесса. Сажать по 6 человек на кандидата — не уменьшит времязатраты интервьюеров, но уменьшит точность за счёт меньшего числа вопросов.
Есть ли примеры крупных IT-компаний (1000+ разработчиков, не бодишоп), где быстро собеседуют и быстро могут дать положительный фидбек?
В гугле с момента подачи резюме до оффера проходит 3-6 месяцев. В Яндексе 1-2 месяца. Да, не неделя, как в небольших компаниях, но раз недостатка в кандидатах нет и акции растут, значит всё работает норм.
На деле же, когда у компании 1000 кандидатов, а нанять надо 50-100, то интервьеров будет человек 100. Из них части попадутся знакомые знакомых, часть окажется олимпиадниками, которым ничьих знаний не будет достаточно, части будет не жалко нанимать всех, кто решит простую задачу, которую решают на первом курсе любого вуза. А ещё кандидат может одному интервьюеру понравиться, а другому нет визуально, может разволноваться с одним интервьюером, а с другим — нет и т.п. Получится рандом, усугубленный тем, что сильных кандидатов меньшинство.
Для примера пусть из 100 собеседующих 25 не наймут никого, 25 наймут любого, а 50 наймут сильного кандидата и не наймут слабого.
Пусть из 1000 кандидатов 100 сильных (кого в идеале хотел бы нанять Яндекс; каждый 10й).
Тогда при одном собеседовании на каждого кандидата будет нанято 25% (шанс попасть на лёгкого собеседующего) * 900 = 225 слабых кандидатов и 75%*100 = 75 сильных. А надо бы, чтобы соотношение было 0 на 100.
Вот и делают дублирующие собеседования.
Если на каждого кандидата по две секции и нанимают только тех, кто прошел обе, будет нанято 56 (900*0,25*0,25) слабых кандидатов и 56 сильных. Уже лучше, но соотношение всё равно плохое. Даже один слабый прогер уровня миддла может уронить продуктивность команды из 3-5 сильных мидлов.
Делаем третье собеседование. Наняли 14 слабых и 42 сильных. Ещё лучше, но большая часть сильных будет отсеяна.
Делаем четвертое и разрешаем одно собеседование провалить. Получаем 900 * (0,25 ** 4 + 0,25 ** 3 * 0,75 * 4) = 45 слабых и 73 сильных.
Много слабых. Добавляем пятое собеседование на ту же тему (одно можно завалить)
Получаем 14 слабых и 63 сильных.
Если сделать 6е, получим 4 слабых кандидата и 54 сильных.
Примерно поэтому в Яндексе обычно 6 секций +- одного и того же. В Гугле аналогично.
Нормально, что среди 942 отсеянных находятся те, кто пишет статьи на хабр о том, какие неадекваты в Яндексе. Согласно модели шанс, что это подходящий Яндексу прогер, процентов 5.
Но по подходу автора (писать квадратичную асимптотику вместо линейной, потому что так привычнее) видно, что тут к Яндексу только один вопрос — зачем было тратить время кандидата и интервьюеров на секции после 2й-3й.
Я собеседующий в Гугл. За последние пару лет в процессе собеседования не поменялось принципиально ничего. Те же задачи, похожие на литкод. Да, хорошим тоном считается завернуть их в обёртку реального мира. Например, не строку ААААВВВ преобразовать в А4В3, а что-то, что вы военный радист и получаете донесения с передовой для дальнейшей передачи в штаб. Вам надо раз в день собранный поток сообщений как-то уменьшить в объёме, но сохранить порядок. Ещё известно, что часто подряд приходит много однотипных сообщений. Вопрос — как будете преобразовывать? Тут с помощью интервьюера дойдёте до исходного условия и дальше напишете тот же алгоритм (ну или не напишете).
Мне представляется, что люди платят за два дополнительных элемента:
1. расписание+регулярность. Ты заплатил денег, тебя записали на курс, ты втягиваешься и хочешь-не хочешь, но регулярно посвящаешь часть времени обучению.
2. авторитет учителя. Когда тебе программист из Яндекса рассказывает что-то, этому хочется верить и учиться, ведь это «точно круто и полезно». Можно ли найти ту же инфу бесплатно? Конечно. Но надо знать, где искать и верить в авторитет источника.
Соответственно, если человек способен регулярно выделять время на самостоятельное обучение и отличать хороший материал от плохого, платные онлайн-курсы ему никакой доп.пользы не принесут.
А хуже то, что может случайно сгенериться тривиальный тест с первого раза и ученику, сдавшему неверное решение сообщат, что он молодец.
Пытался заказывать мелкую бытовую технику (увлажнитель воздуха) — нельзя.
Пытался заказывать метеостанцию с определением качества воздуха — нельзя.
В Швейцарии маленький рынок сбыта и, например, найти подходящую мебель (которую не придётся ждать от местных дистрибьюторов иностранных компаний 3 месяца) сложно. На амазоне мебели полно, но заказать её в Швейцарию тоже нельзя никак (даже мелкую вроде журнальных столиков/комп.стульев).
Успешно заказал турник, он стоил 100 евро на амазон.de. 49 евро стоила доставка, а затем пришел ещё счет евро на 20 — налог/растаможка. Дошел за неделю.
Заказывал на алиэкспресс кабели HDMI, доходили за месяц-два без проблем и доп.налогов.
Из Москвы посылка с книгой шла месяц.
Т.е. я верю, что и с амазоном как-то можно вопрос решить через прокси-адреса, но в сравнении с Москвой, где ты можешь ночью заказать почти что угодно и на следующий день получить (а если заказ большой, то ещё и доставка бесплатная), доставка в Швейцарии вызывает горечь.
ethz.ch/en/studies/registration-application/master/programmes.html