Если вы пытаетесь найти ценовые сегменты, то смотрите только на цену. Зачем вам другие параметры? Когда вы получили результаты "ценового сегментирования", вас не смутило, что ваши сегменты совершенно негоммогенны по цене? А то, что все сегменты пересекаются по цене не смутило? Какая вообще интерпретация может быть у ваших сегментов?
Автор, вам не приходило в голову, что прежде чем решать задачу, её нужно сформулировать? Ответ на какой бизнес-вопрос вы пытались найти? Подозреваю, что на никакой
Извините, ошибся в формулировках - среднее отклонение от среднего - это либо сумма модулей деленное на количество испытаний (в вашем примере это 8) или, строго говоря, сумма отклонений деленное на количество испытаний т.е. строго ноль. Ни то, ни другое не является стандартным отклонением, как у вас написано
Автор, это дело вкуса, но, имхо, вы вообще зря в статью для начинающих потащили нормальное распределение. Во первых, тезис о том, что "большинство ... явлений подчиняются нормальному распределению" очень полемичен и не стоит его вносить в мозг новичкам, как непреложную истину. Во вторых, ценность нормального распределения не в том, что вы указали, а в том, что благодаря центральной предельной теореме, выборка средних значений выборок стремится к нормальному распределению - боюсь, что объяснить это новичкам будет непросто. В третьих, связь между величиной стандартного отклонения и количества покрываемых испытаний (которую вы хотите показать) существует и вне зависимости от формы распределения (неравенство Чебышева)
Автор, у вас ошибка в тексте. Вы пишите, что "это означает, что в среднем рост мужчин в нашем районе отличается (меньше или больше) от среднего на 10 сантиметров". В действительности среднее отклонение от среднего в вашем примере 1 см: (корень(1004))/10. И чуть упрощая, это называется стандартная ошибка, а не стандартное отклонение. Поправьте, пожалуйста
Извините, но центральная предельная теорема не про это. Её суть в том, что при большом количестве выборок, распределение значений их средних будет стремится к нормальному.
Очевидно, что ИПР пришли из мира менеджмента для менеджеров, стремящихся к карьере. Естественно, для каждой новой ступеньки (например: специалист - менеджер специалистов - руководитель отдела, руководитель департамента - директор) нужны свои качества, которыми изначально менеджер может не обладать. Тогда ИПР описывает карьерную цель, области, над которыми надо работать, чтобы её достигнуть и способы ее достижения. В случае, если путь карьерного продвижения отсутствует, внедрение ИПР является искусственным и вызывает скепсис. При этом ситуация, когда человек не хочет делать карьеру, а хочет совершенствоваться в своей области (стать самым крутым разработчикам чего-то) абсолютно нормальная. Поэтому я бы серьезно подумал, прежде чем внедрять ИПР в среду, состоящую в основном из специалистов, а не менеджеров. Скорее всего получится плохо
Довольно много знаю о банках Израиля и у меня есть подозрение, что герой статьи недоговаривает. Скорее всего, она при первичном общении не сообщила банку, что она не резидент Израиля. Когда это выяснилось - деньги и заблокировали. Можно, конечно, возмущаться, но принцип "где живёте, там деньги и храните" сейчас действует во всем мире
Вообще не понимаю, какое давление "сверху" может быть на руководство международной исследовательской структуры. Кто или что является "верхом" для директоров ЦЕРН? Очевидно, что решение продиктовано моральными соображениями. Было немало статей на эту тему (например а nplus1 на русском). Ну и поскольку научная среда весьма либеральная, было много учёных, которые отстаивали принцип "наука вне политики". Однако из-за того, что большинство европейцев восприняли эту агрессию очень эмоционально, были приняты решения исключить российских учёных. Я не уверен, что я понял ваш последний абзац. Вы имели в виду, что Россия является важным рынком для международных компаний? Если так, то это не соответствует истине. Нет ни одной публичной (чтобы можно было посмотреть отчётность) компании, у которой доля России в продажах была бы выше 10%. И вот эти 10% есть только у табачных компаний, поскольку Россия очень большой (возможно самый большой после Китая, но туда не пускают международные компании) рынок из-за высокой доли курящих. У всех остальных доля России существенно меньше и где-то на уровне доли российского ВВП в мировом т.е. около 2%. И я бы с сомнением отнёсся к данным вашего источника по 20% доле Leica Microcystems от России - с чего-бы вдруг такой всплеск интереса к научному оборудованию для биологии и медицине в России? Мы же понимаем, что в этих областях Россия где-то на задворках. Кстати у владельца Лейки - Danaher, только две страны имеют долю выше 5% - США и Китай, что вполне разумно
Вот не уверен, что отношения между Европой и Россией когда-то были хуже, чем сейчас. Почитайте европейскую прессу в 2022 - война воспринималась как прямая агрессия против Европы. Последний раз на Европу или США нападали во время Второй мировой. Поэтому и отношение к России такое. Я сейчас даже не про то, кто "прав", а кто "виноват". Просто хочу, чтобы в России было понимание того, как эта агрессия выглядит из Европы или США
Ну вроде раньше то же самое случилось с Ираном и Северной Кореей и мир не стал другим - никто и не заметил их отсутствия в международных проектах. Почему вы считаете, что в случае с Россией что-то будет по другому?
Мне кажется, ситуация вполне очевидная. Большинство европейцев воспринимает войну, как агрессию тоталитарной не-европейской страны против демократической европейской страны. Очевидно, на чьей стороне будут симпатии европейской структуры (ЦЕРН). На другой чаше весов - принцип "наука вне политики". Конечно, этим принципам вместе не ужиться. Если говорить о практических решениях для россиян, мне кажется для ученого выбор очевиден. Для патриота тоже. Нужно просто понять, кто ты (ученый или патриот) и выбрать "мир" или "Россия"
По поводу small talk могу дать такой совет - говорите о том, что вам интересно - будь это квантовая гравитация или собирание крышечек из-под Кока-Кола. Пусть собеседник под вас подлаживатся )
1) Там в формуле: значение минус минимальное значение. Если они совпадают (как в моем примере), разность равна нулю. 2) можно делать любую предварительную обработку данных - главное, понимать зачем это делаешь, что хочешь получить и что будешь делать с обработанными данными дальше. Вот все эти причинно-следственные цепочки у автора опущены, просто по тексту накиданы формулы, с которыми непонятно что в непонятно какой ситуации нужно делать
Очень много ошибок. Читал наискосок, поэтому только некоторые перлы … “Масштабирование — это один из важнейших шагов трансформации, особенно для алгоритмов, чувствительных к масштабу признаков (например, линейная регрессия…)” Отлично, давайте в линейной регрессии с параметрами “площадь квартиры” - “цена” сделаем масштабирование площади, т.е. нулем станет квартира с минимальной площадью (скажем 30 кв. метров), а не ноль. Догадаетесь, как ваша регрессия будет выглядеть. Теперь представьте, что вы получили параметры регрессии на выборке для обучения и теперь хотите их запустить на тестируемой выборке - в этих двух выборках минимальные и максимальные значения будут отличаться, соответственно, полученная регрессия выдаст неправильные результаты на тестовой выборке. 2. “Логарифмическая трансформация: применяется для признаков с сильно скошенным распределением, где существует длинный хвост справа (например, доходы, цены), чтобы сделать данные более симметричными.” Долго думал, но не смог понять, зачем делать данные более симметричными? Совершенно непонятно, как пользоваться этим советом, если неизвестен его смысл. Я вижу естественную необходимость в трансформации, если того требует используемый способ анализа данных. Например, линейная регрессия ожидает, что параметр на выходе зависит линейно от входных параметров. Если фактически эта зависимость экспоненциальная, то взяв логарифм от значений, вы получите зависимость близкую к линейной. И, кстати, у меня есть подозрение, что вы не понимаете разницу между значениями и распределением значений. Может я и неправ, но вся глава про трансформацию абсолютно неясна - с ужасом представляю человека, который попытается что-то сделать используя эти инструкции. 3. “Прямое использование числовых значений времени (например, 23 и 1) может ввести искажения, потому что эти значения далеки друг от друга как числа, хотя и близки по смыслу. В этом случае можно использовать разные методы трансформации. Например, метод с использованием синусов и косинусов помогает захватить периодические колебания, ввод лаговых признаков помогает модели учитывать предыдущие значения для прогноза будущих, а скользящие средние сглаживают данные и выявляют основные тенденции.” Я честно пытался понять, что это всё означает, вот скажем “эти значения далеки друг от друга как числа, хотя и близки по смыслу” - ну, что это вообще означает? Какой-то набор букв. И было бы интересно, какую обработку вы бы здесь сделали - превратили время в синус времени? И вот такое можно брать и цитировать почти из каждого абзаца. Очень непрофессионально.
Я вообще не из IT, поэтому взгляд со стороны. 1. Если на вакансию 1500 откликов, то это очень сильный индикатор того, что с работой в индустрии плохо. Посмотрите на другие области, без труда найдёте вакансии профессионалов, на которые где-то десяток откликов, а не тысяча. 2. Работу предлагают, в первую очередь тем, у кого она уже есть. Думаю, что это общеизвестный феномен. 3. Чем дольше человек без работы, тем сложнее её найти. Так что историй про то, что специалист с многолетним опытом не может найти работу, вы прочитаете ещё много. Ещё здесь высказывалось мнение, что пройдёт немного времени и всё устаканится. Не очень я в этом уверен. Уж слишком неудачно в индустрии сошлись два противоположных и сильных процесса - уменьшение количества рабочих мест после ковида и рост количества кандидатов благодаря курсам. В любом случае, всем ищущим - удачи!
Формулировки санкций не очень четкие, поэтому банк может совершить нарушение случайно. Чтобы этого не произошло, отдел compliance банка формулирует критерии потенциального нарушителя с запасом. Сейчас это приводит к блокировке карт российских граждан с российскими IP. И, конечно, принцип фильтрации тут презумпция виновности, а не наоборот. Для банка гораздо опасней пропустит одного "виновного" клиентов, чем забанить сто "невиновных". Так что я бы отнес это решение банков к типичным бизнес-решениям по снижению рисков. Со стороны банков тут никаких политических мотивов нет.
Ребята, а среди авторов комментариев есть люди, получивших хорошее образование в области физики, скажем профильные факультеты МИФИ или МФТИ? Я это спрашиваю не чтобы обидеть, а для общего понимания. Вроде в физике все просто. Есть мейнстримовые теории, с непротиворечивыми математическими моделями с большим количеством экспериментов, подтверждающих их правильность в рамках ограничений валидности моделей. Сейчас это ОТО и Стандартная модель. Есть физика "в поиске", где либо качество математических моделей либо отсутствие экспериментального подтверждения не позволяет прямо сейчас назвать их мейнстримом. И всё! О чём эта статья и эти комментарии - реально непонятно) Всем мира и добра )
Нет, там для x = 2 πm получается выражение cos(2πmn), а оно для любого положительного целого n и m равно 1
Если вы пытаетесь найти ценовые сегменты, то смотрите только на цену. Зачем вам другие параметры? Когда вы получили результаты "ценового сегментирования", вас не смутило, что ваши сегменты совершенно негоммогенны по цене? А то, что все сегменты пересекаются по цене не смутило? Какая вообще интерпретация может быть у ваших сегментов?
Автор, вам не приходило в голову, что прежде чем решать задачу, её нужно сформулировать? Ответ на какой бизнес-вопрос вы пытались найти? Подозреваю, что на никакой
Извините, ошибся в формулировках - среднее отклонение от среднего - это либо сумма модулей деленное на количество испытаний (в вашем примере это 8) или, строго говоря, сумма отклонений деленное на количество испытаний т.е. строго ноль. Ни то, ни другое не является стандартным отклонением, как у вас написано
Автор, это дело вкуса, но, имхо, вы вообще зря в статью для начинающих потащили нормальное распределение. Во первых, тезис о том, что "большинство ... явлений подчиняются нормальному распределению" очень полемичен и не стоит его вносить в мозг новичкам, как непреложную истину. Во вторых, ценность нормального распределения не в том, что вы указали, а в том, что благодаря центральной предельной теореме, выборка средних значений выборок стремится к нормальному распределению - боюсь, что объяснить это новичкам будет непросто. В третьих, связь между величиной стандартного отклонения и количества покрываемых испытаний (которую вы хотите показать) существует и вне зависимости от формы распределения (неравенство Чебышева)
Автор, у вас ошибка в тексте. Вы пишите, что "это означает, что в среднем рост мужчин в нашем районе отличается (меньше или больше) от среднего на 10 сантиметров". В действительности среднее отклонение от среднего в вашем примере 1 см: (корень(1004))/10. И чуть упрощая, это называется стандартная ошибка, а не стандартное отклонение. Поправьте, пожалуйста
Извините, но центральная предельная теорема не про это. Её суть в том, что при большом количестве выборок, распределение значений их средних будет стремится к нормальному.
Очевидно, что ИПР пришли из мира менеджмента для менеджеров, стремящихся к карьере. Естественно, для каждой новой ступеньки (например: специалист - менеджер специалистов - руководитель отдела, руководитель департамента - директор) нужны свои качества, которыми изначально менеджер может не обладать. Тогда ИПР описывает карьерную цель, области, над которыми надо работать, чтобы её достигнуть и способы ее достижения. В случае, если путь карьерного продвижения отсутствует, внедрение ИПР является искусственным и вызывает скепсис. При этом ситуация, когда человек не хочет делать карьеру, а хочет совершенствоваться в своей области (стать самым крутым разработчикам чего-то) абсолютно нормальная. Поэтому я бы серьезно подумал, прежде чем внедрять ИПР в среду, состоящую в основном из специалистов, а не менеджеров. Скорее всего получится плохо
Довольно много знаю о банках Израиля и у меня есть подозрение, что герой статьи недоговаривает. Скорее всего, она при первичном общении не сообщила банку, что она не резидент Израиля. Когда это выяснилось - деньги и заблокировали. Можно, конечно, возмущаться, но принцип "где живёте, там деньги и храните" сейчас действует во всем мире
К сожалению, мне не хватило усидчивости прочитать статью, но автору - спасибо!
Вообще не понимаю, какое давление "сверху" может быть на руководство международной исследовательской структуры. Кто или что является "верхом" для директоров ЦЕРН? Очевидно, что решение продиктовано моральными соображениями. Было немало статей на эту тему (например а nplus1 на русском). Ну и поскольку научная среда весьма либеральная, было много учёных, которые отстаивали принцип "наука вне политики". Однако из-за того, что большинство европейцев восприняли эту агрессию очень эмоционально, были приняты решения исключить российских учёных. Я не уверен, что я понял ваш последний абзац. Вы имели в виду, что Россия является важным рынком для международных компаний? Если так, то это не соответствует истине. Нет ни одной публичной (чтобы можно было посмотреть отчётность) компании, у которой доля России в продажах была бы выше 10%. И вот эти 10% есть только у табачных компаний, поскольку Россия очень большой (возможно самый большой после Китая, но туда не пускают международные компании) рынок из-за высокой доли курящих. У всех остальных доля России существенно меньше и где-то на уровне доли российского ВВП в мировом т.е. около 2%. И я бы с сомнением отнёсся к данным вашего источника по 20% доле Leica Microcystems от России - с чего-бы вдруг такой всплеск интереса к научному оборудованию для биологии и медицине в России? Мы же понимаем, что в этих областях Россия где-то на задворках. Кстати у владельца Лейки - Danaher, только две страны имеют долю выше 5% - США и Китай, что вполне разумно
Вот не уверен, что отношения между Европой и Россией когда-то были хуже, чем сейчас. Почитайте европейскую прессу в 2022 - война воспринималась как прямая агрессия против Европы. Последний раз на Европу или США нападали во время Второй мировой. Поэтому и отношение к России такое. Я сейчас даже не про то, кто "прав", а кто "виноват". Просто хочу, чтобы в России было понимание того, как эта агрессия выглядит из Европы или США
Ну вроде раньше то же самое случилось с Ираном и Северной Кореей и мир не стал другим - никто и не заметил их отсутствия в международных проектах. Почему вы считаете, что в случае с Россией что-то будет по другому?
Мне кажется, ситуация вполне очевидная. Большинство европейцев воспринимает войну, как агрессию тоталитарной не-европейской страны против демократической европейской страны. Очевидно, на чьей стороне будут симпатии европейской структуры (ЦЕРН). На другой чаше весов - принцип "наука вне политики". Конечно, этим принципам вместе не ужиться. Если говорить о практических решениях для россиян, мне кажется для ученого выбор очевиден. Для патриота тоже. Нужно просто понять, кто ты (ученый или патриот) и выбрать "мир" или "Россия"
По поводу small talk могу дать такой совет - говорите о том, что вам интересно - будь это квантовая гравитация или собирание крышечек из-под Кока-Кола. Пусть собеседник под вас подлаживатся )
1) Там в формуле: значение минус минимальное значение. Если они совпадают (как в моем примере), разность равна нулю. 2) можно делать любую предварительную обработку данных - главное, понимать зачем это делаешь, что хочешь получить и что будешь делать с обработанными данными дальше. Вот все эти причинно-следственные цепочки у автора опущены, просто по тексту накиданы формулы, с которыми непонятно что в непонятно какой ситуации нужно делать
Очень много ошибок. Читал наискосок, поэтому только некоторые перлы … “Масштабирование — это один из важнейших шагов трансформации, особенно для алгоритмов, чувствительных к масштабу признаков (например, линейная регрессия…)” Отлично, давайте в линейной регрессии с параметрами “площадь квартиры” - “цена” сделаем масштабирование площади, т.е. нулем станет квартира с минимальной площадью (скажем 30 кв. метров), а не ноль. Догадаетесь, как ваша регрессия будет выглядеть. Теперь представьте, что вы получили параметры регрессии на выборке для обучения и теперь хотите их запустить на тестируемой выборке - в этих двух выборках минимальные и максимальные значения будут отличаться, соответственно, полученная регрессия выдаст неправильные результаты на тестовой выборке. 2. “Логарифмическая трансформация: применяется для признаков с сильно скошенным распределением, где существует длинный хвост справа (например, доходы, цены), чтобы сделать данные более симметричными.” Долго думал, но не смог понять, зачем делать данные более симметричными? Совершенно непонятно, как пользоваться этим советом, если неизвестен его смысл. Я вижу естественную необходимость в трансформации, если того требует используемый способ анализа данных. Например, линейная регрессия ожидает, что параметр на выходе зависит линейно от входных параметров. Если фактически эта зависимость экспоненциальная, то взяв логарифм от значений, вы получите зависимость близкую к линейной. И, кстати, у меня есть подозрение, что вы не понимаете разницу между значениями и распределением значений. Может я и неправ, но вся глава про трансформацию абсолютно неясна - с ужасом представляю человека, который попытается что-то сделать используя эти инструкции. 3. “Прямое использование числовых значений времени (например, 23 и 1) может ввести искажения, потому что эти значения далеки друг от друга как числа, хотя и близки по смыслу. В этом случае можно использовать разные методы трансформации. Например, метод с использованием синусов и косинусов помогает захватить периодические колебания, ввод лаговых признаков помогает модели учитывать предыдущие значения для прогноза будущих, а скользящие средние сглаживают данные и выявляют основные тенденции.” Я честно пытался понять, что это всё означает, вот скажем “эти значения далеки друг от друга как числа, хотя и близки по смыслу” - ну, что это вообще означает? Какой-то набор букв. И было бы интересно, какую обработку вы бы здесь сделали - превратили время в синус времени? И вот такое можно брать и цитировать почти из каждого абзаца. Очень непрофессионально.
Я вообще не из IT, поэтому взгляд со стороны. 1. Если на вакансию 1500 откликов, то это очень сильный индикатор того, что с работой в индустрии плохо. Посмотрите на другие области, без труда найдёте вакансии профессионалов, на которые где-то десяток откликов, а не тысяча. 2. Работу предлагают, в первую очередь тем, у кого она уже есть. Думаю, что это общеизвестный феномен. 3. Чем дольше человек без работы, тем сложнее её найти. Так что историй про то, что специалист с многолетним опытом не может найти работу, вы прочитаете ещё много. Ещё здесь высказывалось мнение, что пройдёт немного времени и всё устаканится. Не очень я в этом уверен. Уж слишком неудачно в индустрии сошлись два противоположных и сильных процесса - уменьшение количества рабочих мест после ковида и рост количества кандидатов благодаря курсам. В любом случае, всем ищущим - удачи!
Формулировки санкций не очень четкие, поэтому банк может совершить нарушение случайно. Чтобы этого не произошло, отдел compliance банка формулирует критерии потенциального нарушителя с запасом. Сейчас это приводит к блокировке карт российских граждан с российскими IP. И, конечно, принцип фильтрации тут презумпция виновности, а не наоборот. Для банка гораздо опасней пропустит одного "виновного" клиентов, чем забанить сто "невиновных". Так что я бы отнес это решение банков к типичным бизнес-решениям по снижению рисков. Со стороны банков тут никаких политических мотивов нет.
Ребята, а среди авторов комментариев есть люди, получивших хорошее образование в области физики, скажем профильные факультеты МИФИ или МФТИ? Я это спрашиваю не чтобы обидеть, а для общего понимания. Вроде в физике все просто. Есть мейнстримовые теории, с непротиворечивыми математическими моделями с большим количеством экспериментов, подтверждающих их правильность в рамках ограничений валидности моделей. Сейчас это ОТО и Стандартная модель. Есть физика "в поиске", где либо качество математических моделей либо отсутствие экспериментального подтверждения не позволяет прямо сейчас назвать их мейнстримом. И всё! О чём эта статья и эти комментарии - реально непонятно) Всем мира и добра )