Этот механизм у Микрософта регулярно глючит: на одном компе деактивировал, а на втором активировать не получается, говорит что лицензия уже активирована. Ждал однажды несколько часов, оба компа были в сети с доступом в инет, ни один не выключался, пару раз я оба компа перезагружал, — вообще никакого эффекта. В результате пришлось звонить в Микрософт и переносить «по телефону».
Тут еще пара прикольных моментов: (1) Перенос нельзя сделать иначе, как по телефону; никаких чатов, спец. страниц на сайте, только хардкор и (2) Звонить надо в страну, где покупал лицензию, что иногда может быть недешево, учитывая то, сколько времени занимает весь процесс…
Да просто Я — это не тот, кто шевелит пальцем, а его мысли/видение себя. Это не «сознание», а «самосознание». Поэтому если Я нет, то вроде бы и некому шевелить.
Это все равно что спутать Task Manager, который отожрал кучу ресурсов у системы, с ядром ОС :)
А, теперь понятно, спасибо.
А то я уже решил что вы там таки сделали промышленный онлайн скоринг на ML, питоне и докере.
Но все равно решение, да. Дёшево и сердито :)
То есть у вас Продакшн скоринг в части ML работает на Питоне? Вот это и правда редкий случай, уважаю! :)
И какой поток входящих запросов держит один инстанс Докера, если не секрет?
Биннинг может помочь улучшить качество модели, потому что помогает лучше описать взаимосвязь между предиктором и зависимой переменной, но этого же можно добиться за счет преобразований (квадратный корень, кубический корень, свернутый корень, арксинусное простое или удвоенное, сплайны, ну или Бокс-Кокс для ленивых).
Самое интересное в бининге для таких задач, как банковский скоринг, это не стабильность (тут альтернатив и правда много), а то, что эксперт может добавить в модель свои знания. Возраст — классический случай. 99% что пик WOE по возрасту это косяк в данных или непредставительная выборка. Тогда аналитик накладывает ограничение неубывания WOE на бины — Gini падает на тренинговом множестве, но растет на тесте (а даже если и не растет на тесте, то стабильность модели все равно повышается).
ИМХО другого такого способа прямо выразить знания эксперта в модель в DS просто нет.
Спасибо, очень интересно!
Скажите:
1) Самый важный вопрос: насколько тако вариант регресии с самописным бинингом проигрывает ML моделям по Gini?
2) Как вы эту модель деплоите потом? У вас там на Проде Питон стоит или надо весь набор препроцесинга и модель заново кодить в Java?
3) Если для деплоя используется PMML, то как вы туда добавляете бины?
В какой опыт вы накапливаете, когда делаете домашнее задание? Когда репетируете доклад, готовитесь к трудным переговорам?
Опыт человека это не видеозапись жизни, а выводы и навыки. Вот все это в ОС доступно :)
Если отбросить (без сомнения, интересные) подробности, то статья сводится к следующему:
утверждение «Вещество на 99% состоит из пустоты» некорректно, потому что элементарные частицы имеют плотность распределения, а не фиксированный объем.
Но это не окончательный разбор вопроса «о пустоте вещества». Давайте добавим порог отсечения в 2 СКО, как часто принято в статистике, т.е. примем за размер частицы объем, который содержит 95% плотности вероятности.
Что мы получим тогда? Какой процент атом занимает «объемов электрона» и какой процент ядра занимает «объем протона», например?
Почему 95%, а не другое число — можно любое другое, хоть ту же 1/2. Интересно соотношение объемов понять…
PS: я как-то совсем позабыл кванты, но… почему орбиталь электрона в атому водорода не является сферой?
Так в итоге, у Вас на сайте можно понять, что вот для этого тура или отеля цена/условия точно останутся фиксированными? Или покупаешь и никогда не знаешь, будет ли заменен отель и останутся ли условия как были?
— Вашу историю и следущий из нее бэкграунд. Это очень сильно. Ваша экспертиза выше 99,9% людей в той же и смежных профессиях. Вы легко и быстро (относительно тех же 99,9%) освоите любой язык/фрэймворк/кейсы в любой области от железа до Data Science. Конечно, если у Вас будет время и ресурсы. Но любая компания, которая решит инвестировать в Вас, не прогадает, однозначно. Вы потратили свои годы, набирая уникальный бэкграунд, которые просто невозможно набрать быстрее, а иногда вообще невозможно (опыт 90х младшим поколениям просто негде взять); Ваш возраст в данном случае это чистый плюс, а не минус.
— Ваше текещее положение дел и Ваше отношение к происходящему. Объединяю в одно, потому что ИМХО одно следует из другого. Резюмируя: Вы крайне недовольны сложившимся положением дел, но не видите способов его изменить, а «прыжок вслепую» Вы делать не готовы, потому что у Вас есть ответственность перед семьей и потому что страшно. Это единственное, в чем Вы проигрываете большинству более молодых коллег: у Вас есть опыт суровой жизни и понимание того, как все хрупко, тормозит Вас.
Так вот — эти два слоя не монтируются между собой. Вы гораздо сильнее/опытнее/готовы к трудностям, чем сами думаете о себе сейчас. Просто у Вас нету очевидного гарантированного варианта как все исправить — ну и что, его обычно никогда нет…
Я не люблю так вот уверенно тыкать пальцем, но ИМХО Ваш основной тормоз — это страх изменений (собственно, Вы про это и сами пишите, только другими словами). И я не знаю, но предполагаю, что Ваша семья тоже добавляет свой страх. Но страх не имеет прямого отношения к оценке перспектив, если подумать. Просто вспомните, через какие ситуации Вы прошли и подумайте: что такого может сейчас с Вами случиться, что Вы с этим не справитесь? Напишите на бумаге, какие самые страшные исходы у Вашего решения бросить работу, переехать в Москву, сменить профессию и т.д. Я почти уверен, окажется что все это трудно, но это не безнадежный тоскливый ужас и голод для всей семьи на 15 лет вперед :) Просто большие, но временные трудности.
Есть простое правило: человек очень силен там, где он делает то, что хочет; и гораздо слабее там, где наоборот. Вы загнетесь там, на текущей работе с суровыми нитками. И Ваша семья получит Вас после инсульта из больницы и вот тогда все будет и правда очень грустно. Они этого, очевидно, не понимают, но раз Вы добытчик и глава семьи, Вы обязаны учитывать такой исход. И Вы никак не можете на него повлиять, потому что Вы не можете полюбить эту работу.
И да — учите английский. Шанс получить получить высокооплачиваемую работу, в том числе, удаленную, вырастает на порядок. Даже если не уходить с текущей работы, Вам удастся засветиться на Кэггле, если копать в сторону Data Science, и на куче сайтов с конкурсами для разработчиков, если копать туда. Войдете в топ-10 — и всем будет действительно наплевать на Ваш возраст, он наоборот будет считаться Вашим плюсом. Кроме того, в иностранных компаниях средний возраст сотрудников гораздо Выше, чем в РФ. Если иностранная компания не делает ставку на дешевый труд студентов, то там вообще бывает трудно встретить людей моложе 30 лет.
PS: Вот никогда не писал комментариев, а тут решил все-таки написать :)
Мне 42, если что. Я нашел гораздо более теплое место и в смысле денег и в плане осмысленности деятельности, но эта проблема — здесь нет перспектив и при том слишком комфортно, чтобы двигать дальше — присутствует все равно. Это внутри головы, а не снаружи в мире.
Тут еще пара прикольных моментов: (1) Перенос нельзя сделать иначе, как по телефону; никаких чатов, спец. страниц на сайте, только хардкор и (2) Звонить надо в страну, где покупал лицензию, что иногда может быть недешево, учитывая то, сколько времени занимает весь процесс…
Это все равно что спутать Task Manager, который отожрал кучу ресурсов у системы, с ядром ОС :)
А, теперь понятно, спасибо.
А то я уже решил что вы там таки сделали промышленный онлайн скоринг на ML, питоне и докере.
Но все равно решение, да. Дёшево и сердито :)
То есть у вас Продакшн скоринг в части ML работает на Питоне? Вот это и правда редкий случай, уважаю! :)
И какой поток входящих запросов держит один инстанс Докера, если не секрет?
Самое интересное в бининге для таких задач, как банковский скоринг, это не стабильность (тут альтернатив и правда много), а то, что эксперт может добавить в модель свои знания. Возраст — классический случай. 99% что пик WOE по возрасту это косяк в данных или непредставительная выборка. Тогда аналитик накладывает ограничение неубывания WOE на бины — Gini падает на тренинговом множестве, но растет на тесте (а даже если и не растет на тесте, то стабильность модели все равно повышается).
ИМХО другого такого способа прямо выразить знания эксперта в модель в DS просто нет.
А предобработка? Ну там, кросс-переменные, нормализация, вот эта логика для заполнения пропусков — как она попадает на Продакшн?
upd: не туда ответил, это коммент к комменту habr.com/company/idfinance/blog/421091/#comment_19030713
Скажите:
1) Самый важный вопрос: насколько тако вариант регресии с самописным бинингом проигрывает ML моделям по Gini?
2) Как вы эту модель деплоите потом? У вас там на Проде Питон стоит или надо весь набор препроцесинга и модель заново кодить в Java?
3) Если для деплоя используется PMML, то как вы туда добавляете бины?
В какой опыт вы накапливаете, когда делаете домашнее задание? Когда репетируете доклад, готовитесь к трудным переговорам?
Опыт человека это не видеозапись жизни, а выводы и навыки. Вот все это в ОС доступно :)
утверждение «Вещество на 99% состоит из пустоты» некорректно, потому что элементарные частицы имеют плотность распределения, а не фиксированный объем.
Но это не окончательный разбор вопроса «о пустоте вещества». Давайте добавим порог отсечения в 2 СКО, как часто принято в статистике, т.е. примем за размер частицы объем, который содержит 95% плотности вероятности.
Что мы получим тогда? Какой процент атом занимает «объемов электрона» и какой процент ядра занимает «объем протона», например?
Почему 95%, а не другое число — можно любое другое, хоть ту же 1/2. Интересно соотношение объемов понять…
PS: я как-то совсем позабыл кванты, но… почему орбиталь электрона в атому водорода не является сферой?
— Вашу историю и следущий из нее бэкграунд. Это очень сильно. Ваша экспертиза выше 99,9% людей в той же и смежных профессиях. Вы легко и быстро (относительно тех же 99,9%) освоите любой язык/фрэймворк/кейсы в любой области от железа до Data Science. Конечно, если у Вас будет время и ресурсы. Но любая компания, которая решит инвестировать в Вас, не прогадает, однозначно. Вы потратили свои годы, набирая уникальный бэкграунд, которые просто невозможно набрать быстрее, а иногда вообще невозможно (опыт 90х младшим поколениям просто негде взять); Ваш возраст в данном случае это чистый плюс, а не минус.
— Ваше текещее положение дел и Ваше отношение к происходящему. Объединяю в одно, потому что ИМХО одно следует из другого. Резюмируя: Вы крайне недовольны сложившимся положением дел, но не видите способов его изменить, а «прыжок вслепую» Вы делать не готовы, потому что у Вас есть ответственность перед семьей и потому что страшно. Это единственное, в чем Вы проигрываете большинству более молодых коллег: у Вас есть опыт суровой жизни и понимание того, как все хрупко, тормозит Вас.
Так вот — эти два слоя не монтируются между собой. Вы гораздо сильнее/опытнее/готовы к трудностям, чем сами думаете о себе сейчас. Просто у Вас нету очевидного гарантированного варианта как все исправить — ну и что, его обычно никогда нет…
Я не люблю так вот уверенно тыкать пальцем, но ИМХО Ваш основной тормоз — это страх изменений (собственно, Вы про это и сами пишите, только другими словами). И я не знаю, но предполагаю, что Ваша семья тоже добавляет свой страх. Но страх не имеет прямого отношения к оценке перспектив, если подумать. Просто вспомните, через какие ситуации Вы прошли и подумайте: что такого может сейчас с Вами случиться, что Вы с этим не справитесь? Напишите на бумаге, какие самые страшные исходы у Вашего решения бросить работу, переехать в Москву, сменить профессию и т.д. Я почти уверен, окажется что все это трудно, но это не безнадежный тоскливый ужас и голод для всей семьи на 15 лет вперед :) Просто большие, но временные трудности.
Есть простое правило: человек очень силен там, где он делает то, что хочет; и гораздо слабее там, где наоборот. Вы загнетесь там, на текущей работе с суровыми нитками. И Ваша семья получит Вас после инсульта из больницы и вот тогда все будет и правда очень грустно. Они этого, очевидно, не понимают, но раз Вы добытчик и глава семьи, Вы обязаны учитывать такой исход. И Вы никак не можете на него повлиять, потому что Вы не можете полюбить эту работу.
И да — учите английский. Шанс получить получить высокооплачиваемую работу, в том числе, удаленную, вырастает на порядок. Даже если не уходить с текущей работы, Вам удастся засветиться на Кэггле, если копать в сторону Data Science, и на куче сайтов с конкурсами для разработчиков, если копать туда. Войдете в топ-10 — и всем будет действительно наплевать на Ваш возраст, он наоборот будет считаться Вашим плюсом. Кроме того, в иностранных компаниях средний возраст сотрудников гораздо Выше, чем в РФ. Если иностранная компания не делает ставку на дешевый труд студентов, то там вообще бывает трудно встретить людей моложе 30 лет.
PS: Вот никогда не писал комментариев, а тут решил все-таки написать :)
Мне 42, если что. Я нашел гораздо более теплое место и в смысле денег и в плане осмысленности деятельности, но эта проблема — здесь нет перспектив и при том слишком комфортно, чтобы двигать дальше — присутствует все равно. Это внутри головы, а не снаружи в мире.