Pull to refresh
0
@Jettroread⁠-⁠only

User

Send message

Получаем кривую плотности распределения вероятности случайного процесса

Reading time8 min
Views7.7K

В ходе моей трудовой деятельности неоднократно возникала необходимость построить кривую плотности распределения вероятности по имеющемуся набору числовых данных большого объема различной природы, как случайных, так и не очень. Бывало и такое, что по некоторым причинам, использовать при этом сторонние библиотеки, решающие вопрос, было нежелательно. Приходилось обходится своими силами.

Помнится, когда впервые возникла задача такого рода, с ходу решить ее не получилось, при кажущейся, на первый взгляд, относительной простоте вопроса, на его решение пришлось потратить некоторое количество времени и обратиться при этом к тематической литературе. Немного покопавшись в поиске Хабра обнаружил, что нет статей, которые могли бы помочь решить такую задачу. В связи с этим я хотел бы простым и понятным языком рассказать коллегам по цеху, как можно построить плотность распределения вероятности какого либо процесса, представленного некоторой числовой последовательностью своими силами, не используя специализированные методы сторонних библиотек для научных расчетов, например, таких как Pandas или Seaborn. Думаю, что научиться это делать или просто освежить тему в памяти было бы полезно многим аналитикам данных, разработчикам, инженерам, научным работникам и другим специалистам.

Читать далее
Total votes 10: ↑9 and ↓1+10
Comments10

Как стать web-разработчиком на Python за полгода: конкретный план действий

Reading time9 min
Views83K

Всем привет! Меня зовут Евгений Степанов, и я Python Full Stack-Developer в компании PVS-Studio. В этой статье вы узнаете, что нужно сделать, чтобы за полгода стать Python backend-разработчиком. После прочтения данной публикации у вас будет чёткий план, который останется только реализовать. Поехали!

Читать далее
Total votes 10: ↑8 and ↓2+6
Comments51

Собеседование на позицию Data Engineer в Х5: чего ждать и как лучше подготовиться

Reading time4 min
Views15K

В X5 Group активно развивают цифровые продукты, построенные на основе  больших данных, использующие сложную аналитику и машинное обучение, такие как прогнозирование спроса, управление ассортиментной матрицей магазинов, предсказание отсутствия товаров на полках, динамическое ценообразования и т.п. 

Для разработки продуктов формируются автономные, кросс-функциональные команды, которые имеют минимум внешних зависимостей и могут двигаться вперед с максимальной скоростью. Одной из ключевых ролей в таких командах является роль Data Engineer.

Читать далее
Total votes 2: ↑1 and ↓1+2
Comments1

Собеседование на позицию Data Engineer в X5: чего ждать и как лучше подготовиться (часть 2)

Reading time6 min
Views9.3K

В предыдущей статье мы поговорили про роль Data Engineer в Х5, какие задачи он решает и с каким технологическим стеком работает. Рассмотрели структуру собеседования, основные направления, по которым мы оцениваем кандидатов, и подробно разобрали базовые требования, предъявляемые нами к уровню владения Python.

В данной статье мы разберём требования к ключевым для Data Engineer в X5 навыкам: распределённые системы и вычисления на Hadoop / Spark, а также SQL и проектирование схемы данных.

Читать далее
Total votes 2: ↑1 and ↓10
Comments1

Введение в Облачные Вычисления для Всех от Инженера Microsoft, Ex-Amazon

Reading time10 min
Views11K

Многие из вас слышали про мировой успех облачных компаний и таких компаний как Amazon Web Services, Microsoft Azure и Google Cloud Platform. Сейчас мы видим, как отечественное облако активно развивается – Яндекс Облака, Mail.ru облако и Сбербанк тоже работает в этом направлении.

Лично у меня нет опыта работы с отечественным облаками и пока они еще достаточно молодые, но, я очень надеюсь, что они справятся с задачей и у нас появятся конкурентно способные облачные провайдеры.

Сам я занимаюсь задачами аналитики и инжиниринга данных, то есть работаю с buzz words – Big Data, Data Platform, Lakehouse, Data Lake, Data Science, Machine Learning (ML), AI и т. п., в крупных международных компаниях – Amazon, Microsoft, Xbox.  Про все эти дела я уже 3 года успешно пишу в своем телеграмм канале Инжиниринг Данных, где уже больше 10 тысяч подписчиков.

Я работаю с облаками с 2014 года, с 2016 по 2020 в Амазоне (почти 5 лет), где принимал участие в знаменитом проекте Rolling Stone по миграции on-premise инфраструктуры для аналитики в облако AWS.

Читать далее
Total votes 8: ↑6 and ↓2+5
Comments7

Подборка бесплатных курсов для тех, кто делает первые шаги в Data Science

Level of difficultyEasy
Reading time3 min
Views69K

Курсы упорядочены по степени необходимости, начиная с базовых знаний, без которых будет тяжело даваться дальнейшее изучение (линейная алгебра, статистика, базовое знание python и т.д.), переходя к более сложным. Старался избавиться от избыточности, оставляя только самые ценные, на мой взгляд, курсы. Эти бесплатные курсы легко заменят вам платные.

Читать далее
Total votes 15: ↑14 and ↓1+13
Comments3

Карта процессов верхнего уровня компании и матрица RACI c помощью drawio и google sheets

Reading time4 min
Views13K

В крупных компаниях фиксируют верхнеуровневые процессы в картах процессов верхнего уровня. Наиболее наглядно это делается с помощью схем бизнес-процессов. На них же обозначают участников и владельцев процессов. Более сжатое представление дает матрица RACI. Встает вопрос, как автоматически строить матрацу по данным схемы процессов верхнего уровня.

Читать далее
Total votes 3: ↑2 and ↓1+2
Comments4

Зарплаты в Python за последние 10 лет

Reading time5 min
Views34K

2021 год — знаковый для Python: в рейтинге популярности TIOBE он занял первое место. Поэтому сегодня публикуем статистику зарплат разработчика на Python за последние 10 лет. Возьмём условного Python Middle в Москве с опытом от 1 до 3 лет, а ещё рассчитаем реальное изменение доходов с учётом кризисов в экономике, пока у нас начинается курс по Fullstack-разработке на Python. Интересно? Поехали.

Читать далее
Total votes 17: ↑14 and ↓3+13
Comments21

Пять распространенных проблем кандидатов (по результатам 600 технических собеседований)

Reading time9 min
Views53K

Компания Geekfactor cовместно с Getmentor.dev проводит программу подготовки к трудоустройству в зарубежные стартапы (бесплатно помогаем подготовиться к интервью и показываем резюме классным компаниям) — почитать о ней подробней и зарегистрироваться можно тут. Свой блог на Хабре мы хотим посвятить теме трудоустройства зарубеж и наша первая статья — про то, каких ошибок стоит избегать при прохождении технических интервью в зарубежные компании.

Недавно я провел свое 600-е собеседование на платформе interviewing.io (IIO). В этой статье я хочу рассказать о своем опыте, подходе к проведению собеседований и основных проблемах, которые встречались у кандидатов на технических собеседованиях.
Читать дальше →
Total votes 50: ↑18 and ↓32-9
Comments76

Оптимизация работы конструкторского отдела производственного предприятия

Reading time3 min
Views6.5K

Производственные компании нередко обращаются к нам с просьбой проанализировать текущую технологию работы и оптимизировать ее, подобрав решение, которое учитывает рабочие процессы и улучшает выходные параметры. Представляем кейс из нашей практики.

Читать далее
Total votes 6: ↑4 and ↓2+3
Comments19

Зарплаты разработчиков в первой половине 2021: квалификации и основные языки

Reading time6 min
Views102K

Мы уже вовсю собираем данные для зарплатного отчета за второе полугодие 2021, а пока продолжаем анализировать данные за первое. Сегодня рассказываем о том, сколько зарабатывали разработчики разных языков и квалификаций и как их зарплаты изменились по сравнению со второй половиной 2020.

Краткие выводы такие: в квалификациях выросли все, кроме джунов, лиды заняли первое место. Если говорить об основных языках программирования, то больше всех выросли зарплаты разработчиков Objective-С, Ruby on Rails и Swift, а 1С-разработчики — единственные, кто остался на прежнем уровне. Подробнее обо всех изменениях рассказываем и показываем на графиках дальше.

Читать далее
Total votes 37: ↑33 and ↓4+52
Comments117

Ontol: Самые полезные материалы для релокейта в любую страну мира

Reading time8 min
Views23K
image

В предыдущей подборке самых полезных материалов про визу O-1 много спрашивали про релокейт в Европу. Я целый день копал рунет и накопал полезное про релокейт не только в Европу, но почти куда угодно: Азию, Латинскую Америку, Австралию, Ближний Восток, Африку, Китай и даже… в Россию. Всего про 49 стран.

Недавний (пару недель назад) опрос 2423 ИТишников (50% Senior, 30% Middle, 10% Junior):

  • 23% в ближайшие 5 лет точно уеду (563)
  • 18% уже уехал (443)
  • 37% колеблюсь (900)
  • 21% не собираюсь уезжать в принципе (517)


Онтол — это ресурс призванный помочь максимально раскрыть ваш потенциал: поступить в самый полезный для вас университет, жить в максимально эффективном месте на планете, свободно перемещаться, работать на работе мечты, читать нужные книги.

В конце поста — опрос.

(Если у вас есть полезные ссылки на «личный опыт» по релокейту, который вам понравился, делитесь, буду признателен.)
Читать дальше →
Total votes 33: ↑27 and ↓6+29
Comments14

Data Science: лучшие учебные курсы и программы сертификации

Reading time7 min
Views24K
Можно получить два-три десятка Data Science-сертификатов, но по-настоящему стоящих программ сертификации из сферы науки о данных, по моему мнению, не так уж и много. Я хочу рассказать о нескольких таких программах, поддерживаемых авторитетными организациями. Эти программы я оцениваю по разным признакам. В частности — по объёму рассматриваемых в их рамках тем, по их «весу» в глазах потенциального работодателя, по репутации организации, реализующей программу. В последние несколько лет я являюсь и специалистом по анализу данных, и дата-сайентистом. Всё это время у меня формировалось понимание того, что сильнее всего влияет на успех человека в сфере Data Science (DS).



Здесь я рассмотрю ведущие программы Data Science-сертификации, входящие в список, собранный ресурсом Indeed. Из этого списка я выбрал четыре, которые кажутся мне наиболее достойными. Им и посвящён этот материал.
Читать дальше →
Total votes 23: ↑20 and ↓3+30
Comments2

Как мы перенесли в облако ИТ-инфраструктуру крупнейшей сети фастфуда

Reading time8 min
Views11K

Тренд на использование облаков и облачных сервисов российскими компаниями становится все более заметным. Основные причины, на мой взгляд, – достаточный уровень зрелости российских облачных провайдеров, простота и скорость развертывания новых сервисов, нативные сервисы облака, удобство в оплате (OpEx вместо CapEx) и другие. 

Наш заказчик, крупнейшая сеть фастфуда в России, тоже принял решение о миграции в облако. Перед командой «ЛАНИТ-Интеграции» стояла амбициозная задача – примерно за полгода мигрировать всю ИТ-инфраструктуру заказчика в облако Mail.ru Cloud Solutions (MCS). Как мы решали эту задачу, с какими трудностями столкнулись в процессе, а также какие результаты получили, расскажу подробно в этой статье.

Читать далее
Total votes 49: ↑47 and ↓2+55
Comments19

Как получить сертификат AWS Cloud Practitioner в 2021?

Reading time7 min
Views9K

Летом мне на глаза попалось руководство по подготовке к экзамену AWS Cloud Practitioner. У меня уже был опыт практической работы с облаком Амазона, но хотелось получше разобраться с новыми технологиями. В июле все сошлось - появилось свободное время и желание расширить знания, а в качестве бонуса получить сертификат.

Перед началом обучения я полагал, что знания у меня уже есть, но их нужно немного освежить. После этого получить начальный сертификат AWS Cloud Practitioner не составит труда. По заверениями Амазон для получения начального сертификата нужно 6 месяцев работы с облаком. По заверениям некоторых блогеров достаточно одного месяца.

Обучаться я начал в лоб — открыл руководство и начал читать, переходя от одной главы к другой. На прочтение одной главы уходил примерно час. В день я читал одну, иногда две главы. После каждой главы нужно было сдать мини-тест из 20 вопросов. На это уходило еще полчаса. Итого 1,5 часа * 12 глав = 12 дней. С этим я успешно справился. Мини-тесты проходил на бумаге, смотрел ответы, анализировал ошибки, снова читал.

В руководстве был спрятан бонус, который я не заметил в начале чтения. Можно зарегистрироваться на сайте и отвечать на вопросы тестов онлайн. Это удобно — вопросы можно перемешивать, проходить тесты несколько раз, видеть аналитику и даже корректировать вопросы, если вдруг нашел ошибку. 

Через полторы недели чередования чтения с тестированием я решил, что подготовка прошла успешна. Пришло время сдавать экзамен, но для этого нужно было на него зарегистрироваться. Процесс оказался несложным. Аккаунт AWS у меня уже был, зайдя на aws.training в личный профиль, выбрал центр тестирования и назначил время экзамена.

Читать далее
Total votes 5: ↑5 and ↓0+5
Comments4

Одноплатники, появившиеся в продаже относительно недавно, на которые стоит обратить внимание

Reading time3 min
Views27K

Одноплатные компьютеры можно использовать для самых разных целей, от любительских до профессиональных. Одноплатники продолжают набирать популярность, разработчики выпускают как относительно сложные, так и весьма навороченные модели. О некоторых из них, появившихся в продаже несколько недель/месяцев назад, сегодня и поговорим.
Читать дальше →
Total votes 42: ↑38 and ↓4+45
Comments20

Дайджест свежих материалов из мира фронтенда за последнюю неделю №489 (11 — 17 октября 2021)

Reading time3 min
Views7.9K
Предлагаем вашему вниманию подборку с ссылками на новые материалы из области фронтенда и около него.

Читать дальше →
Total votes 16: ↑16 and ↓0+16
Comments3

«У agile-самурая нет цели, только Путь». Как я пришел в IT после 35

Reading time8 min
Views16K

Я всегда хотел заниматься программированием, но мой путь в IT оказался очень длинным. В маленьком северном городе сфера IT была не развита от слова «совсем» и выбор был сделан в пользу военной карьеры. Так пронеслись 15 лет службы на Севере. Я понимал, что жду пенсии, чтобы заняться по-настоящему любимым делом. Поэтому за 5 лет перед увольнением стал готовиться к «новой жизни», самостоятельно учиться языкам программирования.

Тогда я просто верил, что смогу в свои «около 40» лет измениться и найти работу своей мечты. Но настоящие испытания были еще впереди…

Читать далее
Total votes 19: ↑14 and ↓5+10
Comments10

Простое эконометрическое прогнозирование

Reading time3 min
Views5.5K

Прогнозирование – это важный инструмент экономики. Оно позволяет осуществлять рациональные закупки, вырабатывать долгосрочные планы действий или же, как в случае аудита, спрогнозировать будущие затраты. Прогнозирование так же является одной из областей Data Science.

Давайте рассмотрим создание простой прогнозной модели на основе линейного тренда с помощью эконометрических методов.

Возьмем некоторый набор данных (можно найти в репозитории Github, ссылка в конце статьи). Примем, что генезис не имеет значения (прим. автора – происхождение), но учтем, что данные имеют нормальное распределение:

Читать далее
Total votes 3: ↑2 and ↓1+1
Comments12

Цифровая модель коммунизма

Reading time4 min
Views6.2K

Задача этой статьи - вывести в конструктивное русло многолетние споры коммунистов и либералов об наилучших путях развития общества. Даже уважительные и аргументированные дискуссии обычно не позволяют участникам увидеть картину целиком, со всеми её взаимосвязями, ведь на повестке дня целая эпоха!

Мы же попробуем это сделать при помощи математической модели, отражающей ключевые характеристики и алгоритмы поведения общества.

Если вспомнить притчу о слоне и слепых мудрецах - это означало бы дать им некий инструмент для последовательного изучения слона без необходимости ходить по кругу и оспаривать одни и же выводы.

Читать далее
Total votes 13: ↑9 and ↓4+6
Comments194

Information

Rating
Does not participate
Registered
Activity

Specialization

Backend Developer, Data Engineer
Intern
SQL
Python