Pull to refresh
36.5
Karma
0
Rating
Anton Spirin @dude_sam

BI Developer

  • Followers 26
  • Following 1
  • Posts
  • Comments

Python, корреляция и регрессия: часть 1

PythonProgrammingData MiningStudying in ITStatistics in IT
Tutorial

В предыдущих сериях постов для начинающих из ремикса книги Генри Гарнера «Clojure для исследования данных» (Clojure for Data Science) на языке Python мы рассмотрели методы описания выборок с точки зрения сводных статистик и методов статистического вывода из них параметров популяции. Такой анализ сообщает нам нечто о популяции в целом и о выборке в частности, но он не позволяет нам делать очень точные утверждения об их отдельных элементах. Это связано с тем, что в результате сведения данных всего к двум статистикам - среднему значению и стандартному отклонению - теряется огромный объем информации.

Читать далее
Total votes 7: ↑6 and ↓1+5
Views5.4K
Comments 0

Как получить доступ из одного докер-контейнера в другой докер-контейнер

PythonProgrammingMicroservices
Translation
Tutorial

Цель этой статьи — показать как мы можем сконфигурировать два и более контейнеров, чтобы они могли взаимодействовать друг с другом. В этой статье мы сделаем следующее:

Создадим образ Docker используя простой веб-сервис с использованием Python и Flask.

Запустим два отдельных контейнера

Создадим сеть в Docker

Объединим контейнеры используя созданную сеть

Читать далее
Total votes 15: ↑11 and ↓4+7
Views5.8K
Comments 10

Как найти удаленную работу в зарубежной компании. 10 шагов

gms & g-mate corporate blogIT careerLifehacks for geeksRemote work


Каждый год Оксфордский словарь английского языка выбирает «Слово года». Но в 2020-м что-то пошло не так. Издательство Оксфордского университета описало 2020-й как «год, который лишил нас дара речи», и сказало, что к нему невозможно подобрать правильное слово.


Но на наш взгляд, такое слово всё-таки есть. С прошлого марта в мире резко возросло использование слова «удаленно». Большинство предприятий отошли от традиционной модели офисной работы и стали пытаться организовать труд сотрудников из дома. Для разработчиков из СНГ это прекрасная возможность начать работу в лучших мировых компаниях. Зарплаты за рубежом выше, а возможностей сейчас стало больше, чем когда-либо прежде.


Мы постоянно исследуем рынок. Публикуем сотни вакансий ежедневно. И сейчас 40% выручки получаем от иностранных компаний, которые в основном нанимают программистов для удаленной работы.


Вот несколько наблюдений о том, как разработчику найти удаленную работу в 2021 году. И большой список ресурсов, которые могут помочь вам получить хорошую должность.

Читать дальше →
Total votes 32: ↑30 and ↓2+28
Views26K
Comments 16

Каверзные вопросы по Python

ДомКлик corporate blogPythonProgramming

Мне кажется, в каждом языке программирования есть моменты, которые требуют повышенной концентрации внимания или больше практики для своего понимания. Python в этом плане не исключение, и сегодня я расскажу вам о нескольких каверзных вопросах, с которыми вы можете столкнуться как в повседневной разработке, так и в ходе прохождения собеседования.


Читать дальше →
Total votes 61: ↑60 and ↓1+59
Views31K
Comments 46

[Личный опыт] Аргентина — лучшая страна в мире. Почему сюда нужно ехать

gms & g-mate corporate blogIT-emigrationEcologyUrbanism


Кирилл Маковеев, российский журналист и (теперь) предприниматель, который 6 лет живет в Аргентине, поговорил с нами об особенностях этой страны, информация о которой в Сети устаревает каждые несколько месяцев. Снег раз в 50 лет, бесплатная медицина и вузы для туристов, идеология перонизма, уникальный испанский и причины вечной гиперинфляции.


Получится разговор о плюсах и… плюсах жизни в этой стране. Минусов на этот раз почти не будет!

Читать дальше →
Total votes 82: ↑73 and ↓9+64
Views33K
Comments 132

Полное руководство по созданию Docker-образа для обслуживания системы машинного обучения в продакшене

Mail.ru Group corporate blogMachine learning
Translation


Команда Mail.ru Cloud Solutions перевела полное пошаговое руководство для создания образа Docker (GPU или CPU) вместе с объяснением всех передовых методов, которые следует использовать для обслуживания любого программного обеспечения на основе машинного обучения. Далее текст от лица автора.


Обычно создание Docker-образа считается простой задачей по сравнению с разработкой других компонентов системы машинного обучения, таких как конвейер данных, обучение модели, обслуживающая инфраструктура и т. д. Но неэффективный и громоздкий Docker-образ способен сильно понизить производительность или даже положить инфраструктуру.


Эта статья посвящена сборке идеального образа, а не рассмотрению его достоинств или применяемых в образе концепций. Я исхожу из того, что у вас есть базовые знания:


  • об общей работе Docker;
  • о том, как собирать и запускать Docker;
  • о создании и синтаксисе Dockerfile.
Читать дальше →
Total votes 36: ↑35 and ↓1+34
Views8.7K
Comments 4

Установка и настройка Airflow на Ubuntu Server 20

Server AdministrationData Engineering
Sandbox

Первый раз я установил Airflow по туториалам за 1 час. Он отлично открывался с сайта, красиво выглядел, но, к сожалению, не работал.

На дальнейшую переустановку и отладку у меня ушло ещё 10-15 часов.

Статью пишу по горячим следам, постараюсь отметить все проблемы, с которыми пришлось столкнуться.

Читать далее
Total votes 6: ↑5 and ↓1+4
Views9.4K
Comments 9

Переезд IT-специалиста в Финляндию: низкая конкуренция, не так уж много снега и тотальная интроверсия

gms & g-mate corporate blogIT-emigrationIT career

Когда речь заходит о переезде IT-специалиста из России, первыми на ум приходят Германия, США или хотя бы Великобритания. В этих странах действительно высокие зарплаты, но и конкуренция намного выше среднего. А куда податься, если опыта пока немного, толкаться локтями с другими IT-инженерами не хочется, или просто не привлекают популярные для релокейта страны?


Предлагаем рассмотреть в качестве альтернативы Финляндию. Может, она не лидер в плане зарплат IT-инженеров, зато постоянно признается самой счастливой, безопасной и политически стабильной. А еще здесь безумно любят собак.


Мы побеседовали с предпринимателем, который давно живет в Финляндии, и с женой IT-специалиста, который переехал туда в прошлом году. И на основе их опыта расскажем, какие у Финляндии плюсы и минусы с точки зрения релокейта IT-специалиста, что нужно для переезда и как тут обстоят дела с работой, жильем и медициной.




Читать дальше →
Total votes 77: ↑69 and ↓8+61
Views64K
Comments 379

Наши грабли — залог вашего успеха. Кейсы DevOps и SQL-команд

ЮMoney corporate blogSQLApacheDevOpsData Engineering
Пятница — самое время занимательных историй. Сегодня предлагаем вам послушать доклады DevOps и SQL-направления с конференции ЮMoneyDay. Специалисты расскажут про:

  • устройство кластера логов, который позволяет нам понимать, что происходит с платежами и транзакциями (а также в целом с компонентами и сервисами);
  • работу дата-инженеров в машинном обучении;
  • внедрение и трансформацию CI/CD.

Делимся ценным опытом, чтобы вы не совершали наших ошибок. Надеемся, будет полезно!


Читать дальше →
Total votes 8: ↑8 and ↓0+8
Views2.2K
Comments 0

Новый .NET клиент для Snowflake

.NETC#Big Data


Всем привет!


В этой статье я расскажу, как я сделал свой собственный .NET клиент для работы со Snowflake, чем он лучше официальных библиотек, как устроен и как им пользоваться.

Читать дальше →
Total votes 12: ↑12 and ↓0+12
Views2.3K
Comments 3

MS SQL Server: BACKUP на стероидах

Microsoft SQL ServerDatabase AdministrationBackup

Подождите! Подождите! Правда, это не очередная статья про типы бэкапов SQL Server. Я даже не буду рассказывать про отличия моделей восстановления и как бороться с разросшимся "логом".

Возможно (только возможно), после прочтения этого поста, вы сможете сделать так, чтобы бэкап, который снимается у вас стандартными средствами, завтра ночью снялся, ну, в 1.5 раза быстрее. И только за счёт того, что вы используете чуть-чуть больше параметров BACKUP DATABASE.

Если для вас содержимое поста было очевидным - извините. Я прочитал всё, до чего добрался гугл по фразе "habr sql server backup", и ни в одной статье не нашёл упоминания о том, что на время бэкапа можно каким-то образом повлиять с помощью параметров.

Enlarge your...
Total votes 13: ↑13 and ↓0+13
Views9K
Comments 38

Как разложить фото, видео по папкам, исходя из их дат, используя python

PythonProgrammingImage processing
Tutorial


Всем знакомы завалы из фото и видео, кои покоятся годами после копирования с устройств.

Особенно это характерно для iphone,ipad, которые при прямом копировании (без itunes) создают
залежи медиаконтента. Как это все разложить по годам-месяцам?

Да, есть синхронизация, да, можно сразу все сортировать. Но…

Кто-то предпочитает ничего не трогать, так как соблюдается единство свалки, кто-то делает робкие попытки разложить все накопленное хотя бы по годам.
Читать дальше →
Total votes 8: ↑6 and ↓2+4
Views4.8K
Comments 18

«Просто похудеть» — непросто

Health

Интернет наводнен статьями о том, как похудеть "просто съедая меньше чем потратил" и отчетами об успешном опыте некоторых везунчиков. Чего нету (ну или очень мало) в интернете — это отчетов о том, как миллионы людей безрезультатно пытаются просто "съесть меньше", садясь на все новомодные диеты и неизменно возвращаясь к тому, с чего начинали, а иногда и скатываясь по шкале индекса массы тела в еще более красную зону.


В этой статье я постараюсь описать наиболее частые причины неудач и дать некоторые лайфхаки, который позволят обмануть свой мозг и наконец достигнуть своего так желаемого целевого веса.

Хакнуть свой мозг
Total votes 210: ↑188 and ↓22+166
Views107K
Comments 626

Функциональное программирование на Python для самых маленьких — Часть 1 — Lambda Функция

PythonFunctional Programming
Sandbox
Tutorial
image

Я решил написать эту серию статей, ибо считаю, что никто не должен сталкиваться с той стеной непонимания, с которой столкнулся когда-то я.

Ведь большинство статей написаны таки образом что, для того чтобы понять что-то в Функциональном Программировании (далее ФП), тебе надо уже знать многое в ФП. Эту статью я старался написать максимально просто — настолько понятно, чтобы её суть мог уловить мой племянник, школьник, который сейчас делает свои первые шаги в Python.
Читать дальше →
Total votes 11: ↑7 and ↓4+3
Views30K
Comments 25

Как устроиться в LinkedIn, Facebook, Google в Кремниевой Долине

IT-emigrationIT career

Зачем это читать?


В предыдущей статье я рассказал про реальные доходы и расходы, на которые может рассчитывать инженер, работающий в одной из Big Tech компаний. Если вдруг это вас заинтересовало, здесь будут подробности про то, как туда устроиться.


Я работаю в LinkedIn, который был приобретен Microsoft в 2016 году. У меня были предложения от Facebook, Bayer и разных стартапов, плюс множество собеседований с другими компаниями в Долине, включая Google и Tesla.


В LinkedIn часть моих обязанностей (как и многих других сотрудников) — проводить интервью с кандидатами. Я знаю, как происходит процесс, и я покажу письма реальных рекрутеров.

Читать дальше →
Total votes 31: ↑30 and ↓1+29
Views22K
Comments 36

Основы Data Vault

SQLData MiningBig DataData Engineering
Tutorial

В настоящее время, в сфере анализа данных и BI, уже не возможно не встретить такое понятия как DATA VAULT. Однако, на мой взгляд, есть некоторый недостаток информации по этой теме, особенно в русскоязычном сегменте интернета.


Можно найти интересные статьи о применении DATA VAULT в компаниях, однако основы и методология освещены недостаточно.


В англоязычном сегменте, дела обстоят значительно лучше. Можно купить книги авторов-изобретателей методологии DATA VAULT, но есть и статьи в открытом доступе, которые уделяют внимание именно основам.


Будучи вдохновленным одной из таких статей, я попытаюсь передать базовые вещи методологии DATA VAULT на русском языке.

Читать дальше →
Total votes 10: ↑10 and ↓0+10
Views7.9K
Comments 2

41 вопрос о работе со строками в Python

RUVDS.com corporate blogWebsite developmentPythonProgramming
Translation
Я начал вести список наиболее часто используемых функций, решая алгоритмические задачи на LeetCode и HackerRank.

Быть хорошим программистом — это не значит помнить все встроенные функции некоего языка. Но это не означает и того, что их запоминание — бесполезное дело. Особенно — если речь идёт о подготовке к собеседованию.

Хочу сегодня поделиться со всеми желающими моей шпаргалкой по работе со строками в Python. Я оформил её в виде списка вопросов, который использую для самопроверки. Хотя эти вопросы и не тянут на полноценные задачи, которые предлагаются на собеседованиях, их освоение поможет вам в решении реальных задач по программированию.


Читать дальше →
Total votes 65: ↑62 and ↓3+59
Views55K
Comments 40

Python: Работа с базой данных, часть 2/2: Используем ORM

PythonProgrammingSQLSQLite
Tutorial
часть 1/2: Используем DB-API часть 2/2: Используем ORM
Это вторая часть моей статьи по работе с базой данных в Python. В первой части мы рассмотрели основные принципы коммуникации с SQL базой данных, а в этой познакомимся с инструментарием, позволяющим облегчить нам это взаимодействие и сократить количество нашего кода в типовых задачах.

Статья ориентирована в первую очередь на начинающих, она не претендует на исчерпывающе глубокое изложение, а скорее дает краткую вводную в тему, объясняет самые востребованные подходы для старта и иллюстрирует это простыми примерами базовых операций.


Требуемый уровень подготовки: базовое понимание SQL и Python (код статьи проверялся под Python 3.6). Желательно ознакомится с первой частью, так как к ней будут неоднократные отсылки и сравнения. В конце статьи есть весь код примеров под спойлером в едином файле и список ссылок для более углубленного изучения материала.
Читать дальше →
Total votes 4: ↑3 and ↓1+2
Views29K
Comments 14

Поиск работы за границей и иммиграция в Канаду

IT-emigrationIT career

Всем привет!


Я хотел бы поделиться своим опытом и ошибками, которые могут быть полезны всем, кто хотел быть жить и работать в другой стране.


TL;DR: Сейчас я живу в городе Виктория, на острове Ванкувер. Это Канада, Британская Колумбия. Свою мечту жить у океана я реализовал, но это заняло 5 лет, и сначала были совершенно другие планы. Более подробно ниже. Ниже картинка моих рабочих мест за последние 10 лет.



Меня всегда тянуло уехать куда-нибудь. Поначалу было все равно, я хотел лишь находиться в новом для себя месте, желательно не России. Это совершенно не связано с политическим климатом или еще чем-то. Я родился и учился в Москве, и Москва это офигенный город. С карьерой более-менее все хорошо было.


В студенческие годы мой отец, подсунул мне ссылку на world4u — это волонтерская организация по обмену. В 2007, 2008, 2009 я посетил Германию, Францию и Италию. В среднем программа была по 1-2 месяца и нужно было оплатить только за перелет. Именно эти европейские проекты оказали на меня влияние, я увидел мир, и понял, что это скучно прожить жизнь в одном месте, даже с комфортом. Картинка ниже очень хорошо передает мой основной мотив:



Это из детского рассказа про Улитку и Кита:


Начинаем рассказ (занимайте места!)
Про малютку улитку и великана кита.
Вот скала,
Где над морем улитка жила,
И вздыхала она то и дело:
-Как мне все надоело!
Мир огромен, а я тут сижу на скале,
А могла бы уплыть на большом корабле…
Читать дальше →
Total votes 58: ↑47 and ↓11+36
Views53K
Comments 127

Как оптимизировать изучение английского

Learning languages


Ни для кого не секрет, что знание английского на хорошем уровне — уже must-have для современного человека. В нынешней реальности с бешеным темпом жизни, напряженной работой и попыткой найти work-life balance, чтобы выучить язык чаще всего приходится прибегать к помощи репетитора или групповых курсов. Но это еще не гарантия того, что язык будет выучен. Английский по расписанию 2 или 3 раза в неделю не обеспечит нужного уровня, если не оптимизировать процесс обучения. На самом деле вполне реалистично и самому подтянуть английский, без помощи специалиста (но это займет больше времени, с хорошим преподавателем можно ускорить данный процесс).
Читать дальше →
Total votes 11: ↑11 and ↓0+11
Views7.6K
Comments 5

Information

Rating
Does not participate
Location
Санкт-Петербург, Санкт-Петербург и область, Россия
Works in
Date of birth
Registered
Activity