Pull to refresh
42
Karma
0
Rating
Anton Spirin @dude_sam

Software Developer

Списковые включения в Python мощнее, чем можно подумать

Wunder Fund corporate blog Website development *Python *Programming *
Translation

В Python списковые включения (и генераторы списков) —  замечательные механизмы, способные серьёзно упрощать программный код. Правда, чаще всего их используют в форме, предусматривающей наличие единственного цикла for и, возможно, одного условия if. И это всё. Но если попытаться немного вникнуть в эту тему, то окажется, что у списковых включений Python имеется гораздо больше возможностей, чем можно подумать, возможностей, разобравшись с которыми, можно, по меньшей мере, кое-чему научиться.

Читать далее
Total votes 35: ↑32 and ↓3 +29
Views 20K
Comments 15

Английский. Скрытый драйвер языка

Studying in IT Reading room Brain Learning languages

На какие вопросы отвечает эта статья

1. Каков механизм восприятия языка “напрямую”.

2. Как тренировать этот механизм.

3. Как воспринимать английские слова как русские.

3. Почему аудирование бесполезно.

На какие вопросы не отвечает эта статья

1. Как осваивать словарный запаса.

2. Как учить грамматику.

3. Как интегрировать связь смысл-слово в дальнейшую практику.

Поэтапно буду выкладывать статьи с подробным описанием упражнений. Ответы на все неотвеченные вопросы будут в последующих статьях. 

Читать
Total votes 35: ↑24 and ↓11 +13
Views 26K
Comments 40

Оператор PIVOT

Microsoft SQL Server *
Translation

По материалам статьи Craig Freedman: The PIVOT Operator.

Несколько статей будут посвящены тому как в SQL Server реализован оператор PIVOT и UNPIVOT. Начнем с оператора PIVOT. Оператор PIVOT берет нормализованную таблицу и преобразует ее в другой вид, в котором столбцы результирующей таблицы получаются из значений исходной таблицы. Например, предположим, что мы хотим хранить данные о суммарной выручке от продаж за год по каждому из сотрудников. Для этих целей можно создать следующую таблицу:

Читать далее
Total votes 7: ↑7 and ↓0 +7
Views 8.2K
Comments 6

Знакомство с Apache Airflow: установка и запуск первого DAGа

Альфа-Банк corporate blog Python *Programming *Data Engineering *
Sandbox

Привет! Меня зовут Алексей Карпов, я прикладной администратор (MLOps) отдела сопровождения моделей машинного обучения в Альфа-Банке. Хочу поделиться опытом в работе с Apache Airflow. Расскажу, как установить интерпретатор Python и сам Airflow, а также как отладить его работу. Всё это — на примере запуска простейшего дага. 

Моя статья будет полезна дата-инженерам и разработчикам, которым необходимо автоматизировать запуск скриптов и установить возможность автоматического выполнения по расписанию.

Читать далее
Total votes 14: ↑10 and ↓4 +6
Views 4.4K
Comments 6

Введение в dbt шаг за шагом

SQL *Big Data *
Tutorial

Привет, Хабр!

Меня зовут Марк Порошин, в DV Group я занимаюсь Data Science. Мы работаем с большим количеством данных, на данный момент приближаемся к 10тб данных на нашем кластере Greenplum. Источники данных постоянно дополняются, а их структура меняется, поэтому в качестве методологии построения хранилища мы выбрали DataVault. Для автоматизации трансформации данных решили использовать dbt, о котором я хочу рассказать в данной статье.

Читать далее
Total votes 4: ↑4 and ↓0 +4
Views 4.1K
Comments 7

Как отлаживать bash-script-ы по шагам или, возможно, самая короткая статья о программировании/отладке на Хабре

*nix *

Мне всегда хотелось иметь возможность отлаживать bash-scripts так же, как и любой другой код, т.е. по шагам, и bash такую возможность предусмотрел, но о ней не все знают. Несмотря на довольно большой опыт использования Linux, я дошёл до неё только недавно.

Читать далее
Total votes 190: ↑189 and ↓1 +188
Views 33K
Comments 37

К вопросу установки измельчителя пищевых отходов. Инженерный подход

Gadgets Lifehacks for geeks
Sandbox
Tutorial

Я нечасто пишу обзоры купленных товаров, хотя часто мне есть, что рассказать, но всё как-то руки не доходят. Но после покупки измельчителя пищевых отходов Bort Titan 4000 Plus, а вернее после его установки я понял, что мне есть, чем поделиться. Вот только это получился не обзор товара, а скорее небольшой туториал с некоторыми хитростями, к которым пришлось прибегнуть в процессе. Возможно, кому-то мой опыт поможет самостоятельно установить измельчитель, а кому-то – остановить свой выбор на другой модели от другого производителя.

Читать далее
Total votes 38: ↑25 and ↓13 +12
Views 18K
Comments 96

Лучшие книги по Golang: что стоит почитать как начинающему, так и опытному разработчику

Quadcode corporate blog Go *

Мы в Quadcode любим Golang и можем рассказать о языке и его преимуществах много интересного. Все это неспроста - не так давно мы переписали некоторые наши продукты или отдельные их модули именно на Go, чему радуемся до сих пор. Подробности самых интересных кейсов вскоре планируем раскрыть на Хабре, а пока что поделимся подборкой любимых книг, которые посвящены этому языку. Некоторые из них подходят для начинающих разработчиков, другие - для программистов с опытом. Объединяет все представленные в подборке книги одно - они могут оказаться ну очень полезными для тех, кто так или иначе связан с Go. Подборка - под катом, и, кстати, если вы уже читали какую-то из рекомендованных нами книг, расскажите о своих впечатлениях в комментариях. Поехали!

Да, кстати, еще одна ремарка - некоторые книги переведены на русский, некоторые - нет. Если перевода (пока, как хотелось бы надеяться) нет, то мы об этом скажем.

Читать далее
Total votes 9: ↑8 and ↓1 +7
Views 22K
Comments 14

Пошаговая памятка «Как эмигрировать по стартап визе/визе фрилансера»

Freelance IT-emigration Legislation in IT Remote work

В последние несколько дней нет недостатка в информации об эмиграции фаундеру/фрилансеру/айтишнику. Много полезной информации собрано вместе, что очень удобно. Сам на днях написал заметку на Хабре про свой опыт — лично получал стартап-визы в Италии, Франции, Испании.

Информации много, но нужно в ней как-то ориентироваться. Я хочу предложить пошаговый системный подход к вопросу эмиграции. Все основано на личном опыте, и я бы хотел прочитать что-то подобное перед своей первой стартап-визой.

0. Речь пойдет только о полноценных релокациях: с получением резидентства страны. На такое нужно закладывать сроки от месяца — во всем разобраться, подготовить документы, подать. Если нужно срочно куда-то уехать на несколько месяцев, то стоит рассматривать безвизовые страны.

Дисклеймер: Я не являюсь иммиграционным консультантом, и не аффилирован с таковыми. Пишу все исключительно на основе собственного опыта.

Читать далее
Total votes 18: ↑15 and ↓3 +12
Views 33K
Comments 8

Лучшие страны с визами для цифрового кочевника

GetMatch.ru — ГетМэтч.ру corporate blog IT-emigration

Коста-Рика — одна из стран со специальной визой для удалёнщиков

Большинство стран не разрешают иностранцам работать на своей территории по туристической визе. Но в последние два года, в условиях пандемии, многие из них решили принять новые законы, чтобы упростить жизнь людям, которые спокойно работают и приносят в страну деньги. Поэтому теперь они вводят визы для цифровых кочевников.


Последней страной, готовой к большим переменам, стала Испания. На днях они ввели специальную визу, которая позволит оставаться в стране до 3 лет, если вы получаете деньги за ее пределами.


Если вы хотели куда-то поехать и спокойно жить, не бросая своей текущей работы, вот какие сейчас есть варианты:

Читать дальше →
Total votes 41: ↑37 and ↓4 +33
Views 87K
Comments 34

Vertica+Anchor Modeling = запусти рост своей грибницы

AvitoTech corporate blog Big Data *
Какое-то время назад я написал статью на Хабре. В ней же пообещал продолжение через пару недель. Но, как известно, обещанного три года ждут  —  и с тех пор действительно прошло три года. Если вы не запомнили со времён той статьи, то напомню  —  я работаю в Avito, строю хранилище на основе Vertica.
Из того, что поменялось — теперь я могу не просто написать статью, а сделать это в блоге компании. И, надеюсь, не один раз. Самопиар окончен, теперь к делу.


Читать дальше →
Total votes 41: ↑41 and ↓0 +41
Views 25K
Comments 27

Apache Airflow: делаем ETL проще

Python *Big Data *Data storage *Data Engineering *
Tutorial

Привет, я Дмитрий Логвиненко — Data Engineer отдела аналитики группы компаний «Везёт».


Я расскажу вам о замечательном инструменте для разработки ETL-процессов — Apache Airflow. Но Airflow настолько универсален и многогранен, что вам стоит присмотреться к нему даже если вы не занимаетесь потоками данных, а имеете потребность периодически запускать какие-либо процессы и следить за их выполнением.


И да, я буду не только рассказывать, но и показывать: в программе много кода, скриншотов и рекомендаций.



Что обычно видишь, когда гуглишь слово Airflow / Wikimedia Commons

Читать дальше →
Total votes 13: ↑12 and ↓1 +11
Views 101K
Comments 28

Python, корреляция и регрессия: часть 1

Python *Programming *Data Mining *Studying in IT Statistics in IT
Tutorial

В предыдущих сериях постов для начинающих из ремикса книги Генри Гарнера «Clojure для исследования данных» (Clojure for Data Science) на языке Python мы рассмотрели методы описания выборок с точки зрения сводных статистик и методов статистического вывода из них параметров популяции. Такой анализ сообщает нам нечто о популяции в целом и о выборке в частности, но он не позволяет нам делать очень точные утверждения об их отдельных элементах. Это связано с тем, что в результате сведения данных всего к двум статистикам - среднему значению и стандартному отклонению - теряется огромный объем информации.

Читать далее
Total votes 7: ↑6 and ↓1 +5
Views 38K
Comments 0

Как получить доступ из одного докер-контейнера в другой докер-контейнер

Python *Programming *Microservices *
Translation
Tutorial

Цель этой статьи — показать как мы можем сконфигурировать два и более контейнеров, чтобы они могли взаимодействовать друг с другом. В этой статье мы сделаем следующее:

Создадим образ Docker используя простой веб-сервис с использованием Python и Flask.

Запустим два отдельных контейнера

Создадим сеть в Docker

Объединим контейнеры используя созданную сеть

Читать далее
Total votes 15: ↑11 and ↓4 +7
Views 16K
Comments 10

Как найти удаленную работу в зарубежной компании. 10 шагов

GetMatch.ru — ГетМэтч.ру corporate blog IT career Lifehacks for geeks Remote work


Каждый год Оксфордский словарь английского языка выбирает «Слово года». Но в 2020-м что-то пошло не так. Издательство Оксфордского университета описало 2020-й как «год, который лишил нас дара речи», и сказало, что к нему невозможно подобрать правильное слово.


Но на наш взгляд, такое слово всё-таки есть. С прошлого марта в мире резко возросло использование слова «удаленно». Большинство предприятий отошли от традиционной модели офисной работы и стали пытаться организовать труд сотрудников из дома. Для разработчиков из СНГ это прекрасная возможность начать работу в лучших мировых компаниях. Зарплаты за рубежом выше, а возможностей сейчас стало больше, чем когда-либо прежде.


Мы постоянно исследуем рынок. Публикуем сотни вакансий ежедневно. И сейчас 40% выручки получаем от иностранных компаний, которые в основном нанимают программистов для удаленной работы.


Вот несколько наблюдений о том, как разработчику найти удаленную работу в 2021 году. И большой список ресурсов, которые могут помочь вам получить хорошую должность.

Читать дальше →
Total votes 32: ↑30 and ↓2 +28
Views 43K
Comments 16

Каверзные вопросы по Python

Домклик corporate blog Python *Programming *

Мне кажется, в каждом языке программирования есть моменты, которые требуют повышенной концентрации внимания или больше практики для своего понимания. Python в этом плане не исключение, и сегодня я расскажу вам о нескольких каверзных вопросах, с которыми вы можете столкнуться как в повседневной разработке, так и в ходе прохождения собеседования.


Читать дальше →
Total votes 61: ↑60 and ↓1 +59
Views 35K
Comments 46

[Личный опыт] Аргентина — лучшая страна в мире. Почему сюда нужно ехать

GetMatch.ru — ГетМэтч.ру corporate blog IT-emigration Ecology Urbanism


Кирилл Маковеев, российский журналист и (теперь) предприниматель, который 6 лет живет в Аргентине, поговорил с нами об особенностях этой страны, информация о которой в Сети устаревает каждые несколько месяцев. Снег раз в 50 лет, бесплатная медицина и вузы для туристов, идеология перонизма, уникальный испанский и причины вечной гиперинфляции.


Получится разговор о плюсах и… плюсах жизни в этой стране. Минусов на этот раз почти не будет!

Читать дальше →
Total votes 82: ↑73 and ↓9 +64
Views 56K
Comments 132

Полное руководство по созданию Docker-образа для обслуживания системы машинного обучения в продакшене

VK corporate blog Machine learning *
Translation


Команда Mail.ru Cloud Solutions перевела полное пошаговое руководство для создания образа Docker (GPU или CPU) вместе с объяснением всех передовых методов, которые следует использовать для обслуживания любого программного обеспечения на основе машинного обучения. Далее текст от лица автора.


Обычно создание Docker-образа считается простой задачей по сравнению с разработкой других компонентов системы машинного обучения, таких как конвейер данных, обучение модели, обслуживающая инфраструктура и т. д. Но неэффективный и громоздкий Docker-образ способен сильно понизить производительность или даже положить инфраструктуру.


Эта статья посвящена сборке идеального образа, а не рассмотрению его достоинств или применяемых в образе концепций. Я исхожу из того, что у вас есть базовые знания:


  • об общей работе Docker;
  • о том, как собирать и запускать Docker;
  • о создании и синтаксисе Dockerfile.
Читать дальше →
Total votes 36: ↑35 and ↓1 +34
Views 13K
Comments 4

Установка и настройка Airflow на Ubuntu Server 20

Server Administration *Data Engineering *
Sandbox

Первый раз я установил Airflow по туториалам за 1 час. Он отлично открывался с сайта, красиво выглядел, но, к сожалению, не работал.

На дальнейшую переустановку и отладку у меня ушло ещё 10-15 часов.

Статью пишу по горячим следам, постараюсь отметить все проблемы, с которыми пришлось столкнуться.

Читать далее
Total votes 6: ↑5 and ↓1 +4
Views 19K
Comments 9

Information

Rating
Does not participate
Date of birth
Registered
Activity

Specialization

Data Engineer, Database Developer
Senior
SQL
Database
Git
Python
Docker
Bash
ETL
Apache Airflow
DWH
Business Intelligence