Как стать автором
Обновить
3
0

Пользователь

Отправить сообщение

Импорт отчета по звонкам из CoMagic в BigQuery по расписанию с помощью Google Cloud Functions

Время на прочтение9 мин
Количество просмотров2.6K

Для чего


При сложной структуре рекламных кампаний и большого количества звонков становятся необходимы дополнительные инструменты хранения, обработки и анализа информации о поступающих обращениях. Часто нужен быстрый доступ к данным за большой период времени. Иногда необходима сложная обработка данных, соотнесение звонков к определенному каналу или кампании.

Одним из вариантов ускорения работы, который также дает дополнительные преимущества является импорт звонков из CoMagic в Google BigQuery. О преимуществах BigQuery пишут много, так что перейдем непосредственно к созданию.
Читать дальше →
Всего голосов 8: ↑8 и ↓0+8
Комментарии3

Как IT-специалисту работать и жить в Швейцарии

Время на прочтение9 мин
Количество просмотров45K
image

Будущее за теми, кто разбирается в технологиях и двигает эти самые технологии в светлое и непредсказуемое будущее. И хотя считается, что основную массу IT-специалистов «всасывают» США, есть и другие страны, куда направляются айтишники.

В этом материале вы узнаете:

  • Почему Швейцария — это привлекательная юрисдикция для специалистов в области IT?
  • Как получить разрешение на работу и проживание, перевезти с собой семью?
  • В каком кантоне стоит искать работу или создавать свой бизнес?
  • Есть ли хорошие школы, где обучать детей, и насколько качественно местное образование?
  • Каков уровень жизни и расходы на его поддержание?

Получился своего рода базовый мануал по стране для тех, кто ищет новое место для жизни и профессионального роста.

Читать дальше →
Всего голосов 54: ↑36 и ↓18+18
Комментарии133

Как делегировать простые отчеты роботу. Пишем бота на Python и Google BigQuery

Время на прочтение5 мин
Количество просмотров15K


Есть ли у вас задачи, которые повторяются изо дня в день, из недели в неделю? Например, написание отчетов. Вы запрашиваете данные, проводите анализ, визуализируете (делаете графики, диаграммы), а затем отправляете начальнику. Но что, если все это автоматизировать?

В этом туториале мы создадим бота для Telegram, который поможет автоматизировать отчетность. А самое классное — вся программа будет состоять всего из 50 строк кода! Если вы создаете бота для Telegram впервые, то стоит прочитать еще вот этот пост.
Читать дальше →
Всего голосов 18: ↑18 и ↓0+18
Комментарии0

Король разработки

Время на прочтение15 мин
Количество просмотров211K


Я знаю одного человека — он хороший разработчик, но полнейшая скотина. Когда он начинает говорить, хочется набить ему морду, заткнуть как угодно, лишь бы не слышать, насколько он прав. И эту сумасбродную самоуверенную сволочь еще кто-то слушает, ему поддакивают. Видимо, люди любят сволочей, и им стоит как следует поразмыслить почему.

Полбеды, если он просто шутит, вроде, «разработка приносит мне столько бабок, что поработаю два часа и найму трех нищих врачей стричь мне лужайку». Хуже, когда говорит серьезно: «Ты зря стал писать код. Вся ирония этой индустрии в том, что став хорошим разработчиком, ты обретаешь навыки, которые приводят тебя к выводу, что разработчиком быть плохо».

Недавно у него дела пошли в гору, и там где нормальные люди радуются и расцветают, этот парень, кажется, совсем съехал с катушек. Мы с ним как следует выпили, и он рассказал мне много искреннего дерьма, которое, честно, я бы хотел расслышать обратно.
Читать дальше →
Всего голосов 375: ↑315 и ↓60+255
Комментарии667

Антипаттерны Vim

Время на прочтение4 мин
Количество просмотров21K
Когда вы находитесь в состоянии потока, Vim серьёзно ускоряет редактирование, будь то написание кода, поэзии или прозы. Но поскольку кривая обучения слишком крута для текстового редактора, то очень легко сохранить вредные привычки с тех времён, когда вы только осваивали редактор. Vim настолько ускоряет работу, что искоренить эти привычки особенно трудно, ведь их можно даже не заметить. Но это того стоит. Перечислю некоторые из наиболее распространённых антипаттернов.
Читать дальше →
Всего голосов 35: ↑33 и ↓2+31
Комментарии55

Этика: научный подход к изучению морали. Исходный код политкорректности

Время на прочтение17 мин
Количество просмотров22K
Этика — наука о морали, придуманная Аристотелем. Впрочем, репутация как этики, так и морали, тяжело переносят груз веков, всё больше ассоциируясь с чем-то ненужным и неважным. И всё же этика не желает спокойно уходить в ночную тишину по примеру прочих — скажем, астрология содержит корень «логос» и появилась для изучения связи положения небесных фигур с судьбой человека. Правда, с начала применения научного подхода никаких следов подобной связи — а значит, и причин считать астрологию наукой — обнаружить так и не удалось. «Всё невещественное — несущественно». И биологи не ждут нужного положения планет для того, чтобы разрезать лаборатную крысу. Но то, как и кого они могут резать — по-прежнему регулирует биоэтика.

image
Уж что-что, а верно поставить вопрос Аристотель умел

Почему же учёные не прислушиваются к астрологам, но позволяют себя ограничивать требованиями морали? На западе, по традиции, винят религию — Католическая церковь только рада взять на себя эту ответственность: «Да-да, это мы запрещаем вам делать вот такие эксперименты».

Но это не останавливало науку в эпоху Возрождения, когда раскапывание свежих трупов для изучения анатомии человека было страшнее экспериментов над людьми — живых-то людей церковь в те времена потрошить не стеснялась. У науки большой опыт в преодолении препятствий — она вся в этом заключается. Ни инквизиция, ни суеверия, ни костры, ни гонения никогда не могли её остановить. А теперь, когда всё это позади — наука вдруг наткнулась на стеклянную стену.
Читать дальше →
Всего голосов 43: ↑38 и ↓5+33
Комментарии135

Создание Dataflow шаблона для стриминга данных из Pub/Sub в BigQuery на базе GCP с помощью Apache Beam SDK и Python

Время на прочтение9 мин
Количество просмотров8.5K

image


В данный момент занимаюсь задачей стриминга (и преобразования) данных. В некоторых кругах
такой процесс известен как ETL, т.е. извлечение, преобразование и загрузка информации.


Весь процесс включает в себя участие следующих сервисов Google Cloud Platform:


  • Pub/Sub — сервис для realtime стриминга данных
  • Dataflow — сервис для преобразования данных (может
    работать как в realtime так и в batch режиме)
  • BigQuery — сервис для хранения данных в виде таблиц
    (поддерживает SQL)
Читать дальше →
Всего голосов 13: ↑13 и ↓0+13
Комментарии2

Безумие дотфайлов

Время на прочтение4 мин
Количество просмотров55K
Мы больше не контролируем свои домашние каталоги.

В моём собственном 25 обычных файлов и 144 скрытых. В дотфайлах хранятся данные, которые не принадлежат мне: они принадлежат программистам, чьи программы решили захватить моё пространство, предназначенное для хранения моих личных файлов.

Я не могу убрать эти файлы в другое место. Если я попытаюсь их удалить, они появятся снова. Всё, что я могу сделать — это сидеть и знать, что в темноте, за кулисами, они есть. Ожидание в тишине. Некоторые из этих программистов решили дополнительно разместить здесь несколько обычных файлов и каталогов. Они хорошо видны каждый раз, когда я выполняю ls. Понятия не имею, как в мою личную папку попали каталог node_modules, файлы package-lock.json, yarn.lock (я никогда сознательно даже не ставил yarn!), какие-то два странных лог-файла от какой-то Java-программы, явно использующей СУБД H2, и папка Desktop. Последнюю создал Steam, что довольно неудачно, поскольку на моей машине просто нет рабочего стола или какого-то десктопа. Боюсь того дня, когда услышу громкий стук в дверь — и один из этих программистов ворвётся и сообщит, что собирается хранить часть своей мебели посреди моей гостиной, если я не возражаю.
Читать дальше →
Всего голосов 186: ↑178 и ↓8+170
Комментарии339

GDPR: как работать с персональными данными ваших работников, фрилансеров и европейских сотрудников контрагентов

Время на прочтение17 мин
Количество просмотров7.5K


Статья представляет собой краткую выжимку и мою интерпретацию положений Регламента GDPR (“Регламент”) в связке с Заключением (Opinion) 2/2017 об обработке данных в трудовых отношениях (on data processing at work) от 08.06.2017. Адресуется компаниям, у которых есть полноценные офисы либо дистанционные работники и/или фрилансеры в странах Евросоюза, а также контрагенты (партнеры) с европейскими сотрудниками, данные которых вы можете получать в процессе работы над совместными проектами.

Разбираем вопросы обработки персональных данных при найме (рекрутинге) работников, заключении договоров с фрилансерами или бизнес-партнерами; мониторинге сотрудников на рабочем месте и дистанционно, в том числе через автоматические системы снятия данных.
Читать дальше →
Всего голосов 20: ↑20 и ↓0+20
Комментарии5

Собеседуем работодателя или как не уволиться в первый месяц

Время на прочтение2 мин
Количество просмотров74K
Первый рабочий день и… о боже, что я тут делаю?! Нет, ну серьезно кто вообще так пишет код?
Дружный коллектив? Мои коллеги вообще заметили, что я вышел на работу?

Древний SVN, шумный опен спейс и «типа SCRUM», и это лишь малая часть из тех «приятных» сюрпризов, которые вас могут поджидать в первый рабочий день.
Знакомая ситуация?
Читать дальше →
Всего голосов 155: ↑134 и ↓21+113
Комментарии176

Обширный обзор собеседований по Python. Советы и подсказки

Время на прочтение10 мин
Количество просмотров184K

Всем привет!


Кратко о себе. По образованию я математик, а вот по профессии — программист. В сфере разработки с 2006 года. Хотя, поскольку программирование начали изучать ещё в школе, свои первые программки и игры я начал писать ещё в школе (примерно, с 2003). Так сложилось, что пришлось выучить и поработать на нескольких языках. Если не брать во внимание ВУЗ-овские лекции по С, С++, Бэйсику, Паскалю и Фортрану, то реально я работал с Delphi (более 6 лет), PHP (более 5 лет), Embedded (Atmel + PIC около 2.5 лет) и последним временем Python + чуть-чуть Scala. Конечно же без баз данных тоже никак не обойтись.


Для кого эта статья? Для всех, кто, как и я, хотел (или хочет) найти для себя достойную хорошо оплачиваемую работу с интересным проектом, классным коллективом и всякими плюшками. А также для тех, кто желает поднять свой уровень знаний и мастерства.

Читать дальше →
Всего голосов 71: ↑70 и ↓1+69
Комментарии57

Автоматизация импорта данных в Google BigQuery с помощью Google Cloud Functions

Время на прочтение4 мин
Количество просмотров8.3K
Мы постоянно работаем с Google BigQuery – импортируем данные о пользователях, их заказах и расходах на рекламу из разных источников, чтобы иметь возможность объединять их между собой. Что нам это дает? Например, если у вас интернет-магазин и клиент делает заказ по телефону, а потом авторизовывается на сайте, то с помощью Google BigQuery можно связать все его действия задним числом. Можно отслеживать весь путь клиента по маркетинговой воронке – от первого попадания на сайт до покупки в brick and mortar магазине, и оценивать рекламные кампании с учетом таких офлайн-продаж.
Читать дальше →
Всего голосов 8: ↑8 и ↓0+8
Комментарии0

Про одного парня

Время на прочтение14 мин
Количество просмотров191K
История реальная, я все видел своими глазами.

Несколько лет один парень, как и многие из вас, работал программистом. На всякий случай напишу так: «программистом». Потому что он был 1Сником, на фиксе, производственной компании.

До этого он пробовал разные специальности – 4 года во франче программистом, руководителем проектов, умел закрывать по 200 часов, одновременно получая процент с проекта, за руководство и немного занимаясь продажами. Пробовал самостоятельно разрабатывать продукты, был начальником IT-отдела в большой компании, численностью 6 тысяч человек, примерял разные варианты применения своей кавычечной профессии – программиста 1С.

Но все это позиции были несколько тупиковые, в первую очередь по доходу. Все мы тогда получали примерно одни и те же деньги, работали в одних и тех же условиях.

Этому парню стало интересно, как можно зарабатывать больше денег, не занимаясь продажами и не создавая свой собственный бизнес.
Читать дальше →
Всего голосов 272: ↑239 и ↓33+206
Комментарии247

Открытый вебинар: «SSH/NC/Socat: tips & tricks»

Время на прочтение6 мин
Количество просмотров13K
Всем доброго времени суток!

Уже на следующей неделе у нас стартует очередная группа «Администратор Linux», в связи с чем мы провели ряд мероприятий. Одно из них — открытый урок на тему «SSH/NC/Socat: tips & tricks». На нём мы вспомнили, что такое ssh, его историю и предназначение. Рассмотрели различные варианты его использования: remote, local port forwarding, secure copy, socks proxy, reverse proxy. Попробовали на деле в виртуальной лаборатории утилиты nc и socat.

Вебинар провёл опытный системный администратор Владимир Дроздецкий — разработчик инфраструктуры letundra.com, exposcan.ru, crispmessenger.com.

Предлагаем вашему вниманию подробное описание прошедшего мероприятия.

Всего голосов 17: ↑16 и ↓1+15
Комментарии1

Выигрышная стратегия Гомоку – 35 ходов

Время на прочтение11 мин
Количество просмотров38K
При игре по стандартным правилам Гомоку для выигрыша черным требуется не более 35 ходов. В статье Вашему вниманию представлена полная выигрышная стратегия и соответствующий алгоритм игры.

Демонстрация полного решения – здесь – можно поиграть и найти самые длинные варианты. Программа всегда выигрывает и затрачивает на это не более 35 ходов. Исходные тексты приложения, само решение и примеры партий в конце статьи.
Читать дальше →
Всего голосов 64: ↑64 и ↓0+64
Комментарии25

Трехмерный движок внутри запроса SQL

Время на прочтение8 мин
Количество просмотров41K
Несколько лет назад на форуме SQL.ru решили провести сравнение реализаций трассировщиков лучей на разных языках программирования. К сожалению, моя заявка не может участвовать т.к. она не выводит надпись «PIXAR», поэтому публикую ее здесь.

Для чистоты эксперимента я использовал SQLite без расширений. Оказалось, что там нет даже функции SQRT.

WITH RECURSIVE numbers AS (SELECT 0 AS n UNION ALL SELECT n+1 FROM numbers WHERE n<89),
pixels AS (SELECT rows.n as row, cols.n as col FROM numbers as rows CROSS JOIN
numbers as cols WHERE rows.n > 4 AND rows.n < 38 AND cols.n > 9 AND cols.n < 89),
rawRays AS (SELECT row, col, -0.9049 + col * 0.0065 + row * 0.0057 as x,
-0.1487 + row * -0.0171 as y, 0.6713 + col * 0.0045 + row * -0.0081 as z FROM pixels),
norms AS (SELECT row, col, x, y, z, (1 + x * x + y * y + z * z) / 2 as n FROM rawRays),
rays AS (SELECT row, col, x / n AS x, y / n AS y, z / n AS z FROM norms),
iters AS (SELECT row, col, 0 as it, 0 as v FROM rays UNION ALL
SELECT rays.row, rays.col, it + 1 AS it, v + MAX(ABS(0.7+v*x) - 0.3,
ABS(0.7+v*y) - 0.3, ABS(-1.1+v*z) - 0.3, -((0.7+v*x) * (0.7+v*x) +
(0.7+v*y) * (0.7+v*y) + (-1.1+v*z) * (-1.1+v*z)) * 1.78 + 0.28) AS v
FROM iters JOIN rays ON rays.row = iters.row AND rays.col = iters.col WHERE it < 15),
lastIters AS (SELECT it0.row, it0.col, it0.v AS v0, it1.v AS v1, it2.v AS v2
FROM iters as it0 JOIN iters AS it1 ON it0.col = it1.col AND it0.row = it1.row
JOIN iters AS it2 ON it0.col = it2.col AND it0.row = it2.row
WHERE it0.it = 15 AND it1.it = 14 AND it2.it = 13),
res AS (SELECT col, (v0 - v1) / (v1 - v2) as v FROM lastIters)
SELECT group_concat(
substr('$@B%8&WM#*oahkbdpqwmZO0QLCJUYXzcvunxrjft/|()1{}[]?-_+~<>i!lI;:,"^. ',
round(1 + max(0, min(66, v * 67))), 1) || CASE WHEN col=88 THEN X'0A' ELSE '' END, '')
FROM res;



Здесь можно покрутить кубик

Под катом построчный разбор запроса. Как обычно, достаточно знания основ SQL и школьной математики.
Читать дальше →
Всего голосов 169: ↑168 и ↓1+167
Комментарии24

Мой переезд в Норвегию

Время на прочтение12 мин
Количество просмотров116K


Я решил написать эту статью, потому что в интернете мало информации именно о переезде в Норвегию. Люди в основном описывают жизнь, процесс поиска работы и тому подобное. Ниже я постарался рассказать о подготовке документов, регистрации в стране, открытии банковского счёта, аренде квартиры и т.п. Надеюсь, это будет полезно.

Читать дальше →
Всего голосов 102: ↑95 и ↓7+88
Комментарии347

IT-эмиграция с семьей. И особенности поиска работы в маленьком городе Германии, когда ты уже там

Время на прочтение14 мин
Количество просмотров97K

Поехать работать в Австралию или Таиланд, когда тебе 25 и нет семьи, не так и сложно. И таких историй большое количество. А вот переехать, когда тебе под 40, жена и трое детей (8 лет, 5 лет и 2 года) — задача другого уровня сложности. Поэтому хочу поделиться своим опытом переезда в Германию.



Про то, как искать работу за границей, оформлять документы и переезжать – было много сказано, повторяться не буду.


Итак, 2015 год, мы с семьей живем в Санкт-Петербурге на съемной квартире. Долго думали, как нам переезжать, что делать со школой, местами в садике и съемной квартирой. Нами было принято несколько важных решений:

Читать дальше →
Всего голосов 109: ↑106 и ↓3+103
Комментарии173

IT в Германии — как искать работу в крупных городах Германии

Время на прочтение13 мин
Количество просмотров103K
Уехать в Германию при наличии опыта работы в IT довольно просто, и множество статей на эту тему помогают определиться с выбором. Эта статья не будет исключением, в ней собраны истории 5х эмигрантов, которые поделились своим опытом работы в крупных городах Германии и рассказали, что нужно делать, чтобы найти работу и успешно продвигаться по карьерной лестнице. В качестве бонуса — особенности выживания в иностранном коллективе и приятные фишки немецкой рабочей среды. Статья написана в формате мини-интервью, 6 вопросов и ответов от каждого автора


Читать дальше →
Всего голосов 43: ↑40 и ↓3+37
Комментарии126

Сколько зарабатывают ИТ-шники в Германии

Время на прочтение5 мин
Количество просмотров138K

Я рекрутер в Мюнхене и достаточно часто ищу ИТ специалистов с релокацией в Германию и провожу десятки интервью с кандидатами из пост-советского пространства. Самое распространенное заблуждение, с которым я сталкиваюсь, это, откровенно, завышенные ожидания по зарплате.


Соискатели называют такие цифры, с которыми я, как рекрутер, в реальном мире встречалась несколько раз в жизни. Я решила собрать информацию из открытых источников в немецко-язычном интернете по уровню оплаты и добавить свои комменты по реальному опыту найма ИТ-специалистов из стран СНГ.

Читать дальше →
Всего голосов 107: ↑101 и ↓6+95
Комментарии720

Информация

В рейтинге
Не участвует
Откуда
Великобритания
Зарегистрирован
Активность