Space Station by Kaioshen

Современный ритейл уже не может обходиться без построения прогнозных и рекомендательных систем на основе Big Data. Но при больших объемах данных, таких как у «Ашана», работа с большими данными на локальных мощностях неэффективна: это дорого, сложно в эксплуатации и может привести к гонке за ресурсы между подразделениями.

Поэтому некоторые компании приходят к облачной Big Data-платформе как к инструменту, который дает простую масштабируемость и управляемость для систем, работающих с Big Data. Переход на такую платформу не будет простым: недостаточно перенести рабочие системы в облако как они есть. Потребуется глобальная перестройка — причем не только в плане архитектуры и технологий, но и на уровне корпоративной культуры. Пользователям отчетов придется учить SQL, а разработке, тестированию и эксплуатации — дружить под флагом DevOps.

Я — Александр Дорофеев, ex Head of Big Data в компании «Ашан Ритейл Россия», в статье расскажу:

• почему для наших задач самым подходящим решением оказалась специализированная единая Big Data-платформа и какую целевую архитектуру мы выбрали;
• почему ее понадобилось делать на базе публичного облака и почему мы для этого выбрали облачную платформу Mail.ru Cloud Solutions;
• как происходил переезд в облако, с какими трудностями мы столкнулись и каких результатов удалось достичь.

Топовые научные конференции просят воспроизводимости экспериментов в науках о данных. И это нужно для повышения доверия к работам, для извлечения пользы (повторной используемости и цитируемости), ну и «тренд» (согласно опросу журнала Nature).

Ожидания растут, в 2021 уже 9 из 10 конференций предлагают авторам провериться на воспроизводимость. Сдать тест, заполнить опросник, привести свидетеля и т. д. 

О чем речь и зачем нужна воспроизводимость, какие проблемы нужно решать, обсудим в этой статье. 

В данной статье хотелось бы помочь разобраться в профессии начинающим тимлидам, или тем, кто об этом только думает.

Всё это я проговаривал на вебинаре в Хекслете тут https://www.youtube.com/watch?v=y_HkXvFovAc

Однако я уверен, что есть такие люди, которым не хочется 2 часа смотреть вебинар, а хочется за 15 минут прочитать структурированный текст. Поэтому я размещу его тут, в надежде на то, что он найдет своего заинтересованного читателя.

Общий стаж моей работы в ИТ - около 14 лет. Я начинал с системного администрирования, потом перешел в разработку, поработав как в аутсорсе, так и в продукте. Не один раз проходил путь от рядового разработчика до тимлида.

Из этой статьи вы узнаете, почему одна задачка о пасущихся козах уже более века не даёт покоя математикам. Если вы когда-нибудь сдавали экзамен по математике, то наверняка вам задавали задачку про пасущуюся козу. Её смысл заключается в следующем: рассеянный фермер оставил козу привязанной к столбу у забора или сарая, и теперь она подъедает вокруг себя всю траву, до которой может дотянуться. Ваша задача — рассчитать общую площадь, на которой может пастись коза. Давно ли вы проходили математическое тестирование?

Привет! Что же, это снова ребята из Hays, и снова пост с опытом и экспертизой рекрутеров. Но нет, мы не собираемся писать очередной материал про удаленку или про то, как айтишнику устроиться на работу. Сегодня мы разберемся с Project Manager’ами. Мы все чаще сталкиваемся с их наймом и отрабатываем кучу вопросов, в том числе и по специфике проджектов в сфере разработки ПО: кого ищут работодатели, какие они предъявляют требования? Об этом и поговорим.

В своё время я сам здорово намучился с английскими временами. Совершенно не получалось понять, как они формируются. Когда наконец удалось вызубрить все правила, самые простые существующие между временами закономерности всё равно оставались для меня неочевидными.

Как это часто бывает, по-настоящему понимаешь какую-то тему, только когда начинаешь рассказывать о ней другим («метод Фейнмана»). Несколько друзей, позавидовав моим «успехам», попросили помочь разобраться с английским. Тут и обнаружилось, что хотя я уже успешно использую английский в повседневной работе, обучать ему кого-то ещё — это совершенно отдельный навык.

Первоначальная идея. Сначала разъяснить все английские времена за один присест удавалось, надёргав различных идей из интернета: обрывки чьих-то схем, начинали склеиваться в свою схему и обрастать собственными легендами, а применение времён почти всегда было проще пояснить, используя хрестоматийную «систему английских времен с точки зрения употребления глагола “to vodka”». С каждой новой импровизированной лекцией, схема и нарратив продолжали меняться. «Ученики» попадались с различным базовым уровнем, что позволило понять, откуда нужно начинать плясать, чтобы урок был понятен всем, кто хоть раз слышал что-то про глаголы have и be. Когда счёт обученных уже пошёл на десятки, я решил оформить идею в более стройную лекцию. От первых попыток преподавания английских времён, до этого момента прошло пять лет. За это время было обучено ещё пару сотен человек. Обучено — по приколу. Денег за эти уроки я не брал.

К 35 годам я начал задумываться о том, на каких принципах строить жизнь, чтобы больше времени чувствовать себя счастливым. Я почитал немного про стоицизм, буддизм, экзистенциализм, и везде находил что-то для себя.

В поисках книг на тему я наткнулся на труд Массимо Пильюччи под названием «Как быть стоиком». Он произвел на меня большое впечатление.

Недавно я узнал, что Пильюччи выпустил книгу с большим охватом тем, под названием How to Live a Good Life («Как прожить хорошую жизнь. Гид по выбору жизненной философии» в русском переводе).

Наверняка у каждого есть собственная «жизненная философия». Все мы хотя бы примерно понимаем, что такое хорошо и что такое плохо, и на основе этого знания пытаемся выстроить поведение. И осознаем, что все не вечно, и наши «хорошо» и «плохо» — это далекая от универсальности система координат, заданная культурой, религией, образованием… 

Да и как это не понять в современном мире: в информационном пространстве, как в гипермаркете, сосуществует множество учений, древних и современных, каждое — со своим моральным кодексом, со своим определением «хорошего» и «правильного». Выбирай ту мораль, что подходит и нравится, а не можешь выбрать — миксуй и компилируй из сотен традиций и школ.

В Германии инженерам хорошо платят, в Португалии тепло, а в Финляндии много стартапов и низкая конкуренция. Но что IT-специалисту делать в Словакии? Стоит ли туда перебираться, и не получится ли, что переедешь в ту же Россию, только в Европе?

Поговорили об этом с Сергеем Федосеевым, который уже три года живет в Братиславе — учится и ведет там бизнес. Он рассказал, каково вообще живется в Словакии, как тут с работой и расходами и почему уехать сюда легче, чем в любую другую страну Европы.

Речь идет о поправках к закону о персональных данных, что вступили в силу в марте. Теперь любые персональные данные обязаны убрать откуда угодно по первому требованию их владельца. Причем владельцу не надо ничего никому доказывать и объяснять.

Ситуация одновременно и правильная, и проблемная. Причем проблемы появятся (по факту уже появились) у всех владельцев сайтов, интернет-площадок и СМИ, кто так или иначе взаимодействует с пользователями. 

Что касается нововведений, я попытался разложить все по полочкам. А еще собрал в отдельный список то, что придется поменять и добавить владельцам сайтов.

Мы часто находим классные англоязычные статьи, которые кажутся полезными нашей команде, и решили, что было бы здорово делиться с читателями Хабры их переводом. Сегодня мы подготовили перевод статьи Тристана Хэнди, основателя компании Fishtown Analytics.

Мы в Skyeng очень много внимания уделяем анализу данных. Он позволяет нам правильно планировать работу и распределять ресурсы между различными задачами. Сегодня разработчик аналитики Глеб Сологуб расскажет, как он собрал для нас инфраструктуру сбора и анализа данных по всему нашему зоопарку сервисов и приложений, уложившись в годовой бюджет 12 тыс долларов.

Европа стремится сократить выбросы парниковых газов и стать углеродно-нейтральной к 2050 году. Но вопрос о том как лучше достичь этой цели вызывает серьезные споры. В конце марта вышел отчет научного центра Еврокомиссии (Joint Research Centre) об экологических аспектах атомной энергетики и сравнении ее с другими видами генерации энергии. Еврокомиссия попросила его разобраться, стоит ли поддерживать атом так же, как возобновляемую энергетику, в рамках европейского Зеленого курса. Общий вывод отчета – да, ведь атомная энергетика не опаснее для людей (с учетом Чернобыля и Фукусимы, см. ниже) и окружающей среды, чем другие источники энергии, которые уже считаются в Европе чистыми. Что именно показал отчет, как на него отреагировал Гринпис и другие экологические организации и что будет с атомом в Европе дальше – обо всем этом в этой статье в 23 пунктах и видеоверсии в конце.

Коллаж на обложке: freeingenergy.com

Как отдельная профессия Big Data Engineering появилась довольно недавно. И даже крупные компании очень часто путают, чем занимается этот специалист, каковы его компетенции и зачем он вообще в организации.

Поэтому в сегодняшней статье, специально к старту нового потока курса по Data Engineering, мы разберёмся, кто такой Big Data Engineer, чем он занимается и чем отличается от Data Analyst и Data Scientist.  Этот гайд подойдёт людям, которые хотят работать с большими данными и присматриваются к профессии в целом. А также тем, кто просто хочет понять, чем занимаются инженеры данных.

В статье “Давать ли сотрудникам долю в бизнесе” мы рассмотрели точки зрения сторон за и против, проблемы и риски возникающие при передаче доли в собственности. Там же было сказано про долю от урожая как мотивацию. Если оборудование дата-центра покупалось не за счёт сотрудников, то нелогично, что им может принадлежать часть этого оборудования. А вот доля от эксплуатации им может принадлежать.

Если посмотреть на опционы сотрудников акционерных обществ, то акции дают вообще сомнительные права. Никаких реальных прав собственника на имущество организации нет за исключением права продать свои акции. Нет даже права на дивиденды. Рассмотрим щедрость Тинькова к своим сотрудникам. Тинькофф имеет 199.3 миллиона акций. Олег 5.3 миллиона акций в течение 5 лет будет раздавать 300 сотрудников. У Олега какая-то любовь к цифре 3 на хвосте.  5.3 миллиона от 199.3  — это всего 2.66% от компании. В относительных единицах я намного щедрее. 

У Kafka есть множество способов применения, и у каждого способа есть свои особенности. В этой статье разберём, чем Kafka отличается от популярных систем обмена сообщениями; рассмотрим, как Kafka хранит данные и обеспечивает гарантию сохранности; поймём, как записываются и читаются данные.

Статья подготовлена на основе открытого занятия из видеокурса по Apache Kafka. Авторы — Анатолий Солдатов, Lead Engineer в Авито, и Александр Миронов, Infrastructure Engineer в Stripe. Базовые темы курса доступны на Youtube.

Работа в оболочке включает в себя выполнение одних и тех же команд снова и снова; что меняется, так это порядок выполнения команд и их параметры. Один из способов упростить рабочий процесс — найти паттерны выполнения команд с аргументами и обернуть их в небольшие скрипты. Такой подход часто оказывается полезным, сильно упрощая работу; другой способ оптимизации рабочего процесса — понять, как добавляются параметры, и попробовать упростить сам ввод. И в преддверии старта нового потока курса Fullstack-разработчик на Python, в этом посте я расскажу о втором подходе.