• Нужно ли нам озеро данных? А что делать с хранилищем данных?

    Это статья перевод моей статьи на medium — Getting Started with Data Lake, которая оказалась довольно популярной, наверное из-за своей простоты. Поэтому я решил написать ее на русском языке и немного дополнить, чтобы простому человеку, который не является специалистом по работе с данными стало понятно, что такое хранилище данных (DW), а что такое озеро данных (Data Lake), и как они вместе уживаются.

    Почему я захотел написать про озеро данных? Я работаю с данными и аналитикой больше 10 лет, и сейчас я точно работаю с большими данными в Amazon Alexa AI в Кембридже, который в Бостоне, хотя сам живу в Виктории на острове Ванкувер и часто бываю и в Бостоне, и в Сиэтле, и в Ванкувере, а иногда даже и в Москве выступаю на конференциях. Так же время от времени я пишу, но пишу в основном на английском, и написал уже несколько книг, так же у меня есть потребность делиться трендами аналитики из Северной Америке, и я иногда пишу в телеграмм.

    Я всегда работал с хранилищами данных, и с 2015 года стал плотно работать с Amazon Web Services, да и вообще переключился на облачную аналитику (AWS, Azure, GCP). Я наблюдал эволюцию решений для аналитики с 2007 года и сам даже поработал в вендоре хранилищ данных Терадата и внедрял ее в Сбербанке, тогда-то и появилась Big Data с Hadoop. Все стали говорить, что прошла эра хранилищ и теперь все на Hadoop, а потом уже стали говорить про Data Lake, опять же, что теперь уж точно хранилищу данных пришел конец. Но к счастью (может для кого и к несчастью, кто зарабатывал много денег на настройке Hadoop), хранилище данных не ушло.
    Читать дальше →
  • Любить всех человеков — лучшие доклады с TeamLeadConf за 5 минут

      Недавно мы с коллегами были на TeamLeadConf — это конференция об управлении, мотивации, найме, процессах и других штуках, полезных тимлидам.

      Обычно после конференций мы делимся впечатлениями с теми, кто на конференцию не пошел. Самый популярный формат — список топовых докладов с краткими заметками, который рассылается в Слаке и по почте.

      В этот раз я написала такой обзор для коллег и подумала: а почему бы не опубликовать эти заметки для всех? Так текст на Вики переродился в эту статью.


      Читать дальше →
    • Что фронтенд разработчики должны знать о бэкенде?

      • Translation

      Подавляющее большинство вещей, которые должны делать фронтенд разработчики, можно сделать не зная ничего о бэкенде кроме API.


      Однако если вы достаточно долго работаете с разного рода задачами, вероятней всего вы столкнетесь с чем-то, что требует некоторых знаний в области бэкенда.


      Ниже представлен краткий список того, о чем должен знать разработчик интерфейсов.

      Читать дальше →
    • Монада «Reader» через async/await в C#

      • Translation


      В моей предыдущей статье я описал, как реализовать паттерн "Монада Maybe" с помощью операторов async / await. В этот раз я расскажу, как реализовать другой популярный шаблон проектирования "Монада Reader", используя те же приемы.


      Этот шаблон позволяет неявно передать некий контекст в иерархию вызовов функции без использования параметров или полей классов, и его можно рассматривать как еще один способ реализации внедрения зависимости (Dependency Injection). Например:

      Читать дальше →
    • Покойся с миром, REST. Долгих лет жизни GraphQL


      Перевод. Автор оригинала Samer Buna. Оригинал статьи.

      Когда я впервые узнал о GraphQL после долгого использования различных REST API, то не мог удержаться от твитов такого содержания:

      Rest API превратился в REST-in-Peace API. Долгих лет жизни GraphQL


      Примечание переводчика – Rest In Peace, RIP – распространенная эпитафия "Покойся с миром". Первое слово в ней пишется так же, как акроним REST.

      Тогда это была попытка рассмешить, но сейчас я убеждаюсь в справедливости шутливого прогноза.


      Поймите правильно. Я не собираюсь обвинять GraphQL в убийстве REST или чём-то таком. REST не умрет никогда, также как XML будет жить вечно. Но кто в здравом уме станет использовать XML вместо JSON? На мой взгляд, GraphQL сделает для REST то же самое, что JSON сделал для XML.

      Читать дальше →
    • Типизированные запросы OData в TypeScript

      • Tutorial


      Традиционно запросы OData к данным выражаются в виде простых строк без проверки типов при компиляции или без поддержки IntelliSense, кроме того, разработчику приходится изучать синтаксис языка запросов. Данная статья описывает библиотеку TsToOdata, которая превращает запросы в удобную языковую конструкцию и применяется аналогично классам и методам. Вы создаете типизированные запросы с помощью ключевых слов языка TypeScript и знакомых операторов.

      Читать дальше →
    • Задержка EMS-отправления. Как получить компенсацию от «Почты России». Инструкция

      Предыстория
      История началось с того, что содержимое отправленной посылки – электросамокат доставили с повреждением контролера питания. Проверить такое технически сложное устройство оперативно невозможно. Курьер не будет ждать 4 часа. По регламенту у них на всё до 20 минут. Поэтому получатель подписал акт, что претензий не имеет. Видимых повреждений-то не было. Когда спустя 4 часа самокат не зарядился, затем в другом помещении от другой розетки не зарядился тоже, стало ясно, что устройство повредили во время доставки. Ремонт в сервисном центре оказался не гарантийным, т.е. платным.

      В компенсации Почта отказала, т.к. «вы подписали акт, значит претензий не имеете». В суде я бы не смог документально доказать, что на момент отправки устройство было исправным. Честное слово, как известно, к делу не пришьёшь. Самокат, разумеется, изначально был рабочим. Поскольку мне не возместили ремонт, я решил вернуть деньги на другом основании. Из принципа. За нарушение сроков доставки. Подробная история в мотивированном решении суда. На основе полученного опыта пошагово рассказываю, как действовать грамотно, если попадёте в схожую ситуацию.

      Читать дальше →
    • MathOps или математика в мониторинге

        То, о чем я хочу рассказать, началось 30 декабря 2010 года, когда компания Etsy выложила на GitHub первый коммит своей системы StatsD. Эта, сейчас уже, суперпопулярная система, написанная на JavaScript (хипстеры ликуют), в которую можно отправлять метрики, замеры исполнения кусков вашего кода, а она их агрегирует и отправляет уже агрегированными в систему хранения time-series.



        На фоне популярности StatsD и других time-series систем появилась идея «Monitor Everything»: чем больше различных вещей в системе измеряется, тем лучше, потому что в случае неожиданной ситуации будет возможно найти нужную, уже собранную метрику, которая позволит во всем разобраться.

        Давайте вообще все, что можно, мониторить — и будет классно!

        Но как часто бывает с любой модной технологией, которая изначально сделана с некоторыми ограничениями, при начале использования люди не очень задумываются об этих ограничениях, а делают как написано, как придется.

        И так получилось, что есть много проблем со всем этим, про которые, собственно, нам и расскажет Павел Труханов ( tru_pablo ).
        Читать дальше →
      • Айтишники — те еще кадры. Их не так просто найти и еще сложнее привлечь. Но рано или поздно поиск новой работы приходится инициировать им самим. Разговор с заскриптованной кадровичкой, типовые вопросы, нудные психологические тесты, долгое ожидание фидбэка, заниженная зарплатная планка — о чем только не узнаешь на форумах и не услышишь от друзей. Посмотрим, что может произойти, если в процесс вмешается рекрутинговое агентство. Ниже — истории трех айтишников, которые поменяли работу с помощью Hays.
        Подробности – под катом
      • Хроническая усталость, апатия, сезонная «депрессия» и многое другое: тривиальная причина

          На хабре часто публикуют статьи о самоорганизации — нам всем хочется меньше прокрастинировать, и делать больше полезного. Но что если делать полезное мешает дичайшая усталость? Никакая организация задач усталость не уберет.

          Казалось бы, работа у IT-шников несложная — вагоны не разгружаем, землю не роем и уставать физически не должны. Однако о дичайшей усталости людей занятых интеллектуальным трудом приходится слышать чаще, чем хотелось бы. После того как я приехал в Москву 3 года назад — я почему-то начал дичайше уставать на совершенно ровном месте, и ни я, ни врачи не могли найти причину. После 2-х лет поисков тривиальная и легко исправимая причина нашлась, и на мой взгляд — в группе риска находятся практически все люди, занимающиеся интеллектуальным трудом. Ситуация усугубляется двумя народными обычаями.

          Итак, если у вас один из следующих симптомов (расположены в порядке усугубления ситуации) — прошу под кат. Как обратили внимание в комментариях — такой список располагает к самовнушению, так что не поддавайтесь :-)

          1) Летом все ок, а зимой — апатия, ничего не хочется делать. Это любят называть сезонной «депрессией».
          2) Утром все ок, а к вечеру на работе — мозги «не варят», ничего не хочется делать — только хабр и reddit листать. Приходите домой — и с дичайшей усталостью падаете в кресло. Сил хватает только лазить в интернете до ночи. Этот пункт — касается и работодателей, есть шанс, что люди вечером перестают работать не из-за своей лени.
          3) Даже если вы просыпаетесь без будильника — вы не высыпаетесь.
          4) Кофе и прочие стимуляторы — не дают бодрости, лишь делают вас злее.
          5) Даже если вы спите «сколько влезет» — сны короткие и не запоминающиеся, или их нет вообще.
          6) Вы замечаете, что даже 1 вещь вам иногда трудно удержать в голове. Мы можете забыть что вы сейчас хотели сделать.
          7) Вы просыпаетесь уже с дичайшей усталостью
          8) Вам кажется, что в комнате темно и все несколько не резкое.
          Читать дальше →
        • Кот Шрёдингера без коробки: проблема консенсуса в распределённых системах

            Итак, представим. В комнате заперты 5 котов, и чтобы пойти разбудить хозяина им необходимо всем вместе договориться между собой об этом, ведь дверь они могут открыть только впятером навалившись на неё. Если один из котов – кот Шрёдингера, а остальные коты не знают о его решении, возникает вопрос: «Как они могут это сделать?»

            В этой статье я простым языком расскажу вам о теоретической составляющей мира распределённых систем и принципах их работы. А также поверхностно рассмотрю главную идею, лежащую в основе Paxos'а.


            Читать дальше →
          • Материалы с VLDB, конференции о будущем баз данных

              Конференция VLDB (Very Large Data Bases, www.vldb.org), как несложно понять из названия, посвящена базам данных. Очень большим базам данных. О чем её название не говорит, так это о том, что там регулярно выступают очень серьезные люди. Много ли вы знаете конференций, где почти каждый год докладывается Майкл Стоунбрекер (Michael Stonebraker, создатель Vertica, VoltDB, PostgreSQL, SciDB)? Не думали ли вы, что было бы здорово узнать, над чем такие люди работают сейчас, чтобы через несколько лет, когда новая база разорвет рынок, не грызть локти?


              VLDB — именно та конференция, которую вам нужно посетить, если вы думаете о будущем.
              Она вам не очень поможет, если вы выбираете из существующих баз. Там есть небольшая доля industrial докладов (Microsoft, Oracle, Teradata, SAP Hana, Exadata, Tableau (!)), но самое интересное — это исследовательские доклады от университетов. Xотя очень быстро обнаруживается, что в командах университетов есть один-два человека, работающих на Google, Facebook, Alibaba… или перешедших туда сразу после подачи статьи.


              Надеюсь, мне удалось вас базово заинтересовать, а теперь давайте пройдемся, собственно, по докладам.


              Читать дальше →
            • Что может чат-бот

                Сначала мы выделили основные офисные процессы. Про чат-бота мы даже не говорили. Вот, например, заказ командировок. Сейчас я должна написать сотруднику службы деловых поездок в почту: «Я собираюсь в командировку в Сургут 5-го числа на три дня», а он: «Такой-то самолет и такая-то гостиница — всё подходит?», а я: «Да, давай». Дальше он пойдет согласовывать с руководством, забронирует сам билеты, спустя какое-то пришлёт мне подтверждение, что все Ок. Всё то же самое может делать бот.

                Или если нужна справка для визы, то бот постучит в шину, шина постучит в кадровую подсистему и заберёт PDF, дальше отправит его на принтер отдела кадров и напишет письмо, что туда нужна печать. Затем уведомит меня, что можно подойти через пару часов. Если нужно оформить пропуск на гостя или забронировать переговорку для встречи, то достаточно поручить боту эту задачу, и он её выполнит.



                Теперь давайте покажу пример чуть посложнее.

                Читать дальше →
              • Архитектура биллинга нового поколения: трансформация с переходом на Tarantool

                  Зачем такой корпорации, как МегаФон, Tarantool в биллинге? Со стороны кажется, что обычно приходит вендор, приносит какую-то большую коробку, втыкает штекер в розетку — вот и биллинг! Когда-то так и было, но сейчас это архаика, и такие динозавры уже вымерли или вымирают. Изначально биллинг это система для выставления счетов — считалка или калькулятор. В современном телекоме — это система автоматизации всего жизненного цикла взаимодействия с абонентом от заключения договора до расторжения, включая real-time-тарификацию, прием платежей и еще много чего. Биллинг в телеком-компаниях похож на боевого робота — большого, мощного и обвешанного оружием.



                  Причем же здесь Tarantool? Об этом расскажут Олег Ивлев и Андрей Князев. Олег — главный архитектор компании МегаФон с огромным опытом работы в зарубежных компаниях, Андрей — директор по бизнес-системам. Из расшифровки их доклада на Tarantool Conference 2018 вы узнаете, зачем нужен R&D в корпорациях, что такое Tarantool, как тупик вертикального масштабирования и глобализация стали предпосылками появления этой БД в компании, про технологические вызовы, трансформацию архитектуры, и чем техностек МегаФон похож на Netflix, Google и Amazon.
                  Читать дальше →
                  • +30
                  • 11.1k
                  • 9
                • Германия. Мюнхен. Advanced Immigration guide

                    Историй переезда в Германию достаточно много. Однако большинство из них достаточно поверхностны, так как пишутся обычно в первые несколько месяцев после переезда и раскрывают самые простые вещи.

                    В этой статье не будет информации о том сколько в Германии стоит десяток яиц, поход в ресторан, как открыть банковский счет и получить вид на жительство. Цель этой статьи раскрыть многие не очевидные нюансы жизни в Германии, редко попадающие в обзоры о переездах.

                    image

                    Мой рассказ будет в первую очередь интересен уже состоявшимся ИТ специалистам, которые достаточно комфортно себя ощущают в России и задаются вопросом, а надо ли куда-то уезжать. Тем, кому в России совсем не комфортно обычно уезжают без глубокого анализа страны иммиграции :)
                    Читать дальше →
                  • Как получить максимум от инвестиционного портфеля?

                    Дурак сказал: «Не клади все яйца в одну корзину!» - иными словами: распыляй свои интересы и деньги! А мудрец сказал: «Клади все яйца в одну корзину, но… береги корзину!». Эта фраза принадлежит Марку Твену, но ее «мудрую» часть вы наверняка слышали от  Уоррена Баффетта. Да, легендарный инвестор не является сторонником распределения активов и вкладывается исключительно в американские акции.

                    Оправдан ли такой подход и так ли полезна диверсификация портфеля, как о ней говорят? Давайте проверим. Для этого возьмем наиболее популярные для инвестирования биржевые ETF-фонды и посмотрим, насколько они эффективны при объединении в портфель. А заодно выясним, влияет ли число фондов в портфеле на его результативность.



                    Читать дальше →
                  • Автоматизация трёх гвоздей

                      Пока я работал программистом, все было хорошо.

                      Когда я стал руководителем программистов, появились определенные трудности, но их удалось преодолеть.

                      Когда меня поставили руководить стратегическими изменениями, все стало плохо. Я начал упускать.
                      Читать дальше →
                    • Израильские учёные разработали универсальное лечение против рака

                      • Translation


                      Небольшая группа израильских учёных считает, что они нашли первое универсальное лечение против рака.
                      «Мы считаем, что через год мы предложим универсальное лечение против рака», – сказал Дэн Аридор о новом лечении, разработанном его компанией, Accelerated Evolution Biotechnologies Ltd. (AEBi), которая была основана в 2000 году в инкубаторе ITEK. AEBi разработала платформу SoAP, которая обеспечивает функциональные возможности для решения очень сложных проблем.
                      «Наше лечение рака будет эффективным с первого дня, будет длиться несколько недель и не будет иметь побочных эффектов, кроме минимальных, при гораздо более низкой цене, чем многие иные типы лечения на рынке», – сказал Аридор. «Мы планируем и лицензировать наше решение, и выпускать его сами».
                      Читать дальше →