• Time series данные в реляционной СУБД. Расширения TimescaleDB и PipelineDB для PostgreSQL

      Time series данные или временные ряды — это данные, которые изменяются во времени. Котировки валют, телеметрия перемещения транспорта, статистика обращения к серверу или нагрузки на CPU — это time series данные. Чтобы их хранить требуются специфичные инструменты — темпоральные базы данных. Инструментов — десятки, например, InfluxDB или ClickHouse. Но даже у самых лучших решений для хранения временных рядов есть недостатки. Все time series хранилища низкоуровневые, подходят только для time series данных, а обкатка и внедрение в текущий стек — дорого и больно.



      Но, если у вас стек PostgreSQL, то можете забыть о InfluxDB и всех остальных темпоральных БД. Ставите себе два расширения TimescaleDB и PipelineDB и храните, обрабатываете и проводите аналитику time series данных прямо в экосистеме PostgreSQL. Без внедрения сторонних решений, без недостатков темпоральных хранилищ и без проблем их обкатки. Что это за расширения, в чем их преимущества и возможности, расскажет Иван Муратов (binakot) — руководитель отдела разработки в «Первой Мониторинговой Компании».
      Читать дальше →
    • Вы делаете это неправильно: расчет глубины

        Приветствую вас, глубокоуважаемые!


        Что если я скажу, что глубина, что бы вы под ней не подразумевали, является одной из самых сложных для точного измерения величин? На какой глубине плывет подводная лодка? Какая глубина марианской впадины? На какой глубине лежит Титаник? Если вам не повезет с параметрами, то на первом километре глубины, вы можете ошибиться примерно на 30-40 метров и на 200-300 метров на 6-ом километре, используя датчик давления. Если вы предпочитаете эхолот, то при неудачном стечении обстоятельств, которые вы не учли, ошибка на первом километре составит метров 100, а на 6-ом — целый километр. Конечно, можно еще использовать длинную веревку… Но там, как известно, свои подводные камни.

        Как такое могло случиться и как делать правильно я расскажу под катом. В довесок к статье есть Open-source библиотека на C#/C/Rust/Matlab/Octave/JavaScript и пара онлайн-калькуляторов для демонстрации.



        Статья будет полезна разработчикам подводной техники, число которых за последние лет пять выросло в разы.
        Читать дальше →
      • Биологические проблемы багфикса


          Как чинить баги, если вы — органический продакшн с аптаймом в десятки лет, когда нельзя сделать ни ребут, ни замену внутренних модулей? Почему переиспользование кода — это логично, но печально? Отчего нельзя выключить какой-нибудь белок и стать неуязвимым к ВИЧ или SARS-CoV-2?

          Читать дальше →
        • Андрей Зарецкий, Александр Труханов: «Гонорара хватило, чтобы кофе попить»



            В 1991 году издательство «Просвещение» выпустило детскую книгу «Энциклопедия профессора Фортрана». Практически моментально она стала бестселлером и разошлась миллионными тиражами. Это был очень легкий и понятный рассказ о персональных компьютерах, которых в нашей стране еще не было практически ни у кого. Музейный проект DataArt пообщался с авторами книги Андреем Зарецким и Александром Трухановым о том, как два ученых-физика решили стать писателями и придумали профессора Фортрана и Кадабру. В первой части монолога — рождение идеи, ненавистный научпоп, свобода мысли в Черноголовке и чаепитие с Фронтом освобождения Полисарио.
            Читать дальше →
          • ІТ термины на примере процесса выращивания картошки

              image


              Недавно меня спросили, чем разработка на C# отличается от разработки на C++. В результате родилась идея объяснить значение тех или иных ИТ терминов на примере процесса выращивания картошки.

              Читать дальше →
            • Блеск и нищета: как цифровая революция сделала музыкантов беднее

                Может показаться, что музыкальная слава является гарантией стабильности. Если ты выпустил альбом, который хвалят критики и слушают миллионы — о бедности не может быть и речи.

                Но, к сожалению, статус «звезды» как таковой не является источником дохода. Музыканты, даже известные, порой сталкиваются с финансовыми трудностями на протяжении всей карьеры.

                Расскажем, почему после цифровой революции у музыкантов прибавилось проблем, как она изменила музыкальную индустрию и заставила исполнителей искать новые источники дохода.

                Читать дальше →
              • Один день из жизни QA-automation

                  Как пришлось стать немногой qa-автоматизитором: что при этом ощутил, пережил и про дивную архитектуру и инфраструктуру автоматического тестирования глазами проходившего мимо разработчика.

                  Читать дальше →
                • Долбанутые среди нас

                    Во все времена кого-нибудь да не хватает для успешной и эффективной работы бизнеса/завода или иного предприятия. Проблема эта вечная и мы — не исключение. Посему, хочется порассуждать о современных потребностях в отмороженных и прочих инакомыслящих.

                    Читать дальше →
                  • Ищем и скачиваем непопулярные и старые файлы в интернете

                      Преимущественно медиафайлы. На полном серьезе, без шуток.

                      Введение

                      Бывает, случается так, что вы хотите скачать альбом 2007 года исполнителя, который кроме вас известен 3.5 людям, какой-нибудь испанский ска-панк или малопопулярный спидкор европейского происхождения. Находите BitTorrent-раздачу, ставите на закачку, быстро скачиваете 14.7%, и… все. Проходит день, неделя, месяц, а процент скачанного не увеличивается. Вы ищете этот альбом в поисковике, натыкаетесь на форумы, показывающие ссылки только после регистрации и 5 написанных сообщений, регистрируетесь, флудите в мертвых темах, вам открываются ссылки на файлообменники вроде rapidshare и megaupload, которые уже сто лет как умерли.

                      Попытка скачать хотя бы один файл
                      Увы, частая ситуация в попытке хоть что-то скачать

                      Такое случается. В последнее время, к сожалению, случается чаще: правообладатели и правоохранительные органы всерьез взялись за файлообмен; в прошлом году закрылись или были закрыты KickassTorrents, BlackCat Games, what.cd, btdigg, torrentz.eu, EX.ua, fs.to, torrents.net.ua, и еще куча других сайтов. И если поиск свежих рипов фильмов, сериалов, музыки, мультиков все еще не представляет большой проблемы, несмотря на многократно участившееся удаления со стороны правообладателей контента из поисковых систем, торрент-трекеров и файлообменников, то поиск и скачивание оригинала (DVD или Blu-Ray) фильмов и сериалов или просто ТВ-рипов 7-летней давности на не-английском и не-русском языке — не такая уж простая задача.
                      Читать дальше →
                    • Вычисляемое видео в 755 мегапикселей: пленоптика вчера, сегодня и завтра



                        Какое-то время назад автору довелось читать лекцию во ВГИК, и в аудитории было много людей с операторского факультета. Аудитории был задан вопрос: «С каким максимальным разрешением вы снимали?», и дальше выяснилось, что примерно треть снимала 4К или 8 мегапикселей, остальные — не более 2К или 2 мегапикселя. Это был вызов! Мне предстояло рассказать про камеру с разрешением 755 мегапикселей (raw разрешением, если быть точным, поскольку конечное у нее 4К)  и какие феерические возможности это дает для профессиональной съемки.

                        Сама камера выглядит так (этакий маленький слоник):



                        Причем, открою страшную тайну, чтобы сделать этот снимок искали ракурс получше и человека покрупнее. Мне доводилось щупать эту камеру вживую, скажу, что она выглядит намного крупнее. Снимок ниже с Йоном Карафином, с которым мы примерно одного роста, более точно передает масштабы бедствия:



                        Кому интересны принципиально возможности вычисляемого видео о которых редко пишут — вся правда под катом! )
                        Читать дальше →
                      • Приключения на ровном месте


                          Как Spotify может помочь в изучении демонов, RFC, сетей и продвижении опенсорса. Или что бывает, если заплатить не получается, а некоторые премиумные плюшки очень хочется.

                          Читать дальше →
                        • Где покупать радиодетали и компоненты? Часть I: Россия

                            Давайте поговорим о покупке электронных компонентов в интернете. Я собрал список интересных отечественных и зарубежных магазинов:

                            а) которые заточены под любителей DIY и делают свои собственные крутые продукты: конструкторы, модули, обучающие курсы и т.д.;

                            б) для профи, с широкой номенклатурой электронных компонентов.

                            Продолжение: Часть II: зарубежные магазины

                            Кадр из к/ф «Иван Васильевич меняет профессию»
                            Продолжение
                          • Zotero: оптимизация хранения и использования научной литературы



                            Не буду распространяться о преимуществах использования библиографических менеджеров. На дворе 2015 год. Тема не раз обсуждалась на Хабре.

                            Здесь подробно описываются все прелести использования библиографического менеджера на примере Mendeley (это один из главных конкурентов Zotero, сравнение позже в этой статье). Здесь любопытно представлена система Citavi. Вроде бы, все в ней неплохо, но платить за софт приличные деньги, когда есть прекрасные бесплатные аналоги — развлечение на любителя. Кстати, от души рекомендую почитать комментарии к этой статье — познавательнее иных опусов. Здесь автор библиографического менеджера SciRef предлагает получить программку бесплатно.

                            Существует огромное множество различных библиографических менеджеров (см. таблицу в подвале, источник).

                            Сравнительная таблица библиографических менеджеров



                            Разумеется, при таком многообразии глупо говорить об одном идеальном решении. В этой статье я хочу рассказать вам о решении, которым пользуюсь и которое устраивает меня почти полностью. Как видно из названия статьи, это Zotero.
                            Читать дальше →
                            • +9
                            • 26.3k
                            • 4
                          • Сколько зарабатывают ИТ-шники в Германии

                            Я рекрутер в Мюнхене и достаточно часто ищу ИТ специалистов с релокацией в Германию и провожу десятки интервью с кандидатами из пост-советского пространства. Самое распространенное заблуждение, с которым я сталкиваюсь, это, откровенно, завышенные ожидания по зарплате.


                            Соискатели называют такие цифры, с которыми я, как рекрутер, в реальном мире встречалась несколько раз в жизни. Я решила собрать информацию из открытых источников в немецко-язычном интернете по уровню оплаты и добавить свои комменты по реальному опыту найма ИТ-специалистов из стран СНГ.

                            Читать дальше →
                          • Снова про собеседования, но в заморских странах


                              Про собеседования в стране, которую "умом не понять и аршином общим не измерить" было вот тут и тут. Теперь пора и про заморские страны поговорить. Что меня больше всего удивило в общении с иностранными коллегами, что особенно сильно запомнилось и что было бы неплохо у них перенять.

                              И что же?
                            • Поглощение на практике: история из жизни

                              • Translation
                              Новость о покупке IBM компании Red Hat разделила мнение общественности. Многие небезосновательно встревожены по поводу будущего открытых продуктов Red Hat; однако, как минимум Марк Литтл, вице-президент разработки в Red Hat, смотрит на будущее оптимистично.

                              В одном из обсуждений опытный enterprise-программист Хэнк, который начал программировать еще под Commodore 64, поделился рассказом о том, как переживали подобные изменения компании, в которых он на тот момент работал. Эта история будет близка всем тем, чей проект когда-либо был поглощен или закрыт. Перевод публикуется с разрешения автора.


                              За свою жизнь я прошел через несколько слияний. Сначала у большинства сотрудников наступает шок — ведь они понятия не имели о том, что происходит за их спинами. Затем приходит неверие в то, что вчерашние конкуренты отдел за отделом становятся их коллегами.

                              После этого наступает осознание того, что теперь вы занимаетесь работой, дублирующей друг друга. Поддерживаете два движка транзакций, поддерживаете два сервера сертификации, поддерживаете два…

                              Первые пару месяцев почти ничего не изменится — поскольку само слияние еще только предстоит провести, да и скорее всего не все контракты еще подписаны — но эта мысль накрепко засядет в вашей голове и будет регулярно напоминать о себе ноющей болью.
                              Читать дальше →
                            • Как sql-запросом извлечь из базы данных информацию, которой там нет

                                Под таким хитрым заголовком скрывается достаточно несложная задача, но сначала небольшое вступление:


                                Приходят пользователи и просят: «Вот мы внесли данные в базу, а скажите нам, чего не хватает? Какие данные мы ещё не внесли в базу и их не хватает для полного счастья?»
                                Первая (и скажем честно, весьма глупая) реакция: «Как же я вам найду то, чего нет в базе данных?».


                                Но отбросим эмоции и применим логику. Ведь, как правило, требуются данные, формирование которых подчиняется некоему правилу — номера квитанций, справок и так далее… И я исхожу из того, что все эти номера и идентификаторы могут быть преобразованы в натуральную последовательность.
                                То есть задача будет сформулирована следующим образом: в базе данных хранится последовательность натуральных чисел, в которой есть пропуски, и необходимо вывести пропущенные числа для пользователя.
                                В такой формулировке задача уже выглядит достаточно простой. Более того — возникает желание реализовать эту задачу одним единственным sql-запросом.

                                Читать дальше →
                              • Сколько зарабатывает Хабр + инструкция как узнать сколько зарабатывают другие компании

                                  Предыстория: после того, как мы с командой в прошлом году закрыли компанию и еще не начали работу над новой, мы решили обновить наш старый, но довольно большой сайт с кулинарными рецептами. Чтобы понять насколько серьезно стоит углубляться в работу над ним, я проанализировал данные по выручке сайтов, которые тоже зарабатывают на рекламе.

                                  В этом году уже вышли новые данные, которыми тоже решил поделиться. Доходы, расходы и прибыль приведены в миллионах рублей.

                                  image
                                  Читать дальше →
                                • Интересные задачки с технических собеседований

                                  • Translation

                                  Посетил я много интервью и был на обеих сторонах противостояния. Теперь пришло время поделиться наиболее интересными задачками с окружающими. Ибо интервью должны быть интересными и запоминающимися, а не убогими и демотивирующими.
                                  Читать дальше →