• MVCC-1. Изоляция

      Привет, Хабр! Этой статьей я начинаю серию циклов (или цикл серий? в общем, задумка грандиозная) о внутреннем устройстве PostgreSQL.

      Материал будет основан на учебных курсах по администрированию, которые делаем мы с Павлом pluzanov. Смотреть видео не все любят (я точно не люблю), а читать слайды, пусть даже с комментариями, — совсем «не то».

      Конечно, статьи не будут повторять содержание курсов один в один. Я буду говорить только о том, как все устроено, опуская собственно администрирование, зато постараюсь делать это более подробно и обстоятельно. И я верю в то, что такие знания полезны прикладному разработчику не меньше, чем администратору.

      Ориентироваться я буду на тех, кто уже имеет определенный опыт использования PostgreSQL и хотя бы в общих чертах представляет себе, что к чему. Для совсем новичков текст будет тяжеловат. Например, я ни слова не скажу о том, как установить PostgreSQL и запустить psql.

      Вещи, о которых пойдет речь, не сильно меняются от версии к версии, но использовать я буду текущий, 11-й «ванильный» PostgreSQL.

      Первый цикл посвящен вопросам, связанным с изоляцией и многоверсионностью, и план его таков:

      1. Изоляция, как ее понимают стандарт и PostgreSQL (эта статья);
      2. Слои, файлы, страницы — что творится на физическом уровне;
      3. Версии строк, виртуальные и вложенные транзакции;
      4. Снимки данных и видимость версий строк, горизонт событий;
      5. Внутристраничная очистка и HOT-обновления;
      6. Обычная очистка (vacuum);
      7. Автоматическая очистка (autovacuum);
      8. Переполнение счетчика транзакций и заморозка.

      Ну, поехали.
      Читать дальше →
    • Обзор расширения OPCache для PHP

      • Перевод


      PHP — это скриптовый язык, который по умолчанию компилирует те файлы, которые вам нужно запустить. Во время компилирования он извлекает опкоды, исполняет их, а затем немедленно уничтожает. PHP был так разработан: когда он переходит к выполнению запроса R, то «забывает» всё, что было выполнено в ходе запроса R-1.

      Очень маловероятно, что на production-серверах PHP-код изменится между выполнением нескольких запросов. Так что можно считать, что при компилированиях всегда считывается один и тот же исходный код, а значит и опкод будет точно таким же. И если извлекать его для каждого скрипта, то получается бесполезная трата времени и ресурсов.
      Читать дальше →
    • Сюрпризы планировщика запросов в БД PostgreSQL

        Графики, отчеты и аналитика – все это так или иначе присутствует в back-office любого, даже совсем маленького, предприятия. Когда в обычных таблицах в Excel/Numbers/Libre становится уже тесно, но data все еще не очень big, традиционные решения для внутренних потребностей компании часто строятся с помощью реляционных баз данных, таких как PostgreSQL, MySQL или MariaDB.

        Эти базы данных бесплатны, благодаря SQL удобно интегрируются с остальными компонентами в системе, они популярны и с ними умеют работать большинство разработчиков и аналитиков. Нагрузку (трафик и объемы) они могут переварить достаточно объемную, чтобы спокойно продержаться до того момента, когда компания сможет позволить себе более сложные (и дорогие) решения для аналитики и отчетов.
        Однако даже в многократно изученной технологии всегда существуют разные нюансы
        • +34
        • 4,6k
        • 3
      • Типичные ошибки при работе с PostgreSQL. Часть 1

          Чуть более месяца назад в Москве состоялась крупнейшая конференция постгресового сообщества PGConf.Russia 2019, собравшая в МГУ свыше 700 человек. Мы решили выложить видео и расшифровку лучших докладов. Выступление Ивана Фролкова с разбором типичных ошибок при работе с PostgreSQL было отмечено лучшим на конференции, поэтому мы начнем с него.

          Для удобства мы разбили расшифровку на две части. В этой статье речь пойдет о непоследовательном именовании, о constraints, о том, где лучше сосредоточить логику — в базе или в приложении. Во второй части будут разобраны обработка ошибок, конкурентный доступ, неотменяемые операции, CTE и JSON.



          В нашей компании я занимаюсь поддержкой клиентов по вопросам, связанным с приложениями, то есть помогаю в случаях проблем с соединениями, с оптимизацией запросов и прочими подобными вещами. Насмотрелся я приложений самых разных. Чего я только не видел! Может быть даже больше, чем хотелось бы. Часть из того, что я буду рассказывать, относится не только к PostgreSQL, а к любой базе, но кое-что прежде всего к PostgreSQL.

          Главный вывод, который я смог сделать из того, что я видел, довольно неожиданный: фактически любое приложение при должной настойчивости можно заставить работать. Был замечательный проект (я не могу упоминать все компании, с которыми мы работали), в котором еще более замечательное приложение создавало таблицы миллионами. Выглядело это так: в понедельник система работает неплохо, а уже в пятницу она практически не работает. На выходные дни запускают VACUUM FULL, и в понедельник она опять работает хорошо. Оказывается, над PostgreSQL можно вот так издеваться, и всё это довольно долго будет жить и работать. Другой товарищ сделал странную вещь: у него всё было построено на триггерах, процедур не было вообще. То есть большую часть таблиц трогать нельзя, сделать что-либо не получалось, но и эта база жила.
          Читать дальше →
        • Муравейник или крепость? Строю дом по цене квартиры. 4 часть. Комфорт или необходимость гаджетов дома?

            Часть 1. Строительство
            Часть 2. Отопление
            Часть 3. Электроснабжение

            В предыдущих выпусках я рассказывал об этапах строительства дома, без которых невозможно было бы заселение и более-менее комфортное проживание. В этот раз я хочу рассказать об устройствах, которые делают жизнь в собственном доме комфортнее и безопаснее. Сюда будет входить всё: от доступа к всемирной паутине до устройств, оповещающих о протечке воды. Располагайтесь удобнее, и я начну. А для тех, кто предпочитает не читать, а смотреть, я сделал видео.


            Читать дальше →
          • Муравейник или крепость? Строю дом по цене квартиры. 3 часть. Электроснабжение

              Часть 1. Строительство
              Часть 2. Отопление
              Часть 4. Комфорт дома и гаджеты.

              Нашлось время и силы продолжить, по просьбе читателей, повествование о строительстве моего дома. Предыдущие части здесь и здесь. На этот раз я расскажу об устройстве электросистемы дома, о своем опыте борьбы с поборами энергетиков и как мне удалось зарезервировать электроснабжение дома на случай отключения внешних сетей на срок до 12 часов. Как обычно, сделал ролик для тех, кому лениво читать, а для остальных подготовил много текста и картинок.

              Читать дальше →
            • Муравейник или крепость? Строю дом по цене квартиры. 2 часть: Отопление

                Часть 1. Строительство
                Часть 3. Электроснабжение
                Часть 4. Комфорт дома и гаджеты.

                Приветствую всех читателей. В прошлом выпуске я рассказал о старте своего строительства. Рассказал о выборе материала и подготовке к черновой отделке. В этот раз я расскажу о различных системах отопления, о том, какую систему выбрал я и почему. По традиции, для тех, кто предпочитает смотреть, а не читать, я сделал ролик.

                Читать дальше →
              • Муравейник или крепость? Строю дом по цене квартиры. 1 часть

                  Часть 1. Строительство
                  Часть 2. Отопление
                  Часть 3. Электроснабжение
                  Часть 4. Комфорт дома и гаджеты.

                  Как и многие гики, я пришел к мысли, что здоровье гораздо дороже любых денег. Одно из слагаемых этого здоровья — это душевный покой и отсутствие отвлекающих и раздражающих соседей сверху, снизу, сбоку… Так я пришел к строительству своего дома. На своем примере я хочу показать, с какими проблемами предстоит столкнуться и как избежать трудностей впоследствии. В следующих выпусках, если этот понравится, расскажу о домашней сети, организации видеонаблюдения IP-камерами, резервном и автономном электроснабжении и многом другом, но сначала надо построить жилище.

                  Когда вопрос собственного жилья у меня стал основательным, а съем квартиры стал нерентабельным, я пришел, как и многие, к выбору: во что вкладываться — в дом или в квартиру?
                  Стоимость квартир даже в Подмосковье за пару комнат начинается от трех миллионов. Без отделки и со всеми сопутствующими проблемами. Посчитав, я пришел к выводу, что за те же деньги можно построить дом в Подмосковье с такой же транспортной доступностью и близкой инфраструктурой.
                  Для ленивых я расскажу все в ролике, а для любителей букв я подготовил текст с картинками.


                  Читать дальше →
                • Wi-Fi: неочевидные нюансы (на примере домашней сети)

                    Сейчас многие покупают точки доступа 802.11n, но хороших скоростей достичь удается не всем. В этом посте поговорим о не очень очевидных мелких нюансах, которые могут ощутимо улучшить (или ухудшить) работу Wi-Fi. Всё описанное ниже применимо как к домашним Wi-Fi-роутерам со стандартными и продвинутыми (DD-WRT & Co.) прошивками, так и к корпоративным железкам и сетям. Поэтому, в качестве примера возьмем «домашнюю» тему, как более родную и близкую к телу. Ибо даже самые администые из админов и инженеристые из инженеров живут в многоквартирных домах (или поселках с достаточной плотностью соседей), и всем хочется быстрого и надежного Wi-Fi.
                    [!!]: после замечаний касательно публикации первой части привожу текст целиком. Если вы читали первую часть — продолжайте отсюда.
                    Читать дальше →
                  • 27+ ресурсов для онлайн-обучения


                      В настоящее время активно развивается система дистанционного обучения, теперь уже не является проблемой получение полноценного образования практически по любому предмету дистанционно. Онлайн-обучение имеет ряд преимуществ – обучение в индивидуальном темпе, свобода и гибкость, доступность, социальное равноправие. В сети появляется все больше сервисов, помогающих получать новые знания.

                      Статья содержит перечень ресурсов для онлайн-обучения, представляющих интерес преимущественно для программистов.

                      Читать дальше →
                    • 12 концепций JavaScript, о которых нужно знать

                      • Перевод
                      • Tutorial
                      JavaScript — это сложный язык. Если вы, на любом уровне, занимаетесь JavaScript-разработкой, это значит, что вам жизненно необходимо понимать базовые концепции этого языка. В материале, перевод которого мы сегодня публикуем, рассмотрены 12 важнейших концепций JavaScript. Конечно, JavaScript-разработчику нужно знать гораздо больше, но без того, о чём мы будем сегодня говорить, ему точно не обойтись.


                      Читать дальше →
                    • 10 навыков и знаний необходимых начинающему iOS разработчику

                        image

                        Профессия iOS разработчик сейчас довольно востребована, хорошо оплачивается и, возможно даже, модная, а потому привлекает много людей. 

                        Ко мне и коллегам на собеседования приходит много кандидатов на открытые у нас вакансии, и я отчетливо вижу у многих новичков отсутствие базовых знаний или просто неуверенное владение ими. Хотя в интернете и много статей, книг и курсов (платных и бесплатных), из которых можно получить необходимые знания, не всегда просто понять, на изучении каких тем стоит сконцентрироваться.

                        В этой заметке я поделюсь информацией про то, какие навыки и знания я считаю важными для начинающего iOS разработчика, попробую объяснить зачем они нужны и дам ссылки на материалы для их изучения. 
                        Читать дальше →
                      • Хабрарейтинг 2018: лучшие материалы за 2018 год

                          Привет Хабр.

                          Данный пост является логическим завершением публикаций про жизненный цикл статьи на Хабре (первая и вторая части для тех кто интересуется технической стороной вопроса), в результате чего был сделан достаточно интересный инструмент для статистического анализа. Методика оказалась весьма полезной, и позволяет находить статьи по различным параметрам, например, статьи с самым высоким «качеством» (соотношением рейтинга к числу просмотров), самые «спорные» статьи, у которых больше всего полярных комментариев, самые комментируемые материалы, и пр.



                          Пора теперь извлечь из этого какую-то пользу, и составить статистический рейтинг статей за 2018 год. В идеале это хорошо было бы сделать к началу Нового Года, но умные мысли бывает, приходят с запозданием. Но лучше поздно чем никогда, это позволит перечитать какие-то полезные статьи тем, кто пропустил их в свое время. И небольшой «секретный бонус» в конце текста для тех, кто будет достаточно любопытен.

                          Тех, кому интересно что получилось, прошу под кат.
                          Читать дальше →
                        • Подборка: 4 полезных сервиса для потенциальных иммигрантов в США, Европу и другие страны



                            Тема переезда в Европу, США или другие приятные регионы мира довольно часто поднимается на Хабре. Я решил собрать в одном месте список онлайн-сервисов, которые будут полезны тем, кто всерьез задумался об иммиграции. На удивление, «живых» и активных стартапов в этой сфере не так и много. Для статьи я отобрал четыре проекта.
                            Читать дальше →
                          • Как сделать солнечный фонарик своими руками (часть 1)



                              Солнечные фонарики можно смело разделить на несколько групп, это «авторские», сделанные из каких — то достаточно уникальных вещей и остроумные по задумке, мини — прожекторы, предназначенные для освещения по направлению, или подсветки сверху цветочных клумб и рядовые солдаты дачного освещения — классические фонарики на столбике предназначенные для освещения дорожек. Как и из чего их можно сделать я расскажу в данной статье. Также будет рассмотрено несколько вариантов исполнения электроники для тенистых участков сада, где подзарядка фонарика от солнца затруднена и яркостью освещения придётся немного поступиться.
                              Узнать больше
                            • Как сделать солнечный фонарик своими руками (часть 2)



                                В предыдущей статье были рассмотрены нюансы сборки классических солнечных фонариков на столбике. В этой статье я хочу поделиться моим опытом сборки настольных солнечных фонариков – ночников и штучных, можно сказать «пафосных» солнечных фонариков на основе готовых, или хрустальных плафонов.
                                Узнать больше
                              • Солнечные фонарики — нам надо ярче



                                  Наверняка многие уже успели наиграться с китайскими солнечными фонариками и разочароваться в них. Попробуем разобраться в вопросе: в чём причина их малой яркости и можно ли с этим что-то сделать?
                                  Узнать больше
                                • Изменение схемы таблиц PostgreSQL без долгих блокировок. Лекция Яндекса

                                    Если одновременно выполняется много операций по изменению схемы БД, сервис не может корректно работать на запись. Разработчик Владимир Колясинский объяснил, какие операции в PostgreSQL требуют длительных блокировок и как команда Яндекс.Коннекта обеспечивает почти стопроцентную доступность сервиса на запись во время выполнения подобных операций. Кроме того, вы узнаете о библиотеке для Django, которая призвана автоматизировать часть описанных процессов.


                                    У нас большие нагрузки, тысячи RPS, и простой в несколько минут, не говоря о большем времени, недопустим. Нужно, чтобы миграции происходили незаметно для пользователя. А с такими нагрузками уже не получится встать в четыре часа ночи, что-то накатить, когда нет нагрузки, и снова лечь спать — потому что нагрузка идет круглые сутки.

                                    Читать дальше →
                                  • Сериализация данных на уровне базы

                                    Привет, Хабр!


                                    Сидел я как-то и пытался отдать фронту JSON с объектами недвижимости, у которых была масса зависимостей. На бэке стояла Symfony 4, knp pagination и JMSSerializer, ну в принципе стандартные вещи, но проблема в том, что когда ты пытаешься отдать объект со всеми вложенными сущностями и коллекциями, то все начинает тормозить на уровне сериализации этих данных.


                                    Сначала нужно сделать запрос в базу, потом сериализатор подтянет постепенно все остальное, потом все это будет обернуто в JSON и только потом все вернется на фронт.


                                    Идея


                                    У меня появилась идея, а почему бы не возвращать на фронт с бэка сразу JSON напрямую из базы, да, надо написать офигительный SQL, но ведь можно сделать инструмент который это сделает за вас. Я принялся за написание идеи, репозиторий на гитхабе, за основу взята модель данных из доктрины, связи OneToOne, ManyToOne, OneToMany и ManyToMany. Так же этот инструмент легко можно прикрутить к Symfony 4 и он сам себя настроит, в итоге вам нужно будет только заинъектить фабрику QueryBuilderFactory и получить оттуда QueryBuilder для нужной таблицы по классу сущности.


                                    Так же мой сериализатор использует группы сериализации которые вы можете задать с помощью аннотации Expose на поле сущности, не забудьте так же на сущность навесить аннотацию Table и указать алиас таблицы, лучше использовать те, которые вы обычно задаете.


                                    Пример генерации SQL


                                    <?php
                                    
                                    use \Mash\MysqlJsonSerializer\QueryBuilder\Table\JoinStrategy\FieldStrategy;
                                    use \Mash\MysqlJsonSerializer\Wrapper\FieldWrapper;
                                    use \Mash\MysqlJsonSerializer\QueryBuilder\Table\Table;
                                    use \Mash\MysqlJsonSerializer\Wrapper\Mapping;
                                    use \Mash\MysqlJsonSerializer\QueryBuilder\QueryBuilder;
                                    
                                    $oneToManyTable = (new Table('advert_group', 'adg', 'adg_id'))
                                        ->addSimpleField('adg_id')
                                        ->addSimpleField('adg_name')
                                    ;
                                    
                                    $table = (new Table('estate', 'est', 'est_id'))
                                        ->addSimpleField('est_id')
                                        ->addSimpleField('est_name')
                                        ->addOneToManyField($oneToManyTable, 'advert_groups', new FieldStrategy('adg_estate'));
                                    
                                    $mapping = new Mapping();
                                    $mapping
                                        ->addMap($table, 'est_id', 'id')
                                        ->addMap($table, 'est_name', 'name')
                                        ->addMap($oneToManyTable, 'adg_id', 'id')
                                        ->addMap($oneToManyTable, 'adg_name', 'name');
                                    
                                    $builder = new QueryBuilder($table, new FieldWrapper($mapping));
                                    $builder
                                        ->setOffset(2)
                                        ->setLimit(1);
                                    
                                    $sql = $builder->jsonArray();

                                    В результате будет сгенерирован следующий SQL:


                                    SELECT JSON_ARRAYAGG(JSON_OBJECT('id',est_res.est_id,'name',est_res.est_name,'advert_groups',(SELECT JSON_ARRAYAGG(JSON_OBJECT('id',adg.adg_id,'name',adg.adg_name)) FROM advert_group adg INNER JOIN estate est_2 ON est_2.est_id = adg.adg_estate WHERE est_2.est_id = est_res.est_id))) FROM (SELECT * FROM estate est  LIMIT 1 OFFSET 2) est_res

                                    Результат:


                                    [{"id": 3, "name": "Москва, окская улица, 3к1", "advert_groups": [{"id": 10, "name": "avito-1115362430"}]}]
                                    Читать дальше →
                                  • Моя подборка с Youtube на тему DIY

                                      На идею сделать такую подборку меня косвенно подтолкнул недавний пост о создании стола, а точнее обсуждения к нему. Думая над каким-то ответом на вопрос, я порылся в своих подписках, и понял, что только деревообработке уже посвящены несколько десятков из них. И некоторыми хочется непременно поделиться.

                                      В итоге вашему вниманию предлагается моя подборка подписок на каналы Youtube, которые посвящены теме DIY в широком смысле слова, а по большей части — деревообработке, то есть столярному и плотницкому мастерству. Большую часть каналов я постарался прокомментировать. Порядок, в котором каналы приведены, в значительной степени случайный, хотя я пытался ставить наиболее интересные для меня каналы ближе к началу.

                                      Список ни в малейшей степени не претендует на полноту. В частности, я опустил многие каналы условно «строительного» профиля, которые содержат ролики по столярному делу, но при этом остальные ролики там например о штукатурке, укладке плитки или работе с гипсокартоном.

                                      Ну и раз уж началось все со стола, то красной нитью через весь обзор будут проходить именно столы.


                                      Читать дальше →