Pull to refresh
1
0
Send message

PostgreSQL на многоядерных серверах Power 8

Reading time13 min
Views26K

Аннотация


При помощи московского представительства компании IBM мы провели тестирование производительности последних версий СУБД PostgreSQL на серверах Power8, изучили масштабируемость зависимость производительности от количества одновременных запросов, нашли узкие места ограничивающие производительность, предложили новые технические решения и добились рекордной производительности.

Введение


В ряде задач практически неограниченного масштабирования по объему обрабатываемых транзакций можно достичь, используя распределённые системы, в которых тем или иным способом поток транзакций распределяется на большое количество серверов. Такое масштабирование часто называют “горизонтальным”. Однако, универсального распределенного решения не существует, кроме того, распределённость имеет свою цену. Архитектура системы должна заранее проектироваться как распределённая. Распределенные системы менее гибки, чем монолитные, к тому же они сложнее в эксплуатации и требуют более высокой квалификации персонала. Одни задачи легче поддаются распараллеливанию, другие — сложнее. Поэтому спрос на высокопроизводительные монолитные системы существует, и достижение возможно лучших результатов по производительности в рамках одного сервера было и остается важной задачей. Это часто называют “вертикальным масштабированием”.

Сущность проблем, возникающих при параллельной обработке большого количества транзакций в монолитных и распределенных системах, одинакова — это конкуренция между транзакциями за доступ к одним и тем же ресурсам. Говоря просто, отдельные процессы работают параллельно и независимо до тех пор, пока не выстраиваются в очередь к какому-либо общему ресурсу (а это может быть как аппаратный ресурс, так и элемент информации, хранящийся в базе данных) и не начинают ожидать друг друга.

Для решения таких проблем существуют механизмы управления доступом к ресурсам — использование блокировок, а также пригодные в некоторых случаях неблокирующие (lock-free) подходы. Рост производительности этих механизмов, а также детализация блокировок дает возможность снизить издержки, связанные с одновременным (конкурентным) доступом.

При этом, если в распределённых системах узким местом оказывается, как правило, сеть, то в монолитных системах, близких к пиковой производительности, её рост ограничивается именно упомянутыми механизмами управления одновременным доступом.
Читать дальше →
Total votes 33: ↑33 and ↓0+33
Comments44

Интервью

Reading time10 min
Views6.7K

— Ну, здравствуй, мил человек. Проходи, гостем будешь. Карпов моя фамилия.
 — Сидоренко, здравствуйте.
 — Проходи, проходи. Не робей! Мы ведь здесь все не кусаемся. Выпьешь?
 — Нальёте — выпью.
 — Нальём, нальём. И о делах наших скорбных покалякаем. Ну, за что пить будем?
 — А за что хотите!
 — За твоё резюме пить глупо...
 — Это почему же так?
 — Мы с твоим резюме ознакомились, слава богу грамотные. Есть сомнения у нас, что все твои проекты — липа. Туфта. Обмануть хотел. Ты куда попал‑то знаешь?

Читать далее
Total votes 49: ↑40 and ↓9+42
Comments8

Что не так с вечно жующими но худыми и как стать таким человеком?

Level of difficultyEasy
Reading time8 min
Views46K

Наверно, у всех есть этот друг или знакомый, глядя на которого, ломает от несправедливости. Он никогда не задумывается о том, что съесть. Ест много, вкусно и пока все стараются скинуть пару кг, этот ведьмак/ведьма мечтает набрать вес и у него это плохо получается. Да и вообще не друг он после такого поведения! Тем, кому приходится постоянно себя ограничивать, думать, выбирать и следить за тем, чтобы не заносило в беспредел, смотреть на такое невыносимо.

Под публикациями про метаболизм и энергетический баланс я видел эту боль от несправедливости особенно у тех, кто недоумевает "почему так?".

Было выдвинуто много предположений на тему таких отличий. Упоминался и клятый ускоренный обмен веществ, и гормоны, и генетика, и неполноценное усвоение съеденного. Это действительно то, что первым приходит на ум и кажется вполне правдивым, но…

Читать далее
Total votes 62: ↑50 and ↓12+58
Comments387

Как 12 крупнейших операторов связи и GSMA собираются добывать золото, медь, кобальт и серебро из старых смартфонов

Reading time4 min
Views4.5K
image

По данным экспертов из GSMA, ассоциации, объединяющей и координирующей несколько сотен операторов связи по всему миру, сейчас на Земле насчитывается около 5 млрд мобильных устройств, которые не используются. Причины, по которым девайсы не эксплуатируются, могут быть разными, но факт остается фактом — огромное количество гаджетов простаивает (ну или пролеживает) зря.

А ведь сами телефоны создавались с использованием ценнейших ресурсов планеты, от нефти до редкоземельных металлов. Часть этих ресурсов можно вернуть, если перерабатывать ненужные никому телефоны. Конечно, нефть таким образом не добудешь, но вот некоторые металлы — вполне. Операторы и GSMA даже разработали план, который позволит собирать старые телефоны и перерабатывать их. Подробности — под катом.
Читать дальше →
Total votes 38: ↑38 and ↓0+38
Comments23

Мама,  ̶я̶ ̶в̶ ̶т̶е̶л̶е̶в̶и̶з̶о̶р̶е̶  мы в космосе

Reading time1 min
Views16K

Привет Хабр! Нет времени объяснять: 27 июня в 14:34 по московскому времени мы кое-что запустили в космос, о чём уже не раз рассказывали. В честь этого события мы решили устроить тематический квиз с классными призами!

Читать далее
Total votes 40: ↑35 and ↓5+51
Comments20

Заражённый разум

Reading time15 min
Views30K

Культурный код Запада тесно связан с идеей верховенства разума над бренной телесной оболочкой. Мы с вами привыкли отождествлять себя прежде всего с головным мозгом, закованным в скафандр из мяса и кожи. В костюм-экзоскелет, который можно прокачать в спортзале, украсить в салоне красоты, модифицировать на операционном столе, зарядить энергией за обеденным столом… И любые неисправности нашего скафандра вроде недомогания, слабости и боли мы воспринимаем словно как бы отдельно от себя: словно это не Я сам затронут болезнью, это затронуто болезнью мое транспортное средство, несущее меня по дорогам этого странного мира.

В целом, эта точка зрения вполне имеет право на существование. Однако что, если состояние нашего тела влияет на то, что мы считаем «самим собой»? Что, если существуют поразительные патогены, способные при заселении в тело манипулировать нами, а то и даже менять саму нашу психику, наше отношение к миру?

Читать далее
Total votes 173: ↑163 and ↓10+188
Comments146

Когда понты дороже денег: Оживляем Java подделку iPhone 4s, и смотрим на что она способна

Reading time4 min
Views17K

Думаю, все помнят развод 10 летней давности, когда смуглые ребята подходят, и говорят: "братан купил айфон денег нет добраться до Москвы купи за 3 тыщи", при этом айфон в пленочке, в коробочке, со всем комплектом. "А включи его" - спрашивал ничего не подозревающий покупатель, продавец же показывал яблочко и говорил "акамулятор разряжин где я тебе его в дороге заряжу? берешь или нет?". Само собой покупатель вёлся, а вот что он получал за эти деньги, подробнее в статье:

Читать далее
Total votes 37: ↑36 and ↓1+46
Comments24

Без одной faangи или как я проходил собеседования

Reading time14 min
Views31K

Привет, Хабр! Меня зовут Рустам, работаю программистом 9 лет. 7 лет работал в Контуре и около 2 лет в Яндексе. В этой статье расскажу про свой опыт подготовки и прохождения собеседований в большие технологические компании, поделюсь рекомендациями.

Пробовался в Facebook, Apple, Amazon, Microsoft, Google. Пять попыток: четыре на бэкенд программиста, одна на инженера по инфраструктуре. Два предложения по работе, два отказа, одно потенциальное предложение.

Принял предложение в Amazon. Сейчас в Лондоне.

Читать далее
Total votes 69: ↑66 and ↓3+76
Comments27

Баллада о долгоживущем софте

Reading time11 min
Views51K
Увлекаясь коллекционированием старого хлама винтажной электроники, я научился ценить долгоиграющие проекты. Конечно, в моей коллекции часто попадаются экспонаты противоположного типа. Вот клавиатурный коммуникатор Nokia, аналогов которого больше нет. Вот минидисковый плеер, проигрыватель музыки с мертвого формата. А вот телевизор с трубкой: таких больше не делают! Все рано или поздно заканчивается, и с возрастом иногда хочется остановить, эм, неумолимую поступь прогресса.



С железками это сделать трудно, зато можно с программами. Уже более четверти века я занимаюсь развлечением под условным названием «переустановка Windows». В последнее время чаще я устанавливаю ОС либо на новый ПК, либо на один из своих ретроэкспонатов. Как у многих из вас, у меня есть список софта, который при каждой такой операции устанавливается в первую очередь. Некоторые из этих программ я регулярно устанавливаю, и пользуюсь ими лет 15 или даже больше. Все это время создатели обновляют и развивают их, это не заброшенные проекты. В этой статье я хочу отдать должное этим разработчикам-долгожителям в субъективном хит-параде древнего, но актуального софта.
Читать дальше →
Total votes 130: ↑129 and ↓1+159
Comments432

Станция 2. Истории разработки одного из самых сложных устройств Яндекса

Reading time14 min
Views53K


Сегодня стартуют продажи Яндекс Станции 2 — нашего новейшего устройства, которое станет центральным элементом в умном доме с Алисой. Мы полностью переосмыслили и внутренний, и внешний дизайн, добавили световой экран на верхней панели и постарались учесть опыт предыдущего поколения во множестве незаметных с первого взгляда компонентов.

Я хочу поделиться нашей внутренней кухней в формате, который уже стал традиционным для хабрастатей о новых Станциях. Это снова будут несколько историй про разные аспекты hardware-разработки: поговорим об исследованиях формы комнаты микрофонами, распространении света в прозрачном материале, а ещё о генеративных анимациях и неожиданной пользе от ПЛИС.
Читать дальше →
Total votes 95: ↑89 and ↓6+112
Comments147

Киргизия: интернет без цензуры, величественные горы и парадокс водителей

Reading time19 min
Views72K

В конце февраля жизнь огромного количества людей кардинально изменилась. Одновременно с этим у многих внезапно проснулось жгучее желание вот прям сейчас немедленно посетить одну из соседних стран и полюбоваться ее природными красотами.

Я не был исключением. Мой выбор пал на горную Киргизию. За последние два месяца я увидел очень мало отзывов и рассказов от айтишников, которые уехали в Бишкек, поэтому я решил написать свой. Если вам интересно, как живется в Бишкеке, как тут обстоят дела с интернетом и работой и как киргизы относятся к русским, то добро пожаловать под кат!

Читать далее
Total votes 157: ↑148 and ↓9+186
Comments155

ONKALO: чудо света на все времена, забудьте о нём…

Reading time25 min
Views83K
… или как захоронить свои ядерные отходы навсегда.



Многие уверены, что век монументального строительства прошёл. Пирамиды, мегалиты и загадочные гробницы лежат старыми игрушками в песочнице человечества. Мы выросли из них и живём сегодняшним днём, ярким и мимолётным. Когда нас не станет — от нас останутся только колоссы древности… и ONKALO.
Читать дальше →
Total votes 407: ↑402 and ↓5+470
Comments100

Хейт теории эволюции (Кельвин vs Дарвин)

Reading time9 min
Views21K

В 1859 году вышла одна из самых влиятельных книг в истории человечества – «Происхождение видов» Чарльза Дарвина. И хотя не все положения теории Дарвина, высказанные в книге, в дальнейшем будут подтверждены (что и не удивительно), в основном дядюшка Дарвин был прав, а теория эволюции сегодня доминирует в науке. Однако в момент выхода книги на Дарвина обрушилась массированная критика. Идея, что виды могут изменяться из-за случайных мутаций, которые накапливаются миллионами лет, казалась многим биологам дичью. Набросились на Дарвина и сторонники Библии, так как его теория отрицала роль «божественного творца». Всё это была критика понятная и даже ожидаемая. Но вот чего уж Дарвин не ожидал, так это того, что на него накинутся физики, среди которых был уважаемый профессор Кельвин (тот самый в честь которого каноничная шкала температур). Что же не поделили физики и Дарвин?

Читать далее
Total votes 99: ↑91 and ↓8+110
Comments47

Вычисление стихотворного размера

Reading time8 min
Views25K

Привет, Хабр! Расскажу о решении нестандартной задачи: алгоритм определения силлабо-тонического стихотворного размера по строке на русском языке. Опишу все нюансы и неочевидные подводные камни, с которыми столкнулся.

Читать далее
Total votes 87: ↑87 and ↓0+87
Comments30

Собеседования джунов — вся жесть вопроса

Reading time6 min
Views87K

После 2-х лет разработчиком на С# в небольшой английской компании в сфере строительства, я решил выяснить свою стоимость как специалиста на рынке труда Великобритании. Несмотря на то, что большинство вакансий представляют собой примерно одно и то же: «Требуется человек-оркестр с 10+ лет опыта для очень интересной работы», — я специально выбирал позиции исключительно младшего разработчика не содержащих цифр 5+, 10+ и 15+ в описании. Как это было — читайте дальше.

Читать далее
Total votes 77: ↑69 and ↓8+79
Comments237

Водород

Reading time14 min
Views53K

По революционным праздникам в СССР проводились торжественные демонстрации. Для взрослых участие нередко было обязательным. Ну а детям -- им, что ни праздник, всё в радость. Торжественная обстановка, можно помаршировать со взрослыми в стройных колоннах, покричать "ура", поразмахивать красными флажками и надувными шариками...

Шарики. Кажется, именно с них-то всё и началось.

Согласно советским открыткам, демонстрация должна была выглядеть как-то так:

Читать далее
Total votes 229: ↑225 and ↓4+285
Comments206

Всё как у больших. Автозагрузка приложений в оконных менеджерах linux

Reading time9 min
Views19K
Вывод systemd-analyze dot --user ‘i3.service’ | dot -Tpng | imv -


Вывод systemd-analyze dot --user ‘i3.service’ | dot -Tpng | imv -

Как-то раз, листая сообщения в профильном systemd чате, в телеграм, я наткнулся на следующий кусок man systemd.special


xdg-desktop-autostart.target
   The XDG specification defines a way to autostart applications using XDG desktop files.
systemd ships systemd-xdg-autostart-generator(8) for the XDG desktop files in autostart
directories. Desktop Environments can opt-in to use this service by adding a Wants=dependency
on xdg-desktop-autostart.target.

О как интересно, подумалось мне. Можно реализовать функционал полноценныхDesktop Environments, по автоматическому запуску приложений, при старте. А у меня как раз i3wm, который таковым не является и которому такой функционал не помешал бы. Надо это дело исследовать. Тогда я ещё не знал во что ввязался. Как оказалось, не всё так просто.


Читать дальше →
Total votes 59: ↑59 and ↓0+59
Comments15

Список известных SMR дисков

Reading time7 min
Views122K
Англоязычный оригинал опубликован в форуме ixsystems и вряд ли широко известен всем, кто может столкнуться с проблемой. Хотя оригинал датирован 16 апреля 2020, он ссылается в том числе на более поздние публикации, то есть обновлялся.

Жесткие диски, которые записывают данные в перекрывающихся,
Читать дальше →
Total votes 28: ↑27 and ↓1+40
Comments104

Кто есть кто в кампании за отмену Столлмана

Reading time7 min
Views34K

Компания "за отмену Столлмана", начавшаяся с публикации в Medium предоставляет нам множество интересных данных. Так как подписание открытых писем за отмену и в поддержку Столлмана осуществляется на гитхабе, мы можем проанализировать некоторые характеристики обоих сторон, используя статистические данные, которые доступны через API.

Этому помогает то, что на гитхабе затруднительно редактировать данные "задним числом" без потери новых подписей.

Следующие предположения можно проверить ("X" может быть как предложением отменить Столлмана, так и выражением его поддержки).

Читать далее
Total votes 121: ↑110 and ↓11+149
Comments110

Шедевры мирового моддинга

Reading time4 min
Views18K
Много лет моим главным увлечением был моддинг компьютеров. Я следил за всеми новинками, помогал вести тематические ресурсы, да и сам создал несколько работ (одну из них даже можно найти на Хабре).

В результате у меня на компьютере скопилось множество материалов, в том числе и таких, которые за давностью лет пропали из интернета. Сегодня я хочу рассказать о моддинг-проектах, которые кажутся мне наиболее красивыми, оригинальными или важными для развития этой субкультуры.



Читать дальше →
Total votes 51: ↑50 and ↓1+71
Comments21

Information

Rating
4,724-th
Registered
Activity