Как стать автором
Обновить
2
0

Пользователь

Отправить сообщение

PostgreSQL на многоядерных серверах Power 8

Время на прочтение13 мин
Количество просмотров26K

Аннотация


При помощи московского представительства компании IBM мы провели тестирование производительности последних версий СУБД PostgreSQL на серверах Power8, изучили масштабируемость зависимость производительности от количества одновременных запросов, нашли узкие места ограничивающие производительность, предложили новые технические решения и добились рекордной производительности.

Введение


В ряде задач практически неограниченного масштабирования по объему обрабатываемых транзакций можно достичь, используя распределённые системы, в которых тем или иным способом поток транзакций распределяется на большое количество серверов. Такое масштабирование часто называют “горизонтальным”. Однако, универсального распределенного решения не существует, кроме того, распределённость имеет свою цену. Архитектура системы должна заранее проектироваться как распределённая. Распределенные системы менее гибки, чем монолитные, к тому же они сложнее в эксплуатации и требуют более высокой квалификации персонала. Одни задачи легче поддаются распараллеливанию, другие — сложнее. Поэтому спрос на высокопроизводительные монолитные системы существует, и достижение возможно лучших результатов по производительности в рамках одного сервера было и остается важной задачей. Это часто называют “вертикальным масштабированием”.

Сущность проблем, возникающих при параллельной обработке большого количества транзакций в монолитных и распределенных системах, одинакова — это конкуренция между транзакциями за доступ к одним и тем же ресурсам. Говоря просто, отдельные процессы работают параллельно и независимо до тех пор, пока не выстраиваются в очередь к какому-либо общему ресурсу (а это может быть как аппаратный ресурс, так и элемент информации, хранящийся в базе данных) и не начинают ожидать друг друга.

Для решения таких проблем существуют механизмы управления доступом к ресурсам — использование блокировок, а также пригодные в некоторых случаях неблокирующие (lock-free) подходы. Рост производительности этих механизмов, а также детализация блокировок дает возможность снизить издержки, связанные с одновременным (конкурентным) доступом.

При этом, если в распределённых системах узким местом оказывается, как правило, сеть, то в монолитных системах, близких к пиковой производительности, её рост ограничивается именно упомянутыми механизмами управления одновременным доступом.
Читать дальше →
Всего голосов 33: ↑33 и ↓0+33
Комментарии44

Интервью

Время на прочтение10 мин
Количество просмотров6.5K

— Ну, здравствуй, мил человек. Проходи, гостем будешь. Карпов моя фамилия.
 — Сидоренко, здравствуйте.
 — Проходи, проходи. Не робей! Мы ведь здесь все не кусаемся. Выпьешь?
 — Нальёте — выпью.
 — Нальём, нальём. И о делах наших скорбных покалякаем. Ну, за что пить будем?
 — А за что хотите!
 — За твоё резюме пить глупо...
 — Это почему же так?
 — Мы с твоим резюме ознакомились, слава богу грамотные. Есть сомнения у нас, что все твои проекты — липа. Туфта. Обмануть хотел. Ты куда попал‑то знаешь?

Читать далее
Всего голосов 60: ↑51 и ↓9+42
Комментарии8

Что не так с вечно жующими но худыми и как стать таким человеком?

Уровень сложностиПростой
Время на прочтение8 мин
Количество просмотров44K

Наверно, у всех есть этот друг или знакомый, глядя на которого, ломает от несправедливости. Он никогда не задумывается о том, что съесть. Ест много, вкусно и пока все стараются скинуть пару кг, этот ведьмак/ведьма мечтает набрать вес и у него это плохо получается. Да и вообще не друг он после такого поведения! Тем, кому приходится постоянно себя ограничивать, думать, выбирать и следить за тем, чтобы не заносило в беспредел, смотреть на такое невыносимо.

Под публикациями про метаболизм и энергетический баланс я видел эту боль от несправедливости особенно у тех, кто недоумевает "почему так?".

Было выдвинуто много предположений на тему таких отличий. Упоминался и клятый ускоренный обмен веществ, и гормоны, и генетика, и неполноценное усвоение съеденного. Это действительно то, что первым приходит на ум и кажется вполне правдивым, но…

Читать далее
Всего голосов 82: ↑70 и ↓12+58
Комментарии387

Как 12 крупнейших операторов связи и GSMA собираются добывать золото, медь, кобальт и серебро из старых смартфонов

Время на прочтение4 мин
Количество просмотров4.4K
image

По данным экспертов из GSMA, ассоциации, объединяющей и координирующей несколько сотен операторов связи по всему миру, сейчас на Земле насчитывается около 5 млрд мобильных устройств, которые не используются. Причины, по которым девайсы не эксплуатируются, могут быть разными, но факт остается фактом — огромное количество гаджетов простаивает (ну или пролеживает) зря.

А ведь сами телефоны создавались с использованием ценнейших ресурсов планеты, от нефти до редкоземельных металлов. Часть этих ресурсов можно вернуть, если перерабатывать ненужные никому телефоны. Конечно, нефть таким образом не добудешь, но вот некоторые металлы — вполне. Операторы и GSMA даже разработали план, который позволит собирать старые телефоны и перерабатывать их. Подробности — под катом.
Читать дальше →
Всего голосов 38: ↑38 и ↓0+38
Комментарии23

Мама,  ̶я̶ ̶в̶ ̶т̶е̶л̶е̶в̶и̶з̶о̶р̶е̶  мы в космосе

Время на прочтение1 мин
Количество просмотров16K

Привет Хабр! Нет времени объяснять: 27 июня в 14:34 по московскому времени мы кое-что запустили в космос, о чём уже не раз рассказывали. В честь этого события мы решили устроить тематический квиз с классными призами!

Читать далее
Всего голосов 61: ↑56 и ↓5+51
Комментарии20

Заражённый разум

Время на прочтение15 мин
Количество просмотров30K

Культурный код Запада тесно связан с идеей верховенства разума над бренной телесной оболочкой. Мы с вами привыкли отождествлять себя прежде всего с головным мозгом, закованным в скафандр из мяса и кожи. В костюм-экзоскелет, который можно прокачать в спортзале, украсить в салоне красоты, модифицировать на операционном столе, зарядить энергией за обеденным столом… И любые неисправности нашего скафандра вроде недомогания, слабости и боли мы воспринимаем словно как бы отдельно от себя: словно это не Я сам затронут болезнью, это затронуто болезнью мое транспортное средство, несущее меня по дорогам этого странного мира.

В целом, эта точка зрения вполне имеет право на существование. Однако что, если состояние нашего тела влияет на то, что мы считаем «самим собой»? Что, если существуют поразительные патогены, способные при заселении в тело манипулировать нами, а то и даже менять саму нашу психику, наше отношение к миру?

Читать далее
Всего голосов 209: ↑199 и ↓10+189
Комментарии146

Когда понты дороже денег: Оживляем Java подделку iPhone 4s, и смотрим на что она способна

Время на прочтение4 мин
Количество просмотров17K

Думаю, все помнят развод 10 летней давности, когда смуглые ребята подходят, и говорят: "братан купил айфон денег нет добраться до Москвы купи за 3 тыщи", при этом айфон в пленочке, в коробочке, со всем комплектом. "А включи его" - спрашивал ничего не подозревающий покупатель, продавец же показывал яблочко и говорил "акамулятор разряжин где я тебе его в дороге заряжу? берешь или нет?". Само собой покупатель вёлся, а вот что он получал за эти деньги, подробнее в статье:

Читать далее
Всего голосов 48: ↑47 и ↓1+46
Комментарии24

Без одной faangи или как я проходил собеседования

Время на прочтение14 мин
Количество просмотров30K

Привет, Хабр! Меня зовут Рустам, работаю программистом 9 лет. 7 лет работал в Контуре и около 2 лет в Яндексе. В этой статье расскажу про свой опыт подготовки и прохождения собеседований в большие технологические компании, поделюсь рекомендациями.

Пробовался в Facebook, Apple, Amazon, Microsoft, Google. Пять попыток: четыре на бэкенд программиста, одна на инженера по инфраструктуре. Два предложения по работе, два отказа, одно потенциальное предложение.

Принял предложение в Amazon. Сейчас в Лондоне.

Читать далее
Всего голосов 82: ↑79 и ↓3+76
Комментарии27

Баллада о долгоживущем софте

Время на прочтение11 мин
Количество просмотров50K
Увлекаясь коллекционированием старого хлама винтажной электроники, я научился ценить долгоиграющие проекты. Конечно, в моей коллекции часто попадаются экспонаты противоположного типа. Вот клавиатурный коммуникатор Nokia, аналогов которого больше нет. Вот минидисковый плеер, проигрыватель музыки с мертвого формата. А вот телевизор с трубкой: таких больше не делают! Все рано или поздно заканчивается, и с возрастом иногда хочется остановить, эм, неумолимую поступь прогресса.



С железками это сделать трудно, зато можно с программами. Уже более четверти века я занимаюсь развлечением под условным названием «переустановка Windows». В последнее время чаще я устанавливаю ОС либо на новый ПК, либо на один из своих ретроэкспонатов. Как у многих из вас, у меня есть список софта, который при каждой такой операции устанавливается в первую очередь. Некоторые из этих программ я регулярно устанавливаю, и пользуюсь ими лет 15 или даже больше. Все это время создатели обновляют и развивают их, это не заброшенные проекты. В этой статье я хочу отдать должное этим разработчикам-долгожителям в субъективном хит-параде древнего, но актуального софта.
Читать дальше →
Всего голосов 161: ↑160 и ↓1+159
Комментарии432

Станция 2. Истории разработки одного из самых сложных устройств Яндекса

Время на прочтение14 мин
Количество просмотров51K


Сегодня стартуют продажи Яндекс Станции 2 — нашего новейшего устройства, которое станет центральным элементом в умном доме с Алисой. Мы полностью переосмыслили и внутренний, и внешний дизайн, добавили световой экран на верхней панели и постарались учесть опыт предыдущего поколения во множестве незаметных с первого взгляда компонентов.

Я хочу поделиться нашей внутренней кухней в формате, который уже стал традиционным для хабрастатей о новых Станциях. Это снова будут несколько историй про разные аспекты hardware-разработки: поговорим об исследованиях формы комнаты микрофонами, распространении света в прозрачном материале, а ещё о генеративных анимациях и неожиданной пользе от ПЛИС.
Читать дальше →
Всего голосов 124: ↑118 и ↓6+112
Комментарии147

Киргизия: интернет без цензуры, величественные горы и парадокс водителей

Время на прочтение19 мин
Количество просмотров70K

В конце февраля жизнь огромного количества людей кардинально изменилась. Одновременно с этим у многих внезапно проснулось жгучее желание вот прям сейчас немедленно посетить одну из соседних стран и полюбоваться ее природными красотами.

Я не был исключением. Мой выбор пал на горную Киргизию. За последние два месяца я увидел очень мало отзывов и рассказов от айтишников, которые уехали в Бишкек, поэтому я решил написать свой. Если вам интересно, как живется в Бишкеке, как тут обстоят дела с интернетом и работой и как киргизы относятся к русским, то добро пожаловать под кат!

Читать далее
Всего голосов 204: ↑195 и ↓9+186
Комментарии155

ONKALO: чудо света на все времена, забудьте о нём…

Время на прочтение25 мин
Количество просмотров82K
… или как захоронить свои ядерные отходы навсегда.



Многие уверены, что век монументального строительства прошёл. Пирамиды, мегалиты и загадочные гробницы лежат старыми игрушками в песочнице человечества. Мы выросли из них и живём сегодняшним днём, ярким и мимолётным. Когда нас не станет — от нас останутся только колоссы древности… и ONKALO.
Читать дальше →
Всего голосов 482: ↑477 и ↓5+472
Комментарии100

Хейт теории эволюции (Кельвин vs Дарвин)

Время на прочтение9 мин
Количество просмотров20K

В 1859 году вышла одна из самых влиятельных книг в истории человечества – «Происхождение видов» Чарльза Дарвина. И хотя не все положения теории Дарвина, высказанные в книге, в дальнейшем будут подтверждены (что и не удивительно), в основном дядюшка Дарвин был прав, а теория эволюции сегодня доминирует в науке. Однако в момент выхода книги на Дарвина обрушилась массированная критика. Идея, что виды могут изменяться из-за случайных мутаций, которые накапливаются миллионами лет, казалась многим биологам дичью. Набросились на Дарвина и сторонники Библии, так как его теория отрицала роль «божественного творца». Всё это была критика понятная и даже ожидаемая. Но вот чего уж Дарвин не ожидал, так это того, что на него накинутся физики, среди которых был уважаемый профессор Кельвин (тот самый в честь которого каноничная шкала температур). Что же не поделили физики и Дарвин?

Читать далее
Всего голосов 126: ↑118 и ↓8+110
Комментарии47

Вычисление стихотворного размера

Время на прочтение8 мин
Количество просмотров23K

Привет, Хабр! Расскажу о решении нестандартной задачи: алгоритм определения силлабо-тонического стихотворного размера по строке на русском языке. Опишу все нюансы и неочевидные подводные камни, с которыми столкнулся.

Читать далее
Всего голосов 87: ↑87 и ↓0+87
Комментарии30

Собеседования джунов — вся жесть вопроса

Время на прочтение6 мин
Количество просмотров86K

После 2-х лет разработчиком на С# в небольшой английской компании в сфере строительства, я решил выяснить свою стоимость как специалиста на рынке труда Великобритании. Несмотря на то, что большинство вакансий представляют собой примерно одно и то же: «Требуется человек-оркестр с 10+ лет опыта для очень интересной работы», — я специально выбирал позиции исключительно младшего разработчика не содержащих цифр 5+, 10+ и 15+ в описании. Как это было — читайте дальше.

Читать далее
Всего голосов 95: ↑87 и ↓8+79
Комментарии237

Водород

Время на прочтение14 мин
Количество просмотров52K

По революционным праздникам в СССР проводились торжественные демонстрации. Для взрослых участие нередко было обязательным. Ну а детям -- им, что ни праздник, всё в радость. Торжественная обстановка, можно помаршировать со взрослыми в стройных колоннах, покричать "ура", поразмахивать красными флажками и надувными шариками...

Шарики. Кажется, именно с них-то всё и началось.

Согласно советским открыткам, демонстрация должна была выглядеть как-то так:

Читать далее
Всего голосов 293: ↑289 и ↓4+285
Комментарии206

Всё как у больших. Автозагрузка приложений в оконных менеджерах linux

Время на прочтение9 мин
Количество просмотров18K
Вывод systemd-analyze dot --user ‘i3.service’ | dot -Tpng | imv -


Вывод systemd-analyze dot --user ‘i3.service’ | dot -Tpng | imv -

Как-то раз, листая сообщения в профильном systemd чате, в телеграм, я наткнулся на следующий кусок man systemd.special


xdg-desktop-autostart.target
   The XDG specification defines a way to autostart applications using XDG desktop files.
systemd ships systemd-xdg-autostart-generator(8) for the XDG desktop files in autostart
directories. Desktop Environments can opt-in to use this service by adding a Wants=dependency
on xdg-desktop-autostart.target.

О как интересно, подумалось мне. Можно реализовать функционал полноценныхDesktop Environments, по автоматическому запуску приложений, при старте. А у меня как раз i3wm, который таковым не является и которому такой функционал не помешал бы. Надо это дело исследовать. Тогда я ещё не знал во что ввязался. Как оказалось, не всё так просто.


Читать дальше →
Всего голосов 59: ↑59 и ↓0+59
Комментарии15

Список известных SMR дисков

Время на прочтение7 мин
Количество просмотров119K
Англоязычный оригинал опубликован в форуме ixsystems и вряд ли широко известен всем, кто может столкнуться с проблемой. Хотя оригинал датирован 16 апреля 2020, он ссылается в том числе на более поздние публикации, то есть обновлялся.

Жесткие диски, которые записывают данные в перекрывающихся,
Читать дальше →
Всего голосов 42: ↑41 и ↓1+40
Комментарии104

Кто есть кто в кампании за отмену Столлмана

Время на прочтение7 мин
Количество просмотров34K

Компания "за отмену Столлмана", начавшаяся с публикации в Medium предоставляет нам множество интересных данных. Так как подписание открытых писем за отмену и в поддержку Столлмана осуществляется на гитхабе, мы можем проанализировать некоторые характеристики обоих сторон, используя статистические данные, которые доступны через API.

Этому помогает то, что на гитхабе затруднительно редактировать данные "задним числом" без потери новых подписей.

Следующие предположения можно проверить ("X" может быть как предложением отменить Столлмана, так и выражением его поддержки).

Читать далее
Всего голосов 171: ↑160 и ↓11+149
Комментарии110

Шедевры мирового моддинга

Время на прочтение4 мин
Количество просмотров18K
Много лет моим главным увлечением был моддинг компьютеров. Я следил за всеми новинками, помогал вести тематические ресурсы, да и сам создал несколько работ (одну из них даже можно найти на Хабре).

В результате у меня на компьютере скопилось множество материалов, в том числе и таких, которые за давностью лет пропали из интернета. Сегодня я хочу рассказать о моддинг-проектах, которые кажутся мне наиболее красивыми, оригинальными или важными для развития этой субкультуры.



Читать дальше →
Всего голосов 73: ↑72 и ↓1+71
Комментарии21

Информация

В рейтинге
3 869-й
Зарегистрирован
Активность