В данной теме мы говорим не про слабаков. :) Мой комментарий был про то, что наблюдается сильный перекос в сторону уменьшения кармы. Она и сама по себе со временем стремится к нулю, и разные группы "ранимых" имеют возможность ее заминусить по максимуму. Это влечет всякие ограничения в фунциональности сайта, и чтобы их отменить, нужно поработать на хабр. Если кратко, то смысл моего комментария был в том, что это путь в никуда. Потому что спецы разбегутся, им за идею работать не нужно. Останутся статьи вроде "Я, тимлид с могучим опытом 3 года, после выгорания осилил проект hello world. И сейчас поделюсь своим опытом, чтобы упомянуть свою компанию 10 раз." Был такой хороший проект RSDN с идеей MSDN по-русски, там тоже однажды минусить разрешили.
Вы прямым текстом говорите людям, что их проблемы — фигня, что они слабаки, и всерьез ждете, что вас будут за это по головке гладить?
А почему это плохо? Есть вероятность, что хотя бы некоторые осознают, что это не проблемы.
Прекрасно работает, я бы сказал
Я вчера сполне спокойный пост написал, обращаясь к администрации. В результате карма испытала драматические подъемы и падения. :) Потому что прибежали "комсомольцы с маузерами" и начали творить "справедливость". Остается вопрос: почему, когда похожие по ментальности деятели блокируют VPN или ресурсы в интеренетах - это плохо и вообще гулаг (комментарий в одном из сегоднящних постов), а когда это происходит с комментариями - это хорошо. Вопрос риторический, можно не отвечать, а просто минусовать. :)
Какая утрата
отвязная_it_вечеринка.jpg не приняли в банду. Мое горе тоже безгранично. :)
Саморегуляция не работает. Я создал аккаунт (после нескольких лет чтения без тяги к комментированию), немного поспорил насчет выгораний и в итоге у меня затруднен доступ к комментированию технических статей. Давайте подумаем, буду ли я стремиться что-то сделать с кармой (статьи, искометрый юмор в непрофильных темах) или уйду обратно в ридонли. :)
Снимаю вопрос. mcrouter в данном случае отвечает за репликацию, так как memcached сам это не умеет. Роутер тут совсем не тот, что выбирает мастера в master-slave репликации.
Если бы использовался redis, то я бы просто запустил реплики редиса, как сайд-контейнеры. При этом запись идет в мастер, а чтение из реплик на 127.0.0.1. Почему реализация на memcached такая сложная? Была задача сделать отказоустойчивый кэш, в котором раутер выбирает следующий мастер, если текущий мастер не отвечает? Спрашиваю, потому что не работал с memcached, но знаю похожую конфигурацию для кластера mysql.
Спасибо, теперь буду спать спокойно. Раньше не мог. Шутка. :)
Кстати, даже на стартовых тарифах у вас неплохое железо.
Version: Intel(R) Xeon(R) Gold 6240 CPU @ 2.60GHz
Voltage: 1.6 V External Clock: 100 MHz
Max Speed: 4000 MHz Current Speed: 2600 MHz
Но есть один вопрос по поводу более дорогих тарифов.
Средняя нагрузка за день на любой аппаратный ресурс Исполнителя, создаваемая Заказчиком не должна превышать одной сотой от максимальной ресурсной мощности физического сервера Исполнителя, где размещены ресурсы Заказчика.
У меня сейчас есть VPS с 6 ядрами более или менее похожего ксеона, который постоянно грузит их на 30%. Я правильно понимаю, что хостить такое у вас противоречит условиям договора?
Скажите пожалуйста, а что у вас запускается в сервисе /usr/lib/systemd/system/vpsguard.service. Зачем это в гостевой системе? :)
~/firewall# objdump -t /usr/bin/vpsguard | grep .cpp
0000000000000000 l df *ABS* 0000000000000000 /home/dhmhd/projects/vpsguard/vpsguard.cpp
000000000044cb10 l F .text 00000000000001d5 _GLOBAL__sub_I_vpsguard.cpp
0000000000000000 l df *ABS* 0000000000000000 /home/dhmhd/projects/vpsguard/Service/HandlerManager.cpp
000000000044ccf0 l F .text 0000000000000027 _GLOBAL__sub_I_HandlerManager.cpp
0000000000000000 l df *ABS* 0000000000000000 /home/dhmhd/projects/vpsguard/utils/base64.cpp
000000000044cd20 l F .text 000000000000003c _GLOBAL__sub_I_base64.cpp
0000000000000000 l df *ABS* 0000000000000000 /home/dhmhd/projects/vpsguard/hv_kvp/src/KVPPipe.cpp
000000000044cd60 l F .text 0000000000000027 _GLOBAL__sub_I_KVPPipe.cpp
0000000000000000 l df *ABS* 0000000000000000 /home/dhmhd/projects/vpsguard/hv_kvp/src/KVPWrapper.cpp
0000000000000000 l df *ABS* 0000000000000000 /home/dhmhd/projects/vpsguard/json11/json11.cpp
0000000000000000 l df *ABS* 0000000000000000 /home/dhmhd/projects/vpsguard/HappyHTTP/happyhttp.cpp
>Зная обо всех этих ужасах, вы все еще любите распределенные системы?
Только в том случае, когда распределенная система имеет преимущества. К примеру, 100% требуется масштабирование, но в момент разработки еще не совсем понятно где именно. Тогда используются всякие кубернетесы или серверлесс код в облаках.
Звучит фантастически. Думаю, что самый минимум все равно где-то в районе 3.5 USD. Я вечером включу полную ноду и проверю. В данный момент биржа Бинанс берет за вывод на биткоин адрес 0.0005 BTC, что в долларах получается 19 с копейками. Не вижу причин, почему банкоматы будут экономить на транзакциях, которые оплачивает конечный потребитель.
Лайтнинг - это вообще другая сеть. Да, можно так экономить на стоимости транзакции, но появляется проблема двойной конвертации.
Класс, когда же у нас будет так же хорошо? Ок, это шутка. :)
Теперь суровая реальность:
Стоимость более или менее быстрой транзакции в сети биткоина 15-20 американских рублей.
Оператор банкомата забирает 5% от суммы транзакции.
Эти банкоматы так же бесполезны, как и обычные банкоматы Visa/Mastercard когда-то много лет назад, когда платить картами было практически негде, но зарплата уже начислялась на счет и за снятие наличных просто дарили банку около 3%.
P.S. Время выполнения около 10 минут, сервер достиг ограничения в 860 iops. С более производительным диском запрос должен выполниться быстрее. Блокировки таблиц вроде не наблюдались, но это не 100%, так как снова смотреть логи я не осилил.
Интересная тема, но есть пара концептуальных замечаний. Проблема одной таблицы с высокой нагрузкой в том, что приходится искать компромисс между скоростью вставки и выборки. В моем проекте есть таблицы, оптимизированные для вставки и для чтения. Переброска данных осуществляется по крону, в mysql есть для этих целей EVENT. Таким образом, есть возможность конфигурировать для разных таблиц разные диски (ssd/hdd) и теоретически онлайн миграция может быть с небольшим количеством ограничений: сначала миграция таблицы для записи и эвента, после копирование таблицы для чтения и любая по длительности миграция. Теоретически - это потому, что практически у меня kubernetes и при миграции поднимается новый инстанс базы с новой версией базы, на которой копия актуальной базы подвеглась миграции. При старте нового инстанса остается только синхронизировать данные с момента снятия дампа старой базы.
Но, обратно к теме онлайна:
На тестовом сервере есть две таблицы executed_orders_0 и executed_orders_1. №1 содержит 42 милиона записей, №0 какое-то количество сделок на бирже за последние 2 минуты. Это все на диске занимает приблизительно 6Гб, mysql ограничен по ресурсам на 2 ядра и 1.4Гб памяти, чтобы более или менее эмулировать raspberry pi 4, на котором работает релизная сборка.
alter table executed_orders_1 add column test int, ALGORITHM=INSTANT; выполняется 0.218 секунды.
alter table executed_orders_1 drop column test, ALGORITHM=INPLACE, LOCK=NONE; выполняется 679.312 секунд. Графана показывает полную загрузку 1 ядра и 700 iops на диске.
Я так побаловался пару раз с add/drop и телеметрия трех микросервисов, которые пишут в базу не показала никаких проблем со скоростью записи. В логах сервера тоже никаких проблем с эвентом, который перебрасывает записи из одной таблицы в другую. Думаю, что это все будет работать и с прямым чтением/записью единственной таблицы.
Да, есть такое. Но это интересно только первых N лет. :) Кроме этого, существует ловушка "специалиста по древним фрэймворкам", т.е. отставание от в данный момент модных на рынке технологий. А всячески выделываться на работе (любовь/ненависть, в общем предмет этой темы) могут позволить себе только очень востребованные на рынке труда специалисты.
>А сколько Вам лет на самом деле, осмелюсь спросить?
При "надергивании" можно было заметить, что я помню Советский Союз. Достаточно лет, чтобы помнить, как в былые времена работали, чтобы ... (тут любой лозунг).
>Вы формулируете очень поверхностно и не точно, имхо. Взрослый цинизм, который Вы приписываете себе, не так прост.
Зачем же все усложнять? Я продаю 8 часов своего рабочего времени, работодатель их покупает. В сделку не входит любовь, ненависть и попытки воодушевить на трудовые подвиги. Как только какую-либо сторону перестанут устраивать какие-либо моменты, контракт прекратит свое действие. Кто-кого любит, терпит или ненавидит особого значения не имеет.
>В контексте ненависти невозможно мириться с объектом чувства. Далее. "Было бы странно любить..." - а что, это Вы вот так по-бытовому (от любви до ненависти один шаг)?
Можно мириться "с объектом чувства". Я же не зря приводил примеры увлекательных профессий типа шахтера. Если это единственный вариант в регионе получать достойную зарплату, то чуства по отношении к работе не имеют никакого значения.
>Но речь идет о "любви" несколько другого рода, здесь, очевидно, имеется в виду личный неослабевающий интерес, вовлечённость во что-либо. И противоположность тут - отчужденность, а не ненависть.
Личный интерес необходим для профессионального развития. И тут вполне есть место для настоящей ненависти, когда в интересах бизнеса приходится пилить легаси. И наблюдать, как "проект будущего" пытаются кое-как слепить крайне некомпетентные люди. Или когда человеку из твоего отдела, который вполне героически поработал над какой-то древней дрянью что принесли прибыль - хрен, а не прибавку к запрлате. Зато потратить 2 его годовые запрлаты на контрактного пустышку "архитектора" - это мы мигом.
>Вы с такой непосредственностью боитесь, что Вас кто-то (а кто?) зачислит в "слабаки", что позволяете себе уничижительно говорить о людях, таких же, как Вы. Понятие "нормы" в данном случае - фикция и совершенно очевидная психологическая защита (от чего?).
Рисовать психологические портреты тут явно лишнее. :) Да, я уничтожительно отозвался о выгорающих нытиках. Да, мне не нравится, что их не бьют палкой как еще каких-то 200 лет назад, а пытаются понять и даже лечить. Если тут это норма, то механизм понижения "кармы" вполне поможет "нормальным" избавиться от инакомыслия (на какое то время).
>Ну, и денежки, наконец. Формулировка точна? Именно деньги сами по себе приносят радость (это тоже довольно эмоциональное чувство)? Вы, извините, как-то по-особому умеете их готовить? Оклеиваете ими стены?
В сутках 8 часов на работу, 8 часов на сон. Деньги позволяют проводить оставшиеся 8 часов + выходные в собственное удовольствие. Собственно, ради этого и приходится ходить на работу. Почему я должен объяснять очевидные вещи?
>Или это тоже некая стенка, которую Вы ставите перед собой для самооправдания (от чего?). Что гложет Вас?
У меня все более чем хорошо. А что гложет Вас? В интернете кто-то опять не прав и богохульствует в адрес религии "мы, офисные хомячки - выгораем до тла!"?
Выгорание - для слабаков. Нормальный человек может заработать проблемы со здоровьем от перенапряжения, после чего отдохнуть и восстановиться. Но опустить лапки вниз и потерять интерес ко всему в жизни - это прямой путь к дарвиновскому эволюционному отбору. Очень зря, что в современном мире он работает все хуже и хуже.
Согласно исследованиям "британских ученых"? Ненависть - это не обязательно простоянно биться в истерике. Она бывает и холодная. Например, есть огромный проект с кодовой базой 20 летней давности. Было бы странно любить в этом копаться, когда требуется что-то добавить или исправить.
Работа была в радость при социализме. Потом, в 90е, я приобрел отличную порцию цинизма. Так что теперь капитализм, и радость приносят деньги, а не сам процесс работы. ;)
>Чтобы вам никогда не пришлось узнать, каково это — ненавидеть свою работу
Не вижу ничего плохого в том, чтобы ненавидеть свою работу. Если она оплачивается на достойном уровне, то цель походов в офис достигнута и все в порядке. Не о чем говорить, "выгоревших" лечить путевкой на металургический завод или шахту!
В данной теме мы говорим не про слабаков. :) Мой комментарий был про то, что наблюдается сильный перекос в сторону уменьшения кармы. Она и сама по себе со временем стремится к нулю, и разные группы "ранимых" имеют возможность ее заминусить по максимуму. Это влечет всякие ограничения в фунциональности сайта, и чтобы их отменить, нужно поработать на хабр. Если кратко, то смысл моего комментария был в том, что это путь в никуда. Потому что спецы разбегутся, им за идею работать не нужно. Останутся статьи вроде "Я, тимлид с могучим опытом 3 года, после выгорания осилил проект hello world. И сейчас поделюсь своим опытом, чтобы упомянуть свою компанию 10 раз." Был такой хороший проект RSDN с идеей MSDN по-русски, там тоже однажды минусить разрешили.
А почему это плохо? Есть вероятность, что хотя бы некоторые осознают, что это не проблемы.
Я вчера сполне спокойный пост написал, обращаясь к администрации. В результате карма испытала драматические подъемы и падения. :) Потому что прибежали "комсомольцы с маузерами" и начали творить "справедливость". Остается вопрос: почему, когда похожие по ментальности деятели блокируют VPN или ресурсы в интеренетах - это плохо и вообще гулаг (комментарий в одном из сегоднящних постов), а когда это происходит с комментариями - это хорошо. Вопрос риторический, можно не отвечать, а просто минусовать. :)
отвязная_it_вечеринка.jpg не приняли в банду. Мое горе тоже безгранично. :)
Саморегуляция не работает. Я создал аккаунт (после нескольких лет чтения без тяги к комментированию), немного поспорил насчет выгораний и в итоге у меня затруднен доступ к комментированию технических статей. Давайте подумаем, буду ли я стремиться что-то сделать с кармой (статьи, искометрый юмор в непрофильных темах) или уйду обратно в ридонли. :)
Снимаю вопрос. mcrouter в данном случае отвечает за репликацию, так как memcached сам это не умеет. Роутер тут совсем не тот, что выбирает мастера в master-slave репликации.
Если бы использовался redis, то я бы просто запустил реплики редиса, как сайд-контейнеры. При этом запись идет в мастер, а чтение из реплик на 127.0.0.1. Почему реализация на memcached такая сложная? Была задача сделать отказоустойчивый кэш, в котором раутер выбирает следующий мастер, если текущий мастер не отвечает? Спрашиваю, потому что не работал с memcached, но знаю похожую конфигурацию для кластера mysql.
Спасибо, теперь буду спать спокойно. Раньше не мог. Шутка. :)
Кстати, даже на стартовых тарифах у вас неплохое железо.
Но есть один вопрос по поводу более дорогих тарифов.
У меня сейчас есть VPS с 6 ядрами более или менее похожего ксеона, который постоянно грузит их на 30%. Я правильно понимаю, что хостить такое у вас противоречит условиям договора?
Скажите пожалуйста, а что у вас запускается в сервисе /usr/lib/systemd/system/vpsguard.service. Зачем это в гостевой системе? :)
Всегда считал, что цена транзикции биткоина и эфира более менее одинаковая. Признаю, что был не прав и честно заблуждался. :)
>Зная обо всех этих ужасах, вы все еще любите распределенные системы?
Только в том случае, когда распределенная система имеет преимущества. К примеру, 100% требуется масштабирование, но в момент разработки еще не совсем понятно где именно. Тогда используются всякие кубернетесы или серверлесс код в облаках.
Звучит фантастически. Думаю, что самый минимум все равно где-то в районе 3.5 USD. Я вечером включу полную ноду и проверю. В данный момент биржа Бинанс берет за вывод на биткоин адрес 0.0005 BTC, что в долларах получается 19 с копейками. Не вижу причин, почему банкоматы будут экономить на транзакциях, которые оплачивает конечный потребитель.
Лайтнинг - это вообще другая сеть. Да, можно так экономить на стоимости транзакции, но появляется проблема двойной конвертации.
Класс, когда же у нас будет так же хорошо? Ок, это шутка. :)
Теперь суровая реальность:
Стоимость более или менее быстрой транзакции в сети биткоина 15-20 американских рублей.
Оператор банкомата забирает 5% от суммы транзакции.
Эти банкоматы так же бесполезны, как и обычные банкоматы Visa/Mastercard когда-то много лет назад, когда платить картами было практически негде, но зарплата уже начислялась на счет и за снятие наличных просто дарили банку около 3%.
P.S. Время выполнения около 10 минут, сервер достиг ограничения в 860 iops. С более производительным диском запрос должен выполниться быстрее. Блокировки таблиц вроде не наблюдались, но это не 100%, так как снова смотреть логи я не осилил.
Судя по документации, foreign key поддерживается с ALGORITHM=INPLACE
MySQL :: MySQL 8.0 Reference Manual :: 15.12.1 Online DDL Operations
А на
alter table executed_orders_1 add constraint test_c check (test is null) enforced, ALGORITHM=COPY;
сервер крепко задумался, скорее всего будет выполняться те же 10 минут, если не дольше.
Интересная тема, но есть пара концептуальных замечаний. Проблема одной таблицы с высокой нагрузкой в том, что приходится искать компромисс между скоростью вставки и выборки. В моем проекте есть таблицы, оптимизированные для вставки и для чтения. Переброска данных осуществляется по крону, в mysql есть для этих целей EVENT. Таким образом, есть возможность конфигурировать для разных таблиц разные диски (ssd/hdd) и теоретически онлайн миграция может быть с небольшим количеством ограничений: сначала миграция таблицы для записи и эвента, после копирование таблицы для чтения и любая по длительности миграция. Теоретически - это потому, что практически у меня kubernetes и при миграции поднимается новый инстанс базы с новой версией базы, на которой копия актуальной базы подвеглась миграции. При старте нового инстанса остается только синхронизировать данные с момента снятия дампа старой базы.
Но, обратно к теме онлайна:
На тестовом сервере есть две таблицы executed_orders_0 и executed_orders_1. №1 содержит 42 милиона записей, №0 какое-то количество сделок на бирже за последние 2 минуты. Это все на диске занимает приблизительно 6Гб, mysql ограничен по ресурсам на 2 ядра и 1.4Гб памяти, чтобы более или менее эмулировать raspberry pi 4, на котором работает релизная сборка.
alter table executed_orders_1 add column test int, ALGORITHM=INSTANT; выполняется 0.218 секунды.
alter table executed_orders_1 drop column test, ALGORITHM=INPLACE, LOCK=NONE; выполняется 679.312 секунд. Графана показывает полную загрузку 1 ядра и 700 iops на диске.
Я так побаловался пару раз с add/drop и телеметрия трех микросервисов, которые пишут в базу не показала никаких проблем со скоростью записи. В логах сервера тоже никаких проблем с эвентом, который перебрасывает записи из одной таблицы в другую. Думаю, что это все будет работать и с прямым чтением/записью единственной таблицы.
Да, есть такое. Но это интересно только первых N лет. :) Кроме этого, существует ловушка "специалиста по древним фрэймворкам", т.е. отставание от в данный момент модных на рынке технологий. А всячески выделываться на работе (любовь/ненависть, в общем предмет этой темы) могут позволить себе только очень востребованные на рынке труда специалисты.
>А сколько Вам лет на самом деле, осмелюсь спросить?
При "надергивании" можно было заметить, что я помню Советский Союз. Достаточно лет, чтобы помнить, как в былые времена работали, чтобы ... (тут любой лозунг).
>Вы формулируете очень поверхностно и не точно, имхо. Взрослый цинизм, который Вы приписываете себе, не так прост.
Зачем же все усложнять? Я продаю 8 часов своего рабочего времени, работодатель их покупает. В сделку не входит любовь, ненависть и попытки воодушевить на трудовые подвиги. Как только какую-либо сторону перестанут устраивать какие-либо моменты, контракт прекратит свое действие. Кто-кого любит, терпит или ненавидит особого значения не имеет.
>В контексте ненависти невозможно мириться с объектом чувства. Далее. "Было бы странно любить..." - а что, это Вы вот так по-бытовому (от любви до ненависти один шаг)?
Можно мириться "с объектом чувства". Я же не зря приводил примеры увлекательных профессий типа шахтера. Если это единственный вариант в регионе получать достойную зарплату, то чуства по отношении к работе не имеют никакого значения.
>Но речь идет о "любви" несколько другого рода, здесь, очевидно, имеется в виду личный неослабевающий интерес, вовлечённость во что-либо. И противоположность тут - отчужденность, а не ненависть.
Личный интерес необходим для профессионального развития. И тут вполне есть место для настоящей ненависти, когда в интересах бизнеса приходится пилить легаси. И наблюдать, как "проект будущего" пытаются кое-как слепить крайне некомпетентные люди. Или когда человеку из твоего отдела, который вполне героически поработал над какой-то древней дрянью что принесли прибыль - хрен, а не прибавку к запрлате. Зато потратить 2 его годовые запрлаты на контрактного пустышку "архитектора" - это мы мигом.
>Вы с такой непосредственностью боитесь, что Вас кто-то (а кто?) зачислит в "слабаки", что позволяете себе уничижительно говорить о людях, таких же, как Вы. Понятие "нормы" в данном случае - фикция и совершенно очевидная психологическая защита (от чего?).
Рисовать психологические портреты тут явно лишнее. :) Да, я уничтожительно отозвался о выгорающих нытиках. Да, мне не нравится, что их не бьют палкой как еще каких-то 200 лет назад, а пытаются понять и даже лечить. Если тут это норма, то механизм понижения "кармы" вполне поможет "нормальным" избавиться от инакомыслия (на какое то время).
>Ну, и денежки, наконец. Формулировка точна? Именно деньги сами по себе приносят радость (это тоже довольно эмоциональное чувство)? Вы, извините, как-то по-особому умеете их готовить? Оклеиваете ими стены?
В сутках 8 часов на работу, 8 часов на сон. Деньги позволяют проводить оставшиеся 8 часов + выходные в собственное удовольствие. Собственно, ради этого и приходится ходить на работу. Почему я должен объяснять очевидные вещи?
>Или это тоже некая стенка, которую Вы ставите перед собой для самооправдания (от чего?). Что гложет Вас?
У меня все более чем хорошо. А что гложет Вас? В интернете кто-то опять не прав и богохульствует в адрес религии "мы, офисные хомячки - выгораем до тла!"?
Выгорание - для слабаков. Нормальный человек может заработать проблемы со здоровьем от перенапряжения, после чего отдохнуть и восстановиться. Но опустить лапки вниз и потерять интерес ко всему в жизни - это прямой путь к дарвиновскому эволюционному отбору. Очень зря, что в современном мире он работает все хуже и хуже.
Согласно исследованиям "британских ученых"? Ненависть - это не обязательно простоянно биться в истерике. Она бывает и холодная. Например, есть огромный проект с кодовой базой 20 летней давности. Было бы странно любить в этом копаться, когда требуется что-то добавить или исправить.
Работа была в радость при социализме. Потом, в 90е, я приобрел отличную порцию цинизма. Так что теперь капитализм, и радость приносят деньги, а не сам процесс работы. ;)
>Чтобы вам никогда не пришлось узнать, каково это — ненавидеть свою работу
Не вижу ничего плохого в том, чтобы ненавидеть свою работу. Если она оплачивается на достойном уровне, то цель походов в офис достигнута и все в порядке. Не о чем говорить, "выгоревших" лечить путевкой на металургический завод или шахту!