Вот реально, только расслабился и опять по новой! Только отвык руками иксы конфигурить с кучей настроек и держать отдельные профайлы, а тут с другого бока засада :(
Спасибо, что поправили. Неудачно попытался избежать узкого термина. Конечно, в рамках партиции, т.к. в рамках группы (в терминах Кафки) не может быть очередности в силу природы топика
К сожалению, считается, что ИТ - это молодая и уникальная область. И этот миф культивируется уже который десяток лет, что позволяет иметь постоянный заработок. 99% автоматизируемых задач просто копирует человеческое поведение и решение, чаще всего не инженерное и не оптимальное, а в лоб. Даже ребят с инженерных специальностей и прикладным опытом это быстро расхолаживает.
Наверное, единственная вменяемая статья за все годы существования Аджаил. Обычно все сводится к "Вы неправильно его готовите, мы сейчас вам все расскажем и Фсё будет Аджаил!" И он наступает, полный Аджаил! Чаще всего сталкиваешься с тем, что нет ни готовности ни желания ни понимания, да и необходимости, т.к. проблема в другом, но обещали это поможет.
У вас 48 ядер. Количество активных запросов - ~1000 (я на MySQL видел 24 ядра и 4,5+ тыс активных запросов, обнулили кэши nginx на нагруженном проекте, как же давно это было!). У вас в подобной ситуации запросы за процессорные такты будут драться, а не за блокировки.
Ой, и правда, аж вспомнился 2001 год! У меня друг работал на MySQL, писал ядро и тестировали вместе. Пробовали тогда и на винде и линуксе и фре и полуоси... Упиралось всё в ОС. Самое интересно было на Win NT4: операционка честно открывала сокеты "сколько хотел", но после 1000 открытых только этим и занималась, а на остальное не реагировала. На FreeBSD вообще никаких проблем, только сразу настройки подтюнить и нормально и 5К на 4 ядрах держала. С линухом ядро пересобирали, но тоже такого же результата добились.
Вот именно. Кто платит - тот и заказывает музыку. А все промежуточные звенья вторичны. Но как раз тот же СЕО может не до конца или вообще не видеть ценность этих данных. И не потому, что он тупой, а потому, что эти данные реально не имеют ценности для бизнеса, а являются чьей-то хотелкой для распила денег на среднем уровне.
Живой пример. Одна контора ежегодно платит крупной аудиторской фирме за формирование гос. отчетности круглую сумму. Отчеты с технической точки зрения абсолютно несложные. Менеджер среднего звена выступает с предложением сделать собственное решение и формировать отчеты самостоятельно. Мы реализуем проект. Проходит демонстрация на ура. Компания ежегодно может сэкономить солидную сумму. Менеджер осваивает бюджет в рамках дозволенного и идет на повышение. Все довольны. Продакшн. Следующая версия и т.д.
Через 3 месяца все сворачивается: возвращаем все назад! С точки зрения бизнеса и компании никакого выигрыша нет, т.к. свое решение требует поддержки, а отказ от части услуг аудиторской фирмы грозит имиджевыми издержками.
Конечный владелец есть всегда бизнес, а не средние прослойки. Многие отчеты среднего звена делаются "для галочки" или красивых графиков для презентаций, но не влияющих ни на что.
DWH не имеет смысл без целевой аудитории. Да, есть подход: "Давайте все подряд хранить (с непонятным качеством), а потом разберемся". Но это помойка, а не хранилище данных.
Недавно был наглядный пример с битой по кошельку. При заливке данных в дата сервис из Oracle в MSSQL терялась точность. Т.к. контора была крупная и количество нулей в цифрах было внушительным набегало ощутимо. В отчетности этого сразу и не увидеть, т.к. все думали, что таких "косяков" в 21 веке не должно быть. Но выявили именно на интеграционных тестах разработчики. Скандал знатный был!
Редко встретишь отдельный Data Quality слой. За это, прям, низкий поклон. В одной очень толстой конторе на меня смотрели как на умалишенного только за предложение, хотя бы проверить качество данных и соответствие их требованиям, не говоря уже за полный контроль и автоматизацию проверки.
Честно говоря, странно, что вплоть до 2022 года были архитектура и решения из 90х. Прям жалко, что столько тратилось средств и ресурсов впустую. Хорошо, что вы пришли к взвешенному решению. Удачи и успехов!
Я в году 2003 решил поменять материнку. Начитался и выбрал одну от Gigabyte в ту пору хороший середнячок. После работы решил все собрать. Благо ночь впереди, если что. Как раз входил новый сокет на проц и дополнительное питание. Собрал, включаю..., а тишина! Аж в пот пробило. Давай разбираться. Тогда ещё шла схема в комплекте. Смотрю на схеме доп питание полярность одна, а на плате зеркальная! Перепроверил несколько раз. Уж думал разучился читать схемы. И доп питание распаяно ж тоже наоборот! Короче, в штекере перебрасываю плюс-минус, включаю - все работает!
Почти через год случается КЗ в квартире, что снимал, проводка дрянь была. Ну, и мамка вылетела, благо на гарантии. Понёс в контору на удачу. Они даже не удивились: вон в углу их по гарантии целая пачка - не заводятся! Показываю в чем причина. Не верят. Пробуем тут же, перебрасывает плюс-минус. Все работает! Мужики мне и мамку северную вместо этой поменяли и видяху прошную в полцены продали. Они всю партию потом нормально реализовали. Получается была ошибка на плате.
Исправьте в тексте. Это достаточно критично в некоторых случаях. Например, Kafka, не меняет порядок сообщений, тогда как JMS поддерживает приоритезацию, которая меняет порядок сообщений.
В Линуксе, а потом и в Винде пользуюсь виртуальными экранами для организации отдельных окружения. Например, 1й - почта и подобное., 2й - разработка, 3й- мониторинг и т.д.
В KDE есть отдельные комнаты там помимо разделения задач можно сохранять и настраивать весь сеанс и иконки и все остальное. На самом деле, инструменты есть, но редко кто "заморачивается", хочется чтоб в е само как-то
Как начинаешь новый frontend проект, так начинается все сначала: какие папки, как назвать, что такое компонент, слой, фича и т.д. и т.п. В одном проекте это согласование заняло около месяца! Уже бэк успели сделать, а все шли дебаты.
Общие компоненты, по-хорошему, должны быть внесены в отдельный репозитой и подтягиваться отдельным артефактом. Если вы положили что-то в определённую папку, это не значит, что это стало тем, что предполагалось помещать в эту папку.
Мы же предлагаем строить приложения более прямолинейно, как мы все привыкли, вокруг Интерфейсов.
Самое смешное, такого же принципа, часто придерживаются UX-дизайнеры. И получается, если нужно сделать принципиально новый дизайн и разработать новый поход, компоненты и прочее, то все в ступоре, т.к. такого никто не делал и интерфейса ещё в природе нет. А плясать нужно от бизнеса, от природы вещей - сущностей. А сущности могу не иметь UI отображения и тогда совсем беда...
Вот реально, только расслабился и опять по новой! Только отвык руками иксы конфигурить с кучей настроек и держать отдельные профайлы, а тут с другого бока засада :(
Спасибо за статью и готовое решение для стресс-тестирования. Очень важно, что база работает, но очень медленно. Хорошая эмуляция!
Спасибо, что поправили. Неудачно попытался избежать узкого термина. Конечно, в рамках партиции, т.к. в рамках группы (в терминах Кафки) не может быть очередности в силу природы топика
В рамках группы она была всегда.
К сожалению, считается, что ИТ - это молодая и уникальная область. И этот миф культивируется уже который десяток лет, что позволяет иметь постоянный заработок. 99% автоматизируемых задач просто копирует человеческое поведение и решение, чаще всего не инженерное и не оптимальное, а в лоб. Даже ребят с инженерных специальностей и прикладным опытом это быстро расхолаживает.
Наверное, единственная вменяемая статья за все годы существования Аджаил. Обычно все сводится к "Вы неправильно его готовите, мы сейчас вам все расскажем и Фсё будет Аджаил!" И он наступает, полный Аджаил! Чаще всего сталкиваешься с тем, что нет ни готовности ни желания ни понимания, да и необходимости, т.к. проблема в другом, но обещали это поможет.
Ой, и правда, аж вспомнился 2001 год! У меня друг работал на MySQL, писал ядро и тестировали вместе. Пробовали тогда и на винде и линуксе и фре и полуоси... Упиралось всё в ОС. Самое интересно было на Win NT4: операционка честно открывала сокеты "сколько хотел", но после 1000 открытых только этим и занималась, а на остальное не реагировала. На FreeBSD вообще никаких проблем, только сразу настройки подтюнить и нормально и 5К на 4 ядрах держала. С линухом ядро пересобирали, но тоже такого же результата добились.
Сижу на openSuse с 10 версии. Не хотелось бы, чтоб проект закрылся!
Во многих базах количество строк хранится в метаинформации таблицы и действительно такие запросы оптимизируются до возврата значения переменной
Вот именно. Кто платит - тот и заказывает музыку. А все промежуточные звенья вторичны. Но как раз тот же СЕО может не до конца или вообще не видеть ценность этих данных. И не потому, что он тупой, а потому, что эти данные реально не имеют ценности для бизнеса, а являются чьей-то хотелкой для распила денег на среднем уровне.
Живой пример. Одна контора ежегодно платит крупной аудиторской фирме за формирование гос. отчетности круглую сумму. Отчеты с технической точки зрения абсолютно несложные. Менеджер среднего звена выступает с предложением сделать собственное решение и формировать отчеты самостоятельно. Мы реализуем проект. Проходит демонстрация на ура. Компания ежегодно может сэкономить солидную сумму. Менеджер осваивает бюджет в рамках дозволенного и идет на повышение. Все довольны. Продакшн. Следующая версия и т.д.
Через 3 месяца все сворачивается: возвращаем все назад! С точки зрения бизнеса и компании никакого выигрыша нет, т.к. свое решение требует поддержки, а отказ от части услуг аудиторской фирмы грозит имиджевыми издержками.
Конечный владелец есть всегда бизнес, а не средние прослойки. Многие отчеты среднего звена делаются "для галочки" или красивых графиков для презентаций, но не влияющих ни на что.
DWH не имеет смысл без целевой аудитории. Да, есть подход: "Давайте все подряд хранить (с непонятным качеством), а потом разберемся". Но это помойка, а не хранилище данных.
Недавно был наглядный пример с битой по кошельку. При заливке данных в дата сервис из Oracle в MSSQL терялась точность. Т.к. контора была крупная и количество нулей в цифрах было внушительным набегало ощутимо. В отчетности этого сразу и не увидеть, т.к. все думали, что таких "косяков" в 21 веке не должно быть. Но выявили именно на интеграционных тестах разработчики. Скандал знатный был!
Редко встретишь отдельный Data Quality слой. За это, прям, низкий поклон. В одной очень толстой конторе на меня смотрели как на умалишенного только за предложение, хотя бы проверить качество данных и соответствие их требованиям, не говоря уже за полный контроль и автоматизацию проверки.
Честно говоря, странно, что вплоть до 2022 года были архитектура и решения из 90х. Прям жалко, что столько тратилось средств и ресурсов впустую. Хорошо, что вы пришли к взвешенному решению. Удачи и успехов!
Ой, за логи в бинарниках прям отдельный котёл в аду!
Так, systemd уже тоже, типа, не модно и появилось куча своего чуть ли не в каждом дистрибутиве.
А если дальше по размышлять, то все лямбды - это хорошо забытое старое, например, программы на меинфреймах.
Ой, вы так изящно ругаетесь! Инлайн, макросы!..
Тут недавно за инлайн отмотивировали, т.к. читабельность падает.
А макросы, блоки кода и т.п. это ж скакать по коду нужно, а то и в другой файл!
К сожалению, уже и схему выбросил недавно, бумажки разбирал. Так хоть что-то было бы.
Я в году 2003 решил поменять материнку. Начитался и выбрал одну от Gigabyte в ту пору хороший середнячок. После работы решил все собрать. Благо ночь впереди, если что. Как раз входил новый сокет на проц и дополнительное питание. Собрал, включаю..., а тишина! Аж в пот пробило. Давай разбираться. Тогда ещё шла схема в комплекте. Смотрю на схеме доп питание полярность одна, а на плате зеркальная! Перепроверил несколько раз. Уж думал разучился читать схемы. И доп питание распаяно ж тоже наоборот! Короче, в штекере перебрасываю плюс-минус, включаю - все работает!
Почти через год случается КЗ в квартире, что снимал, проводка дрянь была. Ну, и мамка вылетела, благо на гарантии. Понёс в контору на удачу. Они даже не удивились: вон в углу их по гарантии целая пачка - не заводятся! Показываю в чем причина. Не верят. Пробуем тут же, перебрасывает плюс-минус. Все работает! Мужики мне и мамку северную вместо этой поменяли и видяху прошную в полцены продали. Они всю партию потом нормально реализовали. Получается была ошибка на плате.
Исправьте в тексте. Это достаточно критично в некоторых случаях. Например, Kafka, не меняет порядок сообщений, тогда как JMS поддерживает приоритезацию, которая меняет порядок сообщений.
В Линуксе, а потом и в Винде пользуюсь виртуальными экранами для организации отдельных окружения. Например, 1й - почта и подобное., 2й - разработка, 3й- мониторинг и т.д.
В KDE есть отдельные комнаты там помимо разделения задач можно сохранять и настраивать весь сеанс и иконки и все остальное. На самом деле, инструменты есть, но редко кто "заморачивается", хочется чтоб в е само как-то
Как начинаешь новый frontend проект, так начинается все сначала: какие папки, как назвать, что такое компонент, слой, фича и т.д. и т.п. В одном проекте это согласование заняло около месяца! Уже бэк успели сделать, а все шли дебаты.
Общие компоненты, по-хорошему, должны быть внесены в отдельный репозитой и подтягиваться отдельным артефактом. Если вы положили что-то в определённую папку, это не значит, что это стало тем, что предполагалось помещать в эту папку.
Самое смешное, такого же принципа, часто придерживаются UX-дизайнеры. И получается, если нужно сделать принципиально новый дизайн и разработать новый поход, компоненты и прочее, то все в ступоре, т.к. такого никто не делал и интерфейса ещё в природе нет. А плясать нужно от бизнеса, от природы вещей - сущностей. А сущности могу не иметь UI отображения и тогда совсем беда...