Спасибо. Отличный пример, как на десктопных SSD 30 000 IOPS превращается в 500. У серверных тоже есть просадка раза в 3, но за счет конденсатора они жульничают с flush.
Спецификация SSD верить можно, просто они снимаются без flush на диск (ну или с неизвестной очередностью flush). И почему вы тогда берете random IOPS? Берите последовательный, чего мелочиться, запись ведь в лог транзакций последовательная (кстати, почему вы решили, что СУБД в журнал пишет по 4k, раз сравниваете IOPS с random 4k?) А потом возьмите fio и проверьте скорость последовательной записи при flush после каждой операции. Удивитесь, что IOPS не походит ни на random ни на sequence.
Потом можно еще раз подумать и понять, что запись на самом деле не случайная и не последовательная, а ее профиль вообще говоря от нагрузки зависит и тогда придет понимание, что и бенчмарк на левой базе не даст вам точные значения по которым вы сможете количественные выводы делать, а в лучшем случае приблизительные, которые можно ожидать, если у вас будет на реальной базе схожая нагрузка, чем и в той ситуации, с которой вы сравниваете.
В итоге: проводите бенчмарки реальных баз, тогда вы и получите конкретные цифры производительности, а синтетика не про точные цифры, а про поведение при различных профилях нагрузки на конкретном оборудовании.
Тезис, что вы не уперлись в жесткий диск не обоснован.
Его легко проверить: поставьте optane или даже ramdisk и проведите тест еще раз, если есть существенное ускорение, значит в диск вы все-таки уперлись.
Поясню, почему ваши выводы про диск преждевременны.
1. Если система не работает быстро, значит она где-то имеет бутылочное горлышко, оно может быть в процессоре, шине, памяти, диске.
2. То, что показывает вам система как уровень нагрузки не обязано означать то, что вы думаете. На самом деле вы не знаете, что значит загрузка 100% (как и я, кстати).
3. Производительность SSD сильно зависит использует ли по direct-запись. Сброс же кеша (не который SQL flash, а который дисковый flash) оказывает катастрофическое воздействие на скорость SSD, так как SSD без сброса кеша сразу рапартует, что типа он записал, но по факту гарантия записи будет только по flash на SSD.
4. ПО баз данных хочет быть уверено, что все записалось, поэтому часто делает flash на дисковую систему.
5. Так как flash делается часто, а запись последовательная, ни о каких 20-30 тыс. random IOPS не может быть и речи.
6. У вас диски не напрямую в сервер воткнуты, а через хранилку, хранилка может иметь собственную логику обработки flash с собственными кешами и как она работает конкретно в вашем случае - не известно.
7. Скачки в IOPS на графике с записью журнала однозначно говорят, что есть корреляция и видимо какой-то периодически запускающийся процесс. Но нет причин утверждать только лишь из графика, что диск не нагружен. Положим профиль нагрузки такой: запиши 16к, сделать flash, долго ждать flash, запиши 16k... так как это последовательная запись в журнал, она будет долгой, так как латентность из-за flash каждой записи большая, но вот только накопитель у вас на 100% при этом не нагружен! Вы бы могли параллельно еще сделать 10 очередей и производительность выросла бы (так как SSD свою пиковую производительность показывают на большом количестве очередей, а на одной очереди она обычно 50-100МБ/c).
8. Если бы база данных могла писать не последовательно в журнал, а параллельно в несколько потоков, то производительность была бы выше, но база данных так не умеет.
9. Ну и наконец, график загрузки ясно говорит, что основное время занимает запись в журнал, процессор не нагружен а значит вариантов где может быть затык остается не сильно много, ага?
В качестве вывода: да, большое количество запросов на запись отрицательно сказывается на скорости этой записи, здесь можно ускоряться, но на самом деле причина такой работы находится в архитектуре СУБД, которая до сих пор оптимизирована для работы с жесткими дисками и пишет в журнал с частыми flash-ами.
Microsoft официально ушла из России. С точки зрения Microsoft купить легально Windows в России нельзя и можно столкнуться с блокировкой обновлений Windows и масштабными взломами непатченной Windows через пару лет.
Linux же не заявлял об уходе из России, а лицензия GPLv2 в принципе не предполагает географических ограничений и чтобы ограничить распространение Linux в России надо договориться со всеми разработчиками Linux без исключения о перелицензировании Linux.
В общем, даже в Северной Корее есть Linux. И мы сможем.
Минцифры целенаправленно ведет к отечественному стеку, пусть и неспешно. Если раньше мотивировать необходимость поддерживать Linux было сложно, то в связи с уходом Microsoft из России стало намного проще.
Решение Минцифры я скорее поддерживаю. Если часть разработчиков не сможет выпустить ПО под Linux - ничего страшного не случится, просто будут 20% НДС платить и обоснование при госзакупках писать.
Почему бы не сделала? Вот как раз и читал, что продала производителю сетевого оборудования, под которое Atom недавно выпустили. Но может, конечно, вброс был. Сейчас не смог найти источник.
Если раньше Atom ассоциировался с жутики тормозами, Celeron - с тормозами, но не жуткими, Pentium - с уже можно как-то жить, то теперь будет просто "Intel Processor".
- Какой процессор? - Intel Processor!
С маркетинговой точки зрения ход может и понятный, но если пользователь будет недоволен скоростью "Intel Processor", то это ударит по бренду.
Atom (где-то читал) продали, может надо было просто убрать Celeron, а Pentium оставить.
Наверное лучше сказать так: некоторые могут зарабатывать в разы больше оклада за счет грантов и хоздоговоров.
Но зарабатывать в разы больше может не каждый, не только по причинам личных навыков, но и просто госгрантовые фонды вполне себе ограниченные "на всех не хватит!" (с). Зарабатывать на стороне на НИРах тоже могут не все. Например это будет очень сложно всем кто в фундаментальных областях специализируется и гуманитариям не так просто.
Ну и грантовые доходы в этом году есть, а весь следующий - нет. Отсюда не так просто расходы планировать.
На сколько я понимаю, в Союзе не было подушевого финансирования. То есть отчисляя студента вуз не терял денег. А тянули товарища не из-за денег, а "оступиться может каждый" и "на хорошем счету". Если бы не был на хорошем счету, то может и не стали бы помогать сохранить карьерный трек инженера.
МФТИ - лидирующий вуз, высасывающий способных студентов со всей страны и имеющий мало студентов на одного преподавателя (то есть хорошее финансирование на студента) для подготовки "интеллектуальной элиты". В нем в принципе многие вещи работают лучше, чем у других в силу более мотивированных студентов.
Также у МФТИ неплохие показатели по деньгам, которые он (его сотрудники) зарабатывают по хоздоговорной работе.
А что, мужчину бы не нагрузили преподаванием, работать над диссером ему надо меньше и т.д.?
Я с девушкой совершенно согласен: если ты хочешь в ученые/исследователи, то аспирантура - ок, если не хочешь, то не стоит туда идти, она не повысит твою конкурентоспособность на рынке труда, а понизит. Причем аспирантам не поясняют последствия выбора.
Поясню, почему понизит.
Работодатель платит не за ум, а за решение его производственных задач. То есть за компетенции, которые ему именно необходимы и за фактически выполняемую работу.
То есть за hard skills.
Но какие hard skills можно приобрести, занимаясь много преподаванием и подготовкой диссертации? Вот в статье написано какими. Только за эти hard skills работодатель платить не будет.
Таким образом человек в аспирантуре развивается не в сторону роста нужных работодателю hard skills, а куда-то в сторону. Может то, чему он научится, потом где-то и будет не лишним, но когда он придет устраиваться на работу, уровень его компетенций будет Junior. Точно как и у выпускника бакалавриата или магистратуры. А значит и на зарплату он будет претендовать на уровне Junior. Потому-что зарплата определяется ценностью для бизнеса, которую несет сотрудник, а не его умом и сообразительностью.
А твои одногруппники, пока ты месил свои диссертации и подготовки к занятиям, прокачались уже до middle, а некоторые уже senior.
Долгосрочно все становится еще хуже: они-то растут в квалификации и доходах, а ты так и застреваешь в этих Х т.р. за горловую нагрузку и гранты время от времени. Почему застреваешь? Да потому, что не важно, насколько ты крут в том предмете, который ты читаешь, тебе и начинающему кандидату наук за часы будут платить одинаково. А одинаково платят, так как твоя ценность как преподавателя, начитывающего студентам предмет, для работодателя не зависит от твоих скилов! А если от чего и зависит, то от доцент ты там или профессор, а градаций между и после нету.
Здесь опровергнуть девушку не удалось. Если спросить состоявшегося ученого, то он-то скажет как аспирантура нужна и на своем примере убедительно это докажет... в своем случае и в случае других связавших с наукой свою судьбу ученых.
Но большинство аспирантов не остается в науке, а значит проблема, описанная девушкой, имеет место быть и опровергнуть её личным примером нельзя.
Да и не каждый кандидат остается верен науке: его вытягивают на защиту "Ваня давай! Надо Ваня! Ты сможешь!", он защищается, выдыхает и идет своим путем, а не в науку, ну или в преподавание с головой, что не редкость
Скажу больше: во многих вузах науки вообще мало. Вот реально, ученых, способных более-менее регулярно писать в Q1 WoS часто не более 5-10% от всех преподавателей. То есть из 10 преподавателей, 5 из которых кандидаты и 2 доктора наук, ладно если один может реально в актуальную науку на международном уровне и ею активно занимается, остальные же в науку больше для вида (и еще трясут, конечно, за показатели).
Думаю, что здесь нужен опрос учившихся в аспирантуре: если бы они могли вернуться в молодость, изменили бы они свое решение по поводу аспирантуры?
Здесь не раз говорят про datascience. Но: 1. В России CS развит плохо. Кто тебе будет помогать расти? 2. Ту статистику, что я видел, спецы по datascience получают столько-же, сколько обычные прогеры, просто специфика работы у них другая. И что тогда в datascience стремиться?
Ну, например, я бы сейчас легко написал бы диссертацию просто профессионально владея некой темой, в которой специализировался 10 лет. Только я эти 10 лет работал на практике, а не вот это вот все, что в топике.
Написать сейчас кандидатскую не сложно (и не раз предлагали), "но зачем?" (c) анекдот.
Кандидатские корочки ничего не дают. Они нужны только в основном если собираешься связать свою жизнь с наукой, так как так система устроена, что ты не свой, пока не кандидат и тебя будут за это наказывать рублем.
Ну а в производстве, если ты крут как спец, у тебя и так все ок с репутацией будет и никакие корочки не нужны.
Такое есть. Но есть ли такое в России? Пост ведь про Россию. Не получится ли, что 10 лет практики даст намного больше скилов и карьерных перспектив, чем вот эти вот защиты, минимумы, пары, диссертация и т.д.?
Если бы у нас вот не этим вот всем занимались, а, например, аспиранты хардкор всякий делали в виде RISC-V или там Xen свой пилили или там глобальный поисковик (привет, Сергею Брину), то был бы понятный трек как с вуза перескачить сразу на хорошие деньги, потому-что ты 10 лет закапывался туда, где будет технологический прорыв, стартап, акции, кеш, естественный быстрый вертикальный рост (как самый знающий в теме) и т.д.
А вот в том, что описано в топике, ничего подобного нет и трек "советского аспиранта" ведет в джуны в 30 лет. Это если еще будешь достаточно умен, чтобы выпрыгнуть в 30, а не в 70.
Спасибо. Отличный пример, как на десктопных SSD 30 000 IOPS превращается в 500. У серверных тоже есть просадка раза в 3, но за счет конденсатора они жульничают с flush.
@1CUnlimited стоит посмотреть табличку.
Не очень понимаю о каком avg waits sec идет речь, но вот пруф лично измеренной зависимости работы СУБД от SSD: https://elibsystem.ru/node/586#pgbench
Спецификация SSD верить можно, просто они снимаются без flush на диск (ну или с неизвестной очередностью flush). И почему вы тогда берете random IOPS? Берите последовательный, чего мелочиться, запись ведь в лог транзакций последовательная (кстати, почему вы решили, что СУБД в журнал пишет по 4k, раз сравниваете IOPS с random 4k?) А потом возьмите fio и проверьте скорость последовательной записи при flush после каждой операции. Удивитесь, что IOPS не походит ни на random ни на sequence.
Потом можно еще раз подумать и понять, что запись на самом деле не случайная и не последовательная, а ее профиль вообще говоря от нагрузки зависит и тогда придет понимание, что и бенчмарк на левой базе не даст вам точные значения по которым вы сможете количественные выводы делать, а в лучшем случае приблизительные, которые можно ожидать, если у вас будет на реальной базе схожая нагрузка, чем и в той ситуации, с которой вы сравниваете.
В итоге: проводите бенчмарки реальных баз, тогда вы и получите конкретные цифры производительности, а синтетика не про точные цифры, а про поведение при различных профилях нагрузки на конкретном оборудовании.
На RAMDISK добрые люди уже проверили: https://habr.com/ru/post/694554/
Тезис, что вы не уперлись в жесткий диск не обоснован.
Его легко проверить: поставьте optane или даже ramdisk и проведите тест еще раз, если есть существенное ускорение, значит в диск вы все-таки уперлись.
Поясню, почему ваши выводы про диск преждевременны.
1. Если система не работает быстро, значит она где-то имеет бутылочное горлышко, оно может быть в процессоре, шине, памяти, диске.
2. То, что показывает вам система как уровень нагрузки не обязано означать то, что вы думаете. На самом деле вы не знаете, что значит загрузка 100% (как и я, кстати).
3. Производительность SSD сильно зависит использует ли по direct-запись. Сброс же кеша (не который SQL flash, а который дисковый flash) оказывает катастрофическое воздействие на скорость SSD, так как SSD без сброса кеша сразу рапартует, что типа он записал, но по факту гарантия записи будет только по flash на SSD.
4. ПО баз данных хочет быть уверено, что все записалось, поэтому часто делает flash на дисковую систему.
5. Так как flash делается часто, а запись последовательная, ни о каких 20-30 тыс. random IOPS не может быть и речи.
6. У вас диски не напрямую в сервер воткнуты, а через хранилку, хранилка может иметь собственную логику обработки flash с собственными кешами и как она работает конкретно в вашем случае - не известно.
7. Скачки в IOPS на графике с записью журнала однозначно говорят, что есть корреляция и видимо какой-то периодически запускающийся процесс. Но нет причин утверждать только лишь из графика, что диск не нагружен. Положим профиль нагрузки такой: запиши 16к, сделать flash, долго ждать flash, запиши 16k... так как это последовательная запись в журнал, она будет долгой, так как латентность из-за flash каждой записи большая, но вот только накопитель у вас на 100% при этом не нагружен! Вы бы могли параллельно еще сделать 10 очередей и производительность выросла бы (так как SSD свою пиковую производительность показывают на большом количестве очередей, а на одной очереди она обычно 50-100МБ/c).
8. Если бы база данных могла писать не последовательно в журнал, а параллельно в несколько потоков, то производительность была бы выше, но база данных так не умеет.
9. Ну и наконец, график загрузки ясно говорит, что основное время занимает запись в журнал, процессор не нагружен а значит вариантов где может быть затык остается не сильно много, ага?
В качестве вывода: да, большое количество запросов на запись отрицательно сказывается на скорости этой записи, здесь можно ускоряться, но на самом деле причина такой работы находится в архитектуре СУБД, которая до сих пор оптимизирована для работы с жесткими дисками и пишет в журнал с частыми flash-ами.
Почему с fsync так сильно чтение проваливается?
Вангую, что следующим поколениям студентов будет влом разбираться в написанном и они с нуля будут пилить свое.
Microsoft официально ушла из России. С точки зрения Microsoft купить легально Windows в России нельзя и можно столкнуться с блокировкой обновлений Windows и масштабными взломами непатченной Windows через пару лет.
Linux же не заявлял об уходе из России, а лицензия GPLv2 в принципе не предполагает географических ограничений и чтобы ограничить распространение Linux в России надо договориться со всеми разработчиками Linux без исключения о перелицензировании Linux.
В общем, даже в Северной Корее есть Linux. И мы сможем.
Минцифры целенаправленно ведет к отечественному стеку, пусть и неспешно. Если раньше мотивировать необходимость поддерживать Linux было сложно, то в связи с уходом Microsoft из России стало намного проще.
Решение Минцифры я скорее поддерживаю. Если часть разработчиков не сможет выпустить ПО под Linux - ничего страшного не случится, просто будут 20% НДС платить и обоснование при госзакупках писать.
Судя по этой картинке Intel вполне отдает IP на Atom другим производителям:
https://www.cnx-software.com/2022/09/09/maxlinear-anywan-urx850-urx851-mxl25641-intel-atom-socs-target-broadband-routers-and-gateways/
iProcessor
Почему бы не сделала? Вот как раз и читал, что продала производителю сетевого оборудования, под которое Atom недавно выпустили. Но может, конечно, вброс был. Сейчас не смог найти источник.
Да, запутывать начали раньше.
"Кручу-верчу запутать хочу".
Если раньше Atom ассоциировался с жутики тормозами, Celeron - с тормозами, но не жуткими, Pentium - с уже можно как-то жить, то теперь будет просто "Intel Processor".
- Какой процессор?
- Intel Processor!
С маркетинговой точки зрения ход может и понятный, но если пользователь будет недоволен скоростью "Intel Processor", то это ударит по бренду.
Atom (где-то читал) продали, может надо было просто убрать Celeron, а Pentium оставить.
Наверное лучше сказать так: некоторые могут зарабатывать в разы больше оклада за счет грантов и хоздоговоров.
Но зарабатывать в разы больше может не каждый, не только по причинам личных навыков, но и просто госгрантовые фонды вполне себе ограниченные "на всех не хватит!" (с). Зарабатывать на стороне на НИРах тоже могут не все. Например это будет очень сложно всем кто в фундаментальных областях специализируется и гуманитариям не так просто.
Ну и грантовые доходы в этом году есть, а весь следующий - нет. Отсюда не так просто расходы планировать.
Или я ошибаюсь?
На сколько я понимаю, в Союзе не было подушевого финансирования. То есть отчисляя студента вуз не терял денег. А тянули товарища не из-за денег, а "оступиться может каждый" и "на хорошем счету". Если бы не был на хорошем счету, то может и не стали бы помогать сохранить карьерный трек инженера.
МФТИ - лидирующий вуз, высасывающий способных студентов со всей страны и имеющий мало студентов на одного преподавателя (то есть хорошее финансирование на студента) для подготовки "интеллектуальной элиты". В нем в принципе многие вещи работают лучше, чем у других в силу более мотивированных студентов.
Также у МФТИ неплохие показатели по деньгам, которые он (его сотрудники) зарабатывают по хоздоговорной работе.
Поэтому надо помнить, что МФТИ - не типичный вуз.
А что, мужчину бы не нагрузили преподаванием, работать над диссером ему надо меньше и т.д.?
Я с девушкой совершенно согласен: если ты хочешь в ученые/исследователи, то аспирантура - ок, если не хочешь, то не стоит туда идти, она не повысит твою конкурентоспособность на рынке труда, а понизит. Причем аспирантам не поясняют последствия выбора.
Поясню, почему понизит.
Работодатель платит не за ум, а за решение его производственных задач. То есть за компетенции, которые ему именно необходимы и за фактически выполняемую работу.
То есть за hard skills.
Но какие hard skills можно приобрести, занимаясь много преподаванием и подготовкой диссертации? Вот в статье написано какими. Только за эти hard skills работодатель платить не будет.
Таким образом человек в аспирантуре развивается не в сторону роста нужных работодателю hard skills, а куда-то в сторону. Может то, чему он научится, потом где-то и будет не лишним, но когда он придет устраиваться на работу, уровень его компетенций будет Junior. Точно как и у выпускника бакалавриата или магистратуры. А значит и на зарплату он будет претендовать на уровне Junior. Потому-что зарплата определяется ценностью для бизнеса, которую несет сотрудник, а не его умом и сообразительностью.
А твои одногруппники, пока ты месил свои диссертации и подготовки к занятиям, прокачались уже до middle, а некоторые уже senior.
Долгосрочно все становится еще хуже: они-то растут в квалификации и доходах, а ты так и застреваешь в этих Х т.р. за горловую нагрузку и гранты время от времени. Почему застреваешь? Да потому, что не важно, насколько ты крут в том предмете, который ты читаешь, тебе и начинающему кандидату наук за часы будут платить одинаково. А одинаково платят, так как твоя ценность как преподавателя, начитывающего студентам предмет, для работодателя не зависит от твоих скилов! А если от чего и зависит, то от доцент ты там или профессор, а градаций между и после нету.
Здесь опровергнуть девушку не удалось. Если спросить состоявшегося ученого, то он-то скажет как аспирантура нужна и на своем примере убедительно это докажет... в своем случае и в случае других связавших с наукой свою судьбу ученых.
Но большинство аспирантов не остается в науке, а значит проблема, описанная девушкой, имеет место быть и опровергнуть её личным примером нельзя.
Да и не каждый кандидат остается верен науке: его вытягивают на защиту "Ваня давай! Надо Ваня! Ты сможешь!", он защищается, выдыхает и идет своим путем, а не в науку, ну или в преподавание с головой, что не редкость
Скажу больше: во многих вузах науки вообще мало. Вот реально, ученых, способных более-менее регулярно писать в Q1 WoS часто не более 5-10% от всех преподавателей. То есть из 10 преподавателей, 5 из которых кандидаты и 2 доктора наук, ладно если один может реально в актуальную науку на международном уровне и ею активно занимается, остальные же в науку больше для вида (и еще трясут, конечно, за показатели).
Думаю, что здесь нужен опрос учившихся в аспирантуре: если бы они могли вернуться в молодость, изменили бы они свое решение по поводу аспирантуры?
Вам просто повезло. Да, у кого-то ок с зарплатами, но в среднем у нас шутили, что в института РАН работают мажоры, которых содержат родители.
Вот зарплаты в среднем по стране, на что можно рассчитывать: https://ученые-исследователи.рф/
Здесь не раз говорят про datascience. Но:
1. В России CS развит плохо. Кто тебе будет помогать расти?
2. Ту статистику, что я видел, спецы по datascience получают столько-же, сколько обычные прогеры, просто специфика работы у них другая. И что тогда в datascience стремиться?
Ну, например, я бы сейчас легко написал бы диссертацию просто профессионально владея некой темой, в которой специализировался 10 лет. Только я эти 10 лет работал на практике, а не вот это вот все, что в топике.
Написать сейчас кандидатскую не сложно (и не раз предлагали), "но зачем?" (c) анекдот.
Кандидатские корочки ничего не дают. Они нужны только в основном если собираешься связать свою жизнь с наукой, так как так система устроена, что ты не свой, пока не кандидат и тебя будут за это наказывать рублем.
Ну а в производстве, если ты крут как спец, у тебя и так все ок с репутацией будет и никакие корочки не нужны.
Такое есть. Но есть ли такое в России? Пост ведь про Россию. Не получится ли, что 10 лет практики даст намного больше скилов и карьерных перспектив, чем вот эти вот защиты, минимумы, пары, диссертация и т.д.?
Если бы у нас вот не этим вот всем занимались, а, например, аспиранты хардкор всякий делали в виде RISC-V или там Xen свой пилили или там глобальный поисковик (привет, Сергею Брину), то был бы понятный трек как с вуза перескачить сразу на хорошие деньги, потому-что ты 10 лет закапывался туда, где будет технологический прорыв, стартап, акции, кеш, естественный быстрый вертикальный рост (как самый знающий в теме) и т.д.
А вот в том, что описано в топике, ничего подобного нет и трек "советского аспиранта" ведет в джуны в 30 лет. Это если еще будешь достаточно умен, чтобы выпрыгнуть в 30, а не в 70.