Если речь об увеличении кристалла, то нет, тут скорость распространения сигнала не особо фактор. Не те масштабы. Тут в первую очередь причина в том, что, по сути, вся стоимость процессора это стоимость куска кремния, из которого он сделан. По этой причине чуть ли не самое важное в производстве процессора это процент выход годных чипов с кремниевой пластины. Мы вполне себе достигли экономических пределов размера кристаллов и единственный путь вперед это чиплеты. И по этой причине размеры подложек как раз таки постоянно растут. Людям нужном больше pcie линий, больше каналов памяти, процессору нужно больше питания - растет число ножек, а от того и подложка. С этим как раз проблемы нет, процессоры будут продолжать становиться все больше и больше. Они и так уже огромные. Какой-нить серверный EPYC посмотрите. И это обычный процессор без памяти на борту. Сейчас в серверный сегмент и память начнут на подложку класть.
Не совсем. Большие процессоры это смена парадигмы. Это признание того, что мы не не можем увеличить скорость процессора, а не можем ее увеличить старыми способами. По этой причине последние несколько лет весь прогресс происходит в технологиях упаковки. Мы не можем больше пихать в один кристалл все подряд или бесконечно тащить за собой медленную память, находящуюся "в километре" от процессора. Все это давно начало меняться. Эпл здесь ровно укладывается в мейнстрим, следуя трендам.
Это понятно, но у людей просто выхода нет. Во-первых, мощности сейчас такие на стойку, что воздух банально не справляется. Во-вторых, это эффективнее. Постепенное движение в эту сторону явно прослеживается и думаю гиперскейлеры к этому уже идут. Они, собственно, OCP и разрабатывают для себя. Если там появится вода в стандартизованном виде, то это будет круто. Сейчас сложно представить, как рядовому человеку строить подобные кластеры без привлечения третьей стороны, которая соберет все под ключ.
В рамках OCP неоднократно уже встречал упоминание о дизайне железа под роботов. Народ явно всерьез думает. С учетом как OCP быстро развивается и меняется, там это скорее всего быстрее всего произойдет. С питанием проблема решена была изначально - никаких кабелей. Примерно в том же русле были предложения по сети и охлаждению. Вставляем сервер в стойку - он втыкается в бекплейн в стойке для сети. Если охлаждаемся водой, то точно так же сервер сразу же подцепляется к штуцерам в стойке для запитки в общий контур.
Не совсем только понятно, что это такое и с чем эквивалентно. Два ли там кристалла все таки, или нет. Все очень расплывчато. Эпл тоже одни дифирамбы и чушь несет. Ничего такого раньше не было - бред. Ничего разработчикам в коде менять не нужно - ок, только как организованы кэши, как соблюдается когерентность между этими "чипами", как разделяются контроллеры памяти, сколько NUMA нод в итоге то - ответа на это не дает.
А так, это все явно разработано было задолго то формирования UCIe. Они физически не могли бы этим воспользоваться. Будут ли в будущем - кто знает. Технология упаковки пока что наиболее близкой выглядит к InFO-oS https://3dfabric.tsmc.com/english/dedicatedFoundry/technology/InFO.htm Показатели пропускной способности вполне себе обычные.
Нет, это обычный монолитный кристалл даже в m1 max. Скрины в интернете есть. Эпл только предстоит это сделать, т.к. я думаю дальше скейлить они это не смогут. Кристалл и так огромный, а mac pro потребует куда больше ядер.
Эпл может и не надо будет его использовать, они не производят продукты, где он нужен. Логотип будет у арм и тсмц, которые будут давать эпл готовые блоки, которые между собой могут общаться благодаря соблюдению этого стандарта. Захотят вон вынести GPU в отдельный кристалл - пожалуйста вам интерконнект, протоколы и техпроцессы нужные.
А почему нет? Какая польза для человечества от того, что ASML находится под контролем США в плане того, с кем им разрешено работать? Это точно так же не похоже на нормальные рыночные отношения. Если ASML сама не желает продавать - ее дело. А вот другая страна под угрозой санкций блокирует - это идиотизм и тормоз прогресса. Патентное право было задумано для того, чтобы способствовать прогрессу, но кажется производство микропроцессоров это не та отрасль, где можно просто взять и придумать иную технологию для достижения той же цели. Здесь оно действует прямо противоположно.
Возможно бы сейчас у нас не было дефицита, потому что Китай мог бы поднять нормально фабрики и клепать всем кому надо чипы на любом техпроцессе.
Ситуация с TSMC более менее еще - помимо них как минимум есть intel и samsung с передовыми техпроцессами и технологиями упаковки. Вот ASML раскулачить нужно однозначно. Нет абсолютно никакой пользы от подобного положения дел в мире.
Я бы сказал это настолько базовые настройки, что такие случаи звучат нелепо. Понимание о настройках ретеншена должно приходить после чтения пары туторилов об устройстве Кафки. Оно просто само собой вытекает из архитектуры Кафки.
Чуть менее очевидная вещь это лимиты ну размер сообщения, но с этим быстро довольно сталкиваешься благо.
Реально разбираться в Кафке это хотя бы копаться в ее настройках репликации. Вот уж где реальные проблемы народ ловит.
Совсем не странно. Конфлюент сейчас активно пиарит подобную архитектуру. По сути, вывернутая база данных наизнанку. Кафка выступает в роли WAL, а за ней стоит что-то, что строит материализованные представления. Крутой бонус - нужно что-то пересчитать, просто перечитываем кафку с первого оффсета.
это уже интереснее. но фактически тут сравнивают релизацию nvmeof с помощью spdk с классическим iscsitarget.
А в чем проблема? SPDK ничего магического не делает, просто пользуется тем, что ему дает nvme протокол. Это, к слову, о важности новизны. Множество очередей, NUMA-friendly и т.д. SPDK много чего внутри делает для максимальной эффективности. iscsi я так понимаю особо об этом не парится как и многие компоненты линукса, работающие с блочными устройствами.
Я вот сейчас хочу попробовать как раз собрать RAID0 на SPDK и посмотреть, как на нем софт будет работать. mdraid чертовски медлительная херня.
у мелланокса есть какой-то оффлоад для iscsi, глубоко не копал.
Чето мало чего написано, но раз там речь о software based iscsi, то наверное там разве что TCP offload. Для nvme-of DPU умеют работать с локальным nvme диском полностью минуя CPU. Ну и понятно дело имеют эмулировать nvme pcie устройство, что тоже снимает с CPU необходимость работать с сетью.
Как минимум, этот протокол имеет аппаратное ускорение во всяких DPU. И банально сам написан для сверхбыстрых nvme устройств, а значит семантика там заложена соответствующая. Об этом пишет SNIA (кто у нас заведует развитием технологий хранения) и есть бенмарчки, показывающие полное преимущество над iscsi https://dl.acm.org/doi/pdf/10.1145/3239563 И это уже не первое исследование, которое показывает практически идентичную скорость direct attach storage и nvme-of. iscsi такого не может и близко.
Нет, FTL не будет писать. Он, в зависимости от реализации контроллера, останется в его оперативке. И тут уже вопрос, как контроллер переваривает потерю питания в этом месте. Плюс, DRAM кеширование никуда не девается и контроллер запросто ответить, что запись принял, хотя она еще в DRAM. Заполненность кеша, по идее, вещь с этим не связанная. F_FULLSYNC же это должна быть полная гарантия, что и FTL, и все записи записаны именно на флеш. Именно это по спеке означает nvme команда flush.
В любом случае это догадки, т.к. устройство контроллеров флеша неизвестно. Они спокойно могут и flush команду игнорировать, кто им запретит.
Тем, что F_FULLSYNC должен сбросить на флеш еще и FTL и прочие метаданные. Тем, что даже при переполнении буфера у нас сохраняется вся та сложная логика контроллера флеша, призванного эффективно писать данные. А кэш при этом скидывается на диск явно куда более эффективно, чем обычные записи. Вполне достаточно причин, почему переполнение буфера записи должно быть менее серьезной проблемой.
Качественные могут гарантировать целостность даже при использовании кэшей. У всех энтерпрайзных дисков есть большое число суперконденсаторов, чтобы успеть скинуть на флеш не только метаданные, но и in-flight записи.
Кто их знает. Как говорит автор всех этих находок, большая вероятность, что в прошивке эпл просто баг/кривая реализация и это все будет исправлено. Возможно это рудимент от iOS, где используется, по сути, тот же SoC и эпл продолжает использовать теже приемы, поскольку у iOS батарейка есть всегда.
Приобретается думаю скорость и унификация экосистемы вокруг более современного протокола. Сейчас вот начинают выходить nvme-of решения - ничего подобного по скорости и масштабируемости на iscsi не получишь.
Что теряется - тут сложно сказать. Протоколы очень похожи по своим задачам.
Как минимум, там есть все игры микрософта, которых с последними приобретениями огромное множество. И если уж геймпасс для людей противоречив, где игр тонны, то о чем речь с сони, где будет полтора проекта.
Так что вряд-ли разница в количестве индюшатины как-то будет играть в плюс геймпассу, если сони покажет что-то адекватное
Для многих людей будет, потому что почти все значимые проекты последнего времени в плане их качества и вклада это как раз игры уровня инди или чуть выше. Почти вся ААА индустрия сейчас в говне плавает и с каждым годом только хуже.
Не работают. У nvme протокола (как и у SCSI) есть конкретная вполне команда flush, которая означает согласно спецификации сброс всего из энергозависимой в энергонезависимую память. И эту команду линукс посылает в рамках fsync вызова. Эпл ведет себя иначе и об этом речь в сабже. Fsync у них, по сути, не значит ничего. А если этот flush все таки послать, то их супер быстрый ssd превращается в тыкву, которая медленнее USB флешки.
Если речь об увеличении кристалла, то нет, тут скорость распространения сигнала не особо фактор. Не те масштабы. Тут в первую очередь причина в том, что, по сути, вся стоимость процессора это стоимость куска кремния, из которого он сделан. По этой причине чуть ли не самое важное в производстве процессора это процент выход годных чипов с кремниевой пластины. Мы вполне себе достигли экономических пределов размера кристаллов и единственный путь вперед это чиплеты. И по этой причине размеры подложек как раз таки постоянно растут. Людям нужном больше pcie линий, больше каналов памяти, процессору нужно больше питания - растет число ножек, а от того и подложка. С этим как раз проблемы нет, процессоры будут продолжать становиться все больше и больше. Они и так уже огромные. Какой-нить серверный EPYC посмотрите. И это обычный процессор без памяти на борту. Сейчас в серверный сегмент и память начнут на подложку класть.
Не совсем. Большие процессоры это смена парадигмы. Это признание того, что мы не не можем увеличить скорость процессора, а не можем ее увеличить старыми способами. По этой причине последние несколько лет весь прогресс происходит в технологиях упаковки. Мы не можем больше пихать в один кристалл все подряд или бесконечно тащить за собой медленную память, находящуюся "в километре" от процессора. Все это давно начало меняться. Эпл здесь ровно укладывается в мейнстрим, следуя трендам.
Это понятно, но у людей просто выхода нет. Во-первых, мощности сейчас такие на стойку, что воздух банально не справляется. Во-вторых, это эффективнее. Постепенное движение в эту сторону явно прослеживается и думаю гиперскейлеры к этому уже идут. Они, собственно, OCP и разрабатывают для себя. Если там появится вода в стандартизованном виде, то это будет круто. Сейчас сложно представить, как рядовому человеку строить подобные кластеры без привлечения третьей стороны, которая соберет все под ключ.
В рамках OCP неоднократно уже встречал упоминание о дизайне железа под роботов. Народ явно всерьез думает. С учетом как OCP быстро развивается и меняется, там это скорее всего быстрее всего произойдет. С питанием проблема решена была изначально - никаких кабелей. Примерно в том же русле были предложения по сети и охлаждению. Вставляем сервер в стойку - он втыкается в бекплейн в стойке для сети. Если охлаждаемся водой, то точно так же сервер сразу же подцепляется к штуцерам в стойке для запитки в общий контур.
Не совсем только понятно, что это такое и с чем эквивалентно. Два ли там кристалла все таки, или нет. Все очень расплывчато. Эпл тоже одни дифирамбы и чушь несет. Ничего такого раньше не было - бред. Ничего разработчикам в коде менять не нужно - ок, только как организованы кэши, как соблюдается когерентность между этими "чипами", как разделяются контроллеры памяти, сколько NUMA нод в итоге то - ответа на это не дает.
А так, это все явно разработано было задолго то формирования UCIe. Они физически не могли бы этим воспользоваться. Будут ли в будущем - кто знает. Технология упаковки пока что наиболее близкой выглядит к InFO-oS https://3dfabric.tsmc.com/english/dedicatedFoundry/technology/InFO.htm Показатели пропускной способности вполне себе обычные.
Нет, это обычный монолитный кристалл даже в m1 max. Скрины в интернете есть. Эпл только предстоит это сделать, т.к. я думаю дальше скейлить они это не смогут. Кристалл и так огромный, а mac pro потребует куда больше ядер.
Эпл может и не надо будет его использовать, они не производят продукты, где он нужен. Логотип будет у арм и тсмц, которые будут давать эпл готовые блоки, которые между собой могут общаться благодаря соблюдению этого стандарта. Захотят вон вынести GPU в отдельный кристалл - пожалуйста вам интерконнект, протоколы и техпроцессы нужные.
А почему нет? Какая польза для человечества от того, что ASML находится под контролем США в плане того, с кем им разрешено работать? Это точно так же не похоже на нормальные рыночные отношения. Если ASML сама не желает продавать - ее дело. А вот другая страна под угрозой санкций блокирует - это идиотизм и тормоз прогресса. Патентное право было задумано для того, чтобы способствовать прогрессу, но кажется производство микропроцессоров это не та отрасль, где можно просто взять и придумать иную технологию для достижения той же цели. Здесь оно действует прямо противоположно.
Возможно бы сейчас у нас не было дефицита, потому что Китай мог бы поднять нормально фабрики и клепать всем кому надо чипы на любом техпроцессе.
Ситуация с TSMC более менее еще - помимо них как минимум есть intel и samsung с передовыми техпроцессами и технологиями упаковки. Вот ASML раскулачить нужно однозначно. Нет абсолютно никакой пользы от подобного положения дел в мире.
Я бы сказал это настолько базовые настройки, что такие случаи звучат нелепо. Понимание о настройках ретеншена должно приходить после чтения пары туторилов об устройстве Кафки. Оно просто само собой вытекает из архитектуры Кафки.
Чуть менее очевидная вещь это лимиты ну размер сообщения, но с этим быстро довольно сталкиваешься благо.
Реально разбираться в Кафке это хотя бы копаться в ее настройках репликации. Вот уж где реальные проблемы народ ловит.
Совсем не странно. Конфлюент сейчас активно пиарит подобную архитектуру. По сути, вывернутая база данных наизнанку. Кафка выступает в роли WAL, а за ней стоит что-то, что строит материализованные представления. Крутой бонус - нужно что-то пересчитать, просто перечитываем кафку с первого оффсета.
А в чем проблема? SPDK ничего магического не делает, просто пользуется тем, что ему дает nvme протокол. Это, к слову, о важности новизны. Множество очередей, NUMA-friendly и т.д. SPDK много чего внутри делает для максимальной эффективности. iscsi я так понимаю особо об этом не парится как и многие компоненты линукса, работающие с блочными устройствами.
Я вот сейчас хочу попробовать как раз собрать RAID0 на SPDK и посмотреть, как на нем софт будет работать. mdraid чертовски медлительная херня.
Чето мало чего написано, но раз там речь о software based iscsi, то наверное там разве что TCP offload. Для nvme-of DPU умеют работать с локальным nvme диском полностью минуя CPU. Ну и понятно дело имеют эмулировать nvme pcie устройство, что тоже снимает с CPU необходимость работать с сетью.
Как минимум, этот протокол имеет аппаратное ускорение во всяких DPU. И банально сам написан для сверхбыстрых nvme устройств, а значит семантика там заложена соответствующая. Об этом пишет SNIA (кто у нас заведует развитием технологий хранения) и есть бенмарчки, показывающие полное преимущество над iscsi https://dl.acm.org/doi/pdf/10.1145/3239563 И это уже не первое исследование, которое показывает практически идентичную скорость direct attach storage и nvme-of. iscsi такого не может и близко.
Нет, FTL не будет писать. Он, в зависимости от реализации контроллера, останется в его оперативке. И тут уже вопрос, как контроллер переваривает потерю питания в этом месте. Плюс, DRAM кеширование никуда не девается и контроллер запросто ответить, что запись принял, хотя она еще в DRAM. Заполненность кеша, по идее, вещь с этим не связанная. F_FULLSYNC же это должна быть полная гарантия, что и FTL, и все записи записаны именно на флеш. Именно это по спеке означает nvme команда flush.
В любом случае это догадки, т.к. устройство контроллеров флеша неизвестно. Они спокойно могут и flush команду игнорировать, кто им запретит.
Тем, что F_FULLSYNC должен сбросить на флеш еще и FTL и прочие метаданные. Тем, что даже при переполнении буфера у нас сохраняется вся та сложная логика контроллера флеша, призванного эффективно писать данные. А кэш при этом скидывается на диск явно куда более эффективно, чем обычные записи. Вполне достаточно причин, почему переполнение буфера записи должно быть менее серьезной проблемой.
Качественные могут гарантировать целостность даже при использовании кэшей. У всех энтерпрайзных дисков есть большое число суперконденсаторов, чтобы успеть скинуть на флеш не только метаданные, но и in-flight записи.
Кто их знает. Как говорит автор всех этих находок, большая вероятность, что в прошивке эпл просто баг/кривая реализация и это все будет исправлено. Возможно это рудимент от iOS, где используется, по сути, тот же SoC и эпл продолжает использовать теже приемы, поскольку у iOS батарейка есть всегда.
Приобретается думаю скорость и унификация экосистемы вокруг более современного протокола. Сейчас вот начинают выходить nvme-of решения - ничего подобного по скорости и масштабируемости на iscsi не получишь.
Что теряется - тут сложно сказать. Протоколы очень похожи по своим задачам.
Как минимум, там есть все игры микрософта, которых с последними приобретениями огромное множество. И если уж геймпасс для людей противоречив, где игр тонны, то о чем речь с сони, где будет полтора проекта.
Для многих людей будет, потому что почти все значимые проекты последнего времени в плане их качества и вклада это как раз игры уровня инди или чуть выше. Почти вся ААА индустрия сейчас в говне плавает и с каждым годом только хуже.
Не работают. У nvme протокола (как и у SCSI) есть конкретная вполне команда flush, которая означает согласно спецификации сброс всего из энергозависимой в энергонезависимую память. И эту команду линукс посылает в рамках fsync вызова. Эпл ведет себя иначе и об этом речь в сабже. Fsync у них, по сути, не значит ничего. А если этот flush все таки послать, то их супер быстрый ssd превращается в тыкву, которая медленнее USB флешки.