Кейс 2: Data Lakehouse и горячее хранилище на 1 ПБ
для столь небольшого объема данных при довольно высокой нагрузке мы решили использовать NVMe-накопители, а в качестве алгоритма защиты данных — трехкратную репликацию (RFx3). Тесты профиля нагрузки заказчика показали, что Erasure Coding в данном случае не подходит. Причина — более медленные операции записи и чтения файлов
Интересно, о каком порядке латенси здесь идет речь? 200К рпс на 200 гигабит это работа объектами в сотни килобайт. На таких профилях нагрузки в случае ssd не удивлюсь, если львиная доля латенси идет даже не со стораджа, а с вашей мета базы.
Уровень 3 — Proxy Layer
Не становится узким местом у вас? Прокачивать весь траф через L7 (похоже, судя по слову 'кэширование') проксю? DSR не используете для отдачи трафа с меньшим количеством хопов?
Вообще в целом интересно было бы послушать, как у вас происходит эволюция требований в мире нагрузки для ML/AI. Трафик в сотни гигабит уже очень мало. Снимать с петабайта nvme дисков (особенно с mirror-3) можно уже 1-2 терабита, а то и больше.
Разводятся именно ради алиментов и дальнейшего отжима бабла и имущества.
У вас показания не сходятся.
Вы выше пишете, что сейчас принимают законы, чтобы можно было больше получать при разводе. И тут же пишете, что цель развода отдать имущество. А эта цель когда появилась?
Я уверен, в большинстве разводов за последние лет 30 алименты были либо нищенские, либо вообще не платились
А то что вы приводите - это какие-то маргинальные случаи из мира обеспеченных
Странно, но что же тогда ее тянет в ЗАГС оформлять брак и пресловутое "когда поженимся
Люди меняются и узнаются. В ЗАГС люди идут на пике своих отношений. Потом многое меняется и если люди к этому не могут адаптироваться, то получается что получается.
Считать, что это как-то женщина больше тут виновата, это как минимум глупо.
Я знаю, что в самом кодинге остаётся какое-то количество "белых пятен", в которых человеческие программисты выигрывают у ИИшки по соотношению "цена-качество". Но лично для меня это edge кейсы, которые в ближайшее время исчезнут. Я просто вместе со всеми наблюдал эволюцию качества ИИ текстов и картинок. И продолжаю наблюдать эволюцию ИИ видео и кода
Между сгенеренным изображением и кодом есть одна большая разница: изображение генерится один раз и больше не трогается. Код же надо поддерживать, годами и десятилетиями.
И пока мы не наблюдаем взрыва новых сервисов, приложений, опенсорс библиотек. Хотя казалось бы, увеличение производительности разработчиков даже в 2 должны были привести к кратному росту всего, что они делают.
Что же мы видим в реальности? Много прототипов и 'я сделал игру за выходные', Но потом они уходят в небытие. Как будто написание кода не было ботлнеком.
Будем наблюдать. В качестве прототипирования и написания одноразового или неважного кода AI он действительно рулит и бибикает
Как по мне отличная тенденция. Мы уверенно движемся к тому, что учиться будут только те, кто действительно этого хочет. Все остальные будут читерить, потому что это становится максимально просто.
Го, как любой рантайм с гц, имеет проблемы с поддержкой низких латенси на одном хорошем уровне. Если вы ждёте 50мс ответа от базы, можно писать на чем угодно. А вот если захотите видеть сотни микросек, то го может начать быть проблемой
А вам, похоже, нравится игнорировать реальность. На западе набрали людей именно во время ковида и первые массовые сокращения в фаангах начались ещё в 22-23. То есть ещё до ии бума всякие гуглы увольняли в том числе инженеров, в том числе хороших.
Меняем в конфиге приложения префикс таблиц (Table Prefix)
Если бы ещё ydb sdk имели такую унифицированную опцию. В реальности даже в рамках одного гошного sdk эта настройка существует только для некоторых способов взаимодействия.
Я уже не говорю о том, что это именно table префикс. Используете топики (которые не бэкапятся, кстати) или более низкоуровневое API - вам не повезло, сами добавляйте префикс к названиям сущностей.
Было бы круто, если бы этот префикс стал глобальной настройкой sdk и полностью прозрачной для клиентского кода.
Интересно, о каком порядке латенси здесь идет речь? 200К рпс на 200 гигабит это работа объектами в сотни килобайт. На таких профилях нагрузки в случае ssd не удивлюсь, если львиная доля латенси идет даже не со стораджа, а с вашей мета базы.
Не становится узким местом у вас? Прокачивать весь траф через L7 (похоже, судя по слову 'кэширование') проксю? DSR не используете для отдачи трафа с меньшим количеством хопов?
Вообще в целом интересно было бы послушать, как у вас происходит эволюция требований в мире нагрузки для ML/AI. Трафик в сотни гигабит уже очень мало. Снимать с петабайта nvme дисков (особенно с mirror-3) можно уже 1-2 терабита, а то и больше.
Скажем так, судя по вашим ответам в этом посте, они могут быть правы.
Из принципа платить минимум семье, которая содержит вашего сына и гордиться и писать на Хабре об этом - такого я ещё не видел
У вас показания не сходятся.
Вы выше пишете, что сейчас принимают законы, чтобы можно было больше получать при разводе. И тут же пишете, что цель развода отдать имущество. А эта цель когда появилась?
Я уверен, в большинстве разводов за последние лет 30 алименты были либо нищенские, либо вообще не платились
А то что вы приводите - это какие-то маргинальные случаи из мира обеспеченных
Люди меняются и узнаются. В ЗАГС люди идут на пике своих отношений. Потом многое меняется и если люди к этому не могут адаптироваться, то получается что получается.
Считать, что это как-то женщина больше тут виновата, это как минимум глупо.
Я - страшный мужчина :/
Между сгенеренным изображением и кодом есть одна большая разница: изображение генерится один раз и больше не трогается. Код же надо поддерживать, годами и десятилетиями.
И пока мы не наблюдаем взрыва новых сервисов, приложений, опенсорс библиотек. Хотя казалось бы, увеличение производительности разработчиков даже в 2 должны были привести к кратному росту всего, что они делают.
Что же мы видим в реальности? Много прототипов и 'я сделал игру за выходные', Но потом они уходят в небытие. Как будто написание кода не было ботлнеком.
Будем наблюдать. В качестве прототипирования и написания одноразового или неважного кода AI он действительно рулит и бибикает
Основная проблема умных телевизоров в том, что их ум стареет быстрее, чем техническая база самого телевизора.
Вот бы делали хорошие глупые телевизоры и подключаемы ai станции, которые можно менять хоть каждый второй год
А дайте ссылку на этот пакет документов. Я бы посмотрел на субстанцию того, что вы предлагаете. Техническую составляющую.
Просто если не нет, а весь проект это этот или такой же текст, то это буквально современный аналог пасты про грабить корованы.
Под такой текст хорошо бюджеты пилить или большого брата делать.
А в ваш она как встроена?
Очевидно эта этика будет задаваться владельцем системы (так же как и в случае Ютуба)
И в итоге это будет ещё одна труба этики государства. Не знаю как вы, но сейчас я лучше доверюсь этике Гугла.
Как по мне отличная тенденция. Мы уверенно движемся к тому, что учиться будут только те, кто действительно этого хочет. Все остальные будут читерить, потому что это становится максимально просто.
Го, как любой рантайм с гц, имеет проблемы с поддержкой низких латенси на одном хорошем уровне. Если вы ждёте 50мс ответа от базы, можно писать на чем угодно. А вот если захотите видеть сотни микросек, то го может начать быть проблемой
10 лет назад аудитории было поменьше
И на один запрос делалось сильно меньше
Нужно ли для компенсации этого все переписывать - вопрос спорный. Но ваш аргумент совсем слабый
А вам, похоже, нравится игнорировать реальность. На западе набрали людей именно во время ковида и первые массовые сокращения в фаангах начались ещё в 22-23. То есть ещё до ии бума всякие гуглы увольняли в том числе инженеров, в том числе хороших.
Если бы ещё ydb sdk имели такую унифицированную опцию. В реальности даже в рамках одного гошного sdk эта настройка существует только для некоторых способов взаимодействия.
Я уже не говорю о том, что это именно table префикс. Используете топики (которые не бэкапятся, кстати) или более низкоуровневое API - вам не повезло, сами добавляйте префикс к названиям сущностей.
Было бы круто, если бы этот префикс стал глобальной настройкой sdk и полностью прозрачной для клиентского кода.