Git сохраняет новые версии бинарных файлов как отдельные копии, не показывая подробные различия между ними, что затрудняет отслеживание изменений с течением времени.
А DVC разве умеет показывать diff для хранимых в нём файлов?
И да, и нет. Если бы было по-вашему, то пакетизация (batch) запросов не имела бы смысла, но она довольно часто полезна. Зависит всё от модельки и соотношения flops/bandwidth. При инференсе надо многократно прогонять всю модельку от GPU RAM до вычислительных ядер и, если их в избытке, память становится бутылочным горлышком. Но я встречал и случаи, batch size = 1 работал так же хорошо. Вот есть неплохая статья на эту тему https://www.artfintel.com/p/how-does-batching-work-on-modern
В последнем случае не столько объем памяти сыграл, наверное, сколько её скорость (разрядность шины). В 5080 обещают больше памяти, чем в 5090, но медленнее, и там придется подумать.
Ну так-то да, блоки разного размера, каждый под свою задачу. Например, извлечь список сторон контракта из документа, написанного в произвольной форме, Питоном достаточно сложно, а вот с помощью LLM справится даже ребенок. Или вот задача от Базелевса, про которую еще лет десять назад написали - по сценарию фильма нарисовать примерную раскадровку, чтобы съемочной группе упростить задачу (не помню уже, в чем, но нужна вот такая серия картинок или мультиков). На питоне её решить очень сложно, мультимодальной сетью - уже реально.
Моя мысль в том, что кирпичи надо выбирать под задачу. Пока во всех этих тестах из железобетонных плит пытаются сложить печку - получается довольно странно. Хотя в целом это вполне себе способ и порой это может оказаться дешевле, чем позвать мастера-печника.
Замените в вашем тексте "питон" на "ассемблер", а "человеческий язык" на тот же C++. Довольно неплохо получается, особенно если "EULA" заменить на "стандарт". Плотность передачи мысли в естественном языке выше, чем в питоне. Поэтому ряд программистких активностей смогут перекочевать в эти чат-боты. Но, если продолжить мою аналогию выше, профессионалы, знающие, как сделать быструю низкоуровневую библиотеку, останутся нужны ещё очень долго.
Софт, который используется для географического разнесения сервисов по разным ДЦ обязан быть обратносовместимым, потому как нельзя одновременно обновлять два ДЦ (пытаться можно, но часто будет очень грустно). Но выше уже разобрались, конкретно эта пара версий имеет право не работать вместе.
В этой документации более важно то, что заявлена поддержка совместимости двух минорных версий. Тогда несовместимость 1.13 и 1.16 это не баг, а фича, и обновлять ДЦ независимо все же можно.
С одной стороны: Технические работы на кластере можно проводить в любое время.
С другой стороны: Дебаг показал, что в одном из кластеров версия Istio 1.13, в другом — 1.16. После обновления до 1.16 проблема ушла.
То есть сейчас ваша инфраструктура зависит от одного сервиса, который не умеет в обратную совместимость в рамках minor версии? Как обновлять такой сервис?
Хм, это сейчас, во время СВО, не удалось найти как выйти в плюс? На озоне довольно много продавцов тех же футляров для нефопама, маржа там сотнями процентов измеряется.
Кроме случаев, когда тормозит не сервис, а, например, сторонняя инфраструктура (разделяемое хранилище) и перенос или масштабирование сервиса не только не решит проблему, но и уложит сторонние сервисы, использующие эту инфраструктуру. А чтобы понять, что тормозит хранилище надо, внезапно, читать логи.
Я знаю, что такое санкции и как они работают, и санкции против РФ это не то же самое, что и санкции против иностранных компаний, работающих в РФ. Просто вы слегка пафосно зашли с основной цели любого бизнеса, но сейчас вести бизнес в РФ довольно маржинально. Рискованно, но маржинально. Сделать фирм-прокладок для импорта разного тоже можно, миллион примеров можно найти. Я к тому всё вел, что получение прибыли - далеко не единственная цель бизнеса, хотя, безусловно, критически важная для его выживания. Есть множество примеров бизнесов, задача которых - нести что-то хорошее в мир. Такими являются, например, благотворительные фонды. Некоторые компании занимают промежуточное положение - don't be evil and make some money. И так далее.
А DVC разве умеет показывать diff для хранимых в нём файлов?
И да, и нет. Если бы было по-вашему, то пакетизация (batch) запросов не имела бы смысла, но она довольно часто полезна. Зависит всё от модельки и соотношения flops/bandwidth. При инференсе надо многократно прогонять всю модельку от GPU RAM до вычислительных ядер и, если их в избытке, память становится бутылочным горлышком. Но я встречал и случаи, batch size = 1 работал так же хорошо. Вот есть неплохая статья на эту тему https://www.artfintel.com/p/how-does-batching-work-on-modern
В последнем случае не столько объем памяти сыграл, наверное, сколько её скорость (разрядность шины). В 5080 обещают больше памяти, чем в 5090, но медленнее, и там придется подумать.
Ну так-то да, блоки разного размера, каждый под свою задачу. Например, извлечь список сторон контракта из документа, написанного в произвольной форме, Питоном достаточно сложно, а вот с помощью LLM справится даже ребенок. Или вот задача от Базелевса, про которую еще лет десять назад написали - по сценарию фильма нарисовать примерную раскадровку, чтобы съемочной группе упростить задачу (не помню уже, в чем, но нужна вот такая серия картинок или мультиков). На питоне её решить очень сложно, мультимодальной сетью - уже реально.
Моя мысль в том, что кирпичи надо выбирать под задачу. Пока во всех этих тестах из железобетонных плит пытаются сложить печку - получается довольно странно. Хотя в целом это вполне себе способ и порой это может оказаться дешевле, чем позвать мастера-печника.
Замените в вашем тексте "питон" на "ассемблер", а "человеческий язык" на тот же C++. Довольно неплохо получается, особенно если "EULA" заменить на "стандарт".
Плотность передачи мысли в естественном языке выше, чем в питоне. Поэтому ряд программистких активностей смогут перекочевать в эти чат-боты. Но, если продолжить мою аналогию выше, профессионалы, знающие, как сделать быструю низкоуровневую библиотеку, останутся нужны ещё очень долго.
Ох уж эти десктопные программисты. Тут беззнакового байта хватит. А если не хватит, то можно решить проблему аппаратно.
Всё это уже сделано в хороших институтах (МФТИ, например). Просто у нас ещё много плохих осталось.
На "дефолтной", x86. Мы про какую предвыборку говорим - которая от спекулятивного выполнения?
Предвыборка данных процессора на это рассчитана. Собственно meltdown это и эксплуатировал
Софт, который используется для географического разнесения сервисов по разным ДЦ обязан быть обратносовместимым, потому как нельзя одновременно обновлять два ДЦ (пытаться можно, но часто будет очень грустно). Но выше уже разобрались, конкретно эта пара версий имеет право не работать вместе.
В этой документации более важно то, что заявлена поддержка совместимости двух минорных версий. Тогда несовместимость 1.13 и 1.16 это не баг, а фича, и обновлять ДЦ независимо все же можно.
С одной стороны: Технические работы на кластере можно проводить в любое время.
С другой стороны: Дебаг показал, что в одном из кластеров версия Istio 1.13, в другом — 1.16. После обновления до 1.16 проблема ушла.
То есть сейчас ваша инфраструктура зависит от одного сервиса, который не умеет в обратную совместимость в рамках minor версии? Как обновлять такой сервис?
Можно найти по слову "нефопамница". Жёсткий пластиковый футляр для хранения шприц-тюбика с обезболивающим.
При весе наверное, грамм 20-30, оно выставляется на продажу за 500 рублей.
(del), не та ветка
Хм, это сейчас, во время СВО, не удалось найти как выйти в плюс? На озоне довольно много продавцов тех же футляров для нефопама, маржа там сотнями процентов измеряется.
Не "не смогли", а "не захотели". Не нагоняйте "драматизму" на ровном месте :)
Больше распознаётся образов, играется игр Го, пишется текстов и т.п. Не у всех, конечно, но и не каждый CPU работает не в составе печатной машинки.
Энергоэффективность, например
Кроме случаев, когда тормозит не сервис, а, например, сторонняя инфраструктура (разделяемое хранилище) и перенос или масштабирование сервиса не только не решит проблему, но и уложит сторонние сервисы, использующие эту инфраструктуру. А чтобы понять, что тормозит хранилище надо, внезапно, читать логи.
Я знаю, что такое санкции и как они работают, и санкции против РФ это не то же самое, что и санкции против иностранных компаний, работающих в РФ. Просто вы слегка пафосно зашли с основной цели любого бизнеса, но сейчас вести бизнес в РФ довольно маржинально. Рискованно, но маржинально. Сделать фирм-прокладок для импорта разного тоже можно, миллион примеров можно найти.
Я к тому всё вел, что получение прибыли - далеко не единственная цель бизнеса, хотя, безусловно, критически важная для его выживания.
Есть множество примеров бизнесов, задача которых - нести что-то хорошее в мир. Такими являются, например, благотворительные фонды. Некоторые компании занимают промежуточное положение - don't be evil and make some money. И так далее.