Есть исключение, Logi 910, там свичи сделаны с прозрачной ножкой и светодиоды установлены под ними, кроме этого там есть и регулятор громкости и многое другое, но там со временем будет проблема со свичами, благо они есть на али и замена занимает минут 10. Есть и другие клавиатуры с прозрачными ножками свичей, я ранее находил, но к сожалению сейчас не найду ссылки
Потому что в этом случае будет адски тормозить. 1. Каждый фрагмент модели должен обмениваться промежуточными данными с другими, что приводит к задержкам; 2. Архитектура трансформеров подразумевает последовательную обработку, где результаты одного слоя нужны для следующего. Распределённая реализация требует постоянной синхронизации между узлами. Это можно решить с помощью чего-то типа 100 GbE, вот только цена каждого адаптера с учетом порта на свиче будет выше "средних десктопов " И сомневаюсь, что "средний десктоп" сможет загрузить 100 GbE. Для сравнения H200 через NVLink может гонять со скоростью 900 ГБ/с, а в один сервак их можно воткнуть 8 штук и получить 1 ТБ памяти. Для "средних десктопов " - максимум 256 гб DDR5 и скорость 70-80 ГБ/с, цена такого "среднего десктопа " будет около 3к (100 GbE - $1к - 2к+), или 30к за десять, плюс свич еще 10к, по кругу этот колхоз из 10 шт будет стоить минимум 40-45к
Так и большинство заблокировать нельзя как упомянутого выше Славу Рюмина, потому что он компания и это говно постоянно появляется в ленте. Со временем они набивают себе карму и начинаю тащить на Хабр или своих клонов или новых авторов копростатей. В результате Хабр постепенно становится помойкой для пиара. Не знаю как остальные, но я все реже захожу на Хабр, проще на реддите найти или LLM спросить. Хотя наверняка у Хабра метрики растут с такими статьями, как верно отметил автор. Но это до поры до времени.
А китайский Хай Энд качественные усилители в классе D существуют, с небольшой мощностью(до 50 - 100W), но высоким качеством (бюджет вторичен)? Просто попадались платы на алике по 20к - 40к+ руб, но брать без отзывов или с отзывом типа "отличный усилитель - работает" не хочется).
Поддержу, динамики редкое г.., валяются в коробке, после пары дней убрал.
Кстати кто ни будь может порекомендовать плату нормального усилителя класса D с Aлика? Мощность не критична, главное чтобы с 8 омами нормально работала и качество звука было хорошим, просто валяется центральный канал Dynaudio, хочу его переделать в переносную стереосистему)
Кстати, вы правы, тест какую-то чушь показывает, скрин был честно украден из статьи, также как и ваш)). Сейчас посчитал, скорость приблизительно должна быть 1,5 ТБ/с
При 180 ГБ/с у автора той статьи был один токен/с если правильно помню, то на паре эпиков (если справедлива линейная экстраполяция) получится 8 - 10 токенов/с
Совершенно непонятно какая там будет реальная производительность этого GB10 Пока не будет реальных тестов, смысла нет, что то предполагать. Производительность указана только для FP4, а фраза до 1 петафлопс, предполагает ооочень широкий диапазон. И там всего 128 гб памяти.
На паре EPYC с DDR5 4-5 т/с можно получить, но стоимость будет существенно выше, но дешевле чем на ускорителях.
На досуге считал, мать с $1,5 - 2к, cpu 2 x $1500, ram 64gb ~ $300 за штуку для 768 - $3600. Итого примерно $10к. Можно взять cpu подешевле, но это так себе идея. И памяти конечно нужно не 768, а с запасом хотя бы 1ТБ
Начиная с момента отказа от толстого клиента, по моим ощущениям все становилось только хуже от версии к версии. Да, появлялись новые фичи, исправлялись старые баги, но общее ощущение ухудшалось. А после покупки Broadcom возникает ощущение, что они хотят угробить продукт. В принципе все проблемы указали в статье: стоимость, тех. поддержка, портал за полтора года так и не достиг уровня который был. У нас около 40 серверов с ESXi, мы не стали переходить на новые лицензии, пока работаем с тем, что есть и рассматриваем варианты миграции на другие платформы
Не могу, а вы можете). Если убрать рекламу останется пара строк. И это не статья для хабра, а пост в Х, типа если можешь что то сделать быстро - сделай не откладывай на завтра. О кажется такое уже было, "Если можешь сделать сегодня - не откладывай на завтра")
Хотите победить прокрастинацию отключите на уровне сети всякие тик токи и прочее, чтобы включить сразу было затруднительно. Рядом с рабочим местом запас энергетиков, а для дедлайна чет из разрешенных в вашей стране таблеток от сдвг/нарколепсии (рекомендовать ничего не буду, некоторые запрещены в той или иной стране) и обязательно разгрузочные дни от всей этой дряни.
Мне всегда казалось, что дарквеб это не только инфобез, а еще и продажа запрещенных веществ, оружия, поддельных документов и тд. Как тот же Silk Road, о котором опять вспомнили после освобождения Ульбрихта, или не так давно почившая Гидра. Какая-то однобокая статья.
С учетом что для R1 (без квантования) нужно примерно 2,3 Тб оперативки, будет интересно на пластину посмотреть) Судя по тому, что они запустили 70b это их максимум и там примерно 300-400Гб памяти, хотя нет гарантии, что они в реальности не размазали по нескольким пластинам
Тут анонс платформы Gigabyte прошел (https://habr.com/ru/companies/hostkey/articles/878364/), с 48 сокетами под RAM и пропускной способностью 2,7 ГБ, это конечно раз в 10 медленнее ускорителей, но за счет того что модель будет лежать в одном месте, получается почти в два раза быстрее, чем на кластере из 32 штук 4090 и гораздо дешевле.
GPU ( 32x RTX 4090):
INT8: ~1–5 токенов в секунду.
---
32x RTX 4090 - 48 000
минимум 8 серверов по 4 карты минимум 24 000$
---
~72 000 $
Если пересчитать с 12 * A6000, будет еще дороже
Про 10 А100/H100 даже писать страшно, там уже полмиллиона+ будет и это для INT8, для FP16 умножаем примерно на 3) Будет конечно быстрее чем в оперативке)
Есть исключение, Logi 910, там свичи сделаны с прозрачной ножкой и светодиоды установлены под ними, кроме этого там есть и регулятор громкости и многое другое, но там со временем будет проблема со свичами, благо они есть на али и замена занимает минут 10.
Есть и другие клавиатуры с прозрачными ножками свичей, я ранее находил, но к сожалению сейчас не найду ссылки
Потому что в этом случае будет адски тормозить.
1. Каждый фрагмент модели должен обмениваться промежуточными данными с другими, что приводит к задержкам;
2. Архитектура трансформеров подразумевает последовательную обработку, где результаты одного слоя нужны для следующего. Распределённая реализация требует постоянной синхронизации между узлами.
Это можно решить с помощью чего-то типа 100 GbE, вот только цена каждого адаптера с учетом порта на свиче будет выше "средних десктопов " И сомневаюсь, что "средний десктоп" сможет загрузить 100 GbE. Для сравнения H200 через NVLink может гонять со скоростью 900 ГБ/с, а в один сервак их можно воткнуть 8 штук и получить 1 ТБ памяти.
Для "средних десктопов " - максимум 256 гб DDR5 и скорость 70-80 ГБ/с, цена такого "среднего десктопа " будет около 3к (100 GbE - $1к - 2к+), или 30к за десять, плюс свич еще 10к, по кругу этот колхоз из 10 шт будет стоить минимум 40-45к
Попробуйте в субреддит написать не по теме) Или какое-то маркетинговое "ни о чем" даже если оно по по теме саба)
Да кто угодно, боты, люди перешедшие из поиска, аффилированные пользователи и те для кого Хабр это Пикабу с техническим уклоном.
Так и большинство заблокировать нельзя как упомянутого выше Славу Рюмина, потому что он компания и это говно постоянно появляется в ленте. Со временем они набивают себе карму и начинаю тащить на Хабр или своих клонов или новых авторов копростатей. В результате Хабр постепенно становится помойкой для пиара. Не знаю как остальные, но я все реже захожу на Хабр, проще на реддите найти или LLM спросить. Хотя наверняка у Хабра метрики растут с такими статьями, как верно отметил автор. Но это до поры до времени.
А китайский
Хай Эндкачественные усилители в классе D существуют, с небольшой мощностью(до 50 - 100W), но высоким качеством (бюджет вторичен)? Просто попадались платы на алике по 20к - 40к+ руб, но брать без отзывов или с отзывом типа "отличный усилитель - работает" не хочется).Поддержу, динамики редкое г.., валяются в коробке, после пары дней убрал.
Кстати кто ни будь может порекомендовать плату нормального усилителя класса D с Aлика? Мощность не критична, главное чтобы с 8 омами нормально работала и качество звука было хорошим, просто валяется центральный канал Dynaudio, хочу его переделать в переносную стереосистему)
Кстати, вы правы, тест какую-то чушь показывает, скрин был честно украден из статьи, также как и ваш)). Сейчас посчитал, скорость приблизительно должна быть 1,5 ТБ/с
При 180 ГБ/с у автора той статьи был один токен/с если правильно помню, то на паре эпиков (если справедлива линейная экстраполяция) получится 8 - 10 токенов/с
Два эпика по 12 каналов сильно больше выдают с DDR5, чуть меньше 3 тб/с, думаю по факту будет 10+ токенов.
Кстати откуда скорость 180GB/s? В реальности 180 GB/s будет на 12 каналах.
Совершенно непонятно какая там будет реальная производительность этого GB10 Пока не будет реальных тестов, смысла нет, что то предполагать. Производительность указана только для FP4, а фраза до 1 петафлопс, предполагает ооочень широкий диапазон. И там всего 128 гб памяти.
На паре EPYC с DDR5 4-5 т/с можно получить, но стоимость будет существенно выше, но дешевле чем на ускорителях.
На досуге считал, мать с $1,5 - 2к, cpu 2 x $1500, ram 64gb ~ $300 за штуку для 768 - $3600. Итого примерно $10к. Можно взять cpu подешевле, но это так себе идея. И памяти конечно нужно не 768, а с запасом хотя бы 1ТБ
Начиная с момента отказа от толстого клиента, по моим ощущениям все становилось только хуже от версии к версии. Да, появлялись новые фичи, исправлялись старые баги, но общее ощущение ухудшалось. А после покупки Broadcom возникает ощущение, что они хотят угробить продукт. В принципе все проблемы указали в статье: стоимость, тех. поддержка, портал за полтора года так и не достиг уровня который был.
У нас около 40 серверов с ESXi, мы не стали переходить на новые лицензии, пока работаем с тем, что есть и рассматриваем варианты миграции на другие платформы
Не могу, а вы можете). Если убрать рекламу останется пара строк. И это не статья для хабра, а пост в Х, типа если можешь что то сделать быстро - сделай не откладывай на завтра. О кажется такое уже было, "Если можешь сделать сегодня - не откладывай на завтра")
Хотите победить прокрастинацию отключите на уровне сети всякие тик токи и прочее, чтобы включить сразу было затруднительно. Рядом с рабочим местом запас энергетиков, а для дедлайна чет из разрешенных в вашей стране таблеток от сдвг/нарколепсии (рекомендовать ничего не буду, некоторые запрещены в той или иной стране) и обязательно разгрузочные дни от всей этой дряни.
Если бы Хабр вернул правило, что нельзя публиковать ссылки на сторонние ресурсы, то тонны таких говнопостов сразу бы исчезли
Странно видимо AMD со своим Instinct (особенно 325x) находится в параллельной вселенной
Уверены? Попробуйте к примеруAlan Wake 2, Wukong и тд в 4к запустить на 3080. Хорошо если кадров 20 будет.
Мне всегда казалось, что дарквеб это не только инфобез, а еще и продажа запрещенных веществ, оружия, поддельных документов и тд. Как тот же Silk Road, о котором опять вспомнили после освобождения Ульбрихта, или не так давно почившая Гидра. Какая-то однобокая статья.
Да и ссылки на первоисточники интересно глянуть)
С учетом что для R1 (без квантования) нужно примерно 2,3 Тб оперативки, будет интересно на пластину посмотреть) Судя по тому, что они запустили 70b это их максимум и там примерно 300-400Гб памяти, хотя нет гарантии, что они в реальности не размазали по нескольким пластинам
Могли и в 1000 раз, просто надо было сравнить о1 и дистилят R1 1,5b. Выше правильно Mike_666 написал, что ежа с ужом сравнивали
Тут анонс платформы Gigabyte прошел (https://habr.com/ru/companies/hostkey/articles/878364/), с 48 сокетами под RAM и пропускной способностью 2,7 ГБ, это конечно раз в 10 медленнее ускорителей, но за счет того что модель будет лежать в одном месте, получается почти в два раза быстрее, чем на кластере из 32 штук 4090 и гораздо дешевле.
GPU ( 32x RTX 4090):
INT8: ~1–5 токенов в секунду.
---
32x RTX 4090 - 48 000
минимум 8 серверов по 4 карты минимум 24 000$
---
~72 000 $
Если пересчитать с 12 * A6000, будет еще дороже
Про 10 А100/H100 даже писать страшно, там уже полмиллиона+ будет и это для INT8, для FP16 умножаем примерно на 3) Будет конечно быстрее чем в оперативке)
1 ТБ RAM:
FP16: Невозможно.
INT8: 7–10 токенов в секунду.
3 ТБ RAM:
FP16: 4 –7 токена в секунду.
INT8: 14–20 токенов в секунду.
---
GIGABYTE R283-ZK0-AAL1 - 7 339,00 $
3 ТБ RAM - 15000 $
AMD EPYC 9274 - 2 * 2 255,00 $
---
~ 25000 - 26000