Если будет 100% подходящих работников - это же прекрасно! А если они будут лгать, можно что-то вроде репутации учитывать, то насколько сведения сообщаемые кандидатом достоверны.
А потом как можно подогнать резюмэ под 100% анкет в которых взаимоисключающие требования: кто-то ищет руководителя кто-то исполнителя, гдето учат, а гдето нужен опыт. Написал, что опыт есть, а его нет - будет отзыв указывающий на это.
Спасибо за уточнение. Я вообще-то болею за AMD просто понимаю, что 2 канала - это 2 канала, а 12 каналов - это 12 каналов. Привел расчеты чтобы каждый кто прочитает сразу прикинул, что mt/s может быть больше.
Прочитал ссылку по диагонали и не понял что с чем там сравнивается, как буд-то нет конкретики. GPU можно нагружать батчами, т.е. они могут поралельно генерировать для нескольких пользователей или для нескольких агентов и скорость палает не пропорционально увеличению количества потоков, уверен, что ryzen ai max сдуется.
Лично я пока сделаю ставку на V100 + NVLINK в количестве GPU от 8 до 16 на сервер. Но, как я написал, болею за AMD, надеюсь у них выстрелит. Во всяком случае? на 12-канальных эпиках скорость RAM уже совсем другая. Если там будут чипылеты как на ryzen ai max адаптированные для совместной работы с соотвествующим интерконектом, то получится GPU с теробайтами VRAM!
Теоритический предел t/s грубо посчитать можно через вес в байтах активных параметров модели деленный на пропускную способность памяти. У Ryzen же всего 2 канала DDR5 памяти. Давайте сравним: при 4800 мегатранзакций в секунду пропускная способность одного канала ~38,4 ГБ/с, а двух 76,8. RTX3090 как и V100 имеют скорость ~ 900ГБ/сек. Разница в 10 раз. А M4 Max судя по быстрому гуглежу 546 Гбит/с на M4 против 273 Гбит/с на M4 Pro - это уже существенно.
Кстати в дорогих переходниках, я видел pci-e комутатор, таким образом, если воткнуть туда 4х 32GB V100 получается в слот на материнки вы втыкаете эквивалент 4-х головой видеокарты сразу с VRAM 128ГБ по цене 60+40х4 ~ 250 К, если собирать самому (вспомнил, что видел у китайцев модули 32GB V100 по цене 40 тыс рублей)
Другой вопроc, что какие-то самые современные технологие с чипами Volta могут не работать, хотя встречал новости, что кийтацы како-то attention переписали под V100 и выложили на github и это драматически исправило ситуацию.
Я может быть что-то не понимаю, поправьте меня, но запуская локально llm через ollama на 2х 3090 и одной A4000 я не замечал значительного трафика через pci-e (nvlink отсутствует). Наблюдал через nvtop.
А можно и несколько дешманских v100 16GB, уже на валдберисе продаются. Стоит v100 16GB SXM2 в районе 12 тыс рубоей (подозреваю, что китайцы их килограммами как лом из датацентров получают), переходник на pci-e 2-5 тыс руб, водянка 3 тыс + радиатор + помпа иои воздугка 5 тыс.
Или собранеый комплект на авито за 20-25 тыс руб.
V100 32gb sxm2 версия стоит 60-80 тыс руб, но есть переходники на pci-e на 2 и 4 модуля сразу с обьединением nvlink. Получается эквиваоент почти видюхи на 64 или даже 128 gb vram по ещё приемлимым ценам
Удивительно, они действуют по одному и тому же шаблону: сначала говорят что что-то делаться точно (внимание точно, обсалютно точно!) не будет, потом делается именно то, что не должно было делать с их слов.
Это какая-то команда саботажников работает? Намеренно руинят репутацию, никто уже дано ни одному слову не верит и более того, считает что все будет сделано наоборот относительно заявлений и как правило оказываются правы. Ну как ещё это можно объяснить.
Не будучи религиозным человеком невольно вспоминаю своё далекое детство, когда дедушка таскал меня на выступления американского проповедника Джона Картора. И вот там единственное что мне запомнилось - это мысль в его проповедях, что дьявол - отец лжи, всё что делает дьявол основано на лжи и таким образом его легко можно изобличить.
Казалось бы, зачем лгать по любому поводу, можно, например просто промолчать, чтобы хоть какие-то остатки репутации сохранить. Но нет.
Базовая станция при рабрте учитывает эффект Доплера и корректирует частоту несущей для движушихся обхектов. Потенциально, скорость известна где-то в гоубинах gsm-стэка. Можно ли как-то просто эту информацию извлеч - вот в чем вопрос.
Рекомендую containerproxy - плагин для firefox позволяющий для разных контейнеров задать разные настройки proxy: открываете мах в одном контейнере, всё остальное в другом. И всё! Нет сложности, негде накосячить с настройаами.
Но они (взносы) платятся работодателем, не из зарплаты сотрудника
Меня аж трИсёт от таких уверждений.
А по теме, может в промпте надо было этот нюанс уточнить? Перед тестом не делалась коррекция промптов? Я бы предпочел попсомтреть на результаты не первой, а 5-й или даже 10-й итерации.
По OCR - я правильно понял, делали OCR не самой моделью, а подавали ошибочные данные? А что если бы номер на самом деле включал в себя букву "О", а не цифру "0"? А я такое встречал и продолжаю встречать, особенно здорово буквы "О" выглядят в pppoe-паролях от Росстелеком, который считает что в каждом пароле должно быть хотя бы пару таких задач на распознавание. Ещё l и I - это разные символы. По моему, правильнее, не исправлять идентификаторы на этапе работы, если это не оговорено отдельным промптом.
Жаль, что в этом тесте нет qwen 397 A17B - по моему у уэтой модели обостренное чувство порядка.
Есть даже разработанные китайцами дешевые переходники 2х SXM2 V100 - pci-e, где модули объеденены через nvlink. Причем по pci-e связь может быть через расщепление слота x8+x8, что требует pci-e bifurcation или же чуть дороже, через pci-e коммутатор прямо на переходпике.
Но и это не всё. Есть такие платы доя 4-х модулей и они продаются на wildberries, один из продавцов Сяошуй, который сам разработал эти платы, оказывает тех поддпржку на руссаом языке и грозится сделать модель на 8 модулей sxm2 (на модулях, как я понимаю всего 4 nvlink-соединения, а значит счязность по nv-link будет не полная).
4-х портовый переходрик стоит 50-60 тыс рублей. Модули sxm2 v100 16GB стоят 12 тыс руб, а sxm2 v100 32GB - от 40 тыс рублей. Модуль жидкоснооо охлаждения 2500 руб, а воздушного от 3500 руб.
Единственное что может оправдать ваши цены - не желание разбираться как всё это собирается. Вот те кто не хотят могут платить, не желание учиться должно стоить дорого. Компапия с хотя бы одним нормальным специалистом легко соберет суперкомпьютер у себя.
Если будет 100% подходящих работников - это же прекрасно! А если они будут лгать, можно что-то вроде репутации учитывать, то насколько сведения сообщаемые кандидатом достоверны.
А потом как можно подогнать резюмэ под 100% анкет в которых взаимоисключающие требования: кто-то ищет руководителя кто-то исполнителя, гдето учат, а гдето нужен опыт. Написал, что опыт есть, а его нет - будет отзыв указывающий на это.
Я бы очень хотел посмотреть как рассуждает модель обученная вообще без фильтрации специфичного контента из книг и сказок.
Спасибо за уточнение. Я вообще-то болею за AMD просто понимаю, что 2 канала - это 2 канала, а 12 каналов - это 12 каналов. Привел расчеты чтобы каждый кто прочитает сразу прикинул, что mt/s может быть больше.
Прочитал ссылку по диагонали и не понял что с чем там сравнивается, как буд-то нет конкретики. GPU можно нагружать батчами, т.е. они могут поралельно генерировать для нескольких пользователей или для нескольких агентов и скорость палает не пропорционально увеличению количества потоков, уверен, что ryzen ai max сдуется.
Лично я пока сделаю ставку на V100 + NVLINK в количестве GPU от 8 до 16 на сервер. Но, как я написал, болею за AMD, надеюсь у них выстрелит. Во всяком случае? на 12-канальных эпиках скорость RAM уже совсем другая. Если там будут чипылеты как на ryzen ai max адаптированные для совместной работы с соотвествующим интерконектом, то получится GPU с теробайтами VRAM!
Теоритический предел t/s грубо посчитать можно через вес в байтах активных параметров модели деленный на пропускную способность памяти. У Ryzen же всего 2 канала DDR5 памяти. Давайте сравним: при 4800 мегатранзакций в секунду пропускная способность одного канала ~38,4 ГБ/с, а двух 76,8. RTX3090 как и V100 имеют скорость ~ 900ГБ/сек. Разница в 10 раз. А M4 Max судя по быстрому гуглежу 546 Гбит/с на M4 против 273 Гбит/с на M4 Pro - это уже существенно.
Кстати в дорогих переходниках, я видел pci-e комутатор, таким образом, если воткнуть туда 4х 32GB V100 получается в слот на материнки вы втыкаете эквивалент 4-х головой видеокарты сразу с VRAM 128ГБ по цене 60+40х4 ~ 250 К, если собирать самому (вспомнил, что видел у китайцев модули 32GB V100 по цене 40 тыс рублей)
Другой вопроc, что какие-то самые современные технологие с чипами Volta могут не работать, хотя встречал новости, что кийтацы како-то attention переписали под V100 и выложили на github и это драматически исправило ситуацию.
Я может быть что-то не понимаю, поправьте меня, но запуская локально llm через ollama на 2х 3090 и одной A4000 я не замечал значительного трафика через pci-e (nvlink отсутствует). Наблюдал через nvtop.
По моему, nvkink нужен только для обучения.
На Ленине надо зафайнтюнить, потом подать в контекст описание текущего положения дел в стране и мире и спросить что делать )
Удивительно, что до сих пор никто не сделал так.
А можно и несколько дешманских v100 16GB, уже на валдберисе продаются. Стоит v100 16GB SXM2 в районе 12 тыс рубоей (подозреваю, что китайцы их килограммами как лом из датацентров получают), переходник на pci-e 2-5 тыс руб, водянка 3 тыс + радиатор + помпа иои воздугка 5 тыс.
Или собранеый комплект на авито за 20-25 тыс руб.
V100 32gb sxm2 версия стоит 60-80 тыс руб, но есть переходники на pci-e на 2 и 4 модуля сразу с обьединением nvlink. Получается эквиваоент почти видюхи на 64 или даже 128 gb vram по ещё приемлимым ценам
Удивительно, они действуют по одному и тому же шаблону: сначала говорят что что-то делаться точно (внимание точно, обсалютно точно!) не будет, потом делается именно то, что не должно было делать с их слов.
Это какая-то команда саботажников работает? Намеренно руинят репутацию, никто уже дано ни одному слову не верит и более того, считает что все будет сделано наоборот относительно заявлений и как правило оказываются правы. Ну как ещё это можно объяснить.
Не будучи религиозным человеком невольно вспоминаю своё далекое детство, когда дедушка таскал меня на выступления американского проповедника Джона Картора. И вот там единственное что мне запомнилось - это мысль в его проповедях, что дьявол - отец лжи, всё что делает дьявол основано на лжи и таким образом его легко можно изобличить.
Казалось бы, зачем лгать по любому поводу, можно, например просто промолчать, чтобы хоть какие-то остатки репутации сохранить. Но нет.
Опять пугающие заявления от слишком умных и потому опасных llm.
Такие публикации ненавязчиво намекают на необходимость контроля и полезность цензуры.
По моему, цензуру нужно накладывать на тех, кто сходит с ума от общения с чатботами и начинает воспринимать их как человека.
Это были агенты...
Не думаю, они же платят деньги!
Базовая станция при рабрте учитывает эффект Доплера и корректирует частоту несущей для движушихся обхектов. Потенциально, скорость известна где-то в гоубинах gsm-стэка. Можно ли как-то просто эту информацию извлеч - вот в чем вопрос.
Для светомаскировки.
Значит, надо запретить граждан и не будет угроз от них.
Там около 6 килобит в секунду битрейт. Для передачи координат и даже сильно сжатых отдельных снимков с камеры хватит.
Тогда надо вообще отказываться от gsm... ради безопасности.
Рекомендую containerproxy - плагин для firefox позволяющий для разных контейнеров задать разные настройки proxy: открываете мах в одном контейнере, всё остальное в другом. И всё! Нет сложности, негде накосячить с настройаами.
Меня аж трИсёт от таких уверждений.
А по теме, может в промпте надо было этот нюанс уточнить? Перед тестом не делалась коррекция промптов? Я бы предпочел попсомтреть на результаты не первой, а 5-й или даже 10-й итерации.
По OCR - я правильно понял, делали OCR не самой моделью, а подавали ошибочные данные? А что если бы номер на самом деле включал в себя букву "О", а не цифру "0"? А я такое встречал и продолжаю встречать, особенно здорово буквы "О" выглядят в pppoe-паролях от Росстелеком, который считает что в каждом пароле должно быть хотя бы пару таких задач на распознавание. Ещё l и I - это разные символы. По моему, правильнее, не исправлять идентификаторы на этапе работы, если это не оговорено отдельным промптом.
Жаль, что в этом тесте нет qwen 397 A17B - по моему у уэтой модели обостренное чувство порядка.
Есть даже разработанные китайцами дешевые переходники 2х SXM2 V100 - pci-e, где модули объеденены через nvlink. Причем по pci-e связь может быть через расщепление слота x8+x8, что требует pci-e bifurcation или же чуть дороже, через pci-e коммутатор прямо на переходпике.
Но и это не всё. Есть такие платы доя 4-х модулей и они продаются на wildberries, один из продавцов Сяошуй, который сам разработал эти платы, оказывает тех поддпржку на руссаом языке и грозится сделать модель на 8 модулей sxm2 (на модулях, как я понимаю всего 4 nvlink-соединения, а значит счязность по nv-link будет не полная).
4-х портовый переходрик стоит 50-60 тыс рублей. Модули sxm2 v100 16GB стоят 12 тыс руб, а sxm2 v100 32GB - от 40 тыс рублей. Модуль жидкоснооо охлаждения 2500 руб, а воздушного от 3500 руб.
Единственное что может оправдать ваши цены - не желание разбираться как всё это собирается. Вот те кто не хотят могут платить, не желание учиться должно стоить дорого. Компапия с хотя бы одним нормальным специалистом легко соберет суперкомпьютер у себя.