Он использовал Gen 5 NVMe накопители. А оперативку (96Gb) только под кэш. Нужно посмотреть сколько она RAM жрет и попробовать засунуть все в оперативку вместо SSD, а кеш в ускоритель и посмотреть, что получится. Думаю раз в 10 будет быстрее
Только что проверил. Как было $20 так и осталось. Заходил с акка который им никогда не платил за подписку. У вас указана разовая цена по промо. Отличный вариант сделать кликбейт "из-за которой OpenAI снизил цену на ChatGPT"
140 тыс это крайне мало, нужно сразу миллион заложить, а лучше два, с учетом, что большая часть откажется работать с теми зарплатами, что они предложат и пойдут в курьеры.
Назвать ROCm "эмулятор CUDA" это конечно сильно) То что он позволяет переносить код с CUDA не делает его "эмулятором". Для задач с повышенным требованием к память то же Instinct MI325X гораздо выгоднее H100/H200. Даже без оптимизации Instinct MI325X показывает сопоставимый уровень производительности при почти вдвое более низкой цене.
@NeyroEntuziast Случайно не видели тестов насколько 70b уступает 671b? Вчера искал где можно продать почки для покупки нескольких А100/H100, чтобы запустить 671b, c грустью понял, что у меня нет столько почек( Пришлось остановится на 70b, буду на стенде на инстинкте 210 пробовать. Если лень позволит напишу, что получится.
Где-то проскакивала информация что китайцы делают 4090, 48Gb, не могу найти продавцов, если у кого есть ссылка киньте пожалуйста.
Было бы интересно если кто ни будь попробовал на паре 7900ХТ/ХТХ запустить, там в пересчете на доллар памяти вдвое больше чем у 4090 и сравнить с 4090
По ощущениям R1 интереснее о1. И рассуждения у нее забавные, кинул ей немного кривой код, так она там целую повесть написала (12 831 символ), что же имел ввиду пользователь и считать ли это ошибкой или это специально задумано, не пришла к однозначному выводу, начала покрывать код тестами, в результате решила, что поскольку на краевых значениях код не эффективен, то это бага, а не фича и исправила, то что ей не понравилось)
Вот кусок)
Делает покрытие
"Похоже, код работает. Тогда в чём проблема? Может, пользователь забыл добавить уменьшение i или что-то ещё? Или, возможно, он вводит данные неправильно? Но код использует input().split(), что должно работать. Но тогда почему пользователь говорит, что есть проблема? Может, он не получает ожидаемый результат?"
Делает покрытие с другими значениями
"Всё равно работает. Может, проблема в другом. Посмотрю на код ещё раз."
Делает еще тесты находит лажу и начинает про нее рассуждать)
Вот только эти проценты - публикации типа "Проблемы памяти воды при изменении торсионных полей" и прочая не относящаяся к IT ерунда, как упомянутая выше "Как я заработал на когтеточках 30 лямов..." Хабр превратился в Пикабу с it уклоном.
А где гарантия, что ваш проект размещённый в приватном облаке со своей LLM не накроется медным тазом? Как по мне вероятность, что отвалится ChatGPT меньше, чем перебои с личной инфраструктурой, если вы конечно не готовы вложить в нее пару миллионы не рублей, что маловероятно для предприятия занимающегося сортировкой мусора и тп.
Зарплатная вилка для начинающих специалистов остается в пределах 80-150 тысяч рублей
Хотелось бы подробностей от "эксперта" где джун без опыта получает до 150к
"Не все бегут за огромной зарплатой", – делится наблюдениями Анастасия Эллисон.
Мы жуки-плавунцы или мужики российские ржаные гречневые? Али не выйдем на недоплачиваемые смены? За гроши совестью мужицкой приторговали? Да нет, я по глазам вашим мужицким вижу, что тут зарплатных нет.
"Робот-пылесос с рукой" у меня основная проблема не носки, а кот, который игнорирует робопылесос и продолжает лежать на месте, ему явно не придется по вкусу, если его попробуют переложить как носок)
Можно уточнить, где именно он хромает, скажем по R1 сравнению с o1 (с четверкой даже смысла нет сравнивать)?
Уже есть но отказывается признаваться)
Скорее всего имеется ввиду https://www.reddit.com/r/LocalLLaMA/comments/1idseqb/deepseek_r1_671b_over_2_toksec_without_gpu_on/
Он использовал Gen 5 NVMe накопители. А оперативку (96Gb) только под кэш. Нужно посмотреть сколько она RAM жрет и попробовать засунуть все в оперативку вместо SSD, а кеш в ускоритель и посмотреть, что получится. Думаю раз в 10 будет быстрее
Только что проверил. Как было $20 так и осталось. Заходил с акка который им никогда не платил за подписку. У вас указана разовая цена по промо. Отличный вариант сделать кликбейт "из-за которой OpenAI снизил цену на ChatGPT"
.
Какой ChatGPT использовали? GPT-4o, о1 или o1 pro? А то, если сравнивать с GPT-4o то можно и не сравнивать, уровень совершенно разный
140 тыс это крайне мало, нужно сразу миллион заложить, а лучше два, с учетом, что большая часть откажется работать с теми зарплатами, что они предложат и пойдут в курьеры.
Назвать ROCm "эмулятор CUDA" это конечно сильно) То что он позволяет переносить код с CUDA не делает его "эмулятором". Для задач с повышенным требованием к память то же Instinct MI325X гораздо выгоднее H100/H200. Даже без оптимизации Instinct MI325X показывает сопоставимый уровень производительности при почти вдвое более низкой цене.
Энтузиасты запускают LLM на всем, включая одноплатники. А маки со своей быстрой памятью просто в клочья рвут ускорители с HBM3)
Посмотрел я скрин этого теста, кажется я даже не о1
del
del
@NeyroEntuziast Случайно не видели тестов насколько 70b уступает 671b? Вчера искал где можно продать почки для покупки нескольких А100/H100, чтобы запустить 671b, c грустью понял, что у меня нет столько почек( Пришлось остановится на 70b, буду на стенде на инстинкте 210 пробовать. Если лень позволит напишу, что получится.
Где-то проскакивала информация что китайцы делают 4090, 48Gb, не могу найти продавцов, если у кого есть ссылка киньте пожалуйста.
Было бы интересно если кто ни будь попробовал на паре 7900ХТ/ХТХ запустить, там в пересчете на доллар памяти вдвое больше чем у 4090 и сравнить с 4090
По ощущениям R1 интереснее о1. И рассуждения у нее забавные, кинул ей немного кривой код, так она там целую повесть написала (12 831 символ), что же имел ввиду пользователь и считать ли это ошибкой или это специально задумано, не пришла к однозначному выводу, начала покрывать код тестами, в результате решила, что поскольку на краевых значениях код не эффективен, то это бага, а не фича и исправила, то что ей не понравилось)
Вот кусок)
Делает покрытие
Делает покрытие с другими значениями
Делает еще тесты находит лажу и начинает про нее рассуждать)
ПлагиатРерайт статьи 2020 года с РБК. Даже фото то же. https://www.rbc.ru/quote/news/article/5e3166fa9a79473b4d318349Или это ваша же статья в РБК и вы решили откопать стюардессу?
Вот только эти проценты - публикации типа "Проблемы памяти воды при изменении торсионных полей" и прочая не относящаяся к IT ерунда, как упомянутая выше "Как я заработал на когтеточках 30 лямов..."
Хабр превратился в Пикабу с it уклоном.
А где гарантия, что ваш проект размещённый в приватном облаке со своей LLM не накроется медным тазом? Как по мне вероятность, что отвалится ChatGPT меньше, чем перебои с личной инфраструктурой, если вы конечно не готовы вложить в нее пару миллионы не рублей, что маловероятно для предприятия занимающегося сортировкой мусора и тп.
Хотелось бы подробностей от "эксперта" где джун без опыта получает до 150к
Мы жуки-плавунцы или мужики российские ржаные гречневые? Али не выйдем на недоплачиваемые смены? За гроши совестью мужицкой приторговали? Да нет, я по глазам вашим мужицким вижу, что тут зарплатных нет.
Интересный БП, спасибо за обзор, при апгрейде как вариант теперь буду рассматривать.
Кстати, на амазоне €188.48 плюс доставка если что.
"Робот-пылесос с рукой" у меня основная проблема не носки, а кот, который игнорирует робопылесос и продолжает лежать на месте, ему явно не придется по вкусу, если его попробуют переложить как носок)
Насчет яиц не уверен, но одно яйцо точно есть
Зато есть свое космическое агентство)