Дешевые провайдеры openrouter отвечают так, будто им самый дешёвый attention включили. Мысль повествования прерывистая. Контекст быстро теряют, начинают по другой теме говорить, явно из весов, а не вопроса.
Поэтому всегда, когда выбираю deepseek r1, включаю провайдеров Together, Fireworks. У них речь чище, меньше иероглифов, ответ в пределах 4к токенов меня устраивает. У других - нет.
Я в курсе, что openrouter жестко относится к любителям квантования. И в общий поток клиентов таких провайдеров не пускает. Но что касается других параметров сети, кроме квантования - тут у меня вопросы.
Только не на 5м поколении epyc. А четвертом. Один 9654 + 12*16 ГБ памяти. Вертушки действительно шумные у кулера coolserver. Только тихие кулеры пошли на выброс. Матплата supermicro h13ssl думает, что их раскрутить не может. И постоянно идёт старт-стоп. В итоге оставил шумные, но они на двух шариковых подшипниках. На запуске машины шумят минуту. Пока bios и ipmi грузятся. Потом Ubuntu 24 грузится 2-4 секунды. И становится тихо. Нейронки нагрузки не создают. И полной раскрутки вентиляторов нет.
С памятью беда. На Авито, в магазинах DDR5 4800 Registered постоянно попадалась битая. Я ей заранее затарился. И не от всей битой памяти смог избавиться. Hynix выкинул. Причем даже в магазинах на веру принимали, что память не рабочая. Им тестировать негде. И запасы 2-4 штуки. В итоге брал только Samsung. И то последовательно. Спасло то, что можно 2,4,6,8,10 каналов поставить. И работало.
Windows, кстати, поднять я на нем так и не смог. Купил ключ. Вроде подходящий. Но не стартовала. Убил два дня. И решил, что убунты достаточно.
А нейронки тут да. Понял, что всё что быстрее 15 токенов в секунду воспринимается нормально.
Но я достаточно наигрался с битыми весами. И в низкий квант не верю. Поэтому запускать R1 не буду. Тем более, что памяти всего 192 ГБ. Дистиляты смотрел. С ними что-то не так. Оригинальный qwen в разы лучше.
всё проще.
Большой электрон-позитронный коллайдер(LEP) перестроен в большой адронный коллайдер (LHC). Что в нём сохранено кроме туннеля, я не знаю. Коллайдеры только и делают, что перестраиваются. Несколько лет эксплуатации, а потом очередная перестройка под новые энергии. Большой адронный коллайдер будет перестраиваться с 2018 по 2021 годы. Потом несколько лет эксплуатации и опять ремонт.
Сам заметил по DeepSeek R1.
Дешевые провайдеры openrouter отвечают так, будто им самый дешёвый attention включили. Мысль повествования прерывистая. Контекст быстро теряют, начинают по другой теме говорить, явно из весов, а не вопроса.
Поэтому всегда, когда выбираю deepseek r1, включаю провайдеров Together, Fireworks. У них речь чище, меньше иероглифов, ответ в пределах 4к токенов меня устраивает. У других - нет.
Я в курсе, что openrouter жестко относится к любителям квантования. И в общий поток клиентов таких провайдеров не пускает. Но что касается других параметров сети, кроме квантования - тут у меня вопросы.
Когда хотят, что-бы людям не верили: о них пришут в третьем лице.
Взял себе как раз схожую конфигурацию год назад.
Только не на 5м поколении epyc. А четвертом. Один 9654 + 12*16 ГБ памяти. Вертушки действительно шумные у кулера coolserver. Только тихие кулеры пошли на выброс. Матплата supermicro h13ssl думает, что их раскрутить не может. И постоянно идёт старт-стоп. В итоге оставил шумные, но они на двух шариковых подшипниках. На запуске машины шумят минуту. Пока bios и ipmi грузятся. Потом Ubuntu 24 грузится 2-4 секунды. И становится тихо. Нейронки нагрузки не создают. И полной раскрутки вентиляторов нет.
С памятью беда. На Авито, в магазинах DDR5 4800 Registered постоянно попадалась битая. Я ей заранее затарился. И не от всей битой памяти смог избавиться. Hynix выкинул. Причем даже в магазинах на веру принимали, что память не рабочая. Им тестировать негде. И запасы 2-4 штуки. В итоге брал только Samsung. И то последовательно. Спасло то, что можно 2,4,6,8,10 каналов поставить. И работало.
Windows, кстати, поднять я на нем так и не смог. Купил ключ. Вроде подходящий. Но не стартовала. Убил два дня. И решил, что убунты достаточно.
А нейронки тут да. Понял, что всё что быстрее 15 токенов в секунду воспринимается нормально.
Но я достаточно наигрался с битыми весами. И в низкий квант не верю. Поэтому запускать R1 не буду. Тем более, что памяти всего 192 ГБ. Дистиляты смотрел. С ними что-то не так. Оригинальный qwen в разы лучше.
Большой электрон-позитронный коллайдер(LEP) перестроен в большой адронный коллайдер (LHC). Что в нём сохранено кроме туннеля, я не знаю. Коллайдеры только и делают, что перестраиваются. Несколько лет эксплуатации, а потом очередная перестройка под новые энергии. Большой адронный коллайдер будет перестраиваться с 2018 по 2021 годы. Потом несколько лет эксплуатации и опять ремонт.