Тоже сижу на Qwen 2.5 (14B), потому что шустро и весьма эффективно. Можно и 32B, но 16 GB VRAM уже поджимают. Какого-то огромного прироста качества в кодинге в сравнении с обычным Qwen 2.5 с переходом на R1 Distill-Qwen 14B не обнаружил. Моделька часто перепрыгивает на другие языки (китайский, испанский, какие-то ещё неизвестные мне), путается в собственных длинных рассуждениях даже при temp=0. Попробую потом 32B, может быть, будет стабильнее и полезнее, или попробую формировать запросы только на английском. А то, блин, я уже начал запоминать значение некоторых иероглифов :D
Вот мне и стало интересно сколько же будет это стоить.
Ну чисто технически, запуск квантованных моделей это всё еще запуск настоящей R1, а не её дистиллированных версий, и, например, Q6_K уже не отличима от оригинала по качеству (оригинал обучался в fp8).
Собрать б/у эпик 1-2 поколения работающий на ddr4 в 16-канале на скоростях 400гб/с обойдется где-то в 150-200к, или дешевле, если заказывать на таобао. Туда можно набить 1тб памяти, этого хватит чтобы запустить Q8_0/Q6_K модель, а для Q4_K_M, которая теряет несколько процентов качества, хватит и 512гб. Скорость инференса будет 4t/s, для сравнения скорость небыстрого чтения где-то 5t/s. Б/у эпики есть и на ddr5, но ощутимо дороже.
Тут unsloth сделал динамическое квантование gguf для R1, запихнув модель в 131 ГБ в 1.58 бита. Квантовал в 1.5 бита только MoE веса, а слои внимания оставлял как 4/6 бит, в итоге получилось добиться не плохого качества экстремально снижая требования к железу.
Да, это супер квантованная версия, но тем не менее, автор показал, что такой версией можно пользоваться, и можно написать Flappy Bird:
И уже для запуска такой версии на хорошей скорости достаточно 6x 7900xtx по 100к каждая (суммарный объем 144гб vram), скорость работы будет намного быстрее скорости чтения.
Mac с 192гб унифицированной быстрой памятью может запускать такую модель на приличной скорости.
Так как это MoE модель, то можно активные веса, которых всего 37B из 671B, вынести в момент инференса на GPU из памяти, и это, даже с учетом перекидывания туда-сюда весов, даст неплохое ускорение. Эту идею реализует ktransformers, но пока не для V3 и R1.
На нем в редакторе Хабра нельзя вставить текст из буфера обмена:
Дедушка Мороз@Boomburum, хоть и не согласился сделать а-та-та своим эльфам, но всё же открыл мне секрет, как это лечится: нужно в about:config установить значение layout.css.has-selector.enabled в true — и будет Вам ЩАСТЬЕ.
Сделал себе несколько увлажнителей. Уверенно держат 50-60% при приоткрытых окнах и приточке, если окна закрыть - можно вообще до уровня бани нагнать. Площадь суммарно 90 квадратов.
Внутри обязательно кварцевая лампа без озона. Без нее будет грязь и зараза. Тут есть большая засада, поскольку ламп хороших попросту нет - китайцы делают их так погано, что хвататет на неделю. Светодиоды можно сразу забыть, на эти длины волн диоды или стоят космос, или полуфейк с 10мВт излучения в нужном диапазоне. Лампы герметичные, для аквариумов, либо аналог. Чтобы ультрафиолетом не светило наружу, колба сделана из толстой затемненной стеклянной вазы - значок радиации (на фото) не просто так повешен, он из светящегося от УФ пластика - не светится.
Испаритель ультразвуковой погружной. Другие типы - ерунда, ибо у тех, что с фильтром, слабая производительность (хотя их можно натыкать пару десятков - они стоят копейки на али), испарители с нагревом жрут электричество и пожароопасны, испаритель естественный требует стационарной венткамеры с кварцевыми лампами - иначе всё тлен - шумно, габаритно, дорого, грязно.
Подключение к чистому контуру водопровода. У меня стоит осмотический фильтр, от которого через ограничитель и датчик потока сделана разводка по всей квартире. Внутри увлажнителя классическая унитазная система, она наиболее надежна и проверена временем всё в тех же унитазах.
Управление - ESP32 + реле + mqtt + несколько zigbee датчиков на батарейках. Что интересно, датчики по 300 рублей с распродажи очень точны, есть поверенный прибор для проверки, расхождение плюс-минус пару процентов влажности и полградуса по температуре.
Есть проблема с конденсатом на окнах. Увы, не решается никак... Точнее, решается обдувом, но это очень шумно, потому не подходит.
Для работе в браузерах необходимо отключить поддержку протокола QUIC и шифронабора Kyber. В браузерах на основе Chrome (Yandex, Edge, Opera, Vivaldi) отключать в chrome://flags (искать по "QUIC", "Kyber"), в Firefox: about:config (network.http.http3.enable false, Kyber по умолчанию отключён). Эти настройки не требуются при использовании прокси.
Эти снежинки с их Великой Гномьей Книгой Обид ничуть не лучше Ондржея. Такая же крайность, только с противоположным знаком. Как говорил Эскобар - шо то ..., шо это ...
А отправлять лучше в мою репу, она имеет исключительно практическую направленность (автоматизировать посещение таких ресурсов через прокси), а не коллекционирует сайты, на которых есть украинский флажок.
Сталкивался с такой бедой, и не раз, но у меня есть немедицинский совет, который не раз мне и моим близким помогал за последние полгода. У гугла есть LLM Palm2, которая обучалась на мед данных, точность диагностирования у него кажется даже выше чем у врачей, но что самое главное, чат-бот бард работает на Palm2, и мед функционал у него хоть и кажется вырезан, но он все еще остался. Его можно обмануть разными ухищрениями и получить от него вероятный диагноз и возможное лечение. Ему можно отправить результаты анализов, или даже ренген и МРТ снимки предварительно конвертировав в jpg. Он будет отникиваться, но повторюсь, его легко обмануть. На своем опыте могу сказать, что его комментарий к МРТ оказался ровно таким же как и у врача, только на 2 недели раньше.
p.s. не знаю, как будут обстоять дела с приходом джемини, но на худой конец, доступ к palm можно поучить по API.
Вас спасет недорогой райд контроллер на 16 портов, допустим 9300-16 в HBA на али до 200 баксов, а если нужен именно аппаратный райд то это или другие деньги за 9361-16i, или надо смотреть предыдущее поколение поколение со своими нюансами
Ну там есть еще лираглутид, и дутаглутид, все они под различными торговыми марками (оземпик, саксенда, трулисити, и еще 100500 их). Есть в таблетках (ребелсас), уколы тоже по разному бывают. Как жиробас в прошлом (42% жира) и "биохакер дохрена" (начиная креатином, заканчивая тренболоном) могу ответственно заявить что это просто неотличимо от магии, нужно перетерпеть начальные побочки и после этого ты ПРОСТО ЕШЬ МЕНЬШЕ. Не надо анализировать свое поведение, проверять работает-не работает, пытаться сдавать лептин-грелин-инсулин-гр-ифр, две недели, и все, ты нормальный человек. Сейчас 18% жира, путь был трудный, пробовал многое на себе, но аГПП-1 антагонисты это просто чит-код.
У меня отец недавно попал в аналогичную ситуацию, в документации телеграмма рекомендуют экстренно удалить аккаунт через сайт телеги, https://my.telegram.org/auth?to=delete из минусов удалятся все чаты каналы переписки из плюсов это работает достаточно быстро (несколько минут), потом почти сразу можно создать новый аккаунт. а чтобы не терялись важные контакты/каналы/чаты делаем резервное копирование ссылок куда-нибудь отдельно.
Автодополнение - крутая штука. Из истории по умолчанию и можно добавить разных умных дополнений с подсказками для git, docker, kubectl, az, aws, и прочее.
Готов платить за запрет направления мне голосовых сообщений. Или пусть сделает голосовухи платными. Накипело короче...)
about:preferences#experimentalТоже сижу на Qwen 2.5 (14B), потому что шустро и весьма эффективно. Можно и 32B, но 16 GB VRAM уже поджимают. Какого-то огромного прироста качества в кодинге в сравнении с обычным Qwen 2.5 с переходом на R1 Distill-Qwen 14B не обнаружил. Моделька часто перепрыгивает на другие языки (китайский, испанский, какие-то ещё неизвестные мне), путается в собственных длинных рассуждениях даже при temp=0. Попробую потом 32B, может быть, будет стабильнее и полезнее, или попробую формировать запросы только на английском. А то, блин, я уже начал запоминать значение некоторых иероглифов :D
Ну чисто технически, запуск квантованных моделей это всё еще запуск настоящей R1, а не её дистиллированных версий, и, например, Q6_K уже не отличима от оригинала по качеству (оригинал обучался в fp8).
Собрать б/у эпик 1-2 поколения работающий на ddr4 в 16-канале на скоростях 400гб/с обойдется где-то в 150-200к, или дешевле, если заказывать на таобао. Туда можно набить 1тб памяти, этого хватит чтобы запустить Q8_0/Q6_K модель, а для Q4_K_M, которая теряет несколько процентов качества, хватит и 512гб.
Скорость инференса будет 4t/s, для сравнения скорость небыстрого чтения где-то 5t/s. Б/у эпики есть и на ddr5, но ощутимо дороже.
Тут unsloth сделал динамическое квантование gguf для R1, запихнув модель в 131 ГБ в 1.58 бита. Квантовал в 1.5 бита только MoE веса, а слои внимания оставлял как 4/6 бит, в итоге получилось добиться не плохого качества экстремально снижая требования к железу.
Да, это супер квантованная версия, но тем не менее, автор показал, что такой версией можно пользоваться, и можно написать Flappy Bird:
И уже для запуска такой версии на хорошей скорости достаточно 6x 7900xtx по 100к каждая (суммарный объем 144гб vram), скорость работы будет намного быстрее скорости чтения.
Mac с 192гб унифицированной быстрой памятью может запускать такую модель на приличной скорости.
Так как это MoE модель, то можно активные веса, которых всего 37B из 671B, вынести в момент инференса на GPU из памяти, и это, даже с учетом перекидывания туда-сюда весов, даст неплохое ускорение. Эту идею реализует ktransformers, но пока не для V3 и R1.
Дедушка
Мороз@Boomburum, хоть и не согласился сделать а-та-та своим эльфам, но всё же открыл мне секрет, как это лечится: нужно вabout:configустановить значениеlayout.css.has-selector.enabledвtrue— и будет Вам ЩАСТЬЕ.Сделал себе несколько увлажнителей. Уверенно держат 50-60% при приоткрытых окнах и приточке, если окна закрыть - можно вообще до уровня бани нагнать. Площадь суммарно 90 квадратов.
Внутри обязательно кварцевая лампа без озона. Без нее будет грязь и зараза. Тут есть большая засада, поскольку ламп хороших попросту нет - китайцы делают их так погано, что хвататет на неделю. Светодиоды можно сразу забыть, на эти длины волн диоды или стоят космос, или полуфейк с 10мВт излучения в нужном диапазоне. Лампы герметичные, для аквариумов, либо аналог. Чтобы ультрафиолетом не светило наружу, колба сделана из толстой затемненной стеклянной вазы - значок радиации (на фото) не просто так повешен, он из светящегося от УФ пластика - не светится.
Испаритель ультразвуковой погружной. Другие типы - ерунда, ибо у тех, что с фильтром, слабая производительность (хотя их можно натыкать пару десятков - они стоят копейки на али), испарители с нагревом жрут электричество и пожароопасны, испаритель естественный требует стационарной венткамеры с кварцевыми лампами - иначе всё тлен - шумно, габаритно, дорого, грязно.
Подключение к чистому контуру водопровода. У меня стоит осмотический фильтр, от которого через ограничитель и датчик потока сделана разводка по всей квартире. Внутри увлажнителя классическая унитазная система, она наиболее надежна и проверена временем всё в тех же унитазах.
Управление - ESP32 + реле + mqtt + несколько zigbee датчиков на батарейках. Что интересно, датчики по 300 рублей с распродажи очень точны, есть поверенный прибор для проверки, расхождение плюс-минус пару процентов влажности и полградуса по температуре.
Есть проблема с конденсатом на окнах. Увы, не решается никак... Точнее, решается обдувом, но это очень шумно, потому не подходит.
Корпус PETG + TPU + стекло.
Фото
Обход только для yt-dlp и браузера
ByeDPI (Windows/Linux) — запускает локальный Socks5-прокси
./ciadpi-x86_64 -i 127.0.0.1 -p 10801 -s 1yt-dlp --proxy 'socks5://127.0.0.1:10801' …Обход на уровне системы, для всех приложений
В Windows: GoodbyeDPI
Создайте текстовый файл youtube-domain.txt с текстом
googlevideo.comgoodbyedpi.exe --blacklist youtube-domain.txt -e 1 --native-fragВ Linux: zapret
Создайте текстовый файл youtube-domain.txt с текстом
googlevideo.comsudo ./nfqws --qnum=200 --dpi-desync=split2 --dpi-desync-split-pos=1 --hostlist=youtube-domain.txtsudo iptables -I OUTPUT -o <сетевой_интерфейс> -p tcp --dport 443 -j NFQUEUE --queue-num 200 --queue-bypassВ Android: ByeDPIAndroid
Для работе в браузерах необходимо отключить поддержку протокола QUIC и шифронабора Kyber. В браузерах на основе Chrome (Yandex, Edge, Opera, Vivaldi) отключать в
chrome://flags(искать по "QUIC", "Kyber"), в Firefox:about:config(network.http.http3.enable false, Kyber по умолчанию отключён).Эти настройки не требуются при использовании прокси.
Эти снежинки с их Великой Гномьей Книгой Обид ничуть не лучше Ондржея. Такая же крайность, только с противоположным знаком. Как говорил Эскобар - шо то ..., шо это ...
А отправлять лучше в мою репу, она имеет исключительно практическую направленность (автоматизировать посещение таких ресурсов через прокси), а не коллекционирует сайты, на которых есть украинский флажок.
Сталкивался с такой бедой, и не раз, но у меня есть немедицинский совет, который не раз мне и моим близким помогал за последние полгода. У гугла есть LLM Palm2, которая обучалась на мед данных, точность диагностирования у него кажется даже выше чем у врачей, но что самое главное, чат-бот бард работает на Palm2, и мед функционал у него хоть и кажется вырезан, но он все еще остался. Его можно обмануть разными ухищрениями и получить от него вероятный диагноз и возможное лечение. Ему можно отправить результаты анализов, или даже ренген и МРТ снимки предварительно конвертировав в jpg. Он будет отникиваться, но повторюсь, его легко обмануть. На своем опыте могу сказать, что его комментарий к МРТ оказался ровно таким же как и у врача, только на 2 недели раньше.
p.s. не знаю, как будут обстоять дела с приходом джемини, но на худой конец, доступ к palm можно поучить по API.
Я оставлю вам ссылочку, а что с этим делать дальше, разберетесь сами ;)
Вас спасет недорогой райд контроллер на 16 портов, допустим 9300-16 в HBA на али до 200 баксов, а если нужен именно аппаратный райд то это или другие деньги за 9361-16i, или надо смотреть предыдущее поколение поколение со своими нюансами
Ну там есть еще лираглутид, и дутаглутид, все они под различными торговыми марками (оземпик, саксенда, трулисити, и еще 100500 их). Есть в таблетках (ребелсас), уколы тоже по разному бывают. Как жиробас в прошлом (42% жира) и "биохакер дохрена" (начиная креатином, заканчивая тренболоном) могу ответственно заявить что это просто неотличимо от магии, нужно перетерпеть начальные побочки и после этого ты ПРОСТО ЕШЬ МЕНЬШЕ. Не надо анализировать свое поведение, проверять работает-не работает, пытаться сдавать лептин-грелин-инсулин-гр-ифр, две недели, и все, ты нормальный человек. Сейчас 18% жира, путь был трудный, пробовал многое на себе, но аГПП-1 антагонисты это просто чит-код.
У меня отец недавно попал в аналогичную ситуацию, в документации телеграмма рекомендуют экстренно удалить аккаунт через сайт телеги, https://my.telegram.org/auth?to=delete
из минусов удалятся все чаты каналы переписки
из плюсов это работает достаточно быстро (несколько минут), потом почти сразу можно создать новый аккаунт.
а чтобы не терялись важные контакты/каналы/чаты делаем резервное копирование ссылок куда-нибудь отдельно.
Прочитал как "кривости" и минуту не мог понять, о каких кривостях речь.
Для красоты используется вот это https://ohmyposh.dev/
Для функционала вот эти модули:
https://github.com/PowerShell/PSReadLine
https://github.com/dahlbyk/posh-git
Прочие ссылки:
https://www.youtube.com/watch?v=n1sFkbPlDww
https://www.hanselman.com/blog/my-ultimate-powershell-prompt-with-oh-my-posh-and-the-windows-terminal
Автодополнение - крутая штука. Из истории по умолчанию и можно добавить разных умных дополнений с подсказками для git, docker, kubectl, az, aws, и прочее.
.
Я бы рекомендовал ip2location или db-ip, они позволяют скачивать бесплатные версии баз без регистрации и смс.