Долго думал, стоит ли брать v100 в модификации корпуса rtx5090 - такие в среднем продают за 62 тысячи рублей. Взял. Никто не пишет прошумящие дроссели, они шумят практически у всех. По окладу нет проблем, но в api не можешь регулировать скорость вентиляторов - есть "ручной" спрятан за платой и можно крутить :) - шум в закрытом корпусе на уровне 35-40 дбм. Сейчас интересно смотрится PG199 - типа аналог A100 но только на 32гб, пишут что они стояли в автопилотах Теслы и обладают такой же скоростью как оригинальные A100 - но я не проверял, только видел, цены в среднем от 140 до 200 тысяч, в зависимости от наглости продавца - не рискнул.
По V100 в нагрузке, такая картина
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 580.178.04 Driver Version: 580.178.04 CUDA Version: 13.0 |
+-----------------------------------------+------------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+========================+======================|
| 0 Tesla V100-SXM2-32GB Off | 00000000:03:00.0 Off | 0 |
| N/A 54C P0 248W / 300W | 31245MiB / 32768MiB | 96% Default |
| | | N/A |
+-----------------------------------------+------------------------+----------------------+
+-----------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=========================================================================================|
| 0 N/A N/A 2166 C ...local/lib/ollama/llama-server 31242MiB |
+-----------------------------------------------------------------------------------------+
Делать даунвольт до 260 не рекомендую, ollama будто зависает и перезапускают модель в случаях когда используется более половины памяти, если выделено 300 ватт, то таких проблем не наблюдал. Облачные V100 кстати показывают 250 ватт - соответственно по моим тестам в долгую показывают результат qwen3.8:27b 20-22 t\s против локальной v100 28-30 t\s. Брать или нет, смотрите сами, также стоит подсчитать затраченное электричество - в зависимости от использования 20 долларовая подписка в определенных случаях будет смотреться привлекательнее.
Каждая worker-нода получает публичный IP — 150 ₽/мес. Это обязательная часть конфигурации, отказаться от неё нельзя, так что закладывайте её в расчёт на каждую ноду.
А где то пишут что публичных адресов осталось на 3 дня... Плохое решение от такой зависимости, стреляете себе в ногу.
Как обычно, сайт тормозит и электронная версия товара закончилась, остались только физические копии.... Когда грузчики ещё отгрузят электронных версий товара?
Странно, когда я запускал модели и даже whisperx то за 10-15 беспрерывной работы мак мини m4 грелся достаточно сильно и вентилятор разгонялся до 4000 оборотов.
Собирал в октябре 2025, когда 2 модуля памяти по 32гб продавались за 22 тысячи рублей.
Всего 64 гб ОЗУ, ryzen 7-9700X, мать MSI B850 GAMING PLUS WIFI, nvme на 2 тб за 15т.р ну и корпус с БП DEEPCOOL GamerStorm PN1200M = все это вышло в 130 тысяч. И плюс RTX5090 за 200р. Сейчас так сетап в среднем около 700-750р выйдет.
Тестирование это хорошо, но ни слова про перегрев. Или у вас дополнительное охлаждение или тесты делались быстро и в холодильнике? На мак-мини запускал модели, спустя минуту вентилятор работает почти на полную мощь. Интересно как на тоненьком air без вентиляторов проводили тесты.
Почему никто не говорит про проблемы на маках - про циклические зависания даже простых моделей, тот же whisper который помещается в 8 гб объединенной памяти глючит на больших объемах, при этом на старой 8гб gpu нет таких проблем.
Успел купить 5090 за 200 т.р в октябре и на qwen3.6:27b минимальная цифра по генерации была 75 токенов в секунду и контекст в 210 тысяч влезает, поэтому выбирайте внимательнее. Ну и плюс на mlx pytorch не умеет в gpu оптимизации т.е. что либо дообучить\обучить на маке можно, но проблематично в сравнении с зелеными картами.
Не хейтер маков, но они переоценены блогерами и любителями яблочной экосистемы.
Есть достаточно много поклонников почившего ныне Константина Ступина. Автор убери картинку - я не скрываю, что поставил минус за статью и минус в карму. Не надо так делать с исполнителями лучших песен. @Exosphere призываю, пока не образовался отряд с вилами.
Тут зависит от того как и когда считать. Например сейчас можно найти предложения аренды rtx5090 с 128гб ОЗУ и 2тб диском за 50 тысяч рублей, где то дороже может быть. В октябре 2025 года взял комп с такими же характеристиками за 350 тысяч рублей. Если запускать обучение моделей, то это работа 24/7 и за электричество в среднем оплата 5-6 тысяч рублей, собственный ПК окупится уже через 8-9 месяцев. Сейчас же такой ПК будет стоить около 750 тысяч рублей, ну и срок окупаемости в 2 раза больше. По аренде как и с своими серверами тоже не все бывает гладко, что то выйдет из строя и с технической поддержкой даже в селектеле переписка может быть 2 недели, а время затраченное на перепись никто не компенсирует.
А потом приходит бизнес и сверху рекомендаций с умным ранжированием прибивает сетку от нужных селлеров и пользователь возмущается что умные алгоритмы, по факту не такие умные. :) Успехов!
Зачем такие сложности? Просто запускаем ванильный ollama server, правим systemd добавляя env Environment=“OLLAMA_HOST=0.0.0.0:11434”, ставим редактор zed - выбираем из списка ollama прописываем ip своего сервера и окно контекста и все.
Очень интересно, но при внедрении istio и обмазывание envoy, насколько увеличивается потребление ресурсов кластера в зависимости от трафика и насколько увеличивается latency при использовании сертификатов. Всегда когда внедряют подобные инструменты в явном виде описывают - ванильный постгрес с репликами vs постгрес в кубере с envoy, раз тест, два тест - ванильный постгрес с сертификатами и в кубере и с envoy - вот сравнительная таблица и в наших тестах победил конечно же.....
Спасибо. Про проектирование интерфейсов обычно статьи начинаются с "Сформулированный Джорджем Миллером в 1956 году...." вот и не знал куда написать про интерфейс фильтров т.к. проблеме уже много лет и удивлен что в таком отточенном сервисе есть такие проблемы, которые с большой долей вероятности из-за неправильного проектирования не исправятся - надеюсь что я ошибаюсь.
Про стандарты очень хорошо. Но старой баго-фиче уже много лет. Это такой стандарт? Как воспроизвести:
На стартовой странице, выбираем "Электроника" -> "Ноутбуки". Крутим вниз и нажимаем все фильтры. Вот тут то и начинается морковные попрыгайки. Выбираю процессор, нажимаю одну модель и рррааз пункт меню сдвинулся в другую часть экрана, вновь выбираю еще один процессор и так по всем пунктам меню.
Как вы думаете, будет ли пользователь использовать такой интерфейс для поиска точного товара? На других конкурентных площадках не видел такой проблемы.
Вопрос-действие. Клиент выгрузил на платформе вашего openstack image виртуальной машины - для скачивания открывается доступ по ссылке, без авторизации, такая особенность облака. Просто берем ссылку и скачиваем. В случае если по этой ссылке скачает образ злоумышленник и получит доступ к данным клиента, кто в данном случае понесет ответственность и каким образом будет расследоваться инцидент?
Нет. Смотрел именно в 32 гб, чтобы уместить. Купил только после того как погонял в облаке и посмотрел цены на аренду, очень сильно растут.
Долго думал, стоит ли брать v100 в модификации корпуса rtx5090 - такие в среднем продают за 62 тысячи рублей. Взял. Никто не пишет прошумящие дроссели, они шумят практически у всех. По окладу нет проблем, но в api не можешь регулировать скорость вентиляторов - есть "ручной" спрятан за платой и можно крутить :) - шум в закрытом корпусе на уровне 35-40 дбм. Сейчас интересно смотрится PG199 - типа аналог A100 но только на 32гб, пишут что они стояли в автопилотах Теслы и обладают такой же скоростью как оригинальные A100 - но я не проверял, только видел, цены в среднем от 140 до 200 тысяч, в зависимости от наглости продавца - не рискнул.
По V100 в нагрузке, такая картина
Делать даунвольт до 260 не рекомендую, ollama будто зависает и перезапускают модель в случаях когда используется более половины памяти, если выделено 300 ватт, то таких проблем не наблюдал. Облачные V100 кстати показывают 250 ватт - соответственно по моим тестам в долгую показывают результат qwen3.8:27b 20-22 t\s против локальной v100 28-30 t\s. Брать или нет, смотрите сами, также стоит подсчитать затраченное электричество - в зависимости от использования 20 долларовая подписка в определенных случаях будет смотреться привлекательнее.
А где то пишут что публичных адресов осталось на 3 дня... Плохое решение от такой зависимости, стреляете себе в ногу.
Как обычно, сайт тормозит и электронная версия товара закончилась, остались только физические копии.... Когда грузчики ещё отгрузят электронных версий товара?
Странно, когда я запускал модели и даже whisperx то за 10-15 беспрерывной работы мак мини m4 грелся достаточно сильно и вентилятор разгонялся до 4000 оборотов.
Собирал в октябре 2025, когда 2 модуля памяти по 32гб продавались за 22 тысячи рублей.
Всего 64 гб ОЗУ, ryzen 7-9700X, мать MSI B850 GAMING PLUS WIFI, nvme на 2 тб за 15т.р ну и корпус с БП DEEPCOOL GamerStorm PN1200M = все это вышло в 130 тысяч. И плюс RTX5090 за 200р. Сейчас так сетап в среднем около 700-750р выйдет.
Тестирование это хорошо, но ни слова про перегрев. Или у вас дополнительное охлаждение или тесты делались быстро и в холодильнике? На мак-мини запускал модели, спустя минуту вентилятор работает почти на полную мощь. Интересно как на тоненьком air без вентиляторов проводили тесты.
Почему никто не говорит про проблемы на маках - про циклические зависания даже простых моделей, тот же whisper который помещается в 8 гб объединенной памяти глючит на больших объемах, при этом на старой 8гб gpu нет таких проблем.
Успел купить 5090 за 200 т.р в октябре и на qwen3.6:27b минимальная цифра по генерации была 75 токенов в секунду и контекст в 210 тысяч влезает, поэтому выбирайте внимательнее. Ну и плюс на mlx pytorch не умеет в gpu оптимизации т.е. что либо дообучить\обучить на маке можно, но проблематично в сравнении с зелеными картами.
Не хейтер маков, но они переоценены блогерами и любителями яблочной экосистемы.
Вы опоздали - MCP уже хоронят, например https://dev.to/chen_zhang_bac430bc7f6b95/mcp-is-being-abandoned-how-fast-can-a-standard-die-2f7c и другие подобные статьи есть в интернетах даже в закрытых.
Впрочем есть достаточно много проблем и по безопасности в том числе, посмотрим чем закончится все это.
Есть достаточно много поклонников почившего ныне Константина Ступина. Автор убери картинку - я не скрываю, что поставил минус за статью и минус в карму. Не надо так делать с исполнителями лучших песен. @Exosphere призываю, пока не образовался отряд с вилами.
Тут зависит от того как и когда считать. Например сейчас можно найти предложения аренды rtx5090 с 128гб ОЗУ и 2тб диском за 50 тысяч рублей, где то дороже может быть. В октябре 2025 года взял комп с такими же характеристиками за 350 тысяч рублей. Если запускать обучение моделей, то это работа 24/7 и за электричество в среднем оплата 5-6 тысяч рублей, собственный ПК окупится уже через 8-9 месяцев. Сейчас же такой ПК будет стоить около 750 тысяч рублей, ну и срок окупаемости в 2 раза больше. По аренде как и с своими серверами тоже не все бывает гладко, что то выйдет из строя и с технической поддержкой даже в селектеле переписка может быть 2 недели, а время затраченное на перепись никто не компенсирует.
mRemoteNG - годами проверенный софт и бесплатный, пользуйтесь на здоровье.
А потом приходит бизнес и сверху рекомендаций с умным ранжированием прибивает сетку от нужных селлеров и пользователь возмущается что умные алгоритмы, по факту не такие умные. :) Успехов!
А ведь если бы автор до отдачи своего компьютера загрузился в mats и сохранил дамп, было бы легче доказать что надо заменить VRAM
Зачем такие сложности? Просто запускаем ванильный ollama server, правим systemd добавляя env Environment=“OLLAMA_HOST=0.0.0.0:11434”, ставим редактор zed - выбираем из списка ollama прописываем ip своего сервера и окно контекста и все.
Очень интересно, но при внедрении istio и обмазывание envoy, насколько увеличивается потребление ресурсов кластера в зависимости от трафика и насколько увеличивается latency при использовании сертификатов. Всегда когда внедряют подобные инструменты в явном виде описывают - ванильный постгрес с репликами vs постгрес в кубере с envoy, раз тест, два тест - ванильный постгрес с сертификатами и в кубере и с envoy - вот сравнительная таблица и в наших тестах победил конечно же.....
Спасибо. Про проектирование интерфейсов обычно статьи начинаются с "Сформулированный Джорджем Миллером в 1956 году...." вот и не знал куда написать про интерфейс фильтров т.к. проблеме уже много лет и удивлен что в таком отточенном сервисе есть такие проблемы, которые с большой долей вероятности из-за неправильного проектирования не исправятся - надеюсь что я ошибаюсь.
Про стандарты очень хорошо. Но старой баго-фиче уже много лет. Это такой стандарт? Как воспроизвести:
На стартовой странице, выбираем "Электроника" -> "Ноутбуки". Крутим вниз и нажимаем все фильтры. Вот тут то и начинается морковные попрыгайки. Выбираю процессор, нажимаю одну модель и рррааз пункт меню сдвинулся в другую часть экрана, вновь выбираю еще один процессор и так по всем пунктам меню.
Как вы думаете, будет ли пользователь использовать такой интерфейс для поиска точного товара? На других конкурентных площадках не видел такой проблемы.
Экспертов предсказывающих что будет завтра, но при этом не имеющих ответственности за свои прогнозы уже стало много, дальше больше.
Вопрос-действие. Клиент выгрузил на платформе вашего openstack image виртуальной машины - для скачивания открывается доступ по ссылке, без авторизации, такая особенность облака. Просто берем ссылку и скачиваем. В случае если по этой ссылке скачает образ злоумышленник и получит доступ к данным клиента, кто в данном случае понесет ответственность и каким образом будет расследоваться инцидент?