Собирал в октябре 2025, когда 2 модуля памяти по 32гб продавались за 22 тысячи рублей.
Всего 64 гб ОЗУ, ryzen 7-9700X, мать MSI B850 GAMING PLUS WIFI, nvme на 2 тб за 15т.р ну и корпус с БП DEEPCOOL GamerStorm PN1200M = все это вышло в 130 тысяч. И плюс RTX5090 за 200р. Сейчас так сетап в среднем около 700-750р выйдет.
Тестирование это хорошо, но ни слова про перегрев. Или у вас дополнительное охлаждение или тесты делались быстро и в холодильнике? На мак-мини запускал модели, спустя минуту вентилятор работает почти на полную мощь. Интересно как на тоненьком air без вентиляторов проводили тесты.
Почему никто не говорит про проблемы на маках - про циклические зависания даже простых моделей, тот же whisper который помещается в 8 гб объединенной памяти глючит на больших объемах, при этом на старой 8гб gpu нет таких проблем.
Успел купить 5090 за 200 т.р в октябре и на qwen3.6:27b минимальная цифра по генерации была 75 токенов в секунду и контекст в 210 тысяч влезает, поэтому выбирайте внимательнее. Ну и плюс на mlx pytorch не умеет в gpu оптимизации т.е. что либо дообучить\обучить на маке можно, но проблематично в сравнении с зелеными картами.
Не хейтер маков, но они переоценены блогерами и любителями яблочной экосистемы.
Есть достаточно много поклонников почившего ныне Константина Ступина. Автор убери картинку - я не скрываю, что поставил минус за статью и минус в карму. Не надо так делать с исполнителями лучших песен. @Exosphere призываю, пока не образовался отряд с вилами.
Тут зависит от того как и когда считать. Например сейчас можно найти предложения аренды rtx5090 с 128гб ОЗУ и 2тб диском за 50 тысяч рублей, где то дороже может быть. В октябре 2025 года взял комп с такими же характеристиками за 350 тысяч рублей. Если запускать обучение моделей, то это работа 24/7 и за электричество в среднем оплата 5-6 тысяч рублей, собственный ПК окупится уже через 8-9 месяцев. Сейчас же такой ПК будет стоить около 750 тысяч рублей, ну и срок окупаемости в 2 раза больше. По аренде как и с своими серверами тоже не все бывает гладко, что то выйдет из строя и с технической поддержкой даже в селектеле переписка может быть 2 недели, а время затраченное на перепись никто не компенсирует.
А потом приходит бизнес и сверху рекомендаций с умным ранжированием прибивает сетку от нужных селлеров и пользователь возмущается что умные алгоритмы, по факту не такие умные. :) Успехов!
Зачем такие сложности? Просто запускаем ванильный ollama server, правим systemd добавляя env Environment=“OLLAMA_HOST=0.0.0.0:11434”, ставим редактор zed - выбираем из списка ollama прописываем ip своего сервера и окно контекста и все.
Очень интересно, но при внедрении istio и обмазывание envoy, насколько увеличивается потребление ресурсов кластера в зависимости от трафика и насколько увеличивается latency при использовании сертификатов. Всегда когда внедряют подобные инструменты в явном виде описывают - ванильный постгрес с репликами vs постгрес в кубере с envoy, раз тест, два тест - ванильный постгрес с сертификатами и в кубере и с envoy - вот сравнительная таблица и в наших тестах победил конечно же.....
Спасибо. Про проектирование интерфейсов обычно статьи начинаются с "Сформулированный Джорджем Миллером в 1956 году...." вот и не знал куда написать про интерфейс фильтров т.к. проблеме уже много лет и удивлен что в таком отточенном сервисе есть такие проблемы, которые с большой долей вероятности из-за неправильного проектирования не исправятся - надеюсь что я ошибаюсь.
Про стандарты очень хорошо. Но старой баго-фиче уже много лет. Это такой стандарт? Как воспроизвести:
На стартовой странице, выбираем "Электроника" -> "Ноутбуки". Крутим вниз и нажимаем все фильтры. Вот тут то и начинается морковные попрыгайки. Выбираю процессор, нажимаю одну модель и рррааз пункт меню сдвинулся в другую часть экрана, вновь выбираю еще один процессор и так по всем пунктам меню.
Как вы думаете, будет ли пользователь использовать такой интерфейс для поиска точного товара? На других конкурентных площадках не видел такой проблемы.
Вопрос-действие. Клиент выгрузил на платформе вашего openstack image виртуальной машины - для скачивания открывается доступ по ссылке, без авторизации, такая особенность облака. Просто берем ссылку и скачиваем. В случае если по этой ссылке скачает образ злоумышленник и получит доступ к данным клиента, кто в данном случае понесет ответственность и каким образом будет расследоваться инцидент?
И таких ньюансов будет еще больше. Я веду к тому, что прогноз подобных потенциальных проблем обычно ложится на плечи руководства и "незаменимых сотрудников", которые знают огрехи и проблемы архитектуры системы. В данном конкретном случае описываю большого клиента - это важно, а для более мелкого - это не так важно. Не настаиваю на правильности предложенного, но вы можете дать кнопку для буста квот в случае выхода из строя целого дата центра, но её никто не планировал и не будет давать. А ведь впереди будет еще не одно падение датацентра или целой зоны, необходимо готовиться к подобным сценариям в таком изменчивом мире.
Конечно, все правильно. Все процессы должны быть структурированы и прозрачны и не должно быть уникальностей.
Вы ведь починили отсутствие квот при выходе целого дата центра? Та самая проблема когда ресурсы должны переехать (ну хотя бы в кубер узлы запустить) - это вопрос про документацию. Каким образом ваш клиент может удалить ресурсы из зоны, которая ему недоступна т.к. у вас авария?
К чему это я? К тому что в сложной системе хочется знать про все и понимать как это работает, но иногда определенная голова про это помнит лучше чем другие. Спасибо, что написали не обтекаемо, а точно. Теперь лично у меня не будет возникать вопросов к вашему облаку. Спасибо.
Как дополнение, при внедрении vad снижается нагрузка на дорогое распознавание whisper (т.к. не надо обрабатывать шум) - ожидал что предоставите графики до и после внедрения vad, время распознавания снижается почти в 2-3 раза в зависимости от аудио. vad очень легкие и сама модель занимает 3 мбайта, работает очень быстро.
И вопрос, как часто у вас галлюцинировал whisper (фразы типа "Thank you", "субтитры сделал DimaTorzock" и другие) - собирали ли какую то статистику или встраивали в инференс дополнительные флаги?
Также есть отдельные настройки по шумодаву и в некоторых ситуациях, может вести себя не так как ожидается - например если говорить очень громко, может заигнорить и пропустить.
Хотел уточнить по цифрам. Например wer 0.5496 по вашей таблице - выходит, что модель ошиблась в половине случаев если считать по общей сумме? Сам замеряю качество и бывают например случае где одни модели "слышат", то что не надо "слышать", другие же наоборот.
Можете ли вы выложить полученные тексты в архиве, могут быть неточности в том числе на стороне "золотого датасета" - т.е. какая нибудь модель распознала лучше, чем предлагаемые субтитры (например написано "идет музыка", "песня") - тестируемая модель пропустила т.к. посчитала шумом, а вы при проверке добавляете ошибку wer.
Собирал в октябре 2025, когда 2 модуля памяти по 32гб продавались за 22 тысячи рублей.
Всего 64 гб ОЗУ, ryzen 7-9700X, мать MSI B850 GAMING PLUS WIFI, nvme на 2 тб за 15т.р ну и корпус с БП DEEPCOOL GamerStorm PN1200M = все это вышло в 130 тысяч. И плюс RTX5090 за 200р. Сейчас так сетап в среднем около 700-750р выйдет.
Тестирование это хорошо, но ни слова про перегрев. Или у вас дополнительное охлаждение или тесты делались быстро и в холодильнике? На мак-мини запускал модели, спустя минуту вентилятор работает почти на полную мощь. Интересно как на тоненьком air без вентиляторов проводили тесты.
Почему никто не говорит про проблемы на маках - про циклические зависания даже простых моделей, тот же whisper который помещается в 8 гб объединенной памяти глючит на больших объемах, при этом на старой 8гб gpu нет таких проблем.
Успел купить 5090 за 200 т.р в октябре и на qwen3.6:27b минимальная цифра по генерации была 75 токенов в секунду и контекст в 210 тысяч влезает, поэтому выбирайте внимательнее. Ну и плюс на mlx pytorch не умеет в gpu оптимизации т.е. что либо дообучить\обучить на маке можно, но проблематично в сравнении с зелеными картами.
Не хейтер маков, но они переоценены блогерами и любителями яблочной экосистемы.
Вы опоздали - MCP уже хоронят, например https://dev.to/chen_zhang_bac430bc7f6b95/mcp-is-being-abandoned-how-fast-can-a-standard-die-2f7c и другие подобные статьи есть в интернетах даже в закрытых.
Впрочем есть достаточно много проблем и по безопасности в том числе, посмотрим чем закончится все это.
Есть достаточно много поклонников почившего ныне Константина Ступина. Автор убери картинку - я не скрываю, что поставил минус за статью и минус в карму. Не надо так делать с исполнителями лучших песен. @Exosphere призываю, пока не образовался отряд с вилами.
Тут зависит от того как и когда считать. Например сейчас можно найти предложения аренды rtx5090 с 128гб ОЗУ и 2тб диском за 50 тысяч рублей, где то дороже может быть. В октябре 2025 года взял комп с такими же характеристиками за 350 тысяч рублей. Если запускать обучение моделей, то это работа 24/7 и за электричество в среднем оплата 5-6 тысяч рублей, собственный ПК окупится уже через 8-9 месяцев. Сейчас же такой ПК будет стоить около 750 тысяч рублей, ну и срок окупаемости в 2 раза больше. По аренде как и с своими серверами тоже не все бывает гладко, что то выйдет из строя и с технической поддержкой даже в селектеле переписка может быть 2 недели, а время затраченное на перепись никто не компенсирует.
mRemoteNG - годами проверенный софт и бесплатный, пользуйтесь на здоровье.
А потом приходит бизнес и сверху рекомендаций с умным ранжированием прибивает сетку от нужных селлеров и пользователь возмущается что умные алгоритмы, по факту не такие умные. :) Успехов!
А ведь если бы автор до отдачи своего компьютера загрузился в mats и сохранил дамп, было бы легче доказать что надо заменить VRAM
Зачем такие сложности? Просто запускаем ванильный ollama server, правим systemd добавляя env Environment=“OLLAMA_HOST=0.0.0.0:11434”, ставим редактор zed - выбираем из списка ollama прописываем ip своего сервера и окно контекста и все.
Очень интересно, но при внедрении istio и обмазывание envoy, насколько увеличивается потребление ресурсов кластера в зависимости от трафика и насколько увеличивается latency при использовании сертификатов. Всегда когда внедряют подобные инструменты в явном виде описывают - ванильный постгрес с репликами vs постгрес в кубере с envoy, раз тест, два тест - ванильный постгрес с сертификатами и в кубере и с envoy - вот сравнительная таблица и в наших тестах победил конечно же.....
Спасибо. Про проектирование интерфейсов обычно статьи начинаются с "Сформулированный Джорджем Миллером в 1956 году...." вот и не знал куда написать про интерфейс фильтров т.к. проблеме уже много лет и удивлен что в таком отточенном сервисе есть такие проблемы, которые с большой долей вероятности из-за неправильного проектирования не исправятся - надеюсь что я ошибаюсь.
Про стандарты очень хорошо. Но старой баго-фиче уже много лет. Это такой стандарт? Как воспроизвести:
На стартовой странице, выбираем "Электроника" -> "Ноутбуки". Крутим вниз и нажимаем все фильтры. Вот тут то и начинается морковные попрыгайки. Выбираю процессор, нажимаю одну модель и рррааз пункт меню сдвинулся в другую часть экрана, вновь выбираю еще один процессор и так по всем пунктам меню.
Как вы думаете, будет ли пользователь использовать такой интерфейс для поиска точного товара? На других конкурентных площадках не видел такой проблемы.
Экспертов предсказывающих что будет завтра, но при этом не имеющих ответственности за свои прогнозы уже стало много, дальше больше.
Вопрос-действие. Клиент выгрузил на платформе вашего openstack image виртуальной машины - для скачивания открывается доступ по ссылке, без авторизации, такая особенность облака. Просто берем ссылку и скачиваем. В случае если по этой ссылке скачает образ злоумышленник и получит доступ к данным клиента, кто в данном случае понесет ответственность и каким образом будет расследоваться инцидент?
И таких ньюансов будет еще больше. Я веду к тому, что прогноз подобных потенциальных проблем обычно ложится на плечи руководства и "незаменимых сотрудников", которые знают огрехи и проблемы архитектуры системы. В данном конкретном случае описываю большого клиента - это важно, а для более мелкого - это не так важно. Не настаиваю на правильности предложенного, но вы можете дать кнопку для буста квот в случае выхода из строя целого дата центра, но её никто не планировал и не будет давать. А ведь впереди будет еще не одно падение датацентра или целой зоны, необходимо готовиться к подобным сценариям в таком изменчивом мире.
Конечно, все правильно. Все процессы должны быть структурированы и прозрачны и не должно быть уникальностей.
Вы ведь починили отсутствие квот при выходе целого дата центра? Та самая проблема когда ресурсы должны переехать (ну хотя бы в кубер узлы запустить) - это вопрос про документацию. Каким образом ваш клиент может удалить ресурсы из зоны, которая ему недоступна т.к. у вас авария?
К чему это я? К тому что в сложной системе хочется знать про все и понимать как это работает, но иногда определенная голова про это помнит лучше чем другие. Спасибо, что написали не обтекаемо, а точно. Теперь лично у меня не будет возникать вопросов к вашему облаку. Спасибо.
Как дополнение, при внедрении vad снижается нагрузка на дорогое распознавание whisper (т.к. не надо обрабатывать шум) - ожидал что предоставите графики до и после внедрения vad, время распознавания снижается почти в 2-3 раза в зависимости от аудио. vad очень легкие и сама модель занимает 3 мбайта, работает очень быстро.
И вопрос, как часто у вас галлюцинировал whisper (фразы типа "Thank you", "субтитры сделал DimaTorzock" и другие) - собирали ли какую то статистику или встраивали в инференс дополнительные флаги?
Сударь. Вам еще в чатике распознавания речи написали, что реппозиторий https://github.com/borisovai/voice‑input отдает 404, оценить код никто не сможет...
Также есть отдельные настройки по шумодаву и в некоторых ситуациях, может вести себя не так как ожидается - например если говорить очень громко, может заигнорить и пропустить.
На каких данных сверяли wer?
Хотел уточнить по цифрам. Например wer 0.5496 по вашей таблице - выходит, что модель ошиблась в половине случаев если считать по общей сумме? Сам замеряю качество и бывают например случае где одни модели "слышат", то что не надо "слышать", другие же наоборот.
Можете ли вы выложить полученные тексты в архиве, могут быть неточности в том числе на стороне "золотого датасета" - т.е. какая нибудь модель распознала лучше, чем предлагаемые субтитры (например написано "идет музыка", "песня") - тестируемая модель пропустила т.к. посчитала шумом, а вы при проверке добавляете ошибку wer.