Хорошая статья. Жду обзор-разбор как вы боролись с утечками памяти на стороне выполняемого runtime (containerd,runc и др) - будет интересно посмотреть, как в kubevirt получается поднимать толстые машины по ресурсам и по дискам и как накладные расходы становятся еще больше при увеличении сетевого трафика и как тюнить разные компоненты системы, чтобы солянка работала более корректно и ожидаем.
Вариант № 6 - поставить рядом с pod еще один sidecar контейнер, скрейпить данные и пулить данные в victoriametrics или clickhouse и не зависеть от инфраструктурного мониторинга.
Мы разработали свое решение взяв за основу.... На языке т.к. 1,2,3 было лучше по сравнению с...
Мы сравнили такие то open source системы, а наша оказалось лучше по 1,2,3 показателю.
Вот ссылка на документацию и архитектуру, мы не будем писать в своем блоге маркетинговые лозунги т.к. мы серьезная компания и нацелены на аудиторию с техническими навыками и тп.
Возможно это покажется слишком грубо, но все всё понимают. Но на вашем сайте -https://t1.ru/products/item/sfera/ - есть только скачать презентацию и запросить демо. В презентации только начало жизненного цикла ПО - это требования, больше ничего не увидел (даже скриншота работающего решения).
Использую whisper третий год, стандартную среднюю модель, на моей видяхе rtx3060ti работает достаточно быстро. Использую консоль bash и есть поддержка wildcard т.е. можно указать в качестве источника директорию с аудио и программа по всем отработает. Также замечено, что можно mp4 с видео напрямую пихать, аудио само выделяется. Самые большие файлы были на 8 часов - вполне справляется. Никто не замеряет, сколько потребляет система электричества - в моем случае при нагрузке из розетки идет потребление 290-320 ватт\час, ну и математика простая - например 6 часовой доклад, потребовалось около 2х часов 600 ватт (3 рубля отдал электрикам).
В случае более легковесных vosk и другие потребление в разы ниже, но необходимо допиливать, если хочется знаков препинания и качества.
Какие pv используете в kubernetes? Если сетевые, то как разруливаете iops. Если локальные, то как производите миграцию данных между нодами?
Оператор ставится на конкретный namespace и управляет только ресурсами одного namespace или ставится общий оператор на весь кластер и управляет кучей кафок.
Как решаете проблемы доступа и безопасности. Ведь при переводе баз данных в кубер, площадь атаки от этого не уменьшится, а скорее наоборот.
Как контроллируется автопереезд в случае необходимости обслуживания кубер ноды (а может все еще вручную) и как к этому подготовлены приложения?
На больших кластерах существуют проблемы и в какие объемы уперлись вы и как нагнули etcd - на каком уровне решили делать мультитенантные кластера и тп
Вы ведь крупная организация и знаете лучше меня про все тонкости и при этом не описали их в статье.
Помню выпиливали вебхуки с jira. Был jenkins с кастомными скриптами и нечто подобное. Потом поддерживали api и как итог закончилось хуками в гитлаб и только в определенных случай pipe шел дальше, когда это не стоило "облачных денег".
Задумайтесь, что будет вас ждать в будущем и когда нагрузок на awx станет больше и как проводить дебаг. Веселья вам!
AMD в отличие от NVIDIA делает софт довольно убого и поддержка старых видеокарт, заканчивается буквально спустя 1 год после старта продаж. Не могу рассказать хороших историй про преимущества AMD. Да и на LSTM подсчетах на удивление получилась разные результаты в отличие от NVIDIA.
Вероятно вы используете бесплатную версию на своих объемах. Там есть небольшая неприятная вещь по условиям лицензии "The ability to turn off telemetry collection is missing from the free version as well". Если не отключаете, то никто не знает что уходит с телеметрией.
Или все же покупаете платную. Если так, то как вы ее лицензируете и приобретаете в сегодняшних реалиях?
Спасибо. Очень интересно. А вы проверяли что нейросеть ничего в интернет не отправляет? Например при использовании koboldcpp и различных моделей внезапно запросы с хоста на котором работает модель идут такие запросы:
Вед не я один логирую все запросы с роутера и предварительно внешние обученые модели файрволить, чтобы безопасность была безопасной. Наверное получится хорошая статья если получится еще вытащить тело хоста и узнать что отправляется "провайдеру бесплатной модели".
Все таки лучше выделить время и посмотреть бесплатный курс https://practicum.yandex.ru/trainer/ycloud-clickhouse, где все по полочкам разложат и примеров больше.
Тенденция не очень. Знаю еще одного оператора связи с красным логотипом и белым яйцом, так там даже комиссия при пополнении постоянно происходит, когда у других операторов такого беспредела нет.
Забыли только добавить, что есть только exe файл формат - только для винды и ссылка доступна только через VPN. И правда новость прошла незамеченной т.к. все в духе AMD по поводу софта для нейронок - очень плохо. Даже ссылки на гитхаб, к которым так все привыкли нет.
Где точные расчет по цене облачного провайдера и своего хостинга с учетом затрат? Если проводите сравнение, сделайте в полной мере.
Например, вот у меня дома работает nettop 16 виртуальных ядер, 32 Gb ОЗУ и 4 тб SSD, оплата электричества и интернета стоит 1500р в месяц, покупка мини ПК оценивается в 40.000р. Дополнительно так и быть, купил удаленный S3 для бэкапов, - 300 гб в месяц хранится. Вопрос, за сколько времени окупиться мой ПК и появятся свободные деньги для дальнейшего масштабирования.
Ну и сравним факапы провайдеров, где сервер удаляется без возможности возврата в отношении моего кота, который лапой сбил писюк. :)
Допишите еще, на сколько за последние 2 года увеличилась стоимость ваших услуг.
Хорошая статья. Жду обзор-разбор как вы боролись с утечками памяти на стороне выполняемого runtime (containerd,runc и др) - будет интересно посмотреть, как в kubevirt получается поднимать толстые машины по ресурсам и по дискам и как накладные расходы становятся еще больше при увеличении сетевого трафика и как тюнить разные компоненты системы, чтобы солянка работала более корректно и ожидаем.
Вариант № 6 - поставить рядом с pod еще один sidecar контейнер, скрейпить данные и пулить данные в victoriametrics или clickhouse и не зависеть от инфраструктурного мониторинга.
Зачем?
Почему такая сухая статья?
Надо было писать так:
Мы разработали свое решение взяв за основу.... На языке т.к. 1,2,3 было лучше по сравнению с...
Мы сравнили такие то open source системы, а наша оказалось лучше по 1,2,3 показателю.
Вот ссылка на документацию и архитектуру, мы не будем писать в своем блоге маркетинговые лозунги т.к. мы серьезная компания и нацелены на аудиторию с техническими навыками и тп.
Возможно это покажется слишком грубо, но все всё понимают. Но на вашем сайте -https://t1.ru/products/item/sfera/ - есть только скачать презентацию и запросить демо. В презентации только начало жизненного цикла ПО - это требования, больше ничего не увидел (даже скриншота работающего решения).
Почему на тестах локальной скорости не используется iperf3? Второй ноутбук или мини ПК даже на время, не является проблемой в современное время.
Использую whisper третий год, стандартную среднюю модель, на моей видяхе rtx3060ti работает достаточно быстро. Использую консоль bash и есть поддержка wildcard т.е. можно указать в качестве источника директорию с аудио и программа по всем отработает. Также замечено, что можно mp4 с видео напрямую пихать, аудио само выделяется. Самые большие файлы были на 8 часов - вполне справляется. Никто не замеряет, сколько потребляет система электричества - в моем случае при нагрузке из розетки идет потребление 290-320 ватт\час, ну и математика простая - например 6 часовой доклад, потребовалось около 2х часов 600 ватт (3 рубля отдал электрикам).
В случае более легковесных vosk и другие потребление в разы ниже, но необходимо допиливать, если хочется знаков препинания и качества.
Ансиблом pods не деплоите? Слышал что в старых проектах до сих пор используют.
Хотелось бы уточнить некоторые моменты.
Какие pv используете в kubernetes? Если сетевые, то как разруливаете iops. Если локальные, то как производите миграцию данных между нодами?
Оператор ставится на конкретный namespace и управляет только ресурсами одного namespace или ставится общий оператор на весь кластер и управляет кучей кафок.
Как решаете проблемы доступа и безопасности. Ведь при переводе баз данных в кубер, площадь атаки от этого не уменьшится, а скорее наоборот.
Как контроллируется автопереезд в случае необходимости обслуживания кубер ноды (а может все еще вручную) и как к этому подготовлены приложения?
На больших кластерах существуют проблемы и в какие объемы уперлись вы и как нагнули etcd - на каком уровне решили делать мультитенантные кластера и тп
Вы ведь крупная организация и знаете лучше меня про все тонкости и при этом не описали их в статье.
Помню выпиливали вебхуки с jira. Был jenkins с кастомными скриптами и нечто подобное. Потом поддерживали api и как итог закончилось хуками в гитлаб и только в определенных случай pipe шел дальше, когда это не стоило "облачных денег".
Задумайтесь, что будет вас ждать в будущем и когда нагрузок на awx станет больше и как проводить дебаг. Веселья вам!
AMD в отличие от NVIDIA делает софт довольно убого и поддержка старых видеокарт, заканчивается буквально спустя 1 год после старта продаж. Не могу рассказать хороших историй про преимущества AMD. Да и на LSTM подсчетах на удивление получилась разные результаты в отличие от NVIDIA.
Да уходил в троттлинг. Ничего не происходит при добавлении в бенчмарк в данном случае.
Жду подобных историй от крупных компаний, которые в кубере запускают базы данных. Только все будет еще интереснее.
Вероятно вы используете бесплатную версию на своих объемах. Там есть небольшая неприятная вещь по условиям лицензии "The ability to turn off telemetry collection is missing from the free version as well". Если не отключаете, то никто не знает что уходит с телеметрией.
Или все же покупаете платную. Если так, то как вы ее лицензируете и приобретаете в сегодняшних реалиях?
Спасибо. Очень интересно. А вы проверяли что нейросеть ничего в интернет не отправляет? Например при использовании koboldcpp и различных моделей внезапно запросы с хоста на котором работает модель идут такие запросы:
apex-domain-nlb-610ce55e8d445742.elb.us-east-1.amazonaws.com.:A:60=34.194.97.138
apex-domain-nlb-610ce55e8d445742.elb.us-east-1.amazonaws.com.:A:60=34.200.2.98>
Вед не я один логирую все запросы с роутера и предварительно внешние обученые модели файрволить, чтобы безопасность была безопасной. Наверное получится хорошая статья если получится еще вытащить тело хоста и узнать что отправляется "провайдеру бесплатной модели".
Проходил, когда был еще бесплатен. Сейчас он называется "Managed Service for Clickhouse"
Все таки лучше выделить время и посмотреть бесплатный курс https://practicum.yandex.ru/trainer/ycloud-clickhouse, где все по полочкам разложат и примеров больше.
Тенденция не очень. Знаю еще одного оператора связи с красным логотипом и белым яйцом, так там даже комиссия при пополнении постоянно происходит, когда у других операторов такого беспредела нет.
Забыли только добавить, что есть только exe файл формат - только для винды и ссылка доступна только через VPN. И правда новость прошла незамеченной т.к. все в духе AMD по поводу софта для нейронок - очень плохо. Даже ссылки на гитхаб, к которым так все привыкли нет.
Конечно. У меня не малина, cubietruck - работает 24\7 уже 4ий год с 2,5 sata диском для торрент качалки, samba, еще в докере прометей запущен.
Где точные расчет по цене облачного провайдера и своего хостинга с учетом затрат? Если проводите сравнение, сделайте в полной мере.
Например, вот у меня дома работает nettop 16 виртуальных ядер, 32 Gb ОЗУ и 4 тб SSD, оплата электричества и интернета стоит 1500р в месяц, покупка мини ПК оценивается в 40.000р. Дополнительно так и быть, купил удаленный S3 для бэкапов, - 300 гб в месяц хранится. Вопрос, за сколько времени окупиться мой ПК и появятся свободные деньги для дальнейшего масштабирования.
Ну и сравним факапы провайдеров, где сервер удаляется без возможности возврата в отношении моего кота, который лапой сбил писюк. :)
Допишите еще, на сколько за последние 2 года увеличилась стоимость ваших услуг.