Здравствуйте! Спасибо за ваши вопросы! Отвечу по пунктам:
1) Исторически. Контур приватный, кубер уже существующий. Ingress уже стоял и соответствовал принятым стандартам. На новые решения еще не переехали.
2) Как сказано в резюме статьи: платформа не идеально и это прототип. Все сделано максимально просто. В том числе для упрощенной автоматизации. В моем варианте MLflow вообще ничего не знает об аутентификации/авторизации и не требует ручных шагов по выдаче прав. Это позволяет дать представление DevOps инженерам об MLOps и даже локально провести эксперименты при наличии технической возможности.
3) Собственно по этой же причине (упрощения) все креды в юпитер проливаются одинаковые, и я даже не смотрел в сторону разных кредов для ноутбуков разных пользователей. Соображения, как это сделать у меня есть, и задача мне видится крайне занимательной!, но сейчас я временно безработный - поле для экспериментов отсутствует :-) Если не забуду - обязательно вернусь с обратной связью :-)
Видно, что вы статью прочитали внимательно, спасибо вам за это :-) Все ваши вопросы справедливы и ответы на них - это скорее следующий шаг в развитии этой платформы, либо переход на более сложный стек.
В моей парадигме - все остается во внутреннем контуре. Наружу ничего не выходит, если вы сами это не выставите. Внешних сервисов никаких нет. Но если, например, у вас нет GPU, и вы взяли ее в аренду в облаке - тут конечно все зависит уже от этого облака и организации канала связи до GPU. Но у больших облаков все сертифицировано в этом плане.
Для того чтобы просчитать рекомендуемый сайзинг нужно отталкиваться от каких-то входных данных, самое большое, наверное, это размеры моделей и дата-сетов. Возможно тут одним minio не обойтись. Тут описан только прототип платформы. У меня все было развернуто на трех нодах кластера, но по факту уместилось бы и на одной (16 cpu, 64GB ram). Но если накручивать отказоустойчивость - минимум три ноды. Ну и повторюсь, объем дисков зависит от итоговых объемов моделей и датасетов.
Спасибо за ваш комментарий/вопрос :-) Если описать только кратко идею, то наверное это был бы уже не Туториал :-) Я максимально постарался спрятать все скриншоты :-) но хотелось все таки дать туториал :-) Ну а идея: поменять параметры в двух файлах и подсунуть обработчик (он же бот), тут и на статью не наберется :-)
Да, принцип вы описали абсолютно правильно! Можно заставить Freeradius выполнять любой код, необходимо только правильно логику запрограммировать.
Например, отвечая на ваш вопрос, в самом боте через чат запросить кнопку подтверждения: не спрашивать 2FA какое-то время, положить это значение в БД и проверять при подключении - это, мне кажется, самый простой, но не безопасный способ, он не несет какой-то проверки "под капотом", если мы говорим про telegram, так как он может быть запущен не многих устройствах одновременно. Если же использовать какое-то другое приложение вместо telegram, которое например однозначно будет запущено только на одном устройстве.... в общем тут можно рассуждать долго :-) Не уверен, что можно передать еще какие-либо поля кроме логина и пароля. Это скорее тема для небольшого исследования, это все таки не ppp подключение, а удаленное OpenVPN.
Нет, у меня стартует быстро, на мой взгляд... Буквально несколько секунд. Возможно вам стоит разобраться со стадиями старта, из личного опыта: - есть проблемы у облаков при скачивании образов как из публичных репозиториев типа hub.docker.io, так и из собственных - тот же яндекс из своих реджестри скачивает иногда очень медленно, при этом, если прибить под, то при рестарте скачается очень быстро. - есть проблема с тем, что pvc очень долго перецепляет с одной ноды на другую, но тут в MM я pvc не использую - все в S3.
Спасибо за ваш комментарий! Да, действительно так можно, и я пользуюсь таким методом для создания tls ключей для consul и vault. Просто хотелось показать разные варианты. Возможно стоило подсветить оба варианта одновременно.
Спасибо за вопрос! Это, как говорится, на вкус и цвет :-) Данная статья про использование Consul. сравнение можно почитать тут, можно для себя отметить как плюсы, так и минусы
Здравствуйте! Спасибо за ваши вопросы! Отвечу по пунктам:
1) Исторически. Контур приватный, кубер уже существующий. Ingress уже стоял и соответствовал принятым стандартам. На новые решения еще не переехали.
2) Как сказано в резюме статьи: платформа не идеально и это прототип. Все сделано максимально просто. В том числе для упрощенной автоматизации. В моем варианте MLflow вообще ничего не знает об аутентификации/авторизации и не требует ручных шагов по выдаче прав.
Это позволяет дать представление DevOps инженерам об MLOps и даже локально провести эксперименты при наличии технической возможности.
3) Собственно по этой же причине (упрощения) все креды в юпитер проливаются одинаковые, и я даже не смотрел в сторону разных кредов для ноутбуков разных пользователей. Соображения, как это сделать у меня есть, и задача мне видится крайне занимательной!, но сейчас я временно безработный - поле для экспериментов отсутствует :-) Если не забуду - обязательно вернусь с обратной связью :-)
Видно, что вы статью прочитали внимательно, спасибо вам за это :-)
Все ваши вопросы справедливы и ответы на них - это скорее следующий шаг в развитии этой платформы, либо переход на более сложный стек.
Спасибо!
В моей парадигме - все остается во внутреннем контуре. Наружу ничего не выходит, если вы сами это не выставите. Внешних сервисов никаких нет.
Но если, например, у вас нет GPU, и вы взяли ее в аренду в облаке - тут конечно все зависит уже от этого облака и организации канала связи до GPU. Но у больших облаков все сертифицировано в этом плане.
Для того чтобы просчитать рекомендуемый сайзинг нужно отталкиваться от каких-то входных данных, самое большое, наверное, это размеры моделей и дата-сетов. Возможно тут одним minio не обойтись. Тут описан только прототип платформы.
У меня все было развернуто на трех нодах кластера, но по факту уместилось бы и на одной (16 cpu, 64GB ram). Но если накручивать отказоустойчивость - минимум три ноды. Ну и повторюсь, объем дисков зависит от итоговых объемов моделей и датасетов.
Пожалуйста!
выглядит как реклама :-)
но да... очень актуальный вопрос
Ответ очевиден... все еще считается безопасным и актуален для совместимости со старыми системами.
Спасибо за ваш комментарий/вопрос :-)
Если описать только кратко идею, то наверное это был бы уже не Туториал :-) Я максимально постарался спрятать все скриншоты :-) но хотелось все таки дать туториал :-) Ну а идея: поменять параметры в двух файлах и подсунуть обработчик (он же бот), тут и на статью не наберется :-)
Да, принцип вы описали абсолютно правильно! Можно заставить Freeradius выполнять любой код, необходимо только правильно логику запрограммировать.
Например, отвечая на ваш вопрос, в самом боте через чат запросить кнопку подтверждения: не спрашивать 2FA какое-то время, положить это значение в БД и проверять при подключении - это, мне кажется, самый простой, но не безопасный способ, он не несет какой-то проверки "под капотом", если мы говорим про telegram, так как он может быть запущен не многих устройствах одновременно.
Если же использовать какое-то другое приложение вместо telegram, которое например однозначно будет запущено только на одном устройстве.... в общем тут можно рассуждать долго :-)
Не уверен, что можно передать еще какие-либо поля кроме логина и пароля. Это скорее тема для небольшого исследования, это все таки не ppp подключение, а удаленное OpenVPN.
Если будет что-то необычное - отпишитесь по возможности :-)
Здравствуйте!
Нет, у меня стартует быстро, на мой взгляд...
Буквально несколько секунд.
Возможно вам стоит разобраться со стадиями старта, из личного опыта:
- есть проблемы у облаков при скачивании образов как из публичных репозиториев типа hub.docker.io, так и из собственных - тот же яндекс из своих реджестри скачивает иногда очень медленно, при этом, если прибить под, то при рестарте скачается очень быстро.
- есть проблема с тем, что pvc очень долго перецепляет с одной ноды на другую, но тут в MM я pvc не использую - все в S3.
Сам старт пода ММ проходит максимально быстро.
Надеюсь, будет полезным :-)
Рад, что пригодилось 🙂
Спасибо за ваш комментарий! Да, действительно так можно, и я пользуюсь таким методом для создания tls ключей для consul и vault. Просто хотелось показать разные варианты. Возможно стоило подсветить оба варианта одновременно.
Спасибо за вопрос!
Это, как говорится, на вкус и цвет :-) Данная статья про использование Consul.
сравнение можно почитать тут, можно для себя отметить как плюсы, так и минусы