Поэтому нечего не мешало, но идеи такой не пришло. Задним числом вижу достаточно много вариантов, как можно все это реализовать и оптимизировать. С текущем опытом я бы совершенно по другому и приложение написал и подход к деплою изменил тоже.
Спасибо за ссылку. По СI/CD и Git согласен. Выбирал между Systemd и cron. В итоге приглянулся первый вариант, но да можно и cron запустить. Настройка легкая.
Задача в том, чтобы помочь заказчику определиться с требованиями и виденьем результатами. Думаю подключать БД не совсем рационально по времени, например данных может и не быть в базе или чтобы их вытянуть надо подготовить запрос. На этапе когда заказчик сам не понимает до конца что хочет видеть, думаю рационально дать ему инструмент и возможность самому настраивать параметры в удобной и понятной для него форме. C excel мне кажется работают большинство.
Добрый день. Мне кажется в вопросе анализа и интерпретации результатов у каждого свои внутренние потребности, что хочется увидеть. Конкретно у меня была потребность обзорно посмотреть на столбцы все разом и решить для себя стоит обратить внимание на конкретный столбец или нет.
Вопрос: первая строка вывода, два уникальных значения - yes,no. И что? А если категорий пятьдесят, вы их все будете выводить?
Ответ: в данном случае это мне говорит, о содержание значений в столбце и не каких дополнительных действий для нормализации данных в общем, то и не требуется. Там могло быть например ['Yes' ,''yes', 'NO', 'Nope'] и тогда возможно я бы причесал значения. В алгоритме больше 5 уникальных выводиться не будет. Например для столбца MothlyCharges 1585 уникальных без их перечисления.
Вопрос: Вторая строка, str 100%, и что?
Ответ: это мне говорит, что в столбце нет сборной солянки и отдельно мне проверять не нужно, что не так. А например в столбце TotalChange состав следующий 'float':6708(95%),'int':324(5%),'str':11(0%). В этом столбце нужно разбираться. Добавлю, что алгоритм анализирует только тип object, остальные не смотрит. Так в object именно может быть сборная солянка.
Комментарий:Намного сильнее, думаю, когда анализ указывает разработчику на варианты дальнейших действий.
Ответ: Абсолютно согласен и поддерживаю. Поэтому смотрел изначально в сторону pandas-profiling. Анализ хороший, но отчет мне показался сильно нагруженным. Мой кодик пробегает по верхам и просто говорит "обрати внимание" или "не обращай и так все понятно". Возможно действительно стоит добавить 4-ый столбец с выводом по строке, чтобы вопросов как это понимать не возникало. Так же старался разработать код, чтобы туда можно было легко дописать новые функции и в конечном итоге получился индивидуальный отчет у пользователя. В целом с вами согласен, если дальше развивать код, то вполне может получится симпатично.
Почитав мнение коллег, понимаю, что действительно забил гвоздь микроскопом. Есть более простые рецепты. Осталось найти хитрую книгу/статью, откуда можно понять, что если написал просто скрипт смысла в докере нет, можно попробовать так. А вот если в твоем сервисе есть функции такие-то... то тут поможет докер и прочие инструменты.
Может быть я конечно не так гуглил. В процессе сложилось впечатление, что не хватает обзорной статьи, которая хотя бы показывала связь между сложностью сервиса и инструментов для их запуска на сервере. Очень много информации про докер. Спасибо всем кто оставил комментарии, теперь у меня есть понимание, что вариантов запустить мой простой скрипт есть несколько и можно вполне обойтись без докера.
Благодарю. Подскажите, а чем крон плох? Я в статье обозначил, что не являюсь DevOps специалистом, нашел решение которое работает. Вполне может быть оно и не самое корректное. Статей много по настройки systemd-таймер , а пока разницы между ними плюсы/минусы не уловил.
У меня не возникло трудностей при написание кода. Ваше предложение может быть и решила мою задачу, не погружен в Apps Script. Однако дополнительно разбираться в js затратное мероприятия по времени.
Поэтому нечего не мешало, но идеи такой не пришло. Задним числом вижу достаточно много вариантов, как можно все это реализовать и оптимизировать. С текущем опытом я бы совершенно по другому и приложение написал и подход к деплою изменил тоже.
Спасибо за ссылку. По СI/CD и Git согласен. Выбирал между Systemd и cron. В итоге приглянулся первый вариант, но да можно и cron запустить. Настройка легкая.
Благодарю за комментарий. На выходных дополню статью.
Мой уровень далек от хорошего разработчика. Практикуюсь в написании кода, но работы еще много
Задача в том, чтобы помочь заказчику определиться с требованиями и виденьем результатами. Думаю подключать БД не совсем рационально по времени, например данных может и не быть в базе или чтобы их вытянуть надо подготовить запрос. На этапе когда заказчик сам не понимает до конца что хочет видеть, думаю рационально дать ему инструмент и возможность самому настраивать параметры в удобной и понятной для него форме. C excel мне кажется работают большинство.
Добрый день. Мне кажется в вопросе анализа и интерпретации результатов у каждого свои внутренние потребности, что хочется увидеть. Конкретно у меня была потребность обзорно посмотреть на столбцы все разом и решить для себя стоит обратить внимание на конкретный столбец или нет.
Вопрос: первая строка вывода, два уникальных значения - yes,no. И что? А если категорий пятьдесят, вы их все будете выводить?
Ответ: в данном случае это мне говорит, о содержание значений в столбце и не каких дополнительных действий для нормализации данных в общем, то и не требуется. Там могло быть например ['Yes' ,''yes', 'NO', 'Nope'] и тогда возможно я бы причесал значения. В алгоритме больше 5 уникальных выводиться не будет. Например для столбца MothlyCharges 1585 уникальных без их перечисления.
Вопрос: Вторая строка, str 100%, и что?
Ответ: это мне говорит, что в столбце нет сборной солянки и отдельно мне проверять не нужно, что не так. А например в столбце TotalChange состав следующий 'float':6708(95%),'int':324(5%),'str':11(0%). В этом столбце нужно разбираться. Добавлю, что алгоритм анализирует только тип object, остальные не смотрит. Так в object именно может быть сборная солянка.
Комментарий: Намного сильнее, думаю, когда анализ указывает разработчику на варианты дальнейших действий.
Ответ: Абсолютно согласен и поддерживаю. Поэтому смотрел изначально в сторону pandas-profiling. Анализ хороший, но отчет мне показался сильно нагруженным. Мой кодик пробегает по верхам и просто говорит "обрати внимание" или "не обращай и так все понятно". Возможно действительно стоит добавить 4-ый столбец с выводом по строке, чтобы вопросов как это понимать не возникало. Так же старался разработать код, чтобы туда можно было легко дописать новые функции и в конечном итоге получился индивидуальный отчет у пользователя. В целом с вами согласен, если дальше развивать код, то вполне может получится симпатично.
Спасибо за наводку. Ознакомлюсь с Polars.
Еще одно предложение в копилку опыта. Спасибо! Рассмотрю такой вариант.
Спасибо. Не знал. Почитаю.
Почитав мнение коллег, понимаю, что действительно забил гвоздь микроскопом. Есть более простые рецепты. Осталось найти хитрую книгу/статью, откуда можно понять, что если написал просто скрипт смысла в докере нет, можно попробовать так. А вот если в твоем сервисе есть функции такие-то... то тут поможет докер и прочие инструменты.
Может быть я конечно не так гуглил. В процессе сложилось впечатление, что не хватает обзорной статьи, которая хотя бы показывала связь между сложностью сервиса и инструментов для их запуска на сервере. Очень много информации про докер. Спасибо всем кто оставил комментарии, теперь у меня есть понимание, что вариантов запустить мой простой скрипт есть несколько и можно вполне обойтись без докера.
Я не являюсь DevOps специалистом, можете пояснить? Не совсем понимаю, что не так с «crontab –e»
Если подскажите или скинете ссылку на реализацию буду признателен.
Благодарю. Подскажите, а чем крон плох? Я в статье обозначил, что не являюсь DevOps специалистом, нашел решение которое работает. Вполне может быть оно и не самое корректное. Статей много по настройки systemd-таймер , а пока разницы между ними плюсы/минусы не уловил.
Спасибо. Почитаю
У меня не возникло трудностей при написание кода. Ваше предложение может быть и решила мою задачу, не погружен в Apps Script. Однако дополнительно разбираться в js затратное мероприятия по времени.
Спасибо за совет! Попробую.