Кейс 1 - Вы правы, в некоторых случаях WHERE EXISTS действительно более эффективен, особенно на больших объемах данных. Я привел запрос с WHERE IN для простоты примера, но могу добавить примечание, что для оптимизации на больших данных лучше использовать EXISTS. Пример будет полезен для многих читателей.
Кейс 2 - постарался показать, как собрать данные, но действительно, подготовка к анализу и оптимизация выборки — важные шаги. Обязательно добавлю это в материал, чтобы улучшить понимание задачи.
Кейс 5 - спасибо за совет, действительно, есть разные варианты работы с подзапросами.
Кейс 6 - пересмотрю формулы и упрощу вложения.
Кейс 7 - дублирование действительно нежелательно. Я использовал оконные функции для демонстрации, но DISTINCT или даже обычная агрегация, как вы верно подметили, были бы здесь логичнее.
Материал демонстрирует примеры SQL-запросов, отражающие базовый уровень владения SQL, необходимый для Junior Data Engineers. Основная цель — показать, как решать стандартные задачи на языке SQL, а не предоставить готовые данные для глубокой аналитики. Поэтому запросы сосредоточены на примерах фильтрации, агрегации и базовых аналитических функций. Конечно, возможна дальнейшая оптимизация.
Спасибо за ваши критику, такие замечания позволяют улучшить материал! Благодарю за обратную связь.
Действительно, проверки на ошибки должны быть. Это это уже следующий этап по моему мнению. Сначала выстроим пайплайн, получим результат. Затем будем вводить отладку и проверки.
Статья больше рассчитана на читателей, знакомых с sql и python (pandas), которые хотят в первую очередь получить данные и попробовать их обработать.
Сохранять локально и читать файл, особенно в txt не нужно. Это делалось скорее для отладки и просмотра содержимого. Если далее идут трансформации, можно не сохранять, а преобразовывать или загружать в бд.
Не все знакомы с beautiful soap, как и я на момент работы над пет проектом. Поэтому решил идти известным мне путей.
Благодарю за комментарии, это очень ценно. Безусловно, улучшать и докручивать есть куда. 👍🏻
Это просто учебный пример
Спасибо за пояснения
Задача - пронумеровать поездки. Запрос это и делает. Вы далее можете добавить сортировку по времени, разумеется.
Благодарю, тест на внимательность пройден. Исправлю.
Кейс 1 - Вы правы, в некоторых случаях
WHERE EXISTSдействительно более эффективен, особенно на больших объемах данных. Я привел запрос сWHERE INдля простоты примера, но могу добавить примечание, что для оптимизации на больших данных лучше использоватьEXISTS. Пример будет полезен для многих читателей.Кейс 2 - постарался показать, как собрать данные, но действительно, подготовка к анализу и оптимизация выборки — важные шаги. Обязательно добавлю это в материал, чтобы улучшить понимание задачи.
Кейс 5 - спасибо за совет, действительно, есть разные варианты работы с подзапросами.
Кейс 6 - пересмотрю формулы и упрощу вложения.
Кейс 7 - дублирование действительно нежелательно. Я использовал оконные функции для демонстрации, но
DISTINCTили даже обычная агрегация, как вы верно подметили, были бы здесь логичнее.Материал демонстрирует примеры SQL-запросов, отражающие базовый уровень владения SQL, необходимый для Junior Data Engineers. Основная цель — показать, как решать стандартные задачи на языке SQL, а не предоставить готовые данные для глубокой аналитики. Поэтому запросы сосредоточены на примерах фильтрации, агрегации и базовых аналитических функций. Конечно, возможна дальнейшая оптимизация.
Спасибо за ваши критику, такие замечания позволяют улучшить материал! Благодарю за обратную связь.
Спасибо за комментарий.
Действительно, проверки на ошибки должны быть. Это это уже следующий этап по моему мнению. Сначала выстроим пайплайн, получим результат. Затем будем вводить отладку и проверки.
Статья больше рассчитана на читателей, знакомых с sql и python (pandas), которые хотят в первую очередь получить данные и попробовать их обработать.
Есть, что доработать ☝🏻
Вы правы.
Сохранять локально и читать файл, особенно в txt не нужно. Это делалось скорее для отладки и просмотра содержимого. Если далее идут трансформации, можно не сохранять, а преобразовывать или загружать в бд.
Не все знакомы с beautiful soap, как и я на момент работы над пет проектом. Поэтому решил идти известным мне путей.
Благодарю за комментарии, это очень ценно. Безусловно, улучшать и докручивать есть куда. 👍🏻
Со стороны может так выглядит, но я их не рекламирую :) на мой взгляд, завышенные цены про том же качестве продукции, что в ряде других магазинов.