Некоторые вещи непонятны нам не потому, что наши понятия слабы, а потому, что они выходят за круг наших понятий (С) Козьма Прутков.
Знание-Сила. Кому-то везет встретится с ней, кому-то нет. Но в любом случае так много еще остается за кругом наших понятий…
Разница между наличием или отсутствием статистики иногда огромная. Практически можно либо перегрузить базу косым (skewed) запросом и получить нагоняй от админа, а главное такие запросы либо требуют гораздо больше времени или вообще не работают. Сбор же статистики сам по себе практически не виден в сумме потраченного CPU времени (по которому мы платим за систему).
В роли бизнес юзера, т.е. без прав (и обязанностей) администратора базы я всегда добавляю модификаторы сессии diagnostic helpstats on for session; Tогда запуск EXPLAIN в конце текста показывает, каких статистик не хватает оптимайзеру. Сбор всех предложенных статистик по моим таблицам (исключительно на которые у меня и есть права) дешевле, чем запуск неоптимизированных запросов. Особенно из-за того что как бизнес юзер, я все-время создаю маленькие таблички для фильтрации или группировки, которые участвуют в джойнах.
Вообще я бы всем бизнес юзерам вставил макро, которое бы собирало статистики для таблиц в их SQL перед выполнением запроса. В тех DWH на Терадате, где я работал, это наверняка было бы лучше, чем терпеть неоптимизированные запросы начинающих юзверей.
Интересно, насколько эффективно сдувать взрывом в отсутствие атмосферы. Взрывная волна будет состоять только из газов взрывчатого вещества или самого реголита. Надо подумать приведет ли это к эффекту сдувания или просто уплотнения породы вокруг небольшого кратера.
But I predict that one of the first occupations that will be entirely replaced by robots will be middle management, not skilled labor. I think it will be a long time before a robot can replace a sales person or a graphic designer. But it won't be long before a computer can do project management and resource allocation better than humans.
Те роботы с отсутствием смекалки, исследовательской жилки и нестандартного подхода, которых вы культивируете из-за нежелания смотреть на свою работу открыто, через 20 лет сядут писать код для вашего кардиостимулятора.
Для больших объемов данных уже лежащих в базе есть такое правило — все что можно, нужно делать в SQL. У вас там мелочевка несколько десятков тысяч записей, так что может быть удобнее написать на том языке, который вы лучше знаете. Если данных много, то возникают узкие места либо при передаче данных либо при запросах к БД, либо просто в поддержке — люди еще и питон должны знать.
Функции pivot в стандарте SQL нету, я знаю только в MSSQL расширении. Я обычно создаю производную колонки по которой потом можно групировать (т.е. то, что потом будет по горизонтальной оси), а потом вытягиваю данные в Excel через ODBC прямо в pivot table. Так не нужно ничего программировать нового. Ну или вот в Qlikview, если данных много.
С другой стороны Архип еще молод, по настоящему он не оценил эту сторону комерческой разработки. Более старшие коллеги уже не делают таких ошибок. Вот например… ваш старый знакомый Вася! :-)
Знание-Сила. Кому-то везет встретится с ней, кому-то нет. Но в любом случае так много еще остается за кругом наших понятий…
Если смотреть с точки зрения бизнес юзера DWH (т.е. аналитика) большой плюс Терадаты в ее оптимайзере — не надо никаких хинтов (как в Оракле) и можно писать джойны на десятки и сотни таблиц. Ну и параллелизм, которого нет в MySQL.
+ что сказано mrz0diak habrahabr.ru/company/teradata/blog/160821/#comment_5548911
diagnostic helpstats on for session;Tогда запуск EXPLAIN в конце текста показывает, каких статистик не хватает оптимайзеру. Сбор всех предложенных статистик по моим таблицам (исключительно на которые у меня и есть права) дешевле, чем запуск неоптимизированных запросов. Особенно из-за того что как бизнес юзер, я все-время создаю маленькие таблички для фильтрации или группировки, которые участвуют в джойнах.Вообще я бы всем бизнес юзерам вставил макро, которое бы собирало статистики для таблиц в их SQL перед выполнением запроса. В тех DWH на Терадате, где я работал, это наверняка было бы лучше, чем терпеть неоптимизированные запросы начинающих юзверей.
это пять!
“I want to b3 a wizard hax0r”, the stranger replied, “and 0wn ever3one's b0xen”.
Функции pivot в стандарте SQL нету, я знаю только в MSSQL расширении. Я обычно создаю производную колонки по которой потом можно групировать (т.е. то, что потом будет по горизонтальной оси), а потом вытягиваю данные в Excel через ODBC прямо в pivot table. Так не нужно ничего программировать нового. Ну или вот в Qlikview, если данных много.