То есть мало продумать сценарии, квесты, механики, наиграть в свое детище тысячи часов, отлаживая геймплей, анимации, механики. Надо, чтоб еще код был написан именно лапками. Ну странно же, не?
Выращивают (и вполне вкусно): огурцы, помидоры, клубнику, голубику, зелень. Электроэнергия дешевая, труд индопаков тоже. Опресненная вода для сельского хозяйства сильно субсидируется, потому что produced locally - это круто, это можно показать по телевизору - мы в пустыне выращиваем огурцы. Ну и смотрите, даже эмиратским летом охладить парник надо с 40 градусов до 25. 15 градусов разницы. В РФ надо нагреть с -20 за окном до тех же 25, это 45 градусов.
Дешевые эмиратские огурцы - местные. Помодоры местные тоже топ бывают. Привозные дороже. Есть иранские фрукты/овощи, тоже супер-дешево, но помидоры будт по вкусу не уступать орбузам.
На случай 4 похоже, что уже были недовольны, решили спросить, что как с мотивацией. А то вдруг мотивация есть, просто устал. Не нашли нужного настроя, попрощались.
Кто после такого искренне на вопросы отвечает, я хз. В США как-то особенно надо чувствовать, что и где сказать, а где промолчать.
Именно. Когда мне надо наколбасить ETL на гошке, даже claude 3.5 справляется. Офигенно ускоряет разработку. Когда надо простейший фронтенд сделать по-быстрому - тоже отлично.
Когда мне надо пояснить особенности Unreal Engine - все, gpt-o1 генерирует ерунду. Ну не обучали модель на редких и сложных задачах. А движок целиком ей не скормишь. Даже класс один на 800 строк не скормишь.
Выражаю свои сомнения, что на BQ это будет быстрее\удобнее клика. Особенно для объединения\пересечения ключей.
Надо же, один в один. Если вы из стриминговых сервисов, у нас с вами могут быть похожие задачи. Согласна, что удобнее такие опереции делать в кликхаусе. В кликхаусе это делалось чуть ли не одной строчкой в запросе "объединить словари, отсортировать по значению определенного ключа, убрать дубли, получить разницу между определенными элементами соседних словарей, сложить эти разницы".
Но в BQ дешевле, и даже аналитик может понять, что происходит. А значит, где-то радуется один программист и идет кодить, а не быть дата-инженером на полставке :)
Только задумайтесь, зачем 5 аналитиков, если есть олап и можно оставить одного аналитика? П-рофит.
Офигенно будет. У меня прям похожая etl есть с расчетами по данным из больших структур внутри одного поля, которая реализована сначала была на кликхаусе, а потом на BQ. Это тоже колоночная субд, только индексация и ключи - все скрыто от пользователя. Пользователю даются разве что настройка партиций, и то лимитировано.
80tb(это довольно много...без сжатия же? Или это объем чтения в BQ? )
чтение в день. Сколько, чего и где лежит в BQ - неизвестно, облако ж.
Но 2.5mln - это запросы пользователей, а не аналитиков?
думаю, что 99% - это перекидывание данных в рамках etl, юзеры ну 50к день наверное. Кликхаус кстати подходит для показа данных большому числу пользователей, ЯМетрика на нем же была (или и есть).
Но главное - пара запросов по неиндексированным колонкам - может скушать весь бюджет BQ или нет? Мы за раз прочитаем 1TB и заплатим 6$?
индексации, доступной юзеру, нет. А без партиционирования и без ограничений - даже петабайт можно получить на 1 запросе, который не предусматривает группировку. Это прям главная боль таких решений. Будет очень быстро и потом очень дорого. Поэтому и dbt используется, которая строит агрегированные модели и проверяет данные на консистентность тестами, чтобы аналитики или юзеры брали данные уже из небольших таблиц.
А мотивация - простая, если запрос выполнялся 50 минут, а стал 2 минуты. Это очень мотивирует)
так у вас постгря была, еще бы =) Добро пожаловать в мир колоночных субд. group by - это больше не больно)
А хз, может и мало, небольшая компания же. Смотрю статистику, 80TB daily и 2.5mln requests daily. Для операторов связи или маркетплейсов - фигня. Сырые ивенты и вовсе в BT, чтоб не спамить в BQ.
Самое удобное - интеграция с любой сторонней тулзой, простая миграция данных со всех платформ. Низкий порог вхожения. Надо понимать про партишены для своих таблиц и как считается биллинг запросов. С внедрением dbt построением моделей могут заниматься сами дата аналитики под присмотром 1 дата инженера из числа опытных аналитиков, который больше думает о качестве данных, чем о том как эти данные уложить, чтоб ничего не сломалось и было консистентно.
C кликхаусом нужен был контроль девопса и хотя бы 1 data engineer (2, если он хочет в отпуск), который шарит в особенностях движков, знает, что в какой версии поменялось, и делает модели. Просто дать разрабу или аналитику задачу не получалось, слишком большой порог вхождения, а мотивации обучаться ноль, потому что знание кликхауса на американском рынке не продашь. В итоге, если сложить зарплаты инженеров и биллинг за сервера, получалось дороже, чем гугловые решения.
У гугла одна беда - биллинг и система квот такая, что без бутылки не разберешься.
Это рай только для тех разработчиков, которым в кайф в этом разбираться. У нас кликхаус заменили на BigQuery просто потому что никто не хотел вникать, как там у кликхауса все устроено. Если есть команда увлеченных дата инженеров, тогда проще.
Я далеко живу уже, к сожалению. А как средство называется, может, я его в Эмиратах смогу заказать?
Рюкзак нравится, я долго искала из настоящей кожи именно такой небольшой и аккуратный, чтоб можно было много лет носить. Удачи вам в этом нелегком бизнесе!
О, да у меня ж ваш рюкзачок живет несколько лет. Чего только на Хабре не увидишь.
Говорили, будет остаточное окрашивание полгода-год. Но она стабильно красит все мои вещи в коралловый цвет несколько лет подряд, не сдается. Средством для кожи обрабатывала, не помогает. Но рюкзачок красивый, кожаный, и внутрянка удобная, из мягкой замши.
Как говорится, ту хум хау. 4к$ в год на семью за доступ к Kings Hospital && American Hospital. По сравнению со Штатами совсем недорого. А насчет пенсий, ну кто ж в ОАЭ жить едет, едут деньги делать.
Там не указано, скопом считали или зарплаты ниже в той же категории. Если женщин-мидлов в выборке больше, чем лидов, и поэтому в среднем по больнице зп ниже, то это не то же самое, что у женщин-мидлов зп на 25% ниже чем у мужчин-мидлов.
Есть на это алгоритмы синхронизации. Для постгри из головы помню реализацию через WAL и через поле xmin. C одним xmin не узнать, удалены ли строки, это правда.
Если репликацию делали по логу постгри, то там можно в логе детектировать факт удаления и в варехаузе помечать их удаленными.
Не вижу в списке действий "как не допустить подобного" еще парочки:
настроить мониторинг работоспособности платформы. Алерт "пользователи жалуются и я пошел в мониторинг" - это фаил.
все подобные изменения структуры проверять с HypoPG
задуматься, не стоит ли при таких объемах данных не смешивать прод и аналитическое хранилице, и завести warehouse. Аналитики и дальше будут предлагать "улучшить" структуру данных, как удобно им. А архитектура должна быть удобной для массовой обработки запросов от прода, а не от аналитика.
Да даже если не понравился по причине "похож на бывшего", написать юридически-корректную причину не составит труда. Вот нафига мне идти в команду, где я лиду не нравлюсь по любой причине? Каждый день работать и видеть как он/она зубами скрипит? Они не единственные на белом свете и я тоже, найдем подходящие команды.
Смотря какой уровень нужен в итоге. У меня лет 8 назад ielts academic был на 7.5, я читаю современные книги без проблем, смотрю нетфликс без субтитров, живу в англоязычной стране и работаю в англоязычной компании. Что совершенно не мешает мне до сих пор безграмотно говорить. Потому что говорение - отдельный навык.
тем, кто контент производит, он нужен. Он заточен под производство контента, быстрое редактирование и публикацию на платформах. Для листания соцсеточек он необязателен совершенно.
так и рынок контрактов поменялся. Раньше можно было на Штаты работать из РФ, а теперь они "недружественная" страна и изнутри работать сложно. Многие разъехались и за хлеб с маслом работать уже не будут, жизнь в эмиграции недешевая.
То есть мало продумать сценарии, квесты, механики, наиграть в свое детище тысячи часов, отлаживая геймплей, анимации, механики. Надо, чтоб еще код был написан именно лапками. Ну странно же, не?
Выращивают (и вполне вкусно): огурцы, помидоры, клубнику, голубику, зелень. Электроэнергия дешевая, труд индопаков тоже. Опресненная вода для сельского хозяйства сильно субсидируется, потому что produced locally - это круто, это можно показать по телевизору - мы в пустыне выращиваем огурцы. Ну и смотрите, даже эмиратским летом охладить парник надо с 40 градусов до 25. 15 градусов разницы. В РФ надо нагреть с -20 за окном до тех же 25, это 45 градусов.
Дешевые эмиратские огурцы - местные. Помодоры местные тоже топ бывают. Привозные дороже. Есть иранские фрукты/овощи, тоже супер-дешево, но помидоры будт по вкусу не уступать орбузам.
На случай 4 похоже, что уже были недовольны, решили спросить, что как с мотивацией. А то вдруг мотивация есть, просто устал. Не нашли нужного настроя, попрощались.
Кто после такого искренне на вопросы отвечает, я хз. В США как-то особенно надо чувствовать, что и где сказать, а где промолчать.
Именно. Когда мне надо наколбасить ETL на гошке, даже claude 3.5 справляется. Офигенно ускоряет разработку. Когда надо простейший фронтенд сделать по-быстрому - тоже отлично.
Когда мне надо пояснить особенности Unreal Engine - все, gpt-o1 генерирует ерунду. Ну не обучали модель на редких и сложных задачах. А движок целиком ей не скормишь. Даже класс один на 800 строк не скормишь.
У меня был кликхаус 2 года, но так как в нем никто больше не хотел разбираться, а у меня других обязанностей хватало, ушли на BQ.
Надо же, один в один. Если вы из стриминговых сервисов, у нас с вами могут быть похожие задачи. Согласна, что удобнее такие опереции делать в кликхаусе. В кликхаусе это делалось чуть ли не одной строчкой в запросе "объединить словари, отсортировать по значению определенного ключа, убрать дубли, получить разницу между определенными элементами соседних словарей, сложить эти разницы".
Но в BQ дешевле, и даже аналитик может понять, что происходит. А значит, где-то радуется один программист и идет кодить, а не быть дата-инженером на полставке :)
а сколько дата-инженеров? ;)
Офигенно будет. У меня прям похожая etl есть с расчетами по данным из больших структур внутри одного поля, которая реализована сначала была на кликхаусе, а потом на BQ. Это тоже колоночная субд, только индексация и ключи - все скрыто от пользователя. Пользователю даются разве что настройка партиций, и то лимитировано.
чтение в день. Сколько, чего и где лежит в BQ - неизвестно, облако ж.
думаю, что 99% - это перекидывание данных в рамках etl, юзеры ну 50к день наверное. Кликхаус кстати подходит для показа данных большому числу пользователей, ЯМетрика на нем же была (или и есть).
индексации, доступной юзеру, нет. А без партиционирования и без ограничений - даже петабайт можно получить на 1 запросе, который не предусматривает группировку. Это прям главная боль таких решений. Будет очень быстро и потом очень дорого. Поэтому и dbt используется, которая строит агрегированные модели и проверяет данные на консистентность тестами, чтобы аналитики или юзеры брали данные уже из небольших таблиц.
так у вас постгря была, еще бы =) Добро пожаловать в мир колоночных субд. group by - это больше не больно)
А хз, может и мало, небольшая компания же. Смотрю статистику, 80TB daily и 2.5mln requests daily. Для операторов связи или маркетплейсов - фигня. Сырые ивенты и вовсе в BT, чтоб не спамить в BQ.
Самое удобное - интеграция с любой сторонней тулзой, простая миграция данных со всех платформ. Низкий порог вхожения. Надо понимать про партишены для своих таблиц и как считается биллинг запросов. С внедрением dbt построением моделей могут заниматься сами дата аналитики под присмотром 1 дата инженера из числа опытных аналитиков, который больше думает о качестве данных, чем о том как эти данные уложить, чтоб ничего не сломалось и было консистентно.
C кликхаусом нужен был контроль девопса и хотя бы 1 data engineer (2, если он хочет в отпуск), который шарит в особенностях движков, знает, что в какой версии поменялось, и делает модели. Просто дать разрабу или аналитику задачу не получалось, слишком большой порог вхождения, а мотивации обучаться ноль, потому что знание кликхауса на американском рынке не продашь. В итоге, если сложить зарплаты инженеров и биллинг за сервера, получалось дороже, чем гугловые решения.
У гугла одна беда - биллинг и система квот такая, что без бутылки не разберешься.
Это рай только для тех разработчиков, которым в кайф в этом разбираться. У нас кликхаус заменили на BigQuery просто потому что никто не хотел вникать, как там у кликхауса все устроено. Если есть команда увлеченных дата инженеров, тогда проще.
Я далеко живу уже, к сожалению. А как средство называется, может, я его в Эмиратах смогу заказать?
Рюкзак нравится, я долго искала из настоящей кожи именно такой небольшой и аккуратный, чтоб можно было много лет носить. Удачи вам в этом нелегком бизнесе!
О, да у меня ж ваш рюкзачок живет несколько лет. Чего только на Хабре не увидишь.
Говорили, будет остаточное окрашивание полгода-год. Но она стабильно красит все мои вещи в коралловый цвет несколько лет подряд, не сдается. Средством для кожи обрабатывала, не помогает. Но рюкзачок красивый, кожаный, и внутрянка удобная, из мягкой замши.
Как говорится, ту хум хау. 4к$ в год на семью за доступ к Kings Hospital && American Hospital. По сравнению со Штатами совсем недорого. А насчет пенсий, ну кто ж в ОАЭ жить едет, едут деньги делать.
Разве? Corporate tax весьма скромный, 0% на profit до ~$100k, 9% на то, что выше. А для некоторых фризон попроще.
Там не указано, скопом считали или зарплаты ниже в той же категории. Если женщин-мидлов в выборке больше, чем лидов, и поэтому в среднем по больнице зп ниже, то это не то же самое, что у женщин-мидлов зп на 25% ниже чем у мужчин-мидлов.
Есть на это алгоритмы синхронизации. Для постгри из головы помню реализацию через WAL и через поле xmin. C одним xmin не узнать, удалены ли строки, это правда.
Если репликацию делали по логу постгри, то там можно в логе детектировать факт удаления и в варехаузе помечать их удаленными.
Не вижу в списке действий "как не допустить подобного" еще парочки:
настроить мониторинг работоспособности платформы. Алерт "пользователи жалуются и я пошел в мониторинг" - это фаил.
все подобные изменения структуры проверять с HypoPG
задуматься, не стоит ли при таких объемах данных не смешивать прод и аналитическое хранилице, и завести warehouse. Аналитики и дальше будут предлагать "улучшить" структуру данных, как удобно им. А архитектура должна быть удобной для массовой обработки запросов от прода, а не от аналитика.
Да даже если не понравился по причине "похож на бывшего", написать юридически-корректную причину не составит труда. Вот нафига мне идти в команду, где я лиду не нравлюсь по любой причине? Каждый день работать и видеть как он/она зубами скрипит? Они не единственные на белом свете и я тоже, найдем подходящие команды.
Смотря какой уровень нужен в итоге. У меня лет 8 назад ielts academic был на 7.5, я читаю современные книги без проблем, смотрю нетфликс без субтитров, живу в англоязычной стране и работаю в англоязычной компании. Что совершенно не мешает мне до сих пор безграмотно говорить. Потому что говорение - отдельный навык.
тем, кто контент производит, он нужен. Он заточен под производство контента, быстрое редактирование и публикацию на платформах. Для листания соцсеточек он необязателен совершенно.
так и рынок контрактов поменялся. Раньше можно было на Штаты работать из РФ, а теперь они "недружественная" страна и изнутри работать сложно. Многие разъехались и за хлеб с маслом работать уже не будут, жизнь в эмиграции недешевая.