В одном из проектов мы строили систему обработки заказов. Клиент жмет «Оформить», а бэкенд в этот момент должен:
сохранить заказ в БД;
проверить стоп‑листы (мошенники);
дернуть складскую систему за остатками;
отправить письмо на email клиенту;
отправить событие в CRM для менеджеров.
Добрый день, а как мы от финтеха скатились до оформления заказа пользователем ? В каком месте финтеха у вас такой поток заказов, для которого нужна такая сложная реализация + есть висяк типа складкой системы? Описанный вами подход для этой задачи (при условии нагрузки ниже грубо говоря 1 заказа в секунду) это оверинжинеринг. На потоке 10 заказов или 100 в секунду вы упретесь в складскую систему или в CRM и эффективность вашего пайпа будет примерно такая же как и без него, т.к у вас в цепочке висяк на который вы никак не можете влиять своим масштабированием и чем угодно.
Шардирование предполагает использование разных серверов, а партицирование - в лучшем случае разных дисков. И переход к шардированию достаточно сложный и трудоемкий, потому "хинтом" я бы это не назвал
А еще сессии в базе будет хранить тот у кого их не так много чтобы жечь деньги в топке, но стейтлесс хочется, а поднимать еще один сервис рано, т.к стейтлесс обычно приходит сильно раньше чем огроменный объем данных в сессиях. Такие дела :)
Хотелось бы более детально остановиться на ответ на вопрос "сколько у пользователя есть денег на счету".
Из вариантов у нас
1) Проигрывать все события с лога до текущего коммента
2) Проигрывать с снешпота до текущего момента
Хотелось бы услышать ваше мнение по поводу компромиссов в длине интервала между снепшотами условно Х событий и 1 событием, другими словами говоря между использованием снепшота в его классическом смысле и реалтайм апдейтами снепшота вместе с сохранением евена в лог.
Данные привязанные к дате/времени (Time-series data): журналы, события, показания датчиков и аналитические данные, где запросы обычно фокусируются на последних периодах времени. Можно использовать секционирование по дням, неделям или месяцам.
Для временных рядов есть другие целые специальные базы данных, о чем было бы неплохо упомянуть, т.к контекст и примеры у вас в привязаны к посгресу в основном.
Многопользовательские приложения: SaaS-платформы, где данные каждого клиента изолированы. Секционирование по идентификатору клиента обеспечивает разделение данных каждого клиента и упрощает перемещение больших групп клиентов на выделенные ресурсы.
Географическое распределение: приложения, обслуживающие пользователей в разных регионах, где запросы обычно специфичны для региона. Секционирование по региону или стране повышает производительность запросов и может помочь в соблюдении требований суверенитета данных.
В остальном тут какая то проблема с логической последовательностью. Начинается все с h3 заголовка вместо h2, продолжается тем что вы видимо логически объединяете шардинг и партицирование в один класс, но именно в этом разделе приводите примеры именно партицирования, для которого вышесказанное не верно, а шардинг у вас идет дальше.
Дальше большие вопросы к слову "изолированы", SaaS не определяет способ хранения данных, на основании чего вы считаете что SaaS -> изоляция данных каждого клиента ? А даже если и так, то чтобы они были изолированы достаточно развернуть ему свой инстанс со своей бд и брать деньги за вертикальный скеил инстанса. Этот подход наверно тоже можно отнести в "секционированию", но очень с натяжкой.
Гео распределение - актуально для шардинга но не партицирования.
p.s Как забавно узнать, что то, что мы делали 20ть лет назад сегодня называется вертикальным партицированием :)
Все это очень классно, жалко только что конструктива около нуля, только завеса тайны и секретности разработки.
Теперь по сути:
1) Ничего о вас как о трейдере. Ни одной сделки, ни одной модели :) Заработать на машину по случайке может любой проходимец, об этом гласит теория вероятности. Успех в трейдинге определяется и доходностью и просадккой и дистанцией.
2) Почти ничего о вас как о разработчике. Голенгу нет 20 лет а значит у вас есть и другой бекграунд
3) Примерно ничего о системе. Все в секрете :) Я не говорю о какой то формализации вашего грааля (которого кстати нет), но какой смысл статьи если вы только рассказываете какая она классная? Вы даже картинку пнлки системы не прикрепили, хотя у вас ими должен быть завален весь лептоп. По тексту и комментам я вижу что вы пытаетесь торговать ликвидность в ключевых точках, это старо как мир, сомневаюсь что вы сможете удивить чуть опытного трейдера критериями повышения вероятности пробоя против ложного в стиле кол-во подхода цены к уровню, формация поджатие перед пробоем и-или абсорбция перед ним. Ленту вы не смотрите, объемам я надеюсь вы не верите т.к они все равно вам не помогут, а больше у вас ничего нет.
4) Зато по странице на каждый шаг там, где можно сказать в два предложения. Нейронка примерно так и сократила.
В сухом остатке лонгрид человека, квалификация которого как трейдера оставляет много вопросов (особенно для тех, кто знаком с трейдингом и умеет читать между строк, и знает что слив - это несоблюдение риска а значит слабая дисциплина), так и квалификация как разработчика - тоже оставляет вопросы (ни рассказа о бекграунде до го, ни строчки кода, ни-че-го).
p.s Мы рады за вас как за нового претендента на рейтинг форбс, но конструктивного обсуждения у нас с вами не получается, т.к предмета обсуждения просто нет. Как вам уже и написали коллег выше, просто в более ласковой формулировке :)
Нужно затягивать гайки долго, и ждать пока у всех наступит смирение и принятие. В контексте этого хаба могу сказать что нашей с вами жизни на это не хватит (по моему мнению) по этому вот.
Могу добавить от себя, что реальный профит от гаек будет через несколько поколений.
Про полицию и черту города. Рад за вас. У нас по пьяни стреляют из нарезного с балкона по собакам. Какие там зайцы могут быть.
Тем более сейчас пневма пошла серьезная с серьезной оптикой (по меркам того как было 20 лет назад). И разрешение не нужно.
Если в моем сообщении вы обратили внимание именно на этот момент, то, подозреваю, что вы не поняли его суть от слова совсем.
Но раз уж, то спасибо за комментарий.
Я сам из Сибири. Со всеми дачами, походами, отдыхами на природе, ночевками в лесу и всем-всем-всем за 30 лет зайца видел по пальцам, и ни разу это не было в черте города. И даже не видел в той черте где стоит знак на дороге «конец населенного пункта», стоит ли мне говорить про то что я их не видел в шаговой доступности от обычного жилого дома (не частного / дачи)?
Добрый день. Вместо того чтобы сравнивать у кого какие софт скилы и качество кода лучше сравните что вы, когда на работу с утра выходите, видите с тем что видели бы. И сравните что чув, когда ваши дети выходят за порог квартиры и что чувствовали бы. Четкой патриотической позиции я в вас не увидел, значит все остальное — полироль для уже принятого решения ничего не менять. Это нормально, так многие делают.
Зачем вы ищите аргументы чтобы не переезжать в форме того что вам предлагаю там ту же зарплату и типа вот зачем лизать ботинки?
Если вы не готовы, так о чем мы тут тогда? Если вам страшно (а это нормально) так может лучше это и обсудить?
Только Мск и Питер еще как то там мучаются муками выбора, все остальные давно уже спят и видят оффер.
Извините, я прочитал по два предложения каждого абзаца, дилеммы для меня нет никакой. Живу 3и года в Европе, каждое утро выхожу из дома в 5ти минутах от не конечной станции метро, наблюдаю пробегающего зайца, и осознаю правильность выбора.
Спасибо, прочитал с удовольствием. В начале статьи был именной той точки зрения, которая к концу подвинулась.
Я уверен что эта тема уже обсуждалась в комментариях, но я бы предложил дополнить статю тем, что какой то слишком жестокий вендорлок получается в случае такой аналогии. Конечно с магазином не по всем фронтам сравнение удачное, особенно на моменте рынка и конкуренции или например показателей бизнеса которые определяют вектор.
Что касается эмиграции я считаю это единственный доступный (относительно) способ уйти от вендорлока, и осознание его жесткости может является хорошим источником мотивации по его преодолению. Я сделал, мне очень нравится.
По поводу пары лет в другой стране и осознания того что принцип тот же. Принцип то вероятно тот же, но показатели магазина как бизнеса очень другие, кпд очень другой, и витрина выглядит наааамного привлекательнее да и в подсобках крыс не так много. Да и членство в клубе покупателей других магазинов в целом дает больше возможностей.
Что касается сложности собрать мнение народа, для этого достаточно выглянуть из окна на любую демонстрацию из последних пары лет, где хорошо заметно кто кого слушает и хочет ли услышать, а потом сравнить с такими же опросами в других магазинах и доводов сразу станет больше, сами знаете на что.
Спасибо!
Но:
1) Удивлен, что кто то еще пушит в гит через командную строку.
2) Делает это в мастер
3) ctrl+r резко ускоряет все подобные операции из коробки
Я солидарен с вами в том, что стран не три :)
По поводу языков. Какая связь между тем на каких языках говорить / где работать / и где при этом жить? С одной стороны границ для работы и коммуникации нет, с другой стороны эмигрировать во что то приличное не так просто. Я могу говорить в этом вопросе за Европу (считаю ее чем то приличным), но сомневаюсь что Япония с распростертыми встречает наших собратьев по гражданству. Поправьте меня, если получить ПМЖ в Японии (или Китае) так же просто как «как два байта переслать».
Спасибо за ответ, но:
1) Я честно не понимаю связи с точкой отсчета. Вы же не выбираете марку автомобиля в зависимости от страны в которой живете
2) Мы рассмотрели точку отсчета Европа и Владивосток. Что с точкой отсчета США?
Добрый день, а как мы от финтеха скатились до оформления заказа пользователем ? В каком месте финтеха у вас такой поток заказов, для которого нужна такая сложная реализация + есть висяк типа складкой системы? Описанный вами подход для этой задачи (при условии нагрузки ниже грубо говоря 1 заказа в секунду) это оверинжинеринг. На потоке 10 заказов или 100 в секунду вы упретесь в складскую систему или в CRM и эффективность вашего пайпа будет примерно такая же как и без него, т.к у вас в цепочке висяк на который вы никак не можете влиять своим масштабированием и чем угодно.
А все что дальше - очень неплохо, спасибо !
Шардирование предполагает использование разных серверов, а партицирование - в лучшем случае разных дисков. И переход к шардированию достаточно сложный и трудоемкий, потому "хинтом" я бы это не назвал
Вы, наверно, полагаете что и кроме пайтона больше ничего в жизни ему не пригодится :) ?
А еще сессии в базе будет хранить тот у кого их не так много чтобы жечь деньги в топке, но стейтлесс хочется, а поднимать еще один сервис рано, т.к стейтлесс обычно приходит сильно раньше чем огроменный объем данных в сессиях. Такие дела :)
Добрый день.
Хотелось бы более детально остановиться на ответ на вопрос "сколько у пользователя есть денег на счету".
Из вариантов у нас
1) Проигрывать все события с лога до текущего коммента
2) Проигрывать с снешпота до текущего момента
Хотелось бы услышать ваше мнение по поводу компромиссов в длине интервала между снепшотами условно Х событий и 1 событием, другими словами говоря между использованием снепшота в его классическом смысле и реалтайм апдейтами снепшота вместе с сохранением евена в лог.
Спасибо!
Добрый день.
Для временных рядов есть другие целые специальные базы данных, о чем было бы неплохо упомянуть, т.к контекст и примеры у вас в привязаны к посгресу в основном.
В остальном тут какая то проблема с логической последовательностью. Начинается все с h3 заголовка вместо h2, продолжается тем что вы видимо логически объединяете шардинг и партицирование в один класс, но именно в этом разделе приводите примеры именно партицирования, для которого вышесказанное не верно, а шардинг у вас идет дальше.
Дальше большие вопросы к слову "изолированы", SaaS не определяет способ хранения данных, на основании чего вы считаете что SaaS -> изоляция данных каждого клиента ? А даже если и так, то чтобы они были изолированы достаточно развернуть ему свой инстанс со своей бд и брать деньги за вертикальный скеил инстанса. Этот подход наверно тоже можно отнести в "секционированию", но очень с натяжкой.
Гео распределение - актуально для шардинга но не партицирования.
p.s Как забавно узнать, что то, что мы делали 20ть лет назад сегодня называется вертикальным партицированием :)
Все это очень классно, жалко только что конструктива около нуля, только завеса тайны и секретности разработки.
Теперь по сути:
1) Ничего о вас как о трейдере. Ни одной сделки, ни одной модели :) Заработать на машину по случайке может любой проходимец, об этом гласит теория вероятности. Успех в трейдинге определяется и доходностью и просадккой и дистанцией.
2) Почти ничего о вас как о разработчике. Голенгу нет 20 лет а значит у вас есть и другой бекграунд
3) Примерно ничего о системе. Все в секрете :) Я не говорю о какой то формализации вашего грааля (которого кстати нет), но какой смысл статьи если вы только рассказываете какая она классная? Вы даже картинку пнлки системы не прикрепили, хотя у вас ими должен быть завален весь лептоп. По тексту и комментам я вижу что вы пытаетесь торговать ликвидность в ключевых точках, это старо как мир, сомневаюсь что вы сможете удивить чуть опытного трейдера критериями повышения вероятности пробоя против ложного в стиле кол-во подхода цены к уровню, формация поджатие перед пробоем и-или абсорбция перед ним. Ленту вы не смотрите, объемам я надеюсь вы не верите т.к они все равно вам не помогут, а больше у вас ничего нет.
4) Зато по странице на каждый шаг там, где можно сказать в два предложения. Нейронка примерно так и сократила.
В сухом остатке лонгрид человека, квалификация которого как трейдера оставляет много вопросов (особенно для тех, кто знаком с трейдингом и умеет читать между строк, и знает что слив - это несоблюдение риска а значит слабая дисциплина), так и квалификация как разработчика - тоже оставляет вопросы (ни рассказа о бекграунде до го, ни строчки кода, ни-че-го).
p.s Мы рады за вас как за нового претендента на рейтинг форбс, но конструктивного обсуждения у нас с вами не получается, т.к предмета обсуждения просто нет. Как вам уже и написали коллег выше, просто в более ласковой формулировке :)
Могу добавить от себя, что реальный профит от гаек будет через несколько поколений.
Про полицию и черту города. Рад за вас. У нас по пьяни стреляют из нарезного с балкона по собакам. Какие там зайцы могут быть.
Тем более сейчас пневма пошла серьезная с серьезной оптикой (по меркам того как было 20 лет назад). И разрешение не нужно.
Но раз уж, то спасибо за комментарий.
Я сам из Сибири. Со всеми дачами, походами, отдыхами на природе, ночевками в лесу и всем-всем-всем за 30 лет зайца видел по пальцам, и ни разу это не было в черте города. И даже не видел в той черте где стоит знак на дороге «конец населенного пункта», стоит ли мне говорить про то что я их не видел в шаговой доступности от обычного жилого дома (не частного / дачи)?
Т.е мы приходим опять к тому, что если сделать все как уже сделано в Европе, то будет так же классно как в Европе.
Зачем вы ищите аргументы чтобы не переезжать в форме того что вам предлагаю там ту же зарплату и типа вот зачем лизать ботинки?
Если вы не готовы, так о чем мы тут тогда? Если вам страшно (а это нормально) так может лучше это и обсудить?
Только Мск и Питер еще как то там мучаются муками выбора, все остальные давно уже спят и видят оффер.
Извините, я прочитал по два предложения каждого абзаца, дилеммы для меня нет никакой. Живу 3и года в Европе, каждое утро выхожу из дома в 5ти минутах от не конечной станции метро, наблюдаю пробегающего зайца, и осознаю правильность выбора.
Чего и вам желаю.
Я уверен что эта тема уже обсуждалась в комментариях, но я бы предложил дополнить статю тем, что какой то слишком жестокий вендорлок получается в случае такой аналогии. Конечно с магазином не по всем фронтам сравнение удачное, особенно на моменте рынка и конкуренции или например показателей бизнеса которые определяют вектор.
Что касается эмиграции я считаю это единственный доступный (относительно) способ уйти от вендорлока, и осознание его жесткости может является хорошим источником мотивации по его преодолению. Я сделал, мне очень нравится.
По поводу пары лет в другой стране и осознания того что принцип тот же. Принцип то вероятно тот же, но показатели магазина как бизнеса очень другие, кпд очень другой, и витрина выглядит наааамного привлекательнее да и в подсобках крыс не так много. Да и членство в клубе покупателей других магазинов в целом дает больше возможностей.
Что касается сложности собрать мнение народа, для этого достаточно выглянуть из окна на любую демонстрацию из последних пары лет, где хорошо заметно кто кого слушает и хочет ли услышать, а потом сравнить с такими же опросами в других магазинах и доводов сразу станет больше, сами знаете на что.
Еще раз спасибо!
Но:
1) Удивлен, что кто то еще пушит в гит через командную строку.
2) Делает это в мастер
3) ctrl+r резко ускоряет все подобные операции из коробки
По поводу языков. Какая связь между тем на каких языках говорить / где работать / и где при этом жить? С одной стороны границ для работы и коммуникации нет, с другой стороны эмигрировать во что то приличное не так просто. Я могу говорить в этом вопросе за Европу (считаю ее чем то приличным), но сомневаюсь что Япония с распростертыми встречает наших собратьев по гражданству. Поправьте меня, если получить ПМЖ в Японии (или Китае) так же просто как «как два байта переслать».
1) Я честно не понимаю связи с точкой отсчета. Вы же не выбираете марку автомобиля в зависимости от страны в которой живете
2) Мы рассмотрели точку отсчета Европа и Владивосток. Что с точкой отсчета США?