Pull to refresh
1
0
Send message

Интеграционный слой с Kafka и микросервисами: опыт построения операционной CRM контакт-центра торговой сети Пятерочка

Reading time8 min
Views12K

Из этого поста вы узнаете, зачем добавлять в интеграционный слой бизнес-логику, что случается, когда «не летит» Service mesh, и почему иногда костыли — лучшее решение проблемы.



Привет Хабр, на связи Иван Большаков — архитектор интеграционных решений, эксперт департамента разработки ПО КРОК. Я расскажу, как мы делали интеграционный слой для CRM-системы группы контакт-центров торговой сети Пятерочка.


Всего в системе одновременно находятся десятки тысяч пассивных пользователей с открытыми интерфейсами и сотни активных, которые пишут в чаты, принимают звонки и нажимают на кнопки. Операторы одновременно работают с десятком различных систем…

Читать дальше →
Total votes 26: ↑25 and ↓1+28
Comments12

Как мы выбирали между Elastic и Tarantool, а сделали свою (самую быструю) in-memory БД. С Join и полнотекстовым поиском

Reading time10 min
Views46K

Всем привет.


С середины 2016 года мы проектируем и разрабатываем новое поколение платформы. Принципиальное отличие от первого поколения — поддержка API "тонкого" клиента. Если старая платформа предполагает, что на клиента при запуске загружается метаинформация о всем контенте, который доступен для абонента, то новая платформа должна отдавать срезы данных отфильтрованные и отсортированы для отображения на каждом экране/странице.


Высокоуровневая архитектура на уровне хранения данных внутри системы — постоянное хранение всех данных в централизованном реляционном SQL хранилище. Выбор пал на Postgres, тут никаких откровений. В качестве основного языка для разработки — выбрал golang.


У системы порядка 10м пользователей. Мы посчитали, что с учетом профиля теле-смотрения, 10М пользователей может дать сотни тысяч RPS на всю систему.



Это означает, что запросы от клиентов и близко не стоит подпускать к реляционной SQL БД без кэширования, а между SQL БД и клиентами должен быть хороший кэш.


Посмотрели на существующие решения — погоняли прототипы. Данных, по современным меркам у нас немного, но параметры фильтрации (читай бизнес-логика) — сложные, и главное персонализированные — зависящие от сессии пользователя, т.е. использовать параметры запроса как ключ кэширования в K-V кэше будет очень накладно, тем более пейджинг и богатый набор сортировок никто не отменял. По сути, под каждый запрос от пользователя формируется полностью уникальный набор отфильтрованных записей.

Читать дальше →
Total votes 79: ↑74 and ↓5+69
Comments117

NewSQL = NoSQL+ACID

Reading time15 min
Views33K

До недавнего времени в Одноклассниках около 50 ТБ данных, обрабатываемых в реальном времени, хранилось в SQL Server. Для такого объема обеспечить быстрый и надежный, да еще и устойчивый к отказу ЦОД доступ, используя SQL СУБД, практически невозможно. Обычно в таких случаях используют одно из NoSQL-хранилищ, но не всё можно перенести в NoSQL: некоторые сущности требуют гарантий ACID-транзакций.

Это подвело нас к использованию NewSQL-хранилища, то есть СУБД, предоставляющей отказоустойчивость, масштабируемость и быстродействие NoSQL-систем, но при этом сохраняющей привычные для классических систем ACID-гарантии. Работающих промышленных систем этого нового класса немного, поэтому мы реализовали такую систему сами и запустили ее в промышленную эксплуатацию.

Как это работает и что получилось — читай под катом.
Читать дальше →
Total votes 61: ↑60 and ↓1+59
Comments60

Базы данных и Kubernetes (обзор и видео доклада)

Reading time8 min
Views37K
8 ноября в главном зале конференции HighLoad++ 2018, в рамках секции «DevOps и эксплуатация», прозвучал доклад «Базы данных и Kubernetes». В нём рассказывается о высокой доступности баз данных и подходах к отказоустойчивости до Kubernetes и вместе с ним, а также практических вариантах размещения СУБД в кластерах Kubernetes и существующие для этого решения (включая Stolon для PostgreSQL).



По традиции рады представить видео с докладом (около часа, гораздо информативнее статьи) и основную выжимку в текстовом виде. Поехали!
Total votes 49: ↑46 and ↓3+43
Comments5

Postgres-вторник №5: «PostgreSQL и Kubernetes. CI/CD. Автоматизация тестирования»

Reading time15 min
Views11K


В конце минувшего года состоялся очередной прямой эфир российского PostgreSQL-сообщества #RuPostgres, в рамках которого его сооснователь Николай Самохвалов поговорил с техническим директором «Фланта» Дмитрием Столяровым про эту СУБД в контексте Kubernetes.

Мы публикуем стенограмму основной части этой дискуссии, а на YouTube-канале сообщества опубликована полная видеозапись:
Total votes 43: ↑43 and ↓0+43
Comments1

Кошелек с нуля в 2020 году: технологии, вызовы, решения

Reading time16 min
Views8.6K

Большую часть своей рабочей биографии я занимаюсь различными финтех продуктами – Яндекс.Деньги, 1ЦУПИС и так далее. Последние два года я разрабатываю очередное платежное решение и хочу рассказать о некоторых задачах, с которыми мы встретились. Но мне интересно рассказать не только про появившиеся решения, но и, в первую очередь, про то, как вообще можно думать про архитектуру сложных систем.

Читать далее
Total votes 19: ↑17 and ↓2+18
Comments21

Что нужно знать о gRPC системному аналитику

Level of difficultyEasy
Reading time14 min
Views21K

Всем привет! Я Ирина Матевосян, системный аналитик в направлении продуктового и системного анализа в отделе Tinkoff Mobile Core. Мы разрабатываем общие библиотеки, которые используют все мобильные приложения экосистемы Тинькофф. 

Расскажу о протоколе gRPC. На Хабре много статей о тонкостях реализации, рассчитанных на разработчиков, я же хочу познакомить с ним своих коллег. Разберем, как работает протокол и как написать контракт так, чтобы вас поняли, но не будем погружаться в тонкости программной реализации, а скорее расширим кругозор. Возможно, для кого-то gRPC станет крутым решением в работе.

Читать далее
Total votes 19: ↑19 and ↓0+19
Comments6

Забудьте САР теорему как более не актуальную

Reading time12 min
Views66K
или «Прекратите характеризовать хранилища данных как CP или AP»

capДжеф Ходжес в своем прекрасном посте «Заметки о распределенных системах для новичков» рекомендует использовать САР теорему для критики найденных решений. Многие, похоже, восприняли этот совет слишком близко к сердцу, описывая свои системы как «СР» (согласованность данных, но без постоянной доступности при сетевой распределенности), «АР» (доступность без согласованного состояния при сетевой распределенности), или иногда «СА» (означает «Я всё ещё не читал статью Коды (Coda Hale) почти 5-летней давности»).

Я согласен со всеми пунктами статьи кроме того, что касается САР теоремы. Она слишком всё упрощает и слишком многие понимают её неверно для того, чтобы использовать для определения характеристик системы. Так что я прошу перестать ссылаться на САР теорему, говорить о ней и дать ей уже спокойно уйти на покой. Вместо неё мы должны использовать более точную терминологию для обсуждения различных компромиссов.

(Да, я понимаю всю иронию написания целой статьи по теме того, о чём призываю не писать других вообще. Но, как минимум, у меня будет ссылка, которую я смогу давать интересующимся, когда меня будут спрашивать, почему я не одобряю обсуждение САР теоремы. Также, я хочу извиниться, если статья вам покажется слишком напыщенной, но эта напыщенность опирается на множество ссылок.)

САР использует слишком узкое определение


Если вы хотите ссылаться на САР как на теорему (а не на расплывчатый концепт в маркетинговых материалах к вашей базе данных), вы должны быть точны. Математика требует точности. Доказательство сохраняется только если вы вкладывается в слова, то же самое значение, что было использовано при доказательстве. И оно опирается на очень точные определения:
Еще 3000 слов увлекательного чтива
Total votes 70: ↑66 and ↓4+62
Comments23

Мифы о CAP теореме

Reading time13 min
Views31K

Введение


cap


Давно хотел написать про мифы о CAP теореме, но как-то все не доходили руки. Однако, почитав очередной опус, схватился за голову и решил разложить все по полочкам, чтобы в мозгах возникла стройная картина.


Событие, когда какая-то статья вызывает бурю эмоций, — крайне редкое. Первый раз такое возникло, когда я прочитал про chained replication. Меня пытались убедить, что это мощный подход и что это лучшее, что могло произойти с консистентной репликацией. Я сейчас не буду приводить доводы, почему это плохо работает, а просто приведу говорящую цитату из статьи Chain Replication metadata management:


Split brain management is a thorny problem. The method presented here is one based on pragmatics. If it doesn’t work, there isn’t a serious worry, because Machi’s first serious use case all require only AP Mode. If we end up falling back to “use Riak Ensemble” or “use ZooKeeper”, then perhaps that’s fine enough.

В моем вольном пересказе это означает примерно следующее: "У нас тут есть некий алгоритм. Мы не знаем, будет ли он работать правильно или нет. Да нам это и не важно". Хотя бы честно, сэкономило кучу времени, спасибо авторам.


И тут, значит, попадается на глаза статья: Spanner, TrueTime & The CAP Theorem. Её мы разберем по полочкам ближе к концу, вооружившись понятиями и знаниями. А перед этим разберем самые распространенные мифы, связанные с CAP теоремой.

Читать дальше →
Total votes 38: ↑36 and ↓2+34
Comments70

Разработка и тестирование смарт-контрактов Hyperledger Fabric

Reading time18 min
Views13K

Hyperledger Fabric (HLF) — платформа с открытым исходным кодом, использующая технологию распределенного реестра (DLT — distributed ledger technology), предназначенная для разработки приложений, работающих в среде бизнес-сетей, созданных и контролируемых консорциумом организаций с применением правил доступа (permissioned).


Платформа поддерживает смарт-контракты, в терминах HLF — чейнкоды (chaincode), создаваемые на языках общего назначения, таких как Golang, JavaScript, Java, в отличие, от, например, Ethereum, в котором используется контрактно-ориентированный, ограниченный по функциональности язык Solidity (LLL, Viper и др).



Разработка и тестирование чейнкодов, в силу необходимости развертывания значительного количества компонент блокчейн-сети, может быть достаточно долгим процессом с высокими временными затратами на тестирование изменений. В статье рассматривается подход к быстрой разработке и тестированию HLF смарт-контрактов на Golang с помощью библиотеки CCKit.

Читать дальше →
Total votes 7: ↑7 and ↓0+7
Comments4

Распределённые СУБД для энтерпрайза

Reading time8 min
Views6.4K
CAP-теорема является краеугольным камнем теории распределённых систем. Конечно, споры вокруг неё не утихают: и определения в ней не канонические, и строгого доказательства нет… Тем не менее, твёрдо стоя на позициях бытового здравого смысла™, мы интуитивно понимаем, что теорема верна.



Единственное, что не очевидно, так это значение буквы «P». Когда кластер разделился, он решает – то ли не отвечать, пока не будет набран кворум, то ли отдавать те данные, которые есть. В зависимости от результатов этого выбора система классифицируется либо как CP, либо как AP. Cassandra, например, может вести себя и так и так, в зависимости даже не от настроек кластера, а от параметров каждого конкретного запроса. Но если система не «P», и она разделилась, тогда – что?

Ответ на этот вопрос несколько неожиданный: CA-кластер не может разделиться.
Что же это за кластер, который не может разделиться?
А вот
Total votes 3: ↑2 and ↓1+2
Comments8

Когда одного Postgres'a мало: сравнение производительности PostgreSQL и распределенных СУБД

Level of difficultyHard
Reading time12 min
Views12K

Общеизвестно, что PostgreSQL - крайне эффективная СУБД с богатой функциональностью. При этом не секрет, что PostgreSQL масштабируется только вертикально и её производительность ограничена возможностями одного сервера.

Написано много хороших постов, в которых сравнивают архитектуру монолитных и распределенных СУБД. К сожалению, обычно авторы ограничиваются теоретическим сравнением и не приводят конкретные цифры. Данный пост же наоборот основан на эмпирическом исследовании с использованием бенчмарка TPC-C, который является промышленным стандартом для оценки производительности транзакционных СУБД (On-Line Transaction Processing, OLTP).

Мы расскажем, когда именно одного Postgres'a становится мало, и какие возможны компромиссы между производительностью и надежностью. Для тех, кто не готов к компромиссам, мы покажем, что могут предложить такие распределенные СУБД, как CockroachDB и YDB.

Читать далее
Total votes 23: ↑22 and ↓1+27
Comments50

Uber — причины перехода с Postgres на MySQL

Reading time19 min
Views102K


В конце июля 2016 года в корпоративном блоге Uber появилась поистине историческая статья о причинах перехода компании с PostgreSQL на MySQL. С тех пор в жарких обсуждениях этого материала было сломано немало копий, аргументы Uber были тщательно препарированы, компанию обвинили в предвзятости, технической неграмотности, неспособности эффективно взаимодействовать с сообществом и других смертных грехах, при этом по горячим следам в Postgres было внесено несколько изменений, призванных решить некоторые из описанных проблем. Список последствий на этом не заканчивается, и его можно продолжать еще очень долго.


Наверное, не будет преувеличением сказать, что за последние несколько лет это стало одним из самых громких и резонансных событий, связанных с СУБД PostgreSQL, которую мы, к слову сказать, очень любим и широко используем. Эта ситуация наверняка пошла на пользу не только упомянутым системам, но и движению Free and Open Source в целом. При этом, к сожалению, русского перевода статьи так и не появилось. Ввиду значимости события, а также подробного и интересного с технической точки зрения изложения материала, в котором в стиле «Postgres vs MySQL» идет сравнение физической структуры данных на диске, организации первичных и вторичных индексов, репликации, MVCC, обновлений и поддержки большого количества соединений, мы решили восполнить этот пробел и сделать перевод оригинальной статьи. Результат вы можете найти под катом.

Читать дальше →
Total votes 112: ↑110 and ↓2+108
Comments58

Работа с художественным стеклом. Витражная техника фьюзинг — печное сплавление

Level of difficultyMedium
Reading time6 min
Views4.5K

Витражи — одна из очаровательнейших областей декоративно‑прикладного искусства (ДПИ). Интересно, что существует несколько более‑менее современных технологий соединения стеклянных деталей в рисунок, причём, выделить из них лучшую, никак нельзя. У каждой есть целый ряд, как достоинств, так и недостатков и, пожалуй, самые интересные работы используют нечто среднее — беря от каждой лучшее и, по возможности, нейтрализуя недостатки. Некогда, витражное дело было крайне хлопотным и дорогим удовольствием, сегодня, некрупные работы можно выполнять прямо в квартире, материалы и инструменты доступны рядовому заинтересованному гражданину. Познакомимся с относительно молодой и чрезвычайно эффектной техникой работы с художественным стеклом — fusing — сплавление в единую работу плоских заготовок уложенных слоями в специальной печи.

Прежде всего — стекла для таких работ должны быть не только цветными, но и специальными — все с одинаковым КТР (коэффициентом теплового расширения) иначе при остывании работы она разлетится вдребезги. Могут быть и более коварные случаи — видимых трещин нет, но есть оставшиеся в стекле заметные внутренние напряжения, могущие через время подложить колоссальную свинью.

Работа начинается с идеи, рождающейся в голове витражиста. Один из нашей семейной домашней мастерской имеет художественное образование и это крупная удача — принцип работы с цветами и формами здесь ничем не отличается от таковых в живописи. Процесс перенесения идеи на бумагу бывает, занимает до недели времени и кипу изрисованных черновиков — работать по готовым эскизам скучно, как и повторять сделанное, хотя, иногда все‑таки приходится. Получив готовый эскиз с учетом особенностей процесса и подбора цветов, вычерчиваем картон — тот же эскиз, но рабочий, в натуральную величину и раскрашенный или с указанием цветов.

Читать далее
Total votes 47: ↑44 and ↓3+55
Comments23

Какие задачи решают IAM системы?

Reading time11 min
Views35K

Какие задачи решают IAM системы?



Терминология


Чаще всего мы встречаем термин Identity Management (IdM), что означает управление учетными записями или электронными представлениями пользователей. Как правило, от IdM-системы требуется управление не только учетными записями, но и доступом к системам. Поэтому обычно говоря об IdM, подразумевают Identity and Access Management.

Под Identity and Access Management (IAM) понимают набор технологий и программных продуктов, отвечающих задачам управления жизненным циклом учетных записей и управления доступом к различным системам в компании. Аналитические агентства (Gartner, Forrester, KuppingerCole) и разработчики IAM-систем выделяют как минимум две области внутри IAM: User Administration and Provisioning (UAP) и Identity and Access governance (IAG). Современное IAM-решение должно предоставлять функциональность в обеих областях.

UAP-решения появились в конце 1990-х как средства автоматизации работы со службами каталогов. UAP решает задачи автоматизации создания, изменения и удаления учетных записей в информационных системах организации, а также обеспечивает доступ к приложениям и ресурсам, которые нужны пользователю для работы.
Читать дальше →
Total votes 4: ↑2 and ↓20
Comments10

Xinfrared XH 09 (Х2): обзор поискового тепловизора для смартфона

Reading time9 min
Views5.6K

Тепловизор Xinfrared XH 09 (он же Xinfrared Х2) подключается к смартфону и предназначен для обнаружения целей на значительных расстояниях, в условиях, когда визуальным методом это сделать невозможно или затруднительно. Например, в условиях слабого освещения или ночью. Или днем, когда цель сливается с окружающей средой и ее трудно заметить.

Читать далее
Total votes 13: ↑13 and ↓0+13
Comments27

Как я с 0 поднял свой уровень английского до B2 и подтвердил этот уровень на экзамене IELTS Academic

Level of difficultyEasy
Reading time10 min
Views155K

Привет, Хабр!

В этой статье я расскажу о своем опыте изучения английского языка и поделюсь вещами которые работали и не работали для меня. Процесс изучения языка очень индивидуален, и никогда нельзя утверждать что верный какой-то один метод / схема (хотя некоторые статьи на Хабре прямо говорят: вот этот метод правильный, а вот этот нет).

Начнем с бекграунда и причин.

Я – инженер машиностроитель (мой профиль – торцевые уплотнения вращающихся валов). Я начал работать в своей отрасли сразу после бакалавра, параллельно заканчивая магистратуру, и как только я начал работать, я стал стараться впитать как можно больше теоретических знаний по моей специальности из академических источников. Достаточно бысто я понял, что последняя серьезная книга по моей специальности на русском языке была написана в 1978 году. И спустя больше чем 40 лет технологии сильно поменялись, а вот их описание на русском языке отсутствовает. Зато я нашел на reddit людей работающих в штатах в моей же отрасли. Они мне насоветовали кучу классной литературы. Разумееется, она вся на английском, и русского перевода не имеет.

Начал свой путь изучения языка я в январе 2022 года с около нулевого уровня. В всех моих школах преподование английского языка было не на самомом высоком уровне, а в университете было достаточно выучить 30 предложений наизусть чтобы получить достойную оценку на экзамене.

Конечно, перед началом обучения я прочитал много статей на хабре о том как люди учат языки. Некоторые из них поражали скоростью овладения материалом (что-то вроде с нуля до fluent за 4 месяца). Но одна вещь была неизменна – у всех был какой-то план изучения языка.

Читать далее
Total votes 150: ↑146 and ↓4+165
Comments220

Цифровой рубль: большой справочник по технологиям, возможностям и рискам

Level of difficultyEasy
Reading time20 min
Views18K

Этот справочник - попытка собрать в одном месте максимум полезной информации по цифровому рублю. При появлении новой информации или корректировке существующей, справочник будет обновляться.

Автор не является ни сторонником, ни противником цифрового рубля, основная движущая сила создания этого справочника - любопытство. Автор не связан никакими обязательствами ни с оператором цифрового рубля, ни с иными финансово-кредитными организациями.

Читать далее
Total votes 17: ↑16 and ↓1+16
Comments89

Бауманка, ВШЭ или все-таки МФТИ? Или как я выполнила 5ти летку за 4 года. Часть 2

Level of difficultyEasy
Reading time7 min
Views9.4K

На самом деле восьмилетку за 6 лет, но пятилетка за 4 года звучит лучше.

История про учебу в трёх лучших технических (почти) вузах страны, а также особенности каждого из личного опыта.

Вторая часть моего повествования об учебе в высших учебных заведениях.

В этой части речь в основном пойдет о ВШЭ (но не всегда).

Шо там дальше
Total votes 6: ↑4 and ↓2+4
Comments7

Как принимать платежи в Telegram | Оплата без всяких токенов и асинхронная обработка платежа

Level of difficultyEasy
Reading time7 min
Views16K

Как принимать платежи на своем сайте или в telegram используя библиотеку yoomoney-api.

Читать далее
Total votes 6: ↑5 and ↓1+5
Comments31

Information

Rating
Does not participate
Registered
Activity