Pull to refresh
0
Karma
0
Rating
Aleksandr Mykoliuk @mekal

User

Кафка: сложная простота

Parimatch Tech corporate blog Distributed systems *Microservices *

Привет! Это Сергей Калинец из Parimatch Tech и эта публикация будет про Кафку. 

У нас много данных, которые нужно быстро обрабатывать, много сервисов и команд, поэтому мы выбрали Кафку, как нашу основную платформу для обмена данными. За годы ее использования насобиралось много разных ситуаций, о некоторых из них хотим рассказать. 

Успешный успех мало кому интересен, но вот проблемы – другое дело. Поэтому этот пост про проблемы, недопонимания и (местами) героические решения. Попутно я проясню некоторую специфику и базовые принципы работы Кафки, так что даже если вы никогда с ней не работали, смело читайте – будет интересно, и ваш старт с Кафкой возможно будет проще. Я намеренно не буду указывать названий конфигурационных параметров, их все можно нагуглить. Но если вам эти параметры нужны – пишите в комментариях. 

DISCLAIMER: я в целом не люблю англицизмы, но эта нелюбовь несколько избирательна. Меня бесит фраза “заранить кверю”, а вот “задеплоить билд” – вполне ок. Терминология Кафки в большинстве случаев в моей голове звучит именно по-английски, поэтому в статье этих самых англицизмов будет немало. Спасибо вам за терпение.

А еще интересно – Кафка это он или она? С писателем (в честь которого был назван продукт) понятно, это мужчина. А вот сам продукт всегда называют “она”. Я не буду тут оригинальным и тоже буду использовать женский род. 

Читать далее
Total votes 26: ↑24 and ↓2 +22
Views 11K
Comments 6

5 проблем и их решения при создании высоконагруженного сервиса с использованием .NET и Kafka

Parimatch Tech corporate blog High performance *.NET *

В 1967 году Мелвин Конвей сформулировал известный тезис, без упоминания о котором не обходится практически ни одно руководство по созданию микросервисной архитектуры. И не напрасно, ведь не одно поколение разработчиков сталкивалось с его подтверждениями.

Но если структура коммуникаций компании меняется из-за развития и выхода на новые международные рынки, то приходится менять сам продукт для соответствия потребностям пользователей этих рынков.

Именно с задачей по подготовке продукта к выходу на международные рынки и столкнулась наша команда летом 2020-го года. На тот момент у нас был обширный набор микросервисов, спроектированных и поддерживаемых исходя из старой организационной структуры компании. Поддерживать эту кучу сервисов было сложно и дорого. Более того, куча сервисов уже не соответствовала актуальным требованиям бизнеса и технологическим трендам. Об этом под катом:

Читать далее
Total votes 12: ↑9 and ↓3 +6
Views 5.2K
Comments 13

Поиск в Кафке

Parimatch Tech corporate blog Microservices *

Меня зовут Сергей Калинец, я — архитектор в компании Parimatch Tech, и в этой публикации хочу поделиться нашим опытом в области поиска сообщений в Kafka.

Для нашей компании Kafka является центральной нервной системой, через которую микросервисы обмениваются информацией. От входа до выхода сообщение может пройти через десяток сервисов, которые его фильтруют и трансформируют, перекладывая из одного топика в другой. Этими сервисами владеют разные команды, и очень полезно бывает посмотреть, что же содержится в том или ином сообщении. Особенно интересно это в случаях, когда что-то идет не по плану — важно понять на каком этапе все превратилось в тыкву (ну и кому нужно в тыкву дать, чтобы такого больше не повторялось). С высоты птичьего полета решение простое — нужно взять соответствующие сообщения из кафки и посмотреть что в них не так. Но, как обычно, интересное  начинается  в деталях.

Начнем с того, что кафка — это не просто брокер сообщений, как многие думают и пользуются ей, но и распределенный лог. Об этом и расскажу под катом больше.

Читать далее
Total votes 12: ↑12 and ↓0 +12
Views 9.9K
Comments 6

Research the OpenSource: Ory/Hydra

Parimatch Tech corporate blog Information Security *Programming *IT Standards *Distributed systems *

Меня зовут Богдан Хрисанфов и я работаю Lead System Analyst в Parimatch Tech. В этой статье постарался разобраться, что такое Hydra, и как она может помочь с множественными партнерскими интеграциями или предоставлением доступов к своему внешнему логину другим сервисам, аналогично логину в Google или Facebook.

Читать далее
Total votes 6: ↑5 and ↓1 +4
Views 3.9K
Comments 0

Пора убить веб

Information Security *Website development *JavaScript *HTML *
Translation
Что-то происходит. Люди недовольны. Призрак гражданских беспорядков преследует наши программистские сообщества.

Впервые значимое число веб-разработчиков открыто ставят под сомнение веб-платформу. Вот характерная статья и обсуждение. Вот другая статья. И ещё одна. Я бы мог перечислить и больше, но если вы достаточно интересуетесь программированием, чтобы читать эту статью, то наверняка уже читали в этом году хотя бы одну напыщенную декламацию о современном состоянии веб-разработки. Эта статья не из таких. Я не могу соревноваться в издевательствах над существующим статусом-кво с людьми, которым приходится заниматься веб-разработкой каждый день. Это другая статья.


Это ты, хакер фронтенда
Читать дальше →
Total votes 139: ↑107 and ↓32 +75
Views 76K
Comments 411

Как выполнять оценку по трём точкам?

Project management *
Sandbox
Вам стоит научиться выполнять оценку сроков задач по трём точкам, так как это, безусловно, лучшая техника для оценивания продолжительности работ совместно с участниками вашей проектной команды. Техника называется «оценка по трём точкам» потому, что участники команды дают пессимистичную, оптимистичную и наиболее вероятную оценки сроков завершения работ.
Читать дальше →
Total votes 30: ↑25 and ↓5 +20
Views 45K
Comments 25

Подкаст SMC: Руководитель направления интернет маркетинга в Panasonic Николай Белоусов

Social networks and communities
Восьмой выпуск подкаста SMC с руководителем направления интернет маркетинга в Panasonic Николаем Белоусовым. Подкасты это одно из направлений деятельности Social Media Club Moscow. Гостями обычно бывают эксперты в области маркетинга в социальных медиа.





Николай Белоусов рассказывает, зачем крупным брендам нужны социальные медиа.
В программе:
— Специфика работы крупных брендов в соц. медиа.
— Какие задачи решают соц. медиа для крупных брендов?
— Как измерять эффективность действий бренда в соц. медиа?
— Монетизация сообществ бренда.
— Как бренды превращаются в медиа?
— Реакция брендов на негатив в соц. медиа.
— Привязывание брендов к конкретным людям (Диденко) и риске при их уходе.
— Какими качествами должен обладать специалист в области SMM?
— Как бренды могут привлекать волонтеров и сторонников бренда?

Длительность: ≈56 минут

Послушать предыдущие выпуски и подписаться на RSS подкаста
Страница Social Media Club Moscow на Facebook

Total votes 22: ↑15 and ↓7 +8
Views 264
Comments 7

Распознавание Лжи

Lumber room
Ещё в древности существовали методы для разоблачения лжецов. Так, например, в Древнем Китае подозреваемый должен был набрать горсть сухого риса в рот и выслушать обвинение. Если рис оставался сухим — значит обвиняемый врет, его слюноотделение приостановлено от страха разоблачения.

В настоящее время существует несколько разновидностей «детекторов лжи», основанных на измерениях пульса, потоотделения, слюноотделения и колебаний в голосе. Сначала человеку задается серия простых вопросов, на которые он должен отвечать правдиво — настройка детектора, затем переходят непосредственно к допросу. В случае, если человек врет, как правило, из-за пусть даже мельчайшего волнения и напряженности, перечисленные выше параметры будут отличаться от принятых за номинальные (в результате настройки). Конечно же, при помощи этих аппаратов абсолютно точно ответить на вопрос, лжет ли человек, всё-равно нельзя (например, есть специально натренированные люди, которые умеют «обманывать» детекторы).

Но в жизни, во время важных переговоров, как, впрочем, и в быту зачастую также необходимо знать, врет ли Ваш собеседник или нет и без использования детекторов. Хочу привести несколько советов исходя из собственного опыта, прочитанных книжек и просмотренных фильмов.
Читать дальше →
Total votes 34: ↑20 and ↓14 +6
Views 1.4K
Comments 30

iPhone SDK: Размышления о ценообразовании программ

IT-companies
Translation
Это перевод статьи статьи «iPhone Apps Have to Pay Their Way» Фразера Спирса, первоначально размещенный в моем блоге.
Мы, Мак-разработчики, любим программировать. Любим придумывать, конструировать и создавать классные вещи. Нам нравится слушать отзывы, чтобы в следующий раз попытаться сделать вас счастливей. Вот что значит быть Мак-разработчиком, и отчасти мы делаем это потому, что любим сам процесс. С другой стороны, тут замешан еще и хороший бизнес, ведь иногда программистам тоже нужно есть. Вы же не думаете, что Уилл Шипли1 заказывает свои футболки в Теско?2

SDK

Итак, в нашем деле присутствуют как любовь, так и деньги. А теперь появилась еще одна статья доходов: создание программ для iPhone. Во всеобщей шумихе насчет SDK был отчасти потерян тот факт, что Apple заодно представила еще и SDK для iPod, поскольку iPod touch тоже работает на OS X. 
Читать дальше →
Total votes 50: ↑38 and ↓12 +26
Views 1
Comments 40

История системных требований Windows

Computer hardware History of IT
Translation
Товарищи с CybernetNews не поленились и провели исследование хронологии системных требований «горячо любимой» ОС Windows. Задумаемся о масштабах развития техники, произошедшего за эти годы.

Windows 1.0
Windows 1.0 выпущена 20 ноября 1985.
— Видеоадаптер CGA/Hercules/EGA (или совместимый)
— MS-DOS 2.0
— 256 KB Ram
— 2 дисковода или жесткий диск
Читать дальше →
Total votes 98: ↑90 and ↓8 +82
Views 4.1K
Comments 289

Легкий способ набросать mindmap

Lumber room
Ресурс text2mindmap.com легко преобразует текст в mindmap, который затем можно сохранить как JPEG-изображение. Ресурс имеет статус бета и немного глючит, например из-под Firefox2 мне так и не удалось сохранить изображение, загружался пустой файл. Но в целом приятен на вид и прост в использовании.

text2mindmap
Total votes 38: ↑36 and ↓2 +34
Views 1.3K
Comments 30

Букмарклет в помощь.

Lumber room
Итак, господа, перед вами часто встает вопрос сохранения данных с всяких ютубов, Вконтакте, файлообменников и прочая.
Коллега mekal раскопал категорически полезный сервис SaveFrom.net, который как раз и помогает нам выкачивать из большого Интернета файлики на наши грешные харды. Принцип действия прост — перед урлом нужного ресурса надо добавить приставочку «savefrom.net/» или «sfrom.net/» и ресурс покажет страничку с прямыми ссылками. Полный список поддерживаемых ресурсов представлен на главной странице сайта.
НО! Это ведь требует определенных лишних движений по копипастингу этой самой приставки, не так ли? Вот что я предлагаю сделать для упрощения жизни.
Читать дальше →
Total votes 36: ↑33 and ↓3 +30
Views 527
Comments 33

Ты что, смотришь порно?!

Lumber room
Остался всего месяц до того момента, как Стив Джобс представит нам обновленный iPhone. Как всегда, первый счастливые владельцы будут постить фото распаковки своего нового гаджета в сеть, поэтому я решил перевести старенький комикс в тему от ребят из Geek Culture:

TJoT #790 Russian Translation
Total votes 115: ↑78 and ↓37 +41
Views 1
Comments 43

Рисунки звуками

Sound
Сидишь себе, например, слушаешь красивую музыку. Хорошо тебе. Ну и слушай ее дальше, да? А вот и нет. Вы даже себе не представляете, сколько неожиданностей прячут в свои треки современные композиторы. Думаете, музыка это тям пам пам, набор звуков, пусть даже красивых? Вы просто еще не делали спектральный анализ ;)


Что это? Перефотошопленные ракушки и кот? Нет, это сонограмма трека Look с альбома Songs about my cats некоего Venetian Snares.

А ведь еще есть Audiosurf. Ха, а вы говорите, чертова долбиловка! :)

www.imeem.com/dobestdobrain/music/McfVcfJT/venetian_snares_look/?d=1
www.lastfm.ru/music/AFX/_/Formula

на сами мп3 ссылок не даем, загребут ведь ;) пиратебай, мининова, демонойд и торрентс ру вам в помощь
Читать дальше →
Total votes 84: ↑80 and ↓4 +76
Views 430
Comments 37

Торговцы емейлами

Lumber room
Из-за того, что я предоставляю услуги абсолютной защиты от спама, мне стало известно, какие компании (а вернее их сайты) допускают утечку своих баз данных или напрямую продают их.

Дело в том, чтобы защитить свои ящики от спама по моей технологии, нужно на каждом сайте, где регистрируешься, оставлять уникальный е-мейл. Например: www_habr_ru@somedomain.ru. Как видно, до собачки указывается немного изменённый url сайта, на котором мы регистрируемся.

Когда по этому уникальному е-мейлу начинает приходить спам, то, очевидно, что база е-мейлов была украдена или продана. А этот злополучный е-мейл заносится в стоп-лист.

Вот список сайтов, на которых я сам лично регистрировался и которые каким-то образом допускали утечки (примерно 2-х годичная статистика):

megastock.ru
livejournal.com
begun.ru
ru.ibm.com
asppassport.com
joblist.ru
astock.ru
tock.ru

Будьте осторожны! Оставляя на этих сайтах свои е-мейлы рискуете стать жертвой спамеров!
Total votes 37: ↑20 and ↓17 +3
Views 229
Comments 57

Tetris — The Movie

Lumber room
Группа Black20, известная своими (ой, да чем она только не известная) порадовала нас своим трейлером к популярной видеоигре «Тетрис».
Total votes 58: ↑41 and ↓17 +24
Views 258
Comments 52

Information

Rating
Does not participate
Location
Киевская обл., Украина
Date of birth
Registered
Activity