Разбор 4х интересных (ИМХО) инцидентов в работе связки Laravel Echo + Kafka (transactional outbox) + микросервисной event-driven архитектуры.

В этой статье, как и обещал в прошлой, речь пойдёт об инцидентах, связанных с реалтайм-составляющей проекта, над которым я работал. Надеюсь, что кто-то научится на моих ошибках.

Инциденто нумеро уно!

В чате сообщения появляются только после перезагрузки страницы, хотя цепочка
(очередь -> Kafka -> сервис -> Reverb -> слушатель) полностью зелёная. И причин в коде для подобных проблем нет. Согласитесь, неприятно. Я начал дотошно изучать, где может всё ломаться, и спустя N-ное кол-во сожжённых нервных клеток в логах nginx увидел аномально часто повторяющийся 101 Switching Protocols и иногда 502-е.

Причина оказалась достаточно простой: в location /app, где вебсокет проксируется на Reverb, не были заданы таймауты proxy_read_timeout и proxy_send_timeout. И так как nginx ждёт 60 секунд по умолчанию, а Reverb ровно раз в те же 60 секунд отправляет ping, получается гонка: nginx убивает соединение чуть раньше, чем ping доходит. Браузер переподключается, и так по кругу.

Исправилось всё достаточно просто: нужно было явно выставить таймауты, чтобы они были больше интервала ping. Выглядит это примерно так:

location /app {
    proxy_pass http://127.0.0.1:8080;
    proxy_http_version 1.1;
    proxy_set_header Upgrade $http_upgrade;
    proxy_set_header Connection "Upgrade";
    proxy_read_timeout 3600;
    proxy_send_timeout 3600;
}

По итогу можно понять:

  1. Реалтайм - это best-effort, и нужно следить, чтобы клиент догружал пропущенное.

  2. Необходимо следить за системой на всех уровнях, в том числе там, где, казалось бы, всё достаточно просто и уже настроено. В данном примере таким уровнем оказался nginx.

  3. Третий пункт, чтобы было не так пусто.

Инциденто нумеро дуо (дос)

Первое сообщение в чатах приходит в реалтайме, всё работает как по маслу. Остальные не приходят вообще. После перезагрузки страницы сообщения появляются. То, что это проблема именно с WS-составляющей, было понятно сразу.

Причина оказалась донельзя дурацкой: на фронте стояла защита от дублей, проверка типа такой: allMessages.some(x => x.id === m.id). Однако в самом событии не было поля id))) Событие собиралось из сырого Kafka-сообщения, а не из записи в базе. По итогу m.id === undefined, и все последующие сообщения отбрасывались как дубли.

Чинится подобное банальным добавлением id в payload перед отправкой.

Казалось бы, зачем я расписываю какой-то простенький баг и трачу на это драгоценные символы? Опытный читатель может подумать, что подобный кейс будет частью чего-то большего и подводить к какому-то принципу, важность которого я желаю донести. И будет прав!

Тут мы и подходим плавно к мысли, что каждое событие должно быть полностью самодостаточным (я думаю, что буду повторять это не раз и не только в этой статье, т.к. это на самом деле очень важно, хотя, конечно, бывают исключения). Вообще, по моему мнению, именно самодостаточность событий является одной из главных основ системы, которую я разработал. Хотя на первый взгляд может показаться, что это лишь незначительная деталь в архитектуре, но если я не обленюсь и продолжу писать, то в других статьях Вы также сможете наблюдать подобные мелочи, связанные с самодостаточностью событий, которые делают архитектуру заметно лучше, а систему надёжнее (что значит - отказоустойчивее, проще в поддержке и распределённее). Также здесь можно вспомнить, что нужно чётко прописывать контракты, чтобы подобного не случалось, да и дедупликация на фронте - сомнительное решение.

Инциденто нумеро трес

Третий инцидент, который я бы хотел осветить в данной статье, связан с разницей между ShouldBroadcast и ShouldBroadcastNow. Произошло сие действо на достаточно ранней стадии разработки, поэтому не удивляйтесь, дорогие читатели, если нижеописанное будет немного не соответствовать остальным инцидентам по контексту.

В чём заключалась проблема? Уведомление сохраняется в БД сервиса, однако WS-событие не приходит. При этом вызов broadcast из tinker работает, а через консьюмер - нет. Опять же, не самый приятный баг.

Какие были его причины? Их оказалось аж 4 (!) штуки, но не спешите переживать за меня в прошлом: починилось всё достаточно просто.

Итак, причина номер 1 - в сервисе не было опубликовано конфига config/broadcasting.php. Это было no-op, что мешало обнаружению проблемы.

Причина номер 2 - ключи Reverb передавались с лишними символами в конце, из-за чего соединение отклонялось (т.к., логично, они не совпадали с сервером).

Причина номер 3 - dev-зависимости ломали консьюмер при установке с флагом --no-dev)))

Причина номер 4 - событие было объявлено как ShouldBroadcast, то бишь клалось в очередь. Всё бы хорошо, очередь же есть, всё настроено и должно работать, так ведь? Нет! Воркер-то не запущен, а значит, на конвейер всё упало, а конвейер-то и не работает, и в следующий цех событие не попадёт.

Как всё это чинилось: конфиги были опубликованы, ключи приведены в порядок, dev-зависимости почищены, и тут невнимательный читатель мог бы предположить, что проблема с воркером, которая по сути является ключевой и самой важной, решена была путём его запуска. Однако внимательный читатель тут же одёрнет его и попросит быть внимательнее, ведь в начале было обозначено, что освещается данный инцидент в связи с разницей ShouldBroadcast и ShouldBroadcastNow. А значит, мы избавляемся от очереди! И воркера тоже выкидываем!

Зачем же тогда надо было вводить очередь? А я и сам не знаю. Консьюмер Kafka уже является асинхронной durable-очередью, и вторая очередь Laravel, последовательно стоящая за ней, избыточна. Конечно, решение с ShouldBroadcastNow не идеально. Авось Reverb ляжет? А ведь ShouldBroadcastNow блокирует консьюмер на время обращения к Reverb. Бросать исключение и ретраить? Коммитить оффсет и считать, что доставка best-effort? Напишите в комментариях, какое решение приняли бы лично Вы. Может, были подобные кейсы?

Подводя итоги, хотелось бы напомнить про YAGNI и KISS: не надо добавлять операционную сложность туда, где она не нужна, даже если кажется, что она может пригодиться или что сложность не так-то и увеличилась. Ведь именно из-за таких мелочей время разработки/доработки может сильно увеличиваться в будущем.

Инциденто нумеро кватро

Неверная конфигурация Kafka

Суть проблемы: колокольчик уведомлений обновляется с задержкой 30 (иногда более) секунд, хотя должен моментально. WebSocket жив, подписки есть и они живые, однако событие не приходит. С этим, помню, маялся долго, думаю, что из-за банальной невнимательности.

Причина была следующая: топик уведомлений читали два консьюмера, которые находились в ОДНОЙ consumer-группе. Топик был с ОДНОЙ партицией, значит, работать мог только один из них, второй просто простаивал (если бы партиций было 2, то было бы ещё хуже: они бы стали делить между собой данные, и стало бы сложнее обнаружить баг). Плюс второй консьюмер ожидал неправильный формат уведомлений (из-за чего молча пропускал их). По итогу отрабатывал только первый консьюмер, который был нужен для поллинга уведомлений.

Как чинилось? Группы были разведены, и был исправлен консьюмер.

Казалось бы, не очень-то и поучительно, чтобы тратить время читателя. Однако я хочу ещё раз заострить внимание на одном важном моменте. НУЖНО ОБЯЗАТЕЛЬНО ПРОПИСЫВАТЬ КОНТРАКТЫ. Это ключевая мысль, которую я хочу донести, и я очень надеюсь, что дорогой Читатель, если он дочитал до этого момента, внемлет моим словам, узнает об этом, если не знал, и вспомнит, если не помнил. Опять же, даже если Вы сами не разрабатываете, а занимаетесь вайб-кодингом или его более древней разновидностью - управлением младшими сотрудниками, то Вам необходимо заставлять своих агентов/коллег чётко прописывать контракты и соблюдать их, иначе наступите на мои же грабли. И необходимо внести это в чеклист при ревью кода, и без соблюдения контракта код не принимать ни от нейронки, ни от мидла, ни от синьёра.

А на сегодня всё. Спасибо Вам, дорогой Читатель, если дочитали мою скромную статью. Надеюсь, она будет Вам полезна.