История платформы Highload.Fun для соревнований в оптимизации кода

Все-таки веселое соревнование,  Yuriy Lyfenko вернул себе первое место в Arithmetic expressions, но я улучшил свой результат в Parse dateTime https://highload.fun/tasks/14/leaderboard :)

Когда-то давно мы с другом так же ускоряли и уменьшали код на Z80 ассемблере, однако, мы постоянно делились своими улучшениями и таким образом делали общее решение еще оптимальней. То что мы делились кодом совсем не влияло на соревновательный дух, так как каждый знал. кто конкретно улучшил вот эту часть кода. Все были довольны и развивали свои навыки.

История платформы Highload.Fun для соревнований в оптимизации кода

Мой рекорд продержался три недели. Всё-таки очень упорный парень, этот Yuriy Lyfenko :)

История платформы Highload.Fun для соревнований в оптимизации кода

off_t fsize = lseek(0, 0, SEEK_END); char* buffer = (char*)mmap(0, fsize, PROT_READ, MAP_PRIVATE | MAP_POPULATE, 0, 0); 0);

В статье есть подсказка, как "правильно" работать с stdin, мне это помогло улучшить результаты значительно.

История платформы Highload.Fun для соревнований в оптимизации кода

P.S. Победите уже кто-нибудь Yuriy Lyfenko ​

Мне наконец-то удалось победить его в задаче Arithmetic expressions :)

https://highload.fun/tasks/12/leaderboard

Ход конём: как сделать HTTPS reverse proxy для Kafka с помощью Nginx

Я тоже удивился, пошёл проверил, всё работает в бесплатной версии. Скорее всего документация устарела.

Ход конём: как сделать HTTPS reverse proxy для Kafka с помощью Nginx

странно, бесплатный nginx ведь умеет в ssl stream offload:

nginx.org/ru/docs/stream/ngx_stream_proxy_module.html
nginx.org/ru/docs/stream/ngx_stream_ssl_module.html

Ход конём: как сделать HTTPS reverse proxy для Kafka с помощью Nginx

да, на уровне nginx не получится в этом случае роутить сообщения, но если использовать нативный клиент kafka, то роутинг и не нужен. А вот проблему с сертификатами решит без сборки дополнительных модулей.

Я только не понял, вы пишите, что «сможете принимать сообщения kafka», а модуль ведь про отправку сообщений в kafka? Как это работает в связке с ElasticSearch? Было бы хорошо увидеть всю схему этого решения.

Ход конём: как сделать HTTPS reverse proxy для Kafka с помощью Nginx

А почему «проксировать из коробки nginx не может», разве модуль stream proxy не решает эту проблему? Поидее ведь достаточно в kafka настроить advertised.listeners на хост и порты nginx для проброса траффика tcp, или так не работает?

Apache Kafka — скоро без ZooKeeper

Обычные пользователи и zookeeper поставят на те же самые ноды, а для остальных есть настройки:

Each Kafka server now has a new configuration key called process.roles which can have the following values:

If process.roles is set to broker, the server acts as a broker in KRaft mode.
If process.roles is set to controller, the server acts as a controller in KRaft mode.
If process.roles is set to broker,controller, the server acts as both a broker and a controller in KRaft mode.
If process.roles is not set at all then we are assumed to be in ZooKeeper mode. As mentioned earlier, you can't currently transition back and forth between ZooKeeper mode and KRaft mode without reformatting.

Загружаем и храним в Google Drive файлы любого размера бесплатно. Баг или Фича?

Ответили, что команда про баг уже знала. Сооветственно денег не дадут.

Загружаем и храним в Google Drive файлы любого размера бесплатно. Баг или Фича?

Нет никаких проблем в потоке лить, Google Drive API это позволяет сделать. Приземлять к себе при этом весь объем не требуется.

Загружаем и храним в Google Drive файлы любого размера бесплатно. Баг или Фича?

На мой взгляд надо было просто тупо пройти по скрипту который я приложил еще до видео. Если бы сотрудник выполнил свою работу по пунктам которые я написал, он бы воспроизвел проблему сразу без всякого видео.

Согласен, что хорошее видео сделать достаточно сложно, но монтаж я не стал делать специально, чтобы не было потом вопросов. Гайдлайн Гугла говорит о том, что видео не должно быть больше 2-3 минут, я уложился в этот период.

Если у сотрудника нет мотивации, надо переводить его на другие задачи или как-то материально мотивировать.

Лично я не против, чтобы сотрудники требовали дополнительной информации, но мне не нравится подход закрыть тикет и больше не отвечать на сообщения, особенно, если дело касается безопасности и абуза.

В общем случае это говорит о том, что в Гугл достаточно легкомысленно относятся ко всем таким сообщениям, что может привести к тому, что будет пропущен важный репорт.

Загружаем и храним в Google Drive файлы любого размера бесплатно. Баг или Фича?

А в каких странах файл не создается?

Загружаем и храним в Google Drive файлы любого размера бесплатно. Баг или Фича?

Обычно все события происходят во времени.
1. Поручили сотруднику сделать исключение из расчета.
2. Он сделал список исключений в виде идентификаторов файла и идентификатор этого файла добавляется туда при создании учетной записи.
3. В команде сменились люди (среднее время работы сотрудника в Гугле небольшое) и не осталось того, кто знал как точно работает этот функционал.
4. Сделали механизм версионирования
5. Привет багофича.

Загружаем и храним в Google Drive файлы любого размера бесплатно. Баг или Фича?

Перед видосиком был скрипт действий, что именно надо сделать. Для того чтобы отправить баг, мне надо еще курсы видеомонтажа окончить? Кроме того вангую, что в этом случае «специалист» Гугла просто написал бы что-то вроде: «видео имеет признаки монтажа, баг не воспроизводится» :)

Загружаем и храним в Google Drive файлы любого размера бесплатно. Баг или Фича?

Можно использовать старый, если файл сохранился. Создать getting started не получится.

Загружаем и храним в Google Drive файлы любого размера бесплатно. Баг или Фича?

Отчет создавал вот тут и выбрал вот эту категорию: «I want to report a technical security or an abuse risk related bug in a Google product (SQLi, XSS, etc.).»

Загружаем и храним в Google Drive файлы любого размера бесплатно. Баг или Фича?

Я понимаю, что денег мне скорее всего теперь не видать, но, думаю, гугл может проявить жест доброй воли и подарить мне бесплатный безлимитный Google Drive аккаунт, я не буду против :)

Загружаем и храним в Google Drive файлы любого размера бесплатно. Баг или Фича?

Так можно придраться к любому отчету по уязвимости. Я сделал видео POC. Можно ведь было повторить кейс создав новый аккаунт? Это дело двух минут. А ведь вместо этого просто придрались к наличию значка справа и не посмотрели на видео, что лимит учетки 15GB и не изменился размер места после загрузки нового файла. Откуда я знал, что есть специфика с какого аккаунта кейс делать? Проблема во всех типах учетных записей.
Я специально на видео мышкой обводил места на которые надо было просто посмотреть.

Как я уже говорил, таких проблем с Яндекс Баунти у меня никогда не было, отправлял туда кучу отчетов и всегда получал нормальную обратную связь. Кроме того, никогда не ставили в игнор тикет после двух ответов.

Загружаем и храним в Google Drive файлы любого размера бесплатно. Баг или Фича?

В гугл драйве теперь ограничение на 1 файл 5 TB. Если read-only том, то это достаточно простая история. Если нужна запись, то лучше использовать блочную файловую систему.