Pull to refresh
-12
0
Send message

Разгоняем обработку событий до 1,6 миллионов в секунду

Reading time17 min
Views27K
Когда участники HighLoad++ пришли на доклад Александра Крашенинникова, они надеялись услышать про обработку 1 600 000 событий в секунду. Ожидания не оправдались… Потому что во время подготовки к выступлению эта цифра улетела до 1 800 000 — так, на HighLoad++ реальность превосходит ожидания.

3 года назад Александр рассказывал, как в Badoo построили масштабируемую систему near-realtime обработки событий. С тех пор она эволюционировала, в процессе росли объёмы, приходилось решать задачи масштабирования и отказоустойчивости, а в определённый момент потребовались радикальные меры — смена технологического стека.



Из расшифровки вы узнаете, как в Badoo заменили связку Spark + Hadoop на ClickHouse, в 3 раза сэкономили железо и увеличили нагрузку в 6 раз, зачем и какими средствами собирать статистику в проекте, и что с этими данными потом делать.



О спикере: Александр Крашенинников (alexkrash) — Head of Data Engineering в Badoo. Занимается BI-инфраструктурой, масштабированием под нагрузки, руководит командами, которые строят инфраструктуру обработки данных. Обожает всё распределённое: Hadoop, Spark, ClickHouse. Уверен, что классные распределенные системы можно готовить из OpenSource.
Total votes 63: ↑60 and ↓3+57
Comments14

Архитектор 2.0

Level of difficultyHard
Reading time15 min
Views15K

Коллеги, в подходящем к финалу 2023г. у меня случилось два инсайта. Первый тревожный и, кажется, весьма очевидный, а второй - ободряющий. Первый заключается в том, что функция архитектора в текущем виде перестает быть востребованной. Второй, в том, что у всех нас есть очень хорошие шансы быть успешными в новой эре - в эре управления архитектурой v2.0.

Читать далее
Total votes 30: ↑21 and ↓9+12
Comments29

Джентльменский набор для Amazon Kindle Paperwhite

Reading time3 min
Views99K

Чтобы настроить и установить все необходимое на любимую читалку Amazon Kindle Paperwhite требуется потратить достаточно много времени. С целью экономии Вашего времени, а также упрощения процесса настройки читалки, я и пишу данную статью. Также добавлены вкусные плюшки помимо стандартных вещей, которые можно сделать с Вашей любимой читалкой, порывшись в интернете… Я включил дополнительные настройки и немного подредактировал программный код. В итоге в мою сборку вошли модифицированные: приложения, игры, ланчер и меню. Кроме ярлыка ланчера, предназначенного для запуска альтернативного меню, на основном экране ничего постороннего нет.

Что входит в сборку:
Jailbreak читалки Kindle Paperwhite;
— русификация клавиатуры;
KUAL — ланчер киндл.
— альтернативное меню;
— словари для перевода текста в книгах с английского и на английский;
— читалки: KOReader и Cool Reader;
— браузеры: SkipStone и Midori;
— другие приложения: блокнот, доска для заметок, напоминалка, просмоторщик картинок, рисовалка, калькулятор, менеджер файлов;
— игры: шашки, шахматы, судоку, сокобан, реверси, гомоку, такузу;
— менеджер задач;
— быстрый вызов: вкл/выкл WiFi, вкл/выкл подсветки экрана, вкл/выкл ночного скринсейвера, вкл/выкл отображения аккумулятора в %, календарь, информация об устройстве.

Все действия со своей читалкой Вы делаете на свой страх и риск. Я никакой ответственности не несу за последствия данных действий. Не испугал Вас? Тогда приступим...
Читать дальше →
Total votes 89: ↑63 and ↓26+37
Comments44

Приложение Getcontact светит вашими персональными данными, даже если вы им никогда не пользовались

Level of difficultyEasy
Reading time5 min
Views137K

Getcontact — мобильное приложение, позиционирующее себя как менеджер звонков и блокировщик спама. Появилось в конце 2017-го и стремительно взлетело на первые места магазинов приложений. Создатели сервиса оценивают свою аудиторию в 400+ миллионов пользователей.

Приложение декларирует, казалось бы, благие намерения: предотвращение нежелательных звонков от спамеров и телефонных мошенников — услуга в современном мире необходимая и востребованная. Однако свою популярность Getcontact приобрёл совсем по другой причине…

Читать далее
Total votes 172: ↑167 and ↓5+162
Comments277

Апгрейд и рефакторинг PHP-проектов — теперь это просто с Rector

Level of difficultyMedium
Reading time14 min
Views22K

Привет! В статье поделюсь, как инструмент автоматического рефакторинга Rector помогает обуздать легаси и автоматизировать обновление PHP проектов и пакетов, чтобы процесс проходил эффективнее и малой кровью. 

Статья написана на основе доклада с PHP Russia 2022.

Читать далее
Total votes 54: ↑54 and ↓0+54
Comments13

Долгоиграющие приложения на PHP

Level of difficultyMedium
Reading time15 min
Views19K

Мы часто сталкиваемся с задачами, которые требуют работы нашего кода дольше, чем длится простой HTTP-запрос. Это могут быть как выгрузки данных для интеграции с партнёрами, так и просто приложения, которые должны реагировать на события в системе в момент их появления. Конечно, можно использовать другие языки программирования, но это увеличит стек и усложнит систему.

Меня зовут Александр Пряхин, я TechUnit Lead в Авито. В IT работаю уже 14 лет. Из них 8 лет руковожу командами. Параллельно с этим преподаю и менторю. Сегодня разберём, как готовить демонов на PHP — от А до Я, и почему это актуально.

Читать далее
Total votes 62: ↑60 and ↓2+58
Comments17

Развертывание бразильского кластера Flowwow

Reading time8 min
Views1.8K

Меня зовут Кирилл Суханов, я product manager в Flowwow. В этой статье расскажу, как мы разворачивали наш продукт на совершенно новой территории, как по ходу корректировали алгоритм и как будем действовать уже с третьим нашим кластером, когда будем готовы им заняться. 

Читать далее
Total votes 2: ↑1 and ↓10
Comments6

GPT-4: Чему научилась новая нейросеть, и почему это немного жутковато

Level of difficultyEasy
Reading time23 min
Views242K

В этой статье мы разберем новые удивительные способности последней языковой модели из семейства GPT (от понимания мемов до программирования), немного покопаемся у нее под капотом, а также попробуем понять – насколько близко искусственный интеллект подошел к черте его безопасного применения?

Поехали →
Total votes 208: ↑200 and ↓8+192
Comments338

Как я хакнул свой автомобиль

Reading time10 min
Views58K
image

Машина


Прошлым летом я купил Hyundai Ioniq SEL 2021 года. Это хороший экономящий топливо гибрид с приличным набором функций: беспроводные Android Auto/Apple CarPlay, беспроводная зарядка для телефона, сиденья с подогревом и люк в крыше.

Особенно мне понравилась в этой машине система In-Vehicle Infotainment (IVI). Как я говорил ранее, у машины есть беспроводное Android Auto, что довольно редко для такого ценового диапазона. Приложение имеет красивые плавные анимации меню, поэтому я понял, что ЦП/GPU не такие уж и слабые; или, по крайней мере, ПО ест не слишком много ресурсов.

Как и со всеми остальными моими гаджетами, я решил немного поэкспериментировать и посмотреть, что можно сделать с этой системой.
Читать дальше →
Total votes 341: ↑340 and ↓1+339
Comments71

Senior Мама: быть многодетной матерью и ведущим разработчиком в продуктовой компании. Личный кейс

Reading time6 min
Views5.8K

Оля Цивикова работает в Flowwow с 2019 года. К ней прислушиваются все 30 сотрудников из команды разработки. Ее кодом “проверяют” новичков: могут ли они так же. Она – единственная, кого боится техдиректор. Наша богиня бэкенда – еще и мама трех детей (но мы об этом вспоминаем, только когда она публикует фото из отпуска). 

В статье – про большую любовь к своему делу, детям и развитию.

Читать далее
Total votes 35: ↑18 and ↓17+1
Comments25

Насколько жарко — это слишком жарко? Жара + влажность становятся опасными быстрее, чем многие думают

Reading time6 min
Views60K

По мере изменения климата волны жары становятся все более интенсивными: они длятся дольше, идут чаще, а температуры всё выше. Сейчас одна такая волна проносится через Европу: в Испании и Португалии только за прошедшую неделю умерли 1100 человек. Люди просто оказались не готовы к температурам выше 35 ºС: у них в домах не было кондиционеров, а многие днем выходили и пытались работать как обычно. И получили огромные проблемы со здоровьем.

В целом по Европе за одно это лето счет идет уже на десятки тысяч. Этот год, по всей видимости, станет даже более смертоносным, чем печально известный 2003-й, когда в Европе от жары погибло 30 000 людей. Но тогда температура доходила до 37 ºС, сейчас — под тем же Парижем фиксируют уже до +42 ºС.

Видимо, люди просто не понимают, в какую погоду можно находиться на улице, как им вести себя дома, и насколько вообще всё серьезно.

Попытаемся ответить.

Читать далее
Total votes 114: ↑109 and ↓5+104
Comments609

Разработчик с мозгом груга

Reading time14 min
Views86K

Введение


это сборник мыслей о разработке программ собранный разработчиком с мозгом груга

разработчик с мозгом груга не очень умный, но разработчик с мозгом груга программирует много лет и научился кое чему, хоть всё равно часто запутывается

разработчик с мозгом груга хочет собрать знания в маленькую, простую и интересную страницу не только для тебя, молодой груг, но и для себя, потому что разработчик с мозгом груга стареет и забывает важные вещи, например что ел на завтрак или надеть штаны

разработчиков с большим мозгом много, некоторым страница не понравится, скривят кислая рожа

Ещё больше-больше ДУМАЮТ, что они разработчики с большим мозгом и им она тоже не понравится

(груг раньше думал груг с большим мозгом, но потом всё понял)

это ладно!

груг надеется, что тебе понравится читать и может ты научишься на много-много ошибка груг совершил за длинную жизнь программиста
Читать дальше →
Total votes 261: ↑235 and ↓26+209
Comments81

Как масштабировать сервис в 20 раз и свернуть обратно за один день

Reading time6 min
Views3.1K

Может ли команда разработки быть спокойной 8 марта, если вы в сервисе №1 по доставке цветов? Наша история.

Меня зовут Дима, я работаю техническим директором в Flowwow. Мы развиваем маркетплейс локальных магазинов, которые продают красивые букеты и подарки. В нашей R&D команде сейчас 30 разработчиков, и мы используем обширный стек технологий — условно, от Ansible до Kotlin. 

У нас есть несколько ключевых дат, в которые количество продаж взлетает на порядок — День матери, 14 февраля и 8 марта. Мы научились проходить эти периоды почти безболезненно и с технической стороны, и со стороны бизнесовой: «уровень негатива» пользователей в пики находится на уровне любого обычного дня, а техническая команда не поднимает упавшую платформу.

Читать далее
Total votes 7: ↑6 and ↓1+5
Comments5

Кем работать в ИТ в 2022: Frontend-разработчик

Reading time13 min
Views28K

Рубрика «Кем работать в ИТ» — интервью с представителями интересных или ИТ-профессий, в которых специалисты рассказывают о тонкостях своей работы: плюсах, минусах, подводных камнях и заработной плате. Начинающие смогут больше узнать о том, что их ожидает на карьерном пути, а профессионалы — посмотреть на свою специальность через чужой опыт и, может быть, открыть для себя что-то новое.

Сегодня о своем опыте работы нам расскажет Константин Фокин, старший фронтенд-разработчик Flowwow.

«В моем профайле в SLACK уже три года как написано: чувак с фронта :) Так меня однажды представил наш техдиректор».

Читать далее
Total votes 29: ↑28 and ↓1+27
Comments2

Где работать в ИТ в 2022: Flowwow

Reading time15 min
Views7.3K

Наша рубрика «Где работать в ИТ» — это интервью с интересными айти-компаниями, в которых они делятся подробностями о процессах своей работы. Представители индустрии отвечают на вопросы о найме, условиях, командах и технологиях. 

Участником этого выпуска стала компания Flowwow — маркетплейс, на котором локальные магазины продают свои товары.

Читать далее
Total votes 13: ↑12 and ↓1+11
Comments0

Карты, деньги, два букета. Как мы пришли к собственному сервису доставки

Reading time9 min
Views2.7K

Привет, Хабр. Меня зовут Андрей, я бэкенд-разработчик в команде Flowwow. 

Я довольно давно работаю в компании и хочу рассказать об истории создания  собственного сервиса доставки (не без боли) и интеграциях с крупными игроками, которые нам удалось реализовать. 

Приходит тот день, когда бизнес задает себе философский вопрос «что дальше?», в нашем случае это «куда расти маркетплейсу?». Такой вопрос касается всей команды, включая ИТ. Увидев бэкенд в моей роли, вы наверняка ожидаете техническую мясорубку. Не без этого, но во многом хочу рассказать про сам путь. 

Читать далее
Total votes 10: ↑9 and ↓1+8
Comments2

«Ваша устаревшая база данных перерастает сама себя». Опыт chess.com

Reading time14 min
Views9.7K

Прим. перев.: в этой статье сербский «инженер по масштабируемости» нагруженного онлайн-проекта в подробностях рассказывает о своем опыте оптимизации большой БД на базе MySQL. Проведена она была для того, чтобы выдержать резкий рост трафика на сайт, случившийся из-за пандемии.

База данных становится слишком большой или старой? Ее тяжело обслуживать? Что ж, надеюсь, я смогу немного помочь. Текст, который вы собираетесь прочитать, содержит реальный опыт масштабирования монолитной базы данных, лежащей в основе одного из сайтов Топ-250 (согласно alexa.com). На момент написания этой статьи chess.com занимал 215 место в мире по популярности. Ежедневно к нам заглядывали более 4 млн уникальных пользователей, а наши MySQL-базы обрабатывали в общей сложности более 7 млрд запросов. Год назад сайт ежедневно посещали 1 млн уникальных пользователей; в марте прошлого года их число увеличилось до 1,3 млн; сегодня более 4 млн человек заходят на chess.com ежедневно, а число сыгранных партий превышает 8 млн. Я, конечно, знаю, что это не сопоставимо с самыми крупными игроками на рынке, однако наш опыт все же может помочь в такой сложной задаче, как «исправление» монолитной базы данных и ее вывод на новый уровень производительности.

Читать далее
Total votes 43: ↑42 and ↓1+41
Comments3

Альтернативы Raspberry Pi

Reading time8 min
Views81K

Свет клином не сошёлся на Raspberry Pi, и потому энтузиасты и гики могут экспериментировать с большим количеством самых разных одноплатных компьютеров (SBC). Предлагаю познакомиться с устройствами, которым под силу обрести популярность в 2021 году.

Читать далее
Total votes 67: ↑65 and ↓2+63
Comments71

Как удалить «неудаляемые» приложения со смартфона

Reading time5 min
Views249K


Чтобы увеличить привлекательность смартфонов, производители ставят на них как можно больше разных программ. Это понятно. Просто берём и удаляем ненужное… Стоп.

Оказывается, некоторые программы невозможно удалить. Например, на отдельных моделях Samsung невозможно удалить Facebook (есть только опция 'disable'). Говорят, на Samsung S9 вдобавок предустановлены «неудаляемые» приложения Microsoft.

Эти смартфоны приведены для примера. Такая же проблема и на других моделях. На многих есть неудаляемые программы от самого производителя.

Всё это надо зачистить.
Читать дальше →
Total votes 190: ↑179 and ↓11+168
Comments203

Information

Rating
Does not participate
Registered
Activity