В этой статье я расскажу, как можно запустить простой ETL-процесс на виртуальном сервере, используя связку Superset, Airflow и ClickHouse. В качестве платформы я взял готовую конфигурацию от Beget, включающую Superset и Airflow из коробки — это позволяет сосредоточиться на логике обработки данных, а не на настройке окружения.

В качестве примера мы подготовим процесс выгрузки и визуализации данных о товарах с сайта Wildberries.

Для извлечения данных мы будем использовать Python-библиотеки selenium и BeautifulSoup — они хорошо подходят для парсинга веб-страниц. Дополнительно применим re для обработки текстовой информации с помощью регулярных выражений.

Кликбейтные заголовки, давайте признаемся, надоели всем. Сейчас они встречаются даже на Хабре. Программист Линус Ли, судя по всему, испытывал те же чувства и решил действовать по принципу «не можешь победить — доведи до крайности». В результате он создал Tabloid — полноценный язык программирования, где весь код пишется в стиле сенсационных заголовков.

Представьте язык, где вместо привычного function hello() вы пишете DISCOVER HOW TO HELLO WITH (англ. «узнайте, как сделать... с помощью»), а вместо return используете SHOCKING DEVELOPMENT! (англ. «шокирующее развитие событий»). А еще каждый листинг должен заканчиваться фразой PLEASE LIKE AND SUBSCRIBE.

Звучит как странная шутка? Да, но этот язык реально работает, имеет собственный интерпретатор и позволяет писать полноценные программы.

Мы в Beget традиционно делаем ставку на безопасность и стабильность предоставляемых сервисов. Именно поэтому ещё в 2017 году запустили собственную программу поиска уязвимостей, а в прошлом году присоединились к инициативе BI.ZONE Bug Bounty, где продолжаем активно взаимодействовать с исследователями со всего мира.

Около четырёх месяцев назад один из участников программы нашёл критическую уязвимость в архивном, но всё ещё популярном веб-почтовом клиенте RainLoop. Мы оперативно отправили багрепорт в апстрим и, как выяснилось позже, сам багхантер также напрямую уведомил разработчиков проекта.

RainLoop мы долгое время предлагали пользователям как альтернативный почтовый клиент. Однако после обнаружения уязвимости приняли решение полностью отказаться от его использования и перевели всех активных пользователей на основной, поддерживаемый интерфейс.

Согласовав публикацию с автором находки, мы рады представить полный технический разбор атаки без изменений. Получился увлекательный отчёт, в котором нашлось место и для криптографии, и для нестандартных подходов к эксплуатации.

Если вы интересуетесь безопасностью PHP-приложений, работой с legacy-софтом или просто любите хорошие багхантерские истории — этот текст определённо для вас.

Однажды, во время посиделок с семейными друзьями, беременная жена друга с гордостью сообщила, что зарегистрировала аккаунт в одной запрещенной фотосети для будущей дочери. «А то, — говорит, — пока она вырастет, все красивые ники уже разберут. Ну и буду туда выкладывать всякие прикольные фотки, пока она маленькая». «Ага, — добавляет друг, — а я зарегистрировал ей почтовый ящик и пошлю письмо, как только она родится. И буду слать каждый день рождения или на каждое важное событие. А когда ей исполнится 16 — передам аккаунт». И оба аж светятся.

Кхм, подумал я и полез смотреть о глубине проблемы имен в соцсетях.

Отзывчивый дизайн — это подход к веб‑разработке, который позволяет создавать сайты, автоматически подстраивающиеся под размеры экрана устройства пользователя. С каждым годом количество вариантов растёт — от смартфонов до умных телевизоров. Поэтому адаптированный и отзывчивый дизайн стал основой успешных веб проектов.

Поскольку технологии, связанные с пользовательским интерфейсом, влияют на всех этапах создания приложения, отзывчивый дизайн — это не только инструменты разработчика, но и принципы проектирования, которые нужно учитывать на ранних этапах проекта. Мы считаем, что изучение новых подходов — это не только способ сделать продукты удобными, но и ключ к более эффективному взаимодействию в команде.

В этой статье мы хотим поговорить о проектировании и разработке отзывчивых приложений. Если вы тоже хотите делать удобные интерфейсы, просим под кат.