Как нас обманывает Минцифры и Ростелеком и почему теперь нужно заново генерировать сертификаты COVID-19

Только на этой неделе бахнули два громких скандала, связанных с отмыванием денег: досталось и швейцарцам из Credit Suisse, и незадачливому крипто-хакеру из России, закрысившему $4,5 миллиарда. В этой статье разбираем нюансы превращения грязных денег в чистые, а также кекаем над теми, у кого это получилось не очень!

Как сделать QR код с картинкой на Python

Как поместить полноценное изображение на фон QR кода с помощью Python (быстро, без регистрации и смс).

Подвожу итоги уходящего книжного года и выбираю самые достойные новинки. 

Подборка этого года особенная. Как мне кажется, она хорошо отражает общие настроения и потребности, которые возникают у людей в условиях остро ощущаемой неопределенности. Надежды, витавшие в конце прошлого года, на быстрое возвращение к прежней «докоронавирусной» жизни не оправдались, и непонятно, чего ждать от будущего. Особое значение приобретают идеи о том, как пройти через экзистенциальный кризис, принять перемены, сохранить эмоциональное и физическое здоровье, найти среди шума достоверную информацию. Но в этом хаосе есть место и надежде, в трудные времена мы яснее понимаем, что для нас главное, можем переосмыслить прошлое, начинаем видеть новые возможности. 

Следующие десять книг, вышедших в этом году, на мой взгляд, заслуживают вашего самого пристального внимания. 

Как и в большинстве компаний, наш основной инструмент для принятия решений — это A/B-тесты. Мы уделяем им большое внимание: проверяем на корректность все используемые критерии, пытаемся сделать результаты более интерпретируемыми, а также увеличиваем мощность критериев. В текущем посте я хочу рассказать, как дополнительно увеличить мощность, используя машинное обучение.

Написать данную статью меня побудил цикл статей о дефиците кадров, который, в большинстве своем, представляет собой компиляцию постов в телеграм-каналах Пряникова и Девола.

 В статьях описано много фактов, однако, выводы, да и сам тезис, несколько противоречивые, о чем некоторые не преминули написать в комментариях.

Я берусь доказать, что основной тезис ошибочен. В РФ нет дефицита кадров. 

Для анализа поведения пользователей и улучшения качества обслуживания клиентов компании используют продуктовую аналитику. Аналитика упрощает отслеживание пользователей, поскольку сбор и управление данными автоматизируются. Лидеры продуктов, дизайнеры и разработчики используют эти данные для принятия решений, а исследования показывают, что компании, которые полагаются на продуктовую аналитику, получают больше прибыли, чем их конкуренты.

Основное преимущество работы в стартапе – разнообразные задачи, с которыми приходится разбираться в крайне короткие сроки за минимальный бюджет. И такие условия позволяют находить и придумывать интересные решения, которые не приняты за стандарт большими компаниями.

Сегодня поговорим о том, как можно реализовать обновление стенда и создание бэкапов баз данных настолько дешево, что даже бесплатно.

Проверка кода (code review) — отличный инструмент для повышения качества кода, но он не учитывает один факт: отправляют и просматривают код люди, а они устают, теряют сосредоточенность, ленятся, да и просто испытывают эмоции в самые неожиданные моменты.

Поэтому хочу представить свое видение хороших и плохих практик код ревью с учётом человеческих особенностей.

На сайте https://showroom.hyundai.ru/ можно заказать машину без переплат, напрямую с завода Hyundai, но проблема в том, что машины уходят очень быстро. При этом новые автомобили появляются нечасто, и, чаще всего, можно наблюдать на сайте сообщение об отсутствии машин.

Чтобы успеть забронировать машину, напишем парсер-мониторинг для «Hyundai Showroom» с выгрузкой в телеграм-канал, который будет уведомлять о том, появились ли машины в шоуруме.

Любой программный продукт, будь то веб-сайт или мобильное приложение, основан на коде. Чем согласованнее и целостнее эта база, тем удобнее с ней будет работать, например, при необходимости доработки проекта, передачи на сопровождение другой команде.

Основными критериями качественного кода являются следующие: простота восприятия, гибкость для модификаций, возможность обновления, понятность, тестируемость. Однако зачастую работа над проектом ведется в спешке, под давлением и код пишется людьми с разным уровнем квалификации (с разным мышлением). И даже опытные разработчики не всегда пишут код самого высокого качества. Поэтому для повышения качества кода проводится процедура code review.

Большая часть следующий статьи была завершена в начале 2020, в то время вендор пытался различными путями восстановить большое количество заражённых устройств, мы делились нашими находками с вендором, так же с CNCERT и решили не публиковать в блоге, пока работы вендора были в процессе. На прошлой неделе CNCERT раскрыл ботнет и мы узнали, что о зараженных устройствах “в основном” позаботились, так что мы здесь.

Обзор

21 ноября 2019 года, мы получили интересный новый образец ботнета из инфобез-сообщества, образец содержал большие количество функций, имена которых начинались со слова "pink" и мы назвали его Pink ботнет.

Pink - крупнейшая ботнет-сеть, которую мы наблюдали из первых рук за последние шесть лет, в пиковое время она в общей сложности заразила более 1,6 миллиона устройств (96 % расположены в Китае).

Сервисы для онлайн-общения и всевозможная доставка — наверное, самые востребованные и активно развивающиеся отрасли 2020–21-го. Мы ВКонтакте тоже не остались в стороне: работая удалённо с первых месяцев пандемии, запустили групповые видеозвонки. Сперва они вмещали одновременно 128 человек, а теперь мы полностью сняли лимиты на число участников.

В этой статье рассказываем, с какими трудностями сталкивается большинство сервисов звонков. И показываем, что нам понадобилось сделать и изобрести, чтобы преодолеть ограничения по числу участников. Попутно отвечаем на вопросы, которые прилетали со всех сторон на волне интереса к технологиям real-time коммуникации: как устроены Zoom и Clubhouse, что взять для своего сервиса звонков из open source, как встроить звонки в приложение. Про эффективную доставку тоже будет — но не еды, а данных, аудио и видео.

Трансформеры (transformers) — это очень интересное семейство архитектур машинного обучения. Существует много хороших учебных материалов по этой теме (например — вот и вот), но в последние несколько лет трансформеры, в основном, становились всё проще. Поэтому сейчас гораздо легче, чем раньше, объяснить принципы их работы. Этот материал представляет собой попытку, что называется, «на пальцах», объяснить то, как работают современные трансформеры.

Предполагается, что читатель обладает элементарными представлениями о нейронных сетях и об алгоритме обратного распространения ошибки. Если вы хотите освежить знания в этих областях — вот видео, которое поможет вам вспомнить основы нейронных сетей, а здесь вы найдёте рассказ о том, как соответствующие принципы применяются в современных системах глубокого обучения.

Для того чтобы понять примеры кода, понадобятся практические знания фреймворка PyTorch. Но эти примеры можно и пропустить без вреда для понимания остального материала.

Здесь можно найти видеолекции о трансформерах. А в этом репозитории имеется реализация простого трансформера с использованием PyTorch.

Есть ли способ оптимизировать рабочий процесс проекта Data Science всего в несколько строк кода? Да. Это Prefect. Делимся кратким руководством по работе с этим инструментом, пока у нас начинается флагманский курс Data Science.

Мне было страшно писать об этом до недавнего времени.

Upwork стал одним из основных источников дохода для меня лично и для моего агентства, поэтому после восстановления аккаунтов я боялся, что если я опубликую это - меня снова заблокируют.

Но в этой статье я поделюсь историей от блокировки агенства до создания своей бизнес-империи вокруг платформы Upwork.

Всем привет! Эта статья продолжает первую часть, где я рассказывал о том, как мы в Just AI переводили пользовательскую аналитику на новую СУБД ClickHouse. В ней я на примерах показывал, как менялась схема данных и sql запросы, какие возникали сложности и удалось ли добиться прироста производительности.

Одной из сложностей, с которыми мы столкнулись во время перехода, оказалось обновление данных. ClickHouse не поддерживает привычную реляционным базам операцию UPDATE, и, хотя существуют различные альтернативы, каждая из них имеет свои недостатки. 

В рамках данной статьи я хочу рассмотреть, какие есть способы обновления данных в ClickHouse и на каком из них остановились мы.

Быстрые сайты любят и пользователи, и поисковики.

С первыми всё просто: если страница долго грузится, пользователь её закроет и перейдёт на другой сайт. С поисковиками похожая история: скорость загрузки, скорее всего, влияет на ранжирование сайта в поисковой выдаче.

Lighthouse — один из известных инструментов для проверки производительности сайтов. Он тестирует сайт, показывает оценку производительности и даёт конкретные рекомендации: что можно улучшить, чтобы сделать сайт быстрее.

Lighthouse можно запустить тремя способами:

С помощью Node CLI. Для этого установите в свой проект пакет Lighthouse с помощью команды npm install -g lighthouse.

Через расширение для браузера Chrome или Firefox. Установите расширение, затем откройте свой сайт и запустите проверку с помощью кнопки Generate report.

С помощью инструментов разработчика — Chrome DevTools. Чтобы запустить проверку, откройте инструменты разработчика, переключитесь на вкладку Lighthouse и нажмите на кнопку Generate report.