За последнее десятилетие я реализовал много проектов, связанных с агрегацией и анализом контента. Часто агрегация включает в себя снятие данных со сторонних сайтов, то есть скрапинг. Хотя я стараюсь избегать этого термина. Он превратился в некий ярлык, с которым связано много заблуждений. Основное заблуждение в том, что веб-скрапинг можно заблокировать с помощью X, Y, Z.

tl; dr; Нельзя.

С точки зрения бизнеса

На прошлой неделе я встретился с высокопоставленным руководителем из отрасли, в которой развиваю свой бизнес GO2CINEMA. Без сомнения, это один из самых умных и знающих людей в киноиндустрии.

Бизнес-модель GO2CINEMA основана на агрегировании из разных источников информации о расписании сеансов, свободных местах и стоимости билетов, а также выполнении запросов на покупку билетов на этих веб-сайтах от имени пользователя.

Я посоветовался с этим человеком насчёт поиска инвестиций. Он предложил свою помощь и попросил подготовить анализ всех способов блокировки моего текущего бизнеса, включая скрапинг контента (с технической и юридической точек зрения). Я подготовил необходимые документы и поделился с ним перед нашей встречей. Его реакция была примерно такой:

Да, тщательное исследование. Но всё-таки есть способы, чтобы тебя заблокировать. *ухмыляется*

Нет, парень, нет таких способов.

Это исчерпывающее руководство по обеспечению надёжности в JavaScript и Node.js. Здесь собраны десятки лучших постов, книг и инструментов.

Сначала разберитесь с общепринятыми методиками тестирования, которые лежат в основе любого приложения. А затем можно углубиться в интересующую вас сферу: фронтенд и интерфейсы, бэкенд, CI или всё перечисленное.

Прогулял школу — потерял несколько очков социального рейтинга

Вот уже несколько лет Китай внедряет систему оценки граждан по степени их благонадежности (не обязательно политической, речь идет о кредитоспособности, нарушениях общественного порядка и т.п.). Цель правительства — создать единый социальный рейтинг для абсолютно всех граждан. И от этого рейтинга будет напрямую зависеть жизнь китайцев. Если рейтинг будет низким — то могут не дать кредит на учебу или даже не выпустить подозрительного гражданина из страны.

В 2016 году сообщалось, что инициаторы проекта создали пока лишь концепцию проекта, которая, тем не менее, постепенно развивается и реализовывается. Уже тогда, в 2016 году в ряде регионов Китая тестировались различные варианты этой системы. Ну а сейчас, похоже, есть уже и некоторые результаты. Так, одного из студентов известного китайского вуза едва не отчислили из-за того, что у его отца низкий социальный рейтинг.

Рассказывать о новых проектах это, конечно, хорошо, но не всегда всё получается, как мы хотим.

В общем, начали тут вспоминать факапы из прошлого, когда решение одной проблемы прибавляло новых, увлеклись и решили поделиться парочкой. Как забанить невиновных игроков, заддосить собственные сервера, ошибиться в одной букве и словить тонны негатива от пользователей — вот это всё, как мы любим.

Эта история началась чуть более года назад. Если бы я писал плохие детективы, то начал бы ее с фразы вроде “В этот прекрасный весенний день ничего не предвещало беды”. Но так как это не детектив, а реальная жизнь, я просто изложу эту историю максимально кратко и близко к сути. Если она послужит вам полезным предостережением, я буду очень рад. У нас чудом получилось проскочить между Сциллой и Харибдой, но совершенно не факт, что где-то в недрах “Роспатента” сейчас не лежит аналогичная заявка неизвестного брендсквоттера на ваш сервис или программу.

Итак, все началось в тот день, когда мы решили зарегистрировать торговую марку нашего сервиса в России. На тот момент у нас уже была зарегистрированная ТМ в США, поэтому мы не ожидали никаких проблем с регистрацией в РФ. Однако, реальность внесла свои коррективы. Через неделю после начала стандартной процедуры регистрации, мы получили письмо от патентного поверенного, которое, мягко говоря, выбило нас из колеи:

Пошёл второй месяц запрета Telegram на территории России. Несмотря на блокировку миллионов IP-адресов, мессенджер продолжает успешно работать и практически не теряет аудиторию. Клиент Telegram распространяется с открытым исходным кодом и использует нестандартный криптографический протокол MProto от Николая Дурова. Тем не менее, Роскомнадзору никак не удаётся эффективно заблокировать мессенджер.

Поскольку код клиента открыт, то ни для кого не секрет, какой метод применяется для обхода блокировок: это прокси-система с автоматической сменой IP-адресов. Идея настолько очевидная, что её использовали даже инженеры из Военной академии связи Минобороны РФ. Как пишет «Коммерсантъ», российские военные зарегистрировали три патента на эту технологию в 2007−2009 годах.

13 апреля Таганский суд Москвы вынес решение о блокировке мессенджера Telegram на территории России. До суда дело дошло очень быстро — еще 12 апреля Роскомнадзор попросил немедленно заблокировать Telegram и на следующий день разрешение было дано. Причем заседание провели в оперативном режиме — на все про все ушло всего 18 минут.

За этот месяц произошло много всего интересного. В частности, блокировки тысяч IP-адресов из разных поддиапазонов привели к неработоспособности на территории РФ сотен (а по мнению экспертов — тысяч) сайтов и сервисов. Но стоила ли овчинка выделки? Другими словами — добился ли Роскомнадзор своей цели — радикального снижения популярности мессенджера среди граждан РФ? Судя по последним данным, эффект от блокировок хотя и есть, но весьма незначительный.

Frontend — довольно конкурентная среда. Здесь легко начинать карьеру, но сложно перейти в разряд middle. Вдобавок возникает вопрос, в каком направлении развиваться, если каждый день появляются новые фреймворки и темы для холиваров?

О том, как выглядит и куда движется современный frontend, я расспросил Сергея Попова, члена программного комитета нашей FrontendConf, которая пройдет в конце мая в Москве в рамках РИТ++. Попутно мы поговорили про то, как происходит отбор докладов, и какие тут возникают трудности.

Всего год назад я сидела на Хабре и читала подобного рода статьи для того, чтобы поддержать свой боевой дух, когда решила покинуть родной Казахстан и найти работу в Европе. Но, к моему сожалению, все статьи начинались примерно одинаково: “Меня зовут username и я программирую с 8 лет”. Я вам поведаю совсем другую историю.

Вы уже наверняка слышали про domain fronting, особенно в контексте блокировки РКН серверов Google, отвечающих за сам google.com, и дальше последовавший запрет Google и AWS на использование их доменов для обхода блокировок.

Просто хотел поделиться этой историей. Знаю, я мог бы лучше подготовиться к этому инциденту, но так уж получилось. :)

Сегодня утром я открыл почтовый ящик и обнаружил около 150 предупреждений из программы мониторинга лога. Я подумал, что случайно запушил какой-то баг в продакшн — и быстро начал расследование. Но вскоре стало понятно, что некий парень очень быстро создаёт новые учетные записи на нашем сервисе API скриншотов ApiLeap и быстро расходует весь кредит бесплатного плана на каждом аккаунте.



Он делал скриншоты этой страницы и майнил криптовалюту на машинах, где работают инстансы Chrome, которые мы используем для скриншотов.

Я выяснил, что он зависает на главной странице нашего сайта, так что можно поговорить с ним через онлайновый чат Crisp — инструмент, который мы используем для общения с потенциальными клиентами на сайте. Вот это разговор:

При строительстве центра технического обеспечения одного из крупнейших российских технопарков я отвечал за инженерную инфраструктуру. Объект седьмым в России прошел сертификацию Tier Facility авторитетного международного института Uptime Institute. О том, чего нам это стоило, какие решения мы использовали и как проходили испытания ЦОД на соответствие международным стандартам, я и расскажу в этом фотопосте.

Ваша дорогая редакция связалась с экспертами и выяснила, чем бизнесу и обычным пользователям грозит игра РКН и Telegram в кошки-мышки.


Вот, с кем мы поговорили:

• Артем Козлюк (Temych), руководитель общественной организации «РосКомСвобода».
• Евгений Потапов (eapotapov), генеральный директор ITSumma — компании, которая отвечает за бесперебойную работу Хабра.
• Артём Гавриченков (ximaera), технический директор Qrator Labs. Эти ребята много лет защищают от DDoS-атак TechMedia, Tilda, Ivi.ru и кучу других компаний.
• Филипп Кулин (schors), хостер из СПб. Ведет тот самый сервис подсчета заблокированных адресов.

8 лет назад я написал статью про ускорение раздачи статического контента, некоторым хабрачитателям она приглянулась и долгое время оставалась актуальной.

И вот мы решили ускорять то, что и так работает быстро и, заодно, поделиться опытом того, что получилось в итоге. Конечно же я расскажу о граблях, о том где не надо HTTP/2, о том почему мы покупаем 7,6Tb NVMe SSD вместо 8x1Tb SATA SSD и много другой узкоспециализированной информации.

Давайте сразу договоримся что хранение и раздача контента это 2 разные задачи и говорить мы будем только про раздачу (продвинутый кеш)

Начнем с железа…

Проект Accelerated Mobile Pages (AMP) от Google вызвал определённый переполох по идеологическим причинам, но саму технологию так и не разобрали подробно. Несколько недель назад Ферди Кристант писал про несправедливое преимущество, которое получает контент AMP за счёт предзагрузки. Это заставило меня задуматься: насколько хорошо AMP работает на самом деле? Я видел тесты как у Ферди, когда сравнивались одна или две страницы, но ещё не встречал всесторонних объективных тестов.

Оценить производительность AMP на самом деле не так просто, чем кажется. Нужно рассмотреть по крайней мере четыре контекста:

1. Насколько хорошо работает AMP в контексте поиска Google?
2. Насколько хорошо работает библиотека AMP как автономный фреймворк?
3. Насколько хорошо работает AMP при загрузке из кэша?
4. Насколько хорошо работает AMP по сравнению с каноническим документом?

Пользователи одной из крупнейших криптовалютных бирж Poloniex стали целью фишинговой атаки. Злоумышленники использовали мобильное приложение, замаскированное под официальный ресурс биржи, но использующееся исключительно для кражи данных. У Poloniex до сих пор нет собственного мобильного приложения, чем и решили воспользоваться преступники.

Аналитик компании ESET Лукас Стефанко обнаружил новое приложение под брендом Poloniex в Google Play в конце марта. Интересный факт — изначально программа не совершала злонамеренных действий, а только переадресовывала пользователей на сайт биржи. По мнению эксперта, таким образом злоумышленники хотели набрать базу лояльных пользователей, которые с большей вероятностью впоследствии ввели бы в приложение свои данные для входа в аккаунт на бирже.

Компания Google объявила о намерении проложить подводный кабель JGA, который соединит Японию, Гуам и Австралию. Инвестиции в новую систему коммуникаций — еще один шаг к распространению «облачного влияния» в Азиатско-Тихоокеанском регионе.

Подробнее о JGA и других проектах Google расскажем под катом.

Сложно уследить за новшествами различных версий ECMAScript, а ещё сложнее — найти полезные примеры их применения, не перекапывая горы информации. Поэтому сегодня мы публикуем перевод материала, автор которого проанализировал 18 новых возможностей ECMAScript, в число которых входят те, что имеются в уже вышедших стандартах ES2016 и ES2017, а также — те, которые должны появиться в стандарте ES2018. Автор этой статьи обещает, что каждый, кто её прочтёт, узнает много интересного и полезного о новых возможностях JavaScript.

Это довольно забавная история о том, как я попал впросак сознательно, причём дважды и в результате «сжег» не мало не много, а где-то $15 000, всего лишь за месяц. Причём чувствовал, что так будет, но решил пойти по этому пути. Ради чего? Ради опыта? Нет, что Вы. Как говорится, только две вещи бесконечны — Вселенная и человеческая глупость, хотя насчёт Вселенной я не уверен. Тут скорее всего хотелось проверить насколько можно доверять своей интуиции. И она меня не подвела, but that's so silly…

После университета я устроился в IT-отдел компании по обработке платежей и взысканию долгов. Мой стол стоял рядом с колл-центром: я целыми днями выслушивал, как люди на пособии делают покупки не по карману и влазят в долги. Когда несколько продажников ушли и начали собственный бизнес, прихватив с собой клиентов, компания предприняла меры. Она заставила всех в офисе, от сотрудников на вводе данных до операторов поддержки, подписать соглашения о неконкуренции. Это было первое соглашение о неконкуренции, которое я отказался подписать. В течение следующих пятнадцати лет меня ещё несколько раз попросят подписать такие бумаги, всегда перед приёмом на работу. Я всегда отказывался, и до недавнего времени это никогда не становилось препятствием для приёма на должность.

Соглашение о неконкуренции обычно является частью стандартного трудового договора, предложения о работе или соглашения о неразглашении. В нём говорится, что работник в течение определённого времени (обычно один год) после увольнения обязуется не начинать бизнес, который конкурирует с бизнесом нынешней компании, или не работать на конкурента. Если это звучит незаконно, то в штате Калифорния так и есть.

В 2017 году Иллинойс принял закон, запрещающий такие соглашения для низкооплачиваемых работников, обычно со ставкой ниже $13 в час. Даже в штатах, где подобные контракты не запретили, их часто признают не имеющими законной силы. С чисто этической точки зрения они ограничивают одну из самых основных предпосылок капитализма: свободу выбора, на кого работать. Это соглашение фактически ставит работника в положение должника по отношению к нынешнему работодателю, хотя долг не финансовый.