Pull to refresh

Боты для скачивания видеороликов c Reddit блокировали из-за фальшивого запроса

Hosting Open source *Working with video *Copyright

На этой неделе пользователи Reddit столкнулись с блокировкой работы двух популярных ботов-загрузчиков видео с ресурса. Их работу приостановили из-за фейкового запроса.

Читать далее
Total votes 13: ↑12 and ↓1 +11
Views 1.3K
Comments 1

Google показывает каждому пользователю его личные тренды

Lumber room
Теперь каждый интернетчик может посмотреть на себя со стороны и заняться самоанализом. Новый сервис Search History Trends показывает каждому пользователю, как меняется со временем его собственная история поисковых запросов.

Если установить себе модуль Search History Trends, то он будет помещен на персональной веб-странице, которая недоступна для посторонних глаз. Это очень важно, потому что персональная история поисковых запросов способна многое рассказать о человеке: что его интересует в жизни, к чему он стремится, какой у него уровень доходов, даже какие у него тайные желания.

Тенденции своего поискового поведения можно изучать не только в маленьком модуле на персональной веб-странице, но и — гораздо более подробно – в отдельном разделе на сайте. Здесь уже показывается точная статистика по количеству запросов каждый месяц, день и час. Графики большие и наглядные, а пользователь может выбрать временной интервал для отображения информации за последние 7 дней, 30 дней, за год или за все время измерений, с тех пор, как пользователь завел аккаунт на Google.
Rating 0
Views 338
Comments 4

Анализ поисковых логов пользователей AOL выдаёт десятки маньяков

Lumber room
На сайте AOLPsycho каждая история поисковых запросов пользователей AOL изложена в хронологическом порядке. Указывается точное время осуществления запроса и адрес сайта, по которому был осуществлен переход.

Вообще-то, открытие информации компанией AOL было сделано в исследовательских целях. До них не сразу дошло, что они сделали что-то не так. Но данный факт мгновенно получил широкий резонанс в блогосфере, и вскоре компания AOL признала свою ошибку и удалила файл с сервера. Впрочем, было уже поздно. Файл размером 439 МБ просочился в интернет, так что сейчас его можно свободно скачать сразу из нескольких источников.

Спустя несколько дней в интернете появился очень интересный сайт под названием AOLPsycho. На этом сайте все желающие могут провести анализ поисковой истории любого человека из базы данных, а также посмотреть список самых популярных персонажей. Выборка поисковых запросов за три месяца дает отличную почву для изучения. Количество проанализированных пользователей растет с каждым днем: сегодня их уже 324.

Конечно, по поисковым запросам нельзя назвать имя человека. Каждый пользователь обозначен безличным номером ID. Однако поисковая история каждого из них говорит сама за себя. Некоторые вещи вызывают настоящий шок. Вы можете вызвать на экран поисковую историю случайного пользователя, и спустя несколько минут обязательно наткнетесь на какого-нибудь маньяка. Просто поразительно, как много тайных желаний, комплексов и удивительных «бзиков» скрывается в голове каждого человека.

Путем анализа поисковых запросов уже вычислили одного педофила, а также молодую девушку, помешанную на казино. Еще один пользователь ищет секс с кошкой. А этот — настоящий фанат Гарри Поттера. Что характерно, имя Гарри Поттера в поисковом запросе сопровождается терминами вроде «секс», «хентаи», «манга», «порно», «упражнения для пениса» и проч.

Если вам смешно, то подумайте, что точно такой же анализ можно провести по каждому из нас. Зайдите в свою собственную историю поисковых запросов и представьте, что вы посторонний человек. Вы будете поражены, как много информации вы можете о себе узнать.

Утечка данных с AOL и анализ поисковой истории — это очень интересный случай, который наглядно демонстрирует, насколько уязвимой является приватность каждого из нас. Анализ поисковых запросов позволяет многое сказать о человеке: что его интересует в жизни, какого его финансовое состояние, его планы на ближайшее будущее и многое другое.
Rating 0
Views 534
Comments 22

Итоговый Zeitgeist от Google

IT-companies
Пару месяцев назад Google публиковал промежуточные результаты Zeitgeist — ежегодного рейтинга самых быстрорастущих запросов. А в начале текущей недели компания, «посчитав« нас окончательно, выдала итоговый рейтинг. Который, что интересно, от промежуточного отличается отнюдь не парой пунктов. Итак, что же представляет собой «рунетовский« топ-лист Zeitgeist Google за 2007 год:

одноклассники
url
youtube
loveplanet
зайцев нет
википедия
qip
билайн
www
skype

Первую строчку занимает стремительно набирающая популярность социальная сеть Одноклассники.Ru. Повышенное внимание к сайту Loveplanet, выраженное в одноименных запросах, оказалось на 4 месте. Что касается интересов пользователей Рунета к видео, музыке и разнообразной информации в удобном формате, то они отражены в запросах YouTube, Зайцев.Net и Википедия (3, 5 и 6 место, соответственно).

Попали в список и программы интернет-общения, такие как QIP и Skype, то в полной мере отражает интересы пользователей, переходящих с «аськи» на или более удобные инструменты IM или на более продвинутые, открывающие новые возможности. Единственное, что пугает, это наличие в рейтинге таких запросов как «url» и «www». Что именно искали пользователи, вводя эти аббревиатуры, остается загадкой.

via 3DNews
Total votes 14: ↑12 and ↓2 +10
Views 287
Comments 18

Как работает поиск Яндекса по блогам

IT-companies
В поиске Яндекса по блогам в списке популярных тем уже давно находится фильм Ирония судьбы — 2. Сегодня обратил внимание на странный график пульса блогосферы:

Подозрительная активность в январе прошлого года подвигла меня на мини-исследование. В ключевых словах темы стоит:
(+!!! Наступающим) | (+!!! С /+1 +!!! наступающим) | (+!!! С /+1 +!!! наступающим /+1 +!!! новым /+1 +!!! годом) | (+!!! Исполнение /+1 +!!! желаний)
Естественно, в предпраздничные дни по таким запросам будет куча постов.

Это ребята из Яндекса так прикалываются перед новым годом или теперь можно покупать вывод тем в топы на поиске по блогам:)?
Total votes 2: ↑0 and ↓2 -2
Views 403
Comments 0

Осторожнее со своими запросами

IT-companies
Банкир Ли Харберт из Сан-Франциско в январе 2005 года сбил насмерть человека и скрылся с места преступления. Спустя три года его осудили. Не без помощи Google.


Проводя расследование, которое уже вроде как зашло в тупик (обвиняемый утверждал, что повреждения его «Ягуар» получил от «встречи» с оленем, и доказать обратное было невозможно), полицейские просмотрели информацию на компьютере обвиняемого. И тут открылись интересные факты. Оказывается, спустя пару дней после происшествия Харберт искал в Google информацию о том, что он натворил.

Поисковый запрос «hit-and-run» был наиболее удачным. И привел товарища на страничку, на которой содержалась информация как раз о том происшествии, в котором он поучаствовал. Были и другие запросы, касающиеся покупки запчастей для автомобиля, что подтвердило подозрение о том, что автомобиль Харберта получил повреждения и требовал ремонта или замены запчастей. Это как раз и стало недостающей частью доказательной базы. В итоге Ли Харберт сел на три (всего-то!) года.

Так что, господа, будьте осторожны с запросами. Не стоит искать в Google информацию о преступлении, которое вы совершили. Это чревато.

via gizmodo, cnet
Total votes 133: ↑102 and ↓31 +71
Views 5.2K
Comments 66

Простой способ организации очереди из AJAX-запросов

Lumber room
Постановка задачи

Асинхронные запросы являются удобным способом разгрузить пользователей сайта от избытка информации, которая «сваливается» на них после отображения страницы. Рассмотрим классический пример — список товаров в интернет-магазине. Пользователь выполняет какой-либо поисковый запрос, в результате чего ему отображается компактный список найденных товаров. Например, это могут быть только одни названия. Под каждым из названий стоит ссылка «подробнее», после клика на которую под названием откроется дополнительный блок, уже с подробной информацией о товаре. Удобство пользователя налицо — быстро пробежав глазами весь список, он «прокликает» только заинтересовавшие его товары, и быстро перейдет к следующим страницам. Выгодно это и со стороны сервера — меньшая нагрузка, меньше исходящего трафика.

Однако в такой системе неизбежно возникает следующий момент: пользователь может подряд быстро нажать на несколько ссылок «подробнее», в то время как сервер будет долго обрабатывать входящие запросы. Если в AJAX используется только один объект XMLHttpRequest (обычно так и есть), то все запросы свалятся в нем «в кучу», и результат запроса отобразится не там, где нужно. Таким образом, встает задача организовать очередь из однотипных асинхронных запросов к серверу, так, чтобы последующий выполнялся только после того, как закончится предыдущий.

Читать дальше →
Total votes 11: ↑6 and ↓5 +1
Views 2.3K
Comments 11

Exponential Backoff или как «не завалить сервер»

Website development *
При любом взаимодействии клиента и сервера мы сталкиваемся с необходимостью повторять запросы. Сетевое соединение может быть ненадежно, могут быть проблемы на сервере или любые другие причины, из-за которых необходимо повторить запрос. То же самое касается и взаимодействия backend-сервера с базой данных или любым другим хранилищем данных (другим сервисом).

Мы сегодня поговорим об интервале повторов запроса. Через какой период времени после неудачного запроса можно его повторить? Давайте рассмотрим две стратегии: повтор через фиксированный интервал времени и экспоненциальное откладывание (exponential backoff). Мы увидим на симуляции, что при условии наличия большого числа клиентов повтор через фиксированный интервал может не дать серверу «подняться», а использование exponential backoff позволяет избежать этой проблемы.

Вопрос интервала повторов становится важным при проблемах на сервере. Очень часто сервер способен выдержать нагрузку от клиентов, которые отправляют запросы в некотором «текущем» режиме, распределяя свои запросы во времени случайным образом. Если на сервере происходит отказ, все клиенты обнаруживают его и начинают повторять запросы через некоторый интервал. Может оказаться, что частота таких запросов превышает тот предел, который сервер может обрабатывать.

Еще одним важным моментом является то, что клиент часто не может отличить проблемы на сервере от проблем с сетевым соединением на стороне клиента: если ответ на запрос не приходит в заданный интервал времени, клиент не может сделать заключение о том, в чем именно проблема. И поведение клиента (повтор запроса, интервал повтора) будут одинаковыми в обоих ситуациях.
Читать дальше →
Total votes 17: ↑15 and ↓2 +13
Views 20K
Comments 0

Как работает поиск Яндекса по блогам

Media management *
В поиске Яндекса по блогам в списке популярных тем уже давно находится фильм Ирония судьбы — 2. Сегодня обратил внимание на странный график пульса блогосферы:

Подозрительная активность в январе прошлого года подвигла меня на мини-исследование. В ключевых словах темы стоит:
(+!!! Наступающим) | (+!!! С /+1 +!!! наступающим) | (+!!! С /+1 +!!! наступающим /+1 +!!! новым /+1 +!!! годом) | (+!!! Исполнение /+1 +!!! желаний)
Естественно, в предпраздничные дни по таким запросам будет куча постов.

Это ребята из Яндекса так прикалываются перед новым годом или теперь можно покупать вывод тем в топы на поиске по блогам:)?
Total votes 8: ↑3 and ↓5 -2
Views 686
Comments 1

Несерьёзно о ДЦ, IT и не только

ua-hosting.company corporate blog Offices of IT companies History of IT Old hardware


Мир серверов это высокие технологии, сложные расчеты, точные настройки оборудования и невероятная ответственность за сохранность данных. Но порой даже в таком, вроде бы серьезном месте, случаются очень забавные и даже смешные оказии. Сегодня я постараюсь вас немного развеселить. Приятного чтения.
Читать дальше →
Total votes 16: ↑12 and ↓4 +8
Views 6.9K
Comments 8

История одного запроса

2ГИС corporate blog High performance *Search engines *Programming *Algorithms *
image

Представьте ваш первый день на новой работе. Офис находится в районе совершенно незнакомой вам станции метро Курская. Приближается время обеда. Вы открываете поисковое приложение, пишете «поесть на Курской» и получаете подборку вариантов, где можно отобедать.

Что стоит за запросом «поесть на Курской» и как он обрабатывается, чтобы найти именно то, что нужно вам? В статье я расскажу, как команда Поиска 2ГИС делает всё возможное для того, чтобы жизнь в городах была удобнее и комфортнее для пользователей.
Прочитать за обедом
Total votes 44: ↑44 and ↓0 +44
Views 11K
Comments 24

Работа с API HeadHunter при помощи python

Python *Programming *API *
Tutorial

Разбираемся на практике с API HeadHunter при помощи python.

Появилась задача анализа вакансий на рынке труда, и осуществлять ее надо базе HeadHunter. Необходимо получить все вакансии определенной компании по всем городам России. Ознакомившись с документацией по API на github (https://github.com/hhru/api), приступаем к работе.

Читать далее
Total votes 2: ↑1 and ↓1 0
Views 1.6K
Comments 4