Частотный словарь запрещённых сайтов

Есть некоторые сомнения. Наркоту хостить — не от правообладателей бегать.

Частотный словарь запрещённых сайтов

Не удержался, посмотрел контекст "израиля", все-таки популярная тема, входит в топ-100. Вот что там происходит:

сверхдержавы вотчины израиля
светозарным сынам израиля
святости величию израиля
святые земли израиля
севере израиля так
силу сыны израиля

Частотный словарь запрещённых сайтов

Слова в них просто не влезли. Это Tableau.

Частотный словарь запрещённых сайтов

Смещается по радуге от большего(фиолетовый) значения частоты употребления к меньшему(синий), аналогично размеру блоков.

Частотный словарь запрещённых сайтов

Стемминг не делался.
Контекст gtgt:

bigger boobs gtgt
biggest thing gtgt
bioshock gifs gtgt

Контекст доски:

board доска опознаний
dating доска объявлений
надежный поставщик доска

IBM Watson совершенствует свои когнитивные способности и предлагает новые возможности для разработчиков

Какие сервисы Watson работают с русским языком?

Сводные данные о зарегистрированных доменах второго уровня в зоне .RU

Совершенно не обязательно 200 ok.

Пример:

404 Not Found
Server=nginx 1.1.19
Date=Fri, 01 Jan 2016 12:37:16 GMT
X-Malware-Sinkhole=Arbor Networks
Connection=close
content-length=0

Доменов, с заголовком Sinkhole = 32.

Сводные данные о зарегистрированных доменах второго уровня в зоне .RU

Приоткройте завесу тайны: на чем написан краулер? Как долго обрабатывалось 5М доменов и на каких мощностях?

В рамках данной статьи раскрытие технических особенностей системы не предполагалось.

Еще интересно, сколько доменов вам ответили, что они DNS sinkhole?

Что вы имеете в виду?

Сводные данные о зарегистрированных доменах второго уровня в зоне .RU

46 штук. Есть в таблице.

Сводные данные о зарегистрированных доменах второго уровня в зоне .RU

partner.r01.ru/zones/ru_domains.gz

Сводные данные о зарегистрированных доменах второго уровня в зоне .RU

В основном это сайты, скрипты которых генерируют дикое количество ошибок, пример: itect.ru