Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 48
Так с чем это связано? Может адалт сайты умело прячут посещаемость от alexa или в адалт теме сложилась ситуация, как в социальных сетях (есть несколько гигантов и местечковые форумы с функциями соц. сетей)?
Алекса берет данные о посещаемости со своего тулбара, в основном. Люди ходят на сайты — тулбар отсылает стату, никакой магии. В миллион залететь достаточно просто, если у вас есть человек 50 в день — вы уже там. Такова реальность, Адалт контента не так много, как кажется. Думаю, если навести еще и контент аналитику хотя бы по описаниям роликов — то схлопнется еще больше.
Ну а список-то дайте. Ну чтобы я сам проверил.
Мне не позволяет законодательство публиковать этот список. Хорошо, что какие-то хакеры опубликовали его в формате domain,rank,ip,country
Вах, какой хороший он человек. Имею одно забавное предположение, сейчас навострю crawl-бота, проверю.
как-то не очень показательно. два самых рейтинговых сайта — reddit и
imgur. Хотя на них наверняка есть порно-контент я бы не назвал их порносайтами в полном смысле этого слова…
imgur. Хотя на них наверняка есть порно-контент я бы не назвал их порносайтами в полном смысле этого слова…
japancar.ru? вот уж истинная порнуха! :-D
tblop.com недостаточно?
Пользуясь случаем хочу попросить у роскомнадзора: можно ли на сайте reestr.rublacklist.net сделать разделение на категории, ибо искать нужные сайты не очень удобно, добавить краткое описание к блокируемому сайту (потому что название домена не всегда информативное), и добавить прямые линки, в конце концов.
> Думаем, что можно считать эту цифру за показатель эффективности истребления государством
> контента для взрослых на данный момент.
А скоро на подготовке госбюджета на очередной год руководство Роскомнадзора будет говорить: «Мы с нынешними ресурсами в состоянии заблокировать лишь 2.54% порносайтов. Требуем увеличения бюджета нашей конторы в 40 раз!»
> контента для взрослых на данный момент.
А скоро на подготовке госбюджета на очередной год руководство Роскомнадзора будет говорить: «Мы с нынешними ресурсами в состоянии заблокировать лишь 2.54% порносайтов. Требуем увеличения бюджета нашей конторы в 40 раз!»
взываю к Temych
пардон, не в ту ветку, это был ответ AntiForeZz
А разве они не с террористами и педофилами боролись? Или они порносайты за экстремизм банят?
террористы смотрят порн
Распространение любого порно в РФ вне закона, даже обычного. Просто всем как всегда пофиг было до недавнего времени.
...#РКН очень любит повторять, что они всего лишь — исполнительный орган. И, якобы, сами по своей воле ничего не могут заблокировать. Только по решению суда. Будет решение — и они «заблокируют» хоть CNN, хоть National Geographic.
Почему вы складываете рейтинг? О_о
Вы лучшем случае его можно перемножать (проценты от максимума) и всеравно получится каша из смыслов.
Вы лучшем случае его можно перемножать (проценты от максимума) и всеравно получится каша из смыслов.
Давайте я объясню.
У вас есть некоторое количество сущностей, равномерно распределенных в зависимости от количества трафика на них, с порядковым номером от 1 до 1,000,000. Чем меньше значение, тем больше трафика. Действительно, в таком случае нет смысла складывать рейтинг, поэтому мы «переворачиваем» список отнимая от значения рейтинга 1,000,000 (по количеству сущностей), получаем отрицательное значение, которое по модулю будет соответствовать уже весу рейтинга (с небольшим сдвигом на единичку у сайта с последнего миллионного места, у него будет 0), итого получаем тот же список доменов в том же порядке, но со значением, которое можно складывать, т.к. оно уже спускается со 999999 (гугл со своим первым местом) до 0 для сайта на последнем месте из миллиона.
Если же вы имели в виду подсчет общей суммы рейтинга, то её все-равно как считать, у вас в любом случае натуральный ряд.
У вас есть некоторое количество сущностей, равномерно распределенных в зависимости от количества трафика на них, с порядковым номером от 1 до 1,000,000. Чем меньше значение, тем больше трафика. Действительно, в таком случае нет смысла складывать рейтинг, поэтому мы «переворачиваем» список отнимая от значения рейтинга 1,000,000 (по количеству сущностей), получаем отрицательное значение, которое по модулю будет соответствовать уже весу рейтинга (с небольшим сдвигом на единичку у сайта с последнего миллионного места, у него будет 0), итого получаем тот же список доменов в том же порядке, но со значением, которое можно складывать, т.к. оно уже спускается со 999999 (гугл со своим первым местом) до 0 для сайта на последнем месте из миллиона.
Если же вы имели в виду подсчет общей суммы рейтинга, то её все-равно как считать, у вас в любом случае натуральный ряд.
Эти подсчёты имеют смысл при равномерном распределении трафика.
А если, к примеру, у Гугла посещаемость в 8 миллиардов уникальных посетителей в сутки, а у второго места миллион и далее по списку на одного посетителя меньше — тут уже нет равномерного распределения.
А если, к примеру, у Гугла посещаемость в 8 миллиардов уникальных посетителей в сутки, а у второго места миллион и далее по списку на одного посетителя меньше — тут уже нет равномерного распределения.
Присоединяюсь, если я правильно понял, то вес поределяется примерно как 1 000 000 — rating, который дает 999 999 гуглу и 1 тому подозрительному сайту на последнем месте. По факту это линейная зависимость и выглядит это мягко говоря неправдоподобно. Гораздо логичнее было бы задать веса экспоненциальной функцией, можно отнормировать на гугл так что p(Google) = 1. Остается прикинуть, на сколько порядков меньше трафик последнего сайта по отношению к гуглу — и вуаля, веса построены. Не факт правда, что исправление весов сильно поменяет картину, может быть разнциа будет в 2-4 раза больше/меньше суммарного трафика, чем заявлено в статье, но сути это не поменяет.
P.S.: я имею ввиду функцию типа exp(ax + b), a < 0, x = pos in rating. Для определения a и b достаточно двух значений трафика (при условии, что распределение трафика действительно экспоненциальное).
P.S.: я имею ввиду функцию типа exp(ax + b), a < 0, x = pos in rating. Для определения a и b достаточно двух значений трафика (при условии, что распределение трафика действительно экспоненциальное).
Какая разница, у вас все-равно нет ничего кроме рейтинга. Вес мы раздаем только для того, чтобы можно было работать с «суммой рейтинга» группы сайтов. Эта сумма дает значения только в рамках рейтинга Алексы и того распределения по миллиону, которое она нам однозначно отдает. Можно строить любые предположения относительно трафика, придумывать экспоненциальные функции, но все это прохладные истории.
Жаль, нам неизвестно рспределение.
Я бы предположил немного другое распределение, как более вероятное. Каждый следующий в два раза меньше, чем предыдущий. То есть, первое место — х, второе — х/2, третье — х/4… Но это лишь предположения.
Я бы предположил немного другое распределение, как более вероятное. Каждый следующий в два раза меньше, чем предыдущий. То есть, первое место — х, второе — х/2, третье — х/4… Но это лишь предположения.
"Чем меньше — тем больше" — это всё же не вычесть значение из какого-то максимума, а честно взять обратное. Т.е. поделить константу на рейтинг. А вычитание, хоть и выглядит "похоже", но всё же даёт порой совсем странные результаты.
Надеюсь Медведев эту статью не увидит.
Вы что, серьёзно? Найдите хоть одного пользователя в РФ с тулбаром Алексы. А если всё же найдёте — посчтитайте проценты. Да можно и не только РФ — весь мир давно забыл про Алексу. Они там впаривают математику, а не реальный рейтинг.
Вы понятия не имеете о том, что говорите.
А можете в кратце пояснить? Буду благодарен.
Alexa — исследовательская компания, владеет которой на данный момент Amazon. Собирают данные о сайтах различными способами: тулбаром, сканят, естественно джойнят внутри компании на все, что есть у Амазона, скорее всего договариваются с браузерами о сливе и т.д. Конечно, есть некоторые допущения, ведь они не знают реальных значений, а только строят прогнозы, конкретные цифры по количеству трафика нередко расходятся с реальными значениями + определенное смещение на аудиторию у которой установлен туллбар, но сам рейтинг, позиция сайта в списке топ 1,000,000 меняется достаточно динамично (если дергать его по API, на сайте он выводится с задержкой) и зачастую отражает реальное положение дел. Мы знаем это на практике, ежедневно сканируя этот топ 1м и сравнивая значения с собственными проектами. Даже при малом количестве трафика (независимо от страны) рейтинг успевает чутко реагировать на его изменения, имеющихся ресурсов по сбору данных у Алексы хватает (у нас несколько миллионов страниц в индексе в сумме по проектам). В общем: сам список топ 1м можно считать корректной репрезентативной выборкой сайтов интернета, на которых есть трафик, а исходя из значения рейтинга выдвигать различные гипотезы. Лучше в открытом доступе всё-равно ничего нет, к сожалению.
>поднялся хайп вокруг адалт контента
*тяжёлый, немного нервный вздох*
*тяжёлый, немного нервный вздох*
Скорее всего, это не «безопасный поиск», а «поиск по безопасным словам». То есть тупо наличие определённых ключевых слов, которые косвенно указывают, что там может быть порно. Или даже просто игнорирование по словарю некоторых ключевых слов в поисковой строке, то есть вы пишите «порно видео», а он ищет просто «видео».
А потом кто-то во власти смотрит, что такая галочка вроде как работает, и думает, будто Вконтакт 100% знает о содержании каждого ролика и просто из вредности ничего не предпринимает.
А потом кто-то во власти смотрит, что такая галочка вроде как работает, и думает, будто Вконтакт 100% знает о содержании каждого ролика и просто из вредности ничего не предпринимает.
Там точно не «поиск по безопасным словам». Даже если вы введете какое-нибудь безопасное слово(например какое-нибудь обычное и ничем непримечательное женское имя), то есть большой шанс, что сняв галочку «безопасный поиск» вы получите все что там есть. Правда иногда фильтр не срабатывает и оно проскакивает в результатах даже с включенным безопасным поиском.
> Что ему мешает своими силами навести там «порядок»?
Кто ж ими тогда пользоваться будет?
Кто ж ими тогда пользоваться будет?
Нет чтоб галочку убрать вообще, зачем она там вообще нужна????? Потом пройтись со словарём по базе и del всю эту мерзость, да и то тенденция какого то разложения в роликах которые там есть и что по телевизору показывают, какая то деградация и запустение а не развитие.
Вот как бы вы растили своих детей в таких условиях?
Я бы например сделал защиту которая блокирует всё даже намёк (кстати уже тестировал и работает) на всякую мерзость и не нужность, сделал бы интернет действительно нужной вещью, действительно информационной технологией для получения информации, реально нужной информации которая реально поможет в становлении личности и образовательного фундамента человека для того чтобы он мог развиваться, помогать другим и быть полезным не только своим родным но и множеству других людей. А как найти нормально что то в интернете когда там битком непонятно чего это как пройти мега квест аля: «Ну давай попробуй найти то, что ты действительно ищешь и не нарваться на ненужный хлам или не на враньё или заблуждение».
Вот как бы вы растили своих детей в таких условиях?
Я бы например сделал защиту которая блокирует всё даже намёк (кстати уже тестировал и работает) на всякую мерзость и не нужность, сделал бы интернет действительно нужной вещью, действительно информационной технологией для получения информации, реально нужной информации которая реально поможет в становлении личности и образовательного фундамента человека для того чтобы он мог развиваться, помогать другим и быть полезным не только своим родным но и множеству других людей. А как найти нормально что то в интернете когда там битком непонятно чего это как пройти мега квест аля: «Ну давай попробуй найти то, что ты действительно ищешь и не нарваться на ненужный хлам или не на враньё или заблуждение».
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Считаем порносайты, оцениваем эффективность Роскомнадзора