Как стать автором
Обновить
25
Карма
0
Рейтинг
Serge Bezborodov @sergebezborodov

Go/PHP, CTO JetOctopus.com

  • Подписчики 16
  • Подписки 5

Как мы снова просканировали все домены в Интернете

что будет показываться в заголовках сервера для клиента, то и посчитается

Как мы снова просканировали все домены в Интернете

170 млн доменов против 258 млн

Как мы снова просканировали все домены в Интернете

zonefiles.io
на самом деле в гугле «buy domains list» и там можно найти

Как мы снова просканировали все домены в Интернете

идея отделить нормальные сайты от мусорных весьма хорошая, но практическая реализация не тривиальна (когда ты не гугл).
Напрашивается на первый взгляд пытаться понять общее количество страниц, для гипотезы, что нормальные сайты должны иметь больше X страниц. Но с другой стороны полно сайтов-визиток на несколько страниц и они вполне себе качественные.
Можно попробовать считать simhash/minhash контента и выделять кластера похожих сайтов.
Ну и думаю по вхождению слов «domain on sale» тоже можно отбросить какой то %.

Как мы снова просканировали все домены в Интернете

не знал такого, сравню рунет обязательно

Как мы снова просканировали все домены в Интернете

та по факту дешевле купить, мы тратили что-то вроде 200 долл в год и каждый день свежая база

Как мы снова просканировали все домены в Интернете

для нас это side-проект, есть идеи сделать типа сервиса, в котом можно посмотреть разную аналитику Интернета, но как всегда вопрос приоритетов и времени.

PHP Дайджест № 199 (8 – 22 февраля 2021)

конечно сделаем, еще перепроверяю данные, чтобы быть уверенными в них
почти три года назад писал на эту же тему habr.com/ru/post/413739
самому интересно узнать, что поменялось в сети

PHP Дайджест № 199 (8 – 22 февраля 2021)

В preview новости «WordPress используется на 40% сайтов», в расшифровке же «Доля WordPress перевалила за 40% среди топ 10 млн сайтов».

Мы сканили в январе все доступные домены в интернете, порядка 250 млн штук доменов, из общего количества более менее работающих хостов в 295 млн (т.е. один и тот же сайт может работать на http, https, +www и т.п.) на вордпрессе работало 30.7 млн, что получается в районе 10%.
Интересно, откуда по интернету ходит число в 40% всех сайтов.

Как выучить иностранный язык: алгоритм

в статье высказана очень хорошая мысль, что нужно понять структуру, как строятся предложения.
Я помню по себе на первых уроках, повторяешь стандартные фразы «меня зовут сережа, как тебя зовут» без понимания что есть каждое слово — так себе. Видимо складывается технический склад ума, когда все должно быть на своих местах.

я бы очень и очень НЕ рекомендовал начинать учить язык прям самому полностью,
да языки а-ля испанский, итальянский, даже немецкий с его несколькими дифтонгами можно сказать, что «как читаем так и говорим», но в тоже время (по своему опыту) польский, тем более греческий невозможно научиться правильно без преподавателя.

есть хорошее правило 10 уроков, идете на любую платформу онлайн обучения, где есть языки, берете демо урок — нравится преподаватель? — оплачиваете 10 уроков наперед, этого хватит чтобы научиться читать и основам основ.

метод ильи франка крут, «необходимо, но недостаточно». Не обязательно смотреть даже фильмы, вам нравится мотокросс? смотрите на ютубе ролики про мотокросс на изучаемом языке.

зы: свободно говорю на англ, сносно на греческом и бегло польский, немецкий, итальянский

SiteAnalyzer 2.2 — бесплатный аудит сайта

приятно видеть, как моя идея с квантилями в перелинковке идет в массы

N+7 полезных книг

я прочитал пап еще в лет 17-18 и во многом определило мышление и направление мысли. Зарабатываешь хорошие деньги, но вот ты сломал ногу и уже не зарабатываешь — не ОК, пассивный доход и т.п.

Бобро поржаловать, или Что нужно знать о бизнесе в Италии

есть итальянская версия, сюжет 1 в 1 с французкой

Пользователи Google перешагнули 25% рубеж по количеству IPv6-соединений

гугл еще любят парсить через IPv6

Как мы просканировали весь интернет и что мы узнали

я сам не знаю, в спецификации их нет, но реально они есть

Как мы просканировали весь интернет и что мы узнали

спасибо! ipv6 надеюсь сделаем в будущих исследованиях, пока что допиливаем краулер, для сбора еще большего количества инфы

Как мы просканировали весь интернет и что мы узнали

такие данные шарить увы не могу, но могу сказать что тысяча доменов это не такая уж и большая сетка
когда я прошлый раз сканил инет зимой, я нашел сетку из 34 тыс сайтов в рунете! при чем сайты были самых разных тематик — от стройки до чуть ли не родов, в бурже все еще интереснее

Как мы просканировали весь интернет и что мы узнали

спасибо, потестирую их!

Как мы просканировали весь интернет и что мы узнали

это сайты на Wix

Информация

В рейтинге
Не участвует
Откуда
Athens, Attiki, Греция
Дата рождения
Зарегистрирован
Активность