Общедоступный индекс веба (5 миллиардов веб-страниц)

[frig]

Просто подарок любителям сеток ГС и автоматической генерации контента. Контента… бери не хочу.

[Claud]

И чего они будут делать с этим? Проще парсить RSS для этого. А вот создать сервис для SEO-шников, чтобы смотреть беки это можно. Вот только таких сервисов уже есть пара штук и как я знаю базу они собирают сами: индексируют web своим пауком.

[frig]

Можно и RSS парсить. Там, где он есть, конечно. А тут громадные объемы наверняка не просто сырой а как-то структурированной информации. Причем с графом ссылок! Для генерации контента, имхо, очень вкусная должна быть основа.

И для мирного использования можно применять, конечно. Мне, правда, кроме скармливания этого потока какому-то подобию ИИ для обучения больше ничего сразу в голову не приходит.

[abiruba]

Анатоле улыбается, когда кто-то заморачивается сохранением интернета на диск. Лишние телодвижения.

[AVGUR]

Анатоле сохраняет в мозг, что бы лишний раз не шевелится? :-)

[chegor]

Вообще то мозг Анатоле — это и есть интернет.

[LORiO]

Так и представляю картину, В метро В ларьке «Весь интернет на 1 dvd, без потерь качества»

[Deranged]

3 интернета в 1.

[eZyatev]

Gold Edition by Saduga!

[KirEv]

> Предполагается, что это приведёт к созданию целой плеяды инновационных веб-сервисов.
Интересно, каким образом? Не вижу закономерности.

[Goder]

Оффлайн-гугл. Качаешь себе 50 Тб данных и ищешь, что нужно, у себя на компьютере! %)

[LORiO]

только скорость поиска будет так себе)

[KirEv]

И качать больше года, при канале в 10мбит)

[Harkonnen]

гугла не выйдет. 50Тб весят урлы, а не контент

[Goder]

Вы всегда такой зануда?:)

[Harkonnen]

Просто люблю обламывать мысли о халяве :)

[arty]

50 ТБ / 5 миллиардов страниц = 10 000 байт на урл. Не верю.

[kAIST]

А как же связи?

[arty]

10000 байт записи / ~100 байт на связь ≅ 100 связей у страницы. Не верю.

[crwin]

Когда на торрентах?

[frig]

Кстати отличнейший способ распространения такого объема информации.

[dmitriid]

Если оно выложено на S3, то оно уже доступно в виде торрента.

[undead_ekb]

Что, что?

[dmitriid]

Охохох. Как на хабре любят минусовать…

aws.amazon.com/s3/faqs/#What_is_the_BitTorrent_TM_protocol_and_how_do_I_use_it_with_Amazon_S3

Правда, сейчас перечитал топик, они таки не полностью в открытый доступ выложили, жаль

[SFx]

пошел затариваться домашним поисковым кластером…

[aNDREIQA]

информация в сети генерируется очень быстрыми темпами, как их паук справляется с задачей получения актуальной информации?

[kunfuzi]

А что тут не понятно? Когда ему на пути встречается другой паук, он его пожирает, тем самым поглощая собранную информацию.

[diamant]

Главное, чтобы ему не встретился паук Гугла.
Хотя, автор сервиса — работник Гугла, наверное гугловский паук примет его за своего.

[SergeyNeiger]

В конце останется только Один!
Борн ту би кинг оф зе Юнивёрс! (и музыка Queen из Горца)

[RomanL]

Интересно что там в этой базе с русским интернетом.

[kunfuzi]

не хочу показаться капитаном, но выше я уже ответил на этот вопрос, если им на своем пути, встречался например паук Яндекса, то там с русским должно быть все в порядке

[dmitriid]

Хороший датасет для тестирования вских GraphDB

[Methos]

Да кому нужна эта куча мусора?
Лучше бы хабр проиндексировали — этого достаточно =)

[Funcraft]

Как показывает история, такой объём данных лишним не бывает.

[sergtop]

Лет 10 назад Гугл (тогда еще мало кому известный… да, были времена) присылал по почте 5 cd с данными пауков для участия в конкурсе по программированию каких-то алгоритмов… похоже опять конкурс только рассылать cd теперь накладнее

[impass]

теперь шкафчик с жёсткими дисками будет