Госпоиск состоялся: по Рунету начал ходить бот электронного правительства или госпоисковика

    Roem.ru обсуждает теперь уже далеко не слух:
    За последние дни в несколько раз вырос входящий трафик. Логи показывают что сайт начал посещать некий бот именующий себя «SearchBot». IP-адрес указывает на то что это некий проект электронного правительства.

    «Ведомости» около года назад писали (копия статьи в открытом доступе):
    Об идее «государственного поисковика» стало известно летом [2010 г.], когда сотрудники «Яндекса», Mail.ru и Rambler стали получать от некоей «окологосударственной» структуры предложения о переходе на работу в этот проект. Его цель, как объяснял высокопоставленный источник в Кремле, — стимулировать развитие отечественных технологий в перспективной сфере. Позднее советник президента Леонид Рейман заявил, что созданием поисковика занимаются частные компании, а Минкомсвязи лишь курирует проект. Министр же Игорь Щеголев всегда опровергал возможность господдержки для поисковой системы. Однако отсутствие финансирования национального поисковика в ФЦП еще не значит, что проект закрыт — возможно, деньги будут выделены из другого источника, предполагает руководитель одной из интернет-компаний.


    Летом уже этого года те же «Ведомости» снова освещали давно тянущуюся эпопею:
    … недавно стало известно, что агентство по найму сотрудников Arthur Hunt Group переманивает разработчиков «Яндекса», Mail.ru и Rambler в новый проект, пользующийся поддержкой государства и сопоставимый по масштабу с «Яндексом». Такой проект готовится, сказал Рейман, только это не государственный заказ, а абсолютно «рыночная история»: поисковик разрабатывают частные компании — правда, при поддержке Минкомсвязи. Но в дальнейшем, когда продукт будет разработан, государство может принять участие в финансировании проекта, не исключил Рейман.
    По словам менеджеров интернет-компаний, сотрудников которых переманивает Arthur Hunt, бюджет проекта составляет $100 млн, разработка должна начаться в течение трех месяцев, а заработать поисковик должен к концу 2011 г. Какие именно компании участвуют в разработке, Рейман не уточнил. Представитель Минкомсвязи сообщил, что ему неизвестно о проекте создания поисковика, и добавил: в компетенцию министерства не входит реализация «рыночных проектов».
    Менеджеры интернет-компаний называют потенциальных подрядчиков — государственный «Ростелеком», компании ABBYY (разработчик систем распознавания текстов и электронных словарей) и «Ашманов и партнеры» (разработчик поисковых технологий).

    Комментарий лично г-на Ашманова на Roem.ru тоже указывает на вполне конкретных участников:
    … Там был Серёга Андреев из ABBYY со своей главной лингвисткой, кажется, и Владислав Рудников (КМ.ру) с Сергеем Татевосяном — главным разработчиком их поиска. Ну и я.
    Буквально с полуоборота Рудников с Татевосяном стали говорить министру, что Яндекс и Гугл почиют на лаврах, все инновации у них закончились давно, в 2006 году примерно, они стагнируют (то же самое словечко, что выше, кстати), вообще новых технологий поиска не выпускают. А вот КМ.ру, если дать ему эти планируемые 100 мегабаксов, даст невероятный инновационный проект. И обгонит Яндекс только так. То есть все инновации УЖЕ есть, проблема только с деньгами на технику.
    Причём это всё почему-то каким-то детским, наивным языком, как будто министр слабоумный ребёнок. Угар, в общем.


    Все обращения бота происходит из подсети Ростелекома:
    inetnum:         109.207.0.0 - 109.207.15.255
    netname:         Electronic-government
    descr:           OJSC Rostelecom
    descr:           Electronic government of the Russian Federation
    country:         RU
    org:             ORG-JR8-RIPE
    admin-c:         RTNC-RIPE
    tech-c:          RTNC-RIPE
    status:          ASSIGNED PI
    mnt-by:          RIPE-NCC-END-MNT
    mnt-by:          ROSTELECOM-MNT
    mnt-lower:       RIPE-NCC-END-MNT
    mnt-routes:      ROSTELECOM-MNT
    mnt-domains:     ROSTELECOM-MNT
    source:          RIPE # Filtered
    
    route:          109.207.0.0/20
    origin:         AS196747
    descr:          Electronic-government
    mnt-by:         ROSTELECOM-MNT
    source:         RIPE # Filtered


    P.S. Интересно, не связан ли случаем данный электронноправительственный поисковик с неким «программно-аппаратным комплексом контроля информационно-коммуникационной сети интернет», который в этом году заказывал Роскомнадзор (см. журнал «Коммерсантъ Деньги», № 42 (849), 24.10.2011, статья «Зарплата Большого брата»)?
    Поделиться публикацией

    Комментарии 49

      +44
      а потом забанят всякие яндексы с гуглами и никто не узнает что путин краб
        0
        «разработка должна начаться в течение трех месяцев, а заработать поисковик должен к концу 2011 г.»

        Не соврали, заработал ведь. По крайней мере они знают что такое Web crawler.
          +5
          Не уточняется, когда он начнёт зарабатывать.
            0
            Ни один гос.сайт не зарабатывает. Будет ли он себя позиционировать как государственный другой вопрос.
        • НЛО прилетело и опубликовало эту надпись здесь
            +2
            Наивный вы человек. Это же УЖАСНЫЙ поисковик путина.
              +7
              По ходу, он реально ужасный (от слово «говно»), раз так грузит все сервера. Блин, в стране армия хороших программистов, но и тут находят самых выдающихся долбоебов и доверяют им самые важные проекты. Не, ну как так-то?
                +6
                Так чинуши это своим детям и доверяют, чтоб деньги никуда не уходили из семьи.
              +5
              В .htaccess не разбираюсь, это правильная настройка?

              Order Allow,Deny
              Allow from All
              Deny from 109.207.0.0/20
                +5
                Это неправильный подход. Надо при обращении с данных адресов отдавать 200. Но текст минимальный.

                Поисковик ведет себя куда как агрессивно, кстати. Приходится его тормозить.
                  +7
                  Новый дефолтный файл .htaccess для отечественных веб-разработчиков и админов.
                +1
                банить беспощадно!
                  +30
                  Внес подсеть в бан. Спасибо.
                    +8
                    Бан.
                      +7
                      Теперь даже в интернете нельзя сказать: Путин, Бомба, Терроризм?
                        +35
                        Отпишитесь сюда через пару дней, я за вас боюсь
                        • НЛО прилетело и опубликовало эту надпись здесь
                            +13
                            «Путин бомба терроризм» из Google уже, кстати, указывает на Вас.
                              +5
                              Нет, уже на вас :)
                                +7
                                Горячая картошка :)
                              +2
                              Здесь не о чем волноваться — поисковик-то ничего толком и не ищет. Например, я могу сказать, что Единая Россия — говно, и со мной ничего не слу
                              +15
                              Дан банан. Не делайте из России Китай!
                                +3
                                «Electronic-government»
                                Хм.
                                  +1
                                  Что не так?
                                    +2
                                    Да просто как-то…
                                    С одной стороны — понятно — устоявшийся термин, принятый к употреблению во многих странах, вроде как не несущий в себе никакого негатива.
                                    С другой:
                                    descr: Electronic government of the Russian Federation
                                    descr: Electronic-government
                                    Как-то неуютно. Как будто кто-то много на себя берет и по какой-то причине считает себя главнее прочих.
                                      0
                                      Странно, я ничего такого не заметил.
                                        0
                                        Вероятно я просто параноик =)
                                          +5
                                          Наличие паранойи вовсе не означает отсутствие слежки ;)
                                            +1
                                            Отсутствие паранойи не означает отсутствие слежки, скорей так :)
                                        0
                                        Electronic Government Of Russia — EGOR. Знайте, Егор следит за вами!
                                      +1
                                      Мне одному кажется, что в глаза бросается Electronic-govemment а не Electronic-government?
                                      Тогда всё на своих местах.
                                      +27
                                      Каждую пятницу ровно в полночь электронный паук электронного президента выползает на свободу… На службу электронному правительству…
                                        +14
                                        Электронный краб, надо полагать )
                                        +4
                                        Заголовок звучит, как угроза.
                                          +2
                                          «Контент есть? А если найду?»
                                          +2
                                          это ДАМ со скоростью паука ищет, где продаётся самый дешёвый iPhone 4S.
                                            +2
                                            По какому порту ходит путин?
                                              +1
                                              812
                                                +5
                                                Это намек на его питерское происхождение? :)
                                              –1
                                              Лишь бы как с геопорталом не было. Деньги вложили. Запустили не пойми что не пойми с каким интерфейсом. При этом качество снимков не то, что с Яндекс не сравнится, с Космоснимками, но и с Google и Bing.
                                                0
                                                Встречайте Rambler 2 )
                                                  +1
                                                  Осталось только нанять Чака чтобы в реалтайме осматривал все найденные сайты.
                                                    +3
                                                    Сканер роскомнадзора в действии? У нас уже один сервер положил на прошлой неделе, в бан.
                                                      +5
                                                      а хедеры запроса можно посмотреть от этого супер краулера?
                                                        0
                                                        Хедеров нет, но вот логи есть.
                                                        109.207.13.64 — хххххх.ru — - [03/Dec/2011:00:13:14 +0400] 200 «GET / HTTP/1.1» 44493 "-" «SearchBot» «http_x_forwarded_for»

                                                        С учетом того, что я смотрел на мордах, которые обслуживают хостинг с 5000 доменами, то могу сказать что за день он зашел всего на 3 сайта, т.е. 1 раз на один сайт и 2 раза на другой сайт и раз 10 на третий. Не особо активный, я бы даже сказал вопиюще пассивный, он для бота такого мегапроекта, как национальный поисковик.

                                                        Причем что удивительно, ходил по разным мордам сайтов (там 4 IP адреса на кажый сайт) и качал один и тот же контент с интервалом в 5 минут, хотя как правило поисковики выбирают одну из морд и с нее сосут уже сайты в течение нескольких часов.
                                                          0
                                                          Эта хрень заползла ко мне на 1 из сайтов ещё 3 сентября:
                                                          109.207.13.22 — - [03/Sep/2011:22:11:47 +0400] «GET /forum/forum_2 HTTP/1.1» 404 11458 "" «SearchBot»
                                                          Странно, что не на главную в первую очередь, хотя может куска лога нету, не уверен.
                                                          И судя по логу другого сайта, где дальше главной он не ушёл, с iframe он работать не умеет (а весь сайт построен из двух фреймов), так что бегом переделывать, у кого они используются, а то не проиндексируетесь ;)

                                                          Всего на первый сайт совершено 1443 запроса с [03/Sep/2011:22:11:47 +0400] по [25/Nov/2011:00:26:58 +0400]. Частота запросов в конце ~ раз в 3 секунды, что говорит о том, что бот торопится. Остальные поисковики гораздо спокойнее. Кому интересно — могу дать этот лог для анализа.
                                                            0
                                                            Сколько-сколько? 100 млн.$??? Ну-ну.
                                                              0
                                                              Если госпоисковик будет свободным (а он как всё государственное и сделанное на деньги налогоплательщиков должен быть по моральным причинам не защищаемым авторскими правами) как Wikia Search, то это будет ОЧЕНЬ ЗДОРОВО, но скорее всего нам такого не видать, поэтому нафиг такой поисковик.
                                                                0
                                                                ABBYY к этому отношения не имеет. Если б это был наш паук, он ползал бы быстрее и более ловко :)

                                                                Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                                                Самое читаемое