2ГИС — отдельно, спамеры — отдельно

    Негласным лозунгом 2ГИС можно сделать «От забора и до обеда». Он очень точно отражает то, что у нас есть — вся полезная информация о городе. Для одних пользователей это могут быть заборы, для других — точное время работы, для третьих — что-то ещё.

    За то, что мы актуальны, точны и знаем практически всё о компаниях, нас и любят. К сожалению, не у всех эта любовь является искренней. Есть пользователи, которые решили, что 2ГИС можно использовать в своих корыстных целях и во вред другим. Нас это не устраивает, поэтому мы решили если не покончить с этим, то сделать жизнь таких пользователей максимально сложной.

    Речь, конечно же, о спамерах. Под катом небольшая история про исчезновение адресов e-mail в онлайн-версии, API и то, что будет дальше.


    Как утверждает Касперский, доля спама в почтовом трафике составляет 70%. До недавнего времени 2ГИС являлся для спамеров источником для пополнения своих баз рассылки.

    Адреса e-mail появились в справочнике примерно в 2002 году. Сейчас никто достоверно не скажет, сколько их тогда было, но точно не очень много. Со временем, от выпуска к выпуску, их количество увеличивалось. В этом, конечно, заслуга не только нашего call-центра, но и развития технологий в целом. Сегодня в 2ГИС почти 2 000 000 компаний. Это порядка 700 000 электронных адресов, которые так интересны «электронным почтальонам». С помощью парсеров они вытаскивали данные и использовали их для рассылки или дальнейшей продажи. Их действия давали нагрузку на API и приносили вред компаниям, которые размещаются в справочнике.

    Мы решили с этим активно бороться.

    Одним из вариантов было скрытие адресов e-mail. Однако, прежде чем на него решиться, нужно было проверить, как это отразится на пользователях и компаниях. В качестве площадки для эксперимента выбрали самую динамичную версию — онлайн.

    Проверка гипотезы


    Действительно, а нужны ли e-mail’ы? Используют ли их? Являются ли они эффективным каналом коммуникации с компанией? Перед удалением нужно было дать ответы на все эти вопросы.

    Начали с анализа данных. Статистика, которая никогда не врёт, показала, что на 500 звонков приходится 1 клик в почтовый адрес. Не критично.

    Посмотрели на просторы интернета. Обнаружили там сайты компаний с каталогами, прайсами и прочими штуками, которые помогают быстро узнать про услуги и цены.

    Ещё в интернетах были найдены специализированные ресурсы (Фламп, Банки.ру) и социальные сети, в которых можно пообщаться с представителями компаний, всячески их похвалить или поругать. Тут тоже гладко.

    Решили подстраховаться. Опросили себя, друзей себя и друзей друзей. Никто не вспомнил, когда в последний раз нажимал на e-mail. А многие (абсолютное большинство) сказали, что вообще не пишут на info@, так как письмо, скорее всего, провалится в бездну. И, как правило, гораздо проще и эффективнее позвонить или найти почту конкретного специалиста. Опять всё ясно. Почти.

    Осталась одно сомнение:


    Признаемся сразу. Мы не стали просматривать миллиарды часов вебвизора — есть более эффективные способы провести это время. Решили отключить и посмотреть на реакцию.

    Реакция


    И как вы думаете, сколько гневных писем мы получили? Десятки, сотни, тысячи? Нет, меньше 10 (десять писем). Да и гневными их назвать было нельзя. Два–три письма были от компаний, которые просто хотели узнать, куда делись адреса. И еще несколько — от лиц, имеющих материальную заинтересованность в их наличии.

    Например таких:


    Немного магии, дедукции и Гугла поясняют нам, почему человека интересует этот вопрос. А именно, нашлось видео (оно уже выпилено по нашей просьбе), где он демонстрирует работу парсера.

    Простите за грустные новости, но мы не планируем возвращать адреса электронной почты и выходим из игры.

    Впрочем, некоторые изготовители парсеров с оптимизмом смотрят в будущее и предлагают клиентам свой продукт со скидкой «в связи с техническими проблемами 2ГИС»:


    Если для ваших проектов нужны данные из 2ГИС, то гораздо проще их получить легальными путями:

    1. Закажите производство
    на выбор: электронные, настенные, складные. Закажите выборку любой сложности из базы.

    2. Используйте API 2ГИС
    Можно всё вместе, а можно отдельно карту и отдельно справочник.

    Выводы


    Никаких негативных последствий у скрытия e-mail’ов в справочнике не было. Ну, для честных пользователей. А нагрузка на API 2ГИС снизилась примерно на 30%. И что-то подсказывает, что эти 30% нагрузки как раз создавались работой парсеров.

    При этом, мы понимаем, что у 2ГИС-онлайн своя аудитория, со своими пользовательскими сценариями, отличными от сценариев использования ПК- и мобильных версиях. Именно поэтому простого скрытия почты в них не будет.

    Вместо почты появится форма для обратной связи с компанией. Фактически, сообщение будет уходить на тот же e-mail, что был указан ранее, но только через сервера 2ГИС. Мы надеемся, что это сделает взлом ПК-версии бесполезным занятием, так как лакомый кусочек — адреса e-mail — в самой программе храниться не будут.
    2ГИС
    202,00
    Карта города и справочник предприятий
    Поделиться публикацией

    Комментарии 81

      +16
      Вы — красавцы! Давно пора было.
      • НЛО прилетело и опубликовало эту надпись здесь
          0
          В offline версии емейлы есть, ради разовой рассылки можно ручками достать.
            0
            а где найти офлайн версию?
              0
              зайти на 2gis.ru, выбрать нужный город в списке рядом с логотипом, и нажать огромную синюю кнопку «скачать 2GIS»/
                0
                Версии для linux нету. Или не там ищу?
                  0
                  Через wine идёт.
                    0
                    Скоро будет.
            +2
            Одобрямс!
              0
              Это всё очень здорово!
              Когда-то, если не ошибаюсь, была информация о том, что данные из flamp будут интегрироваться с онлайном 2GIS, чтоб можно было найти не только самый близкий магазин или ресторан, но и сразу оценить независимые отзывы о нём, и в результате, возможно, выбрать что-то другое… Эти планы в силе?
                +1
                Уже сейчас можно узнать отзывы
                  0
                  ого, оказывается, всё зависит от города
                    +1
                    А не планируется ли более тесная интеграция? Например, вывод некоторых отзывов прямо в 2gis?
                      +1
                      Есть вероятность, что однажды так и будет. Но есть разного рода нюансы, из-за которых нельзя это сделать «в лоб».
                • НЛО прилетело и опубликовало эту надпись здесь
                  • НЛО прилетело и опубликовало эту надпись здесь
                      +11
                      -philcostin У плохого мастера всегда инструмент виновал
                      -philcostin *виноват
                      -philcostin долбаная клавиатура
                      © www.bash.org/?772595
                    –12
                    На одной прошлой работе девочки манагеры вручную парсили адреса емейлов. Примерно 120 человеко-часов. Потом я по ним отправлял спам с почтовый ящиков майл.ру. Откликался примерно 1%. Нормально чё. Какое-то количество заказаов мы получили. Но это всё лирика.

                    Вы мне скажите — НАФИГА вы скрываете в онлайн и десктоп версиях номера телефонов? Почему в мобильной не скрываете? Тоже от спамеров? Или чтобы добавить энтропии, заставляя человека лишний раз кликнуть? Или чтобы отследить — звонил он или нет? ЗАЧЕМ? Уберите эту шнягу!
                      +6
                      Но это всё лирика.

                      Но вы хоть раскаиваетесь в этом? :)

                      НАФИГА вы скрываете в онлайн и десктоп версиях номера телефонов?

                      Это необходимо нам, чтобы показывать эффективность рекламы в 2ГИС нашим рекламодателям. По статистике конверсия в звонки в 2ГИС в ≈4 раза выше, чем в поисковых системах. Чтобы каждый рекламодатель мог ощутить это, узнать стоимость звонка (а не зачастую бессмысленного клика) и сравнить с конкурентами, мы просим пользователя совершить лишнее действие. В мобильной версии статистика тоже считается, но действие не требуется.

                      Кстати, перед тем как решиться на этот не очевидный шаг, мы предлагали пользователям настройку «всегда показывать телефоны». Воспользовались ей единицы процентов.
                        0
                        Мне например влом на каждый номер тыкать, а учитывая время открытия программы и участившиеся в последних версиях зависания в момент запуска, получается быстрее набрать в гугле. Опять же необходимость прокрутки списка вниз, чтоб избежать открытия доп. окон с рекламой тоже удовольствия не доставляет
                          0
                          Попробуйте онлайн-версию, она лишена описанных недостатков.
                            0
                            держать для пары компов приличный канал нет никакого желания, а на 64 кб, которого хватает для текстовой почты и телеметрии, ждать нет большого желания,

                            было несколько систем до 2гис, просто сейчас удобно пользоваться последней, но удобства стремительно сокращаются, одна подлянка с блокировкой после трех месяцев без обновлений чего стоит, и все под знаменем заботы о потребителе (((, так что будем ждать пока кто то что то новое слепит
                      0
                      Я не знаю, как работает 2GIS на компьютере (подозреваю, что офлайн-режим), но там можно тоже не выводить E-mail (зачем E-mail, если нет Интернета), а добавлять форму обратной связи при наличии соединения с Интернетом.
                        +26
                        Вы меня конечно извините, но как-то странно вы «скрываете» email адреса, вот же они:

                        image

                        Спамь сколько влезет…
                        • НЛО прилетело и опубликовало эту надпись здесь
                            –7
                            Для защиты email адресов (а также телефонов) предлагаю использовать KeyCAPTCHA, это не только действительно 100% защитит от любых спарсиваний, но еще и обеспечит дополнительный (и весьма не малый) доход :)
                              +2
                              У нас другая модель монетизации. (Кажется, более эффективная.)
                                –8
                                :))) возможно, но монетизация (до определенного предела) лишней не бывает… И KeyCAPTCHA действительно на 100% защищает от ботов, а сейчас, у Вас никакой защиты веб-версии просто нет… Слить всю базу предприятий дело нескольких недель…

                                Чем кстате многие пользуются… найти в гугле десятки копи-паст ресурсов дело нескольких минут…
                                  0
                                  Это не копи-паст ресурсы — это партнеры, работающие на нашем API.
                                    –1
                                    А также копи-паст ресурсы :))) которые спарсили вашу базу… зачем нужно ваше API если можно все стянуть себе… и сделать своё API

                                    Вы ведь в посте сами привели пример с продажей ВСЕЙ вашей базы за 2000 рублей…
                                      +2
                                      Ну ёлки, потому что это воровство. Можете проще поступить — убить кого-нибудь богатого и забрать кошелёк.
                                        –7
                                        Воровство — присваивание чужой собствнности. Общедоступная информация о компаниях не ваша собственность. Так что это определение тут вряд-ли подходит.
                                          +8
                                          Где же вы видели общедоступной структурированную, ежедневно проверяемую и предельно актуальную информацию? Покажите, мы с радостью воспользуемся, вместо того чтобы тратить на эту работу немалые средства.

                                          Следуя вашей логике, можно упереть карты Гугла в обход лицензии — «Общедоступная информация о домиках на земле, подумаешь!». Или художественные произведения с общедоступными словами. Или музыку с общедоступными нотами.
                                            –7
                                            Те же maps.yandex.ru, те же желтые страницы которые периодически звонят и сверяют информацию. Из 2гис никто никогда не звонил. Не вы одни есть, посерфите.

                                            Во-вторых. У Гугла есть карты, он покупает информацию у геокомпаний и предоставляют пользователям систему для ее просмотра бесплатно, дополнительные функции за деньги. Но это функции на котрые гугл тратит деньги. То что он получил бесплатно — данные о кампаниях и т.д. они передает бесплатно. Вы ничего не покупаете, пользователи сами размещают информацию. Худ. произведения и музыка… ну это смешно. Выгладит как попытка к чему-то прицепится.

                                              +6
                                              А почему вы решили, что 2ГИС получает информацию бесплатно?
                                              Наши специалисты по работе с клиентами тоже что-то кушают, одеваются, в кино думаю ходят. Боюсь это предположить, но и икру по праздникам кушают! А так, если забыть про специалистов, то данные к нам сами в базу добавляются =)
                                                –7
                                                Специалисты по парсингу желтых страниц?
                                                  0
                                                  Ну, толсто же.
                                                  Если вы, действительно, не в курсе, что у нас собственные call-центры, то можно почитать о том, что в 2012 году он стал лучшим в России
                                                +4
                                                Вы ошибаетесь. Вы не можете взять данные Гугла, например, не показывая их копирайты, не обеспечивая полноты отображения, использоваться сверх бесплатных лимитов и т.д. Почитайте лицензию.
                                          0
                                          Смысл данных в их свежести. Мы-то апдейтим каждый день.
                                            –2
                                            Какой процент базы апдейтится ежедневно? ну что вы в самом деле??? :)

                                            для создания весьма актуальных серых ресурсов на основании вашей базы достаточно раз в полгода спарсивать… или покупать «свеженькую» за 2000 рублей :)
                                              +8
                                              О, так вы, судя по профилю, спамер. Искренне желаю вам зла.
                                                –7
                                                :))))) я уже 3 года как создатель самой эффективной системы защиты от спама…

                                                да и вообще желать кому-то зла не очень хорошо ;)

                                                Ну и самое главное — когда кончаются аргументы, правилом хорошего тона является переход «на личности» ;)))
                                                  +1
                                                  Это вы ее в начале ветки предлагали? =)
                                                    –6
                                                    А то… :)))
                                                    +2
                                                    За переход на личности извините. Мне просто стало интересно, какова должны быть система ценностей и жизненная позиция у человека, рассуждающего как вы. Узнав, что вы спамер, всё стало ясно :)

                                                    «3 года как» — напоминает истории о «обелившихся» бандидах во власти. К сожалению, они тоже не сели в тюрьму :(
                                                      –10
                                                      >Мне просто стало интересно, какова должны быть система ценностей и жизненная позиция у человека,
                                                      >рассуждающего как вы.

                                                      Можно с цитатой, какое именно из моих утверждений вас так «задело»? Может вы меня с кем-то попутали???

                                                      >напоминает истории о «обелившихся» бандидах во власти. К сожалению, они тоже не сели в тюрьму :(

                                                      Оооууу… :))) и Кевина Митника надо туда же пристроить???

                                                      А то что моей системой пользуются более 30 000 000 посетителей в месяц и десятки тысяч сайтов (в том числе топовых мировых компаний) по всему миру спасаясь от хрумера и ему подобных, это ни о чем не говорит??? :)))
                                                        0
                                                        Митник как раз отсидел свое, если вы не в курсе. Там вам не тут.
                                                0
                                                Простите, если я сообщу об ошибке в этажности моего жилого (некоммерческого) дома — сотрудники исправят? Ведь это ни копейки не принесёт компании?
                                                  0
                                                  Конечно, исправят. Весь фидбэк по неточностям в организациям, зданиях, маршрутах и т.д. идет в производство, они с удовольствием уточняют всю информацию в базах и на карте.
                                      • НЛО прилетело и опубликовало эту надпись здесь
                                        +3
                                        Адреса е-mail остались у рекламодателей. Они могут их скрыть по собственному желанию.
                                        Это связанно с выполнением обязательств по договору.
                                          +4
                                          Народ минусует по непониманию, как мне кажется.

                                          Господа, представьте, что вы бесплатно разместились в справочнике + купили пакет рекламных позиций увеличивающий эффективность вашего размещения + это зафиксировано документально, т.е. есть некий документ описывающий в каком объеме происходит ваше размещение (включая адрес электропочты). В один прекрасный день справочник решается (по тем или иным причинам) скрыть часть ваших данных.

                                          Какова вероятность возникновения неадекватной реакции (даже в том случае, если вам это не особо нужно было)? 2ГИС поступил абсолютно верно предоставив опцион (включенный по дефолту, судя по всему), тем самым они защитили себя от потенциально неприятного фидбэка со стороны рекламодателей + показали им свою лояльность / адекват.
                                        +6
                                        Ещё в интернетах были найдены специализированные ресурсы (Фламп, ...

                                        эта фраза выглядит как минимум странно, учитывая, что Фламп — один из проектов ДубльГиса
                                          –1
                                          — Да, ладно!?
                                          :)

                                          Ну, полне вам. Или вы серьёзно подумали, что мы случайно узнали про Фламп?
                                          –3
                                          Мне кажется это плохая идея. Хотите бороться сос спамом — боритесь со спамом, а не с контактами.
                                          Много рекламных телефонных звонков — может и телефон скроете?

                                          Я не спамер, но ваша база довольно полезная. Несколько раз собирал информацию по потенциальным клиентам используя вашу систему собственным парсером и не считаю это чем то плохим. И моя кампания размещена в вашей базе с открытым e-mail, на который могут написать письмо. И я жду что мне напишут.

                                          — Люди размещают свои контактные данные не просто так, они хотят чтобы с ними связывались, в том числе и по e-mail. Потому-что это бизнес, нужны контакты, а сокрытие адресов это затрудняет.
                                          — звонить в регионы достаточно дорого и затратно для небольших кампаний, поэтому они и делают рассылки. Зачастую это не спам, а достаточно грамотное целевое коммерческое предложение.
                                          — собрать адреса можно и в других местах, так что это не борьба со спамом.

                                          Вложили бы денег в развитие спам фильтров или борьбу со спамерами.
                                          Или вы просто хотите чтобы обращались напрямую к вам за выборками по драконовским ценам?
                                            +5
                                            А сбор адресов и массовая рассылка это не спам?
                                            В статье шла речь о форме обратной связи, чем она вас не устраивает?

                                            P.S.
                                            image
                                              –3
                                              Не следует путать email маркетинг и спам. Форма обратной связи… так и не оценил :)
                                              Докапываться до ошибок в комментах — вообще последнее дело.

                                                +3
                                                E-mail-маркетинг — это когда про своих клиентов или подписчиков. Всё остальное — банальный спам.
                                                  +2
                                                  Хабр — это наилучшее место, чтобы сообщать о неработающем продукте, я тоже так считаю!

                                                  Я не докапываюсь до ошибок в комментах, просто увидел, что это у вас не опечатка, а непонимание смысла слова «кампания». Поэтому не отправил в интернет читать происхождение каждого из слов, а приложил картинку, которая должна помочь запомнить какое слово в каких случаях стоит употреблять.
                                                    –2
                                                    Я вполне понимаю значение этого слова и их разницу, поверьте. По работе часто употребляю «рекламная кампания», вот и написал на автомате.
                                                  0
                                                  По моему спам, это не рассылка почты, а все таки нежелательная реклама. Например мне вообще не сдались предложения с металлопрокатом.
                                                    +2
                                                    По сути вообще вся реклама — нежелательная, по доброй воле ее никто и не смотрит, за исключением тех, кому по работе надо ))
                                                      0
                                                      Да ладно, контекстная-то успешно пытается быть полезной :)
                                                +12
                                                Вот кто бы говорил :)
                                                Знаю точно, что 2гис, по приходу в регион, «отнимал» справочные данные с местных сайтов… причем со всеми пасхалками
                                                Годами собранные справочные данные по домам, организациям за один день оказывались на 2гисе.
                                                  0
                                                  Мне кажется, что тут дело уже непосредственно в командах на местах и головной офис, к сожалению, не может отконтролить из каких именно «открытых источников» берется информация. Не уверен, что понимаю схему работы 2ГИС с их франшизами, но сомневаюсь, что головняк пошел бы на такие риски.
                                                    0
                                                    Ну да, царь хороший — бояре плохие.
                                                    0
                                                    ну а Путин ест детей. Это я к чему, фактов бы.
                                                      0
                                                      Это нормально, может быть так раньше и было, и скорее всего так и было, потому что каждый, у кого есть свой бизнес, меня поймет. В начале деятельности нужно было именно «количество», «качественная» сторона приходит спустя время, продолжительное время, отходишь от подворовывания и демпинга рыночных цен. Сейчас данные 2Гис уникальны, я сначала грешным делом подумал что данные в 2Гис берутся из Яндекса, взял сентябрьскую базу 2гис, рипнул ее в Эксел по определенному региону, рипнул базу в Эксель по этому же региону из Яндекс-карт и сравнил файлы. Разница очевидна, а вот количественно получилось примерно одинаково. Да и у базы 2Гис внутренняя организационная логика другая — организационно/филиальная, у каждого филиала может быть дополнительное название, офис, этаж и т.д, на Яндексе, всяких желтых страницах иначе… База 2гис по любому дорабатывается вручную и основательно.

                                                      Что касается пропажи телефонов из онлайн версии — не думаю что это повод для расстройства даже онлайн-воришек-парсеров. Единственный плюс API — он дату актуальности записи возвращает, которой в .dgdat файле не хранится. Не понимаю мартышек, которые парсят 2Гис онлайн, столько запросов ради того, чтобы в магазин сходить хлебушка купить… Просто нужно придумать такую логику на сервере, чтобы не сливалось с сервака 10,000 организаций за 10 минут, ну это же бред, и с apikey надо что-то сделать, а то они воруются с сайтов только так, зачем так сделано — неясно, я за час нашел 20 рабочих apikey, недоработка логики API 2Гиса, нельзя полагаться на опыт программирования пользователей api, что они его надежно спрячут. Нужно чтобы было экономически нецелесообразно парсить по API эти организации — блокировать множественные запросы и все, с учетом IP и apikey, а надежным клиентам прописать персональные лимиты на каждый apikey, если они много запросов делают, и проблема решится без извращенческих мер убирания емайлов. Вообще самое лучше что бы я сделал на месте 2ГИС — попытался себя взломать и спарсить, и решение пришло бы быстро. Нужно уметь смотреть на свой бизнес не только своими глазами…
                                                      0
                                                      Писал в ваш саппорт — не получил ответа.
                                                      Зачем в онлайн версии сделано так, что в карточке компании всегда скрыты телефоны, и нужно делать клик, чтобы их открыть?
                                                      0
                                                      Видимо следующими будут на очереди номера телефонов.
                                                      Ну и потом-есть же еще и оффлайн версия…
                                                        +2
                                                        Телефонные звонки — это долгое, нудное занятие.
                                                        Когда я хочу задать вопрос всем и сразу — я ищу в 2ГИС почту всех интересующих меня организаций и пишу письмо всем (есть в наличии, сколько стоит, можно под заказ и прочее).
                                                        И те кто ответил, те молодцы, скорее всего у них я и закажу.
                                                        Так вот, я предлагаю сделать новую фичу — отправить письмо группе компаний.
                                                        Т.е. я выбираю список компаний, по какому-то критерию, отмечаю нужные галочками и нажимаю «Отправить письмо выбранным организациям».
                                                        И там уже мне без разницы через какие сервера вы их отправляете, главное, чтоб ответы приходили на мой ящик.

                                                        А вообще 2ГИС очень удобная вещь!
                                                          0
                                                          2ГИС, ау! Вы услышали моё предложение?
                                                            0
                                                            Реализация такой функции означала бы, что мы сами создаем инструмент для спама, чего нам бы точно не хотелось.
                                                              0
                                                              Создавая своё приложение, вы уже создали инструмент получения информации для спамеров.
                                                              Не создавая такую функцию, вы только усложняете жизнь обычным пользователям (ну и спамерам конечно тоже).
                                                              Я думаю отказываться от полезной фичи ради избегания спамеров — это борьба с мельницами.
                                                              Вполне возможно, что можно найти способы борьбы со спамерами и при реализации такой функциональности.
                                                              Главное подумайте над идеей, а не отбрасывайте сразу, не изучив возможностей.

                                                              P.S. Волков бояться — в лес не ходить.
                                                              P.P.S. И всё таки хотелось бы знать, есть ли где-то возможность оставлять свои пожелания и мысли по дальнейшему улучшению системы?

                                                              Спасибо!
                                                                0
                                                                Да, конечно. Кнопка в правой нижней части экрана (в новом 2ГИС).
                                                          +1
                                                          Отличные новости! Теперь даже не нужно собирать емейлы, можно спамить сразу через 2ГИС. Спасибо! 2ГИС всегда относился к спамерам с пониманием.
                                                            0
                                                            Кто мешает написать парсер, который будет отправлять письма сразу через 2GIS?
                                                              +2
                                                              Ну очевидно же, что на стороне сервера все это будет автоматически фильтроваться.
                                                              0
                                                              А почему не у всех компаний мэйлы пропали в онлайн версии? У многих остались. Или это дело времени?

                                                            Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                                            Самое читаемое