Монополизм сервисов и Net Neutrality — ягодки будут впереди

    Года два или три назад в Штатах было много разговоров про net neutrality — принцип, согласно которому провайдер связи обязан предоставлять равный доступ ко всем ресурсам Интернета (в противоположность ограничению скорости к нелюбимым — читай, чужим и не занесшим бабла — ресурсам). Манифестации, демонстрации, требования к FCC оставить сеть нейтральной (это было определено законодательно) и так далее — в общем, довольно много шума.

    Однако по свежим новостям всё сильнее и сильнее представляется, что это были цветочки. Ягодки начнутся, когда придёт массовое осознание, что не провайдеры, а сервисы-монополисты получают совершенно колоссальный и незримый контроль над общественной жизнью.

    И если какой-нибудь Comcast вся Америка просто не любила, то, похоже, Google и Facebook стоит бояться не меньше, чем коронавируса. Ну или, если в наших реалиях, внезапно не Роскомнадзор может оказаться главной угрозой.

    Издание The Markup провело эксперимент: они завели чистый ящик в Gmail, подписались на рассылки американских кандидатов в президенты и посмотрели, куда эти рассылки падают.

    Оказалось, что в зависимости от кандидата — в основной ящик, в ящик с рекламой или в спам. Причём разница между кандидатами — колоссальная, от почти двух третей в основной ящик до почти 100 % в рекламу или двух третей же в спам:



    Можно, конечно, встать в позу гуглового пресс-секретаря и сказать «Робот так решил, кандидаты сами виноваты, сервер плохо настроили, ключевые слова не те писали, пользователям всё нравится», но есть небольшой такой ряд нюансов.

    Во-первых, практически невозможно определить, решил это робот сам или ему кто-то помог — алгоритмически, обучением модной нейросетки на правильном наборе данных или ручной коррекцией. Только через суд и долгие упорные допросы там сотрудников, причастных к процессу, в надежде, что кто-нибудь сознается (практика таких допросов уже есть, заметим, но это явно не то решение, которое можно применять быстро и эффективно).

    Во-вторых, даже если робот решил сам — здравствуй, дивный новый мир, в котором следующим шагом президенты будут работать с роботами больше, чем с избирателями, ибо абсолютно всё равно, какая у тебя политическая платформа, если все письма о ней падают в спам. Когда противодействие роботу влияет не на продажи жужжалок с алиэкспресса, а на шансы избраться президентом — тут-то вы поймёте, что и вся нынешняя «поисковая оптимизация» тоже была цветочками. Такие бюджеты, как фигурируют в крупных избирательных кампаниях, специалистам по SEO в счастливых снах не снились.

    В‑третьих, вся эта эпохальная битва будет проходить абсолютно незаметно для конечной её цели, то есть избирателя. Вообще ничто не всколыхнёт поверхность воды в пруду, в глубине которого будет всё вот это. Это даже не классическое нарушение net neutrality, при котором хотя бы можно заметить, что чего-то у твоего провайдера порнхаб тормозит, а у соседского — нет. Нет, снаружи будет полная тишина.

    В-четвёртых, если вы сейчас подумали про скандалы с формированием лент новостей в Facebook, Яндексе и т.п. сервисах-агрегаторах, то здесь ситуация хуже на порядок — потому что пользователь не только ничего не замечает, но даже не имеет оснований подозревать, что что-то может быть не так. Личный почтовый ящик априорно и интуитивно воспринимается пользователем именно как личный, в отличие от сформированной сторонним сервисом ленты новостей, а концепция, что его содержимое de facto контролируется кем-то посторонним, контринтуитивна.

    В общем, похоже на то, что настоящие проблемы с распространением общественно значимой информации в Интернете — они уже видны даже не на горизонте, а на расстоянии вытянутой руки, и это отнюдь не fake news русских хакеров в фейсбуке, не Роскомнадзор и не хейтеры на реддите.

    Это намного хуже — вы увидите правду, только правду, ничего кроме правды. Просто не всю правду. Робот так решил. Вы будете довольны.

    Что с этим всем делать — не очень непонятно, тем более, что в силу трансграничности Интернета столь же трансгранична и угроза — кто сказал, что алгоритмы Google могут влиять только на выборы в США? Gmail'ом пользуются по всему миру.

    Скорее всего, в ближайшее десятилетие мы с вами увидим как дальнейшую национальную фрагментацию Интернета — страны будут пытаться создавать собственные сервисы, чтобы минимизировать возможность влияния внешних интересантов на внутренние процессы, так и ряд антимонопольных процессов с разделением интернет-гигантов на конкурирующие друг с другом части. Причём, в отличие от аналогичных процессов над традиционными компаниями, в данном случае борьба будет весьма грязной в силу вовлечённости в неё политических мотивов, ибо контроль над информацией — это в первую очередь именно политика.

    P.S.: Попробуем поднять эту тему на одном из наших круглых столов 5 марта на AnalogBytes — на «Фрагментации большого Интернета» с Артёмом Кирьяновым, Филиппом Кулиным и Антоном Меркуровым, а может и на «Блогерах и СМИ» с Дмитрием Солоповым. Как минимум, это будет неожиданный поворот темы.
    AnalogBytes Conference
    Компания

    Комментарии 27

      +1
      Во-первых, практически невозможно определить, решил это робот сам или ему кто-то помог — алгоритмически, обучением модной нейросетки на правильном наборе данных или ручной коррекцией. Только через суд и долгие упорные допросы там сотрудников, причастных к процессу, в надежде, что кто-нибудь сознается (практика так допросов уже есть, заметим, но это явно не то решение, которое можно применять быстро и эффективно).

      А построить регрессию и проанализировать факторы? Или хотя попробовать поднять свой почтовый сервер и настроить стандартные проверки? Сразу как всегда злобная корпорация виновата :(


      Это намного хуже — вы увидите правду, только правду, ничего кроме правды. Просто не всю правду. Робот так решил. Вы будете довольны.

      Особенно, если регулярная рассылка от кандидата один раз из пяти недоходит. Никто ничего не заподозрит, да.

        +2
        Или хотя попробовать поднять свой почтовый сервер и настроить стандартные проверки?


        И что вам это даст, кроме понимания, что антиспам у вас, у гугля и у яндекса работает сильно по-разному?
          0

          Это даст вам возможность проверить утверждения гугла о том, что кандидаты сами виноваты. Потому что, скажем, если совпадение с гуглом будет там 50-70%, то это уже повод для кандидатов задуматся.

            +1
            Если вы поднимите свой почтовый сервер, то совпадение с гуглом у вас заведомо будет хреновым, потому что «стандартные проверки» не работают уже двадцать лет, а работает обучение антиспама на больших выборках.
              +2
              Если вы поднимите свой почтовый сервер, то совпадение с гуглом у вас заведомо будет хреновым, потому что «стандартные проверки» не работают уже двадцать лет

              Стандартные проверки еще как работают. Попробуйте себе отправить письмо без правильных подписей в DNS и посмотрите, как оно моментально улетает в спам практически у всех, в том числе у гугла. Мне кажется, лучше говорить, что используются не только стандартные проверки.

        +3
        Попробовали бы не один ящик на gmail завести, а ещё на yahoo.com, ms outlook.com, mail.ru, yandex.ru, proton и т.п.

        И сравнили, может в самом деле проблемы в настройки DNS или рассылка с какого-нибудь IP с AWS где раньше спамеры резвились.

        А то один gmail завели, руки у них там чтоли отсохли чтобы еще чуток поработать.
          0
          Примерно так уже лет двадцать фильтрация почты на серверах не работает по принципу «а, ну раз с этого IP — точно в спам».
            0
            Поэтому давайте один gmail проанализируем и хватит.
            не работает по принципу «а, ну раз с этого IP — точно в спам»
            Наверное спамеры прыграют по IP-шникам
              0
              Поэтому давайте один gmail проанализируем и хватит.


              Вам тестирование хоть пяти, хоть пятидесяти сторонних сервисов каким конкретно образом даст уверенность в том, что Gmail на «Primary» и «Promotions» (это, между прочим, не спам) сортирует потому, что ну вот так получилось, а не потому, что там кто-то Бутиджича в белый список руками занёс?

              Наверное спамеры прыграют по IP-шникам


              Наверное, двадцать лет назад почта уже фильтровалась не по IP, а байесовскими фильтрами с множественными правилами и весовыми коэффициентами.
                0
                Если будет более менее похожие результаты в gmail и yandex, то по крайней мере можно говорить о том это не злобный план гугла пропихнуть гомосека в президенты.
                  0
                  В Яндексе вообще нет автоматического разделения писем по категориям, например.

                  И результаты по спаму будут отличаться между двумя любыми сервисами всегда — существенно разные алгоритмы и существенно разные базы для тренировки (особенно у сервисов из разных стран).
                    0
                    В США Gmail один из самых популярных — 53% пользователей, ближайший к нему Yahoo — 18% пользователей: blog.shuttlecloud.com/the-most-popular-email-providers-in-the-u-s-a
                    Вполне логично, что исследователи смотрели именно Gmail.
                    0

                    Фокс Йовович передаёт привет.

              +2

              Как минимум уже в прошлом году начал замечать, как Яндекс подкручивает спам-фильтр: письма от живых людей довольно часто улетают в спам, обычным спам-рассылкам от компаний достаточно одного нажатия "Это спам", но не элитным компаниям — Фейсбуку и Твиттеру. Я регулярно отправляю их в спам, но Яндекс ехидно возвращает письма во "Входящие" через пару дней. Недавно была феерия: утренний спам от Твиттера попал во входящие, я отправил его в спам. Через пару часов во входящих оказался дневной спам, отправился следом за утренним. Но вечерний снова оказался во входящих. Я почти уверен, что в Яндекс можно куда-то занести денег, чтобы рассылки обрабатывались по специальным правилам, я не верю, что яндексовские олимпиадники настолько тупые, что не смогли обработать нажатие кнопки "Это спам" десятки раз на одного отправителя. Хотелось бы увидеть расценки, конечно...

                0
                Скорее просто коллегиальные действия пользователей превалируют над индивидуальными, а надолго запоминать предпочтения конкретного пользователя даже не пытаются, ибо слишком дофига ресурсов на такое уйдёт.

                Т.е. вы один отправили FB в спам, а в ответ пять тысяч человек сказали, что это не спам.
                  +4
                  Вообще-то я ожидал от кнопки «это спам» несколько иное действие. Да, понятно, что она должна слегка влиять на какие-то весовые коэффициенты глобальных (то есть, затрагивающих всех пользователей) алгоритмов фильтрации, но я бы ожидал, что для конкретно моего ящика это возымеет гораздо больший эффект, вплоть до полного бана писем с данного адреса или домена.
                  0

                  Да дофига, сколько там процентов от цифрового отпечатка его устройств и модели поведения?

                0

                Слегка портит ценность эксперимента отсутствие 4й колонки в таблице — "/dev/null/" — письма, отправленные, но не дошедшие никуда. Получить такие данные можно было бы контрольным ящиком на собственном сервере без спамфильтра вовсе. Но авторы исходной статьи наверное и не знают, что так можно

                  0

                  Меня в этом вопросе заинтересовала последняя строчка(других знакомых фамилий не увидел, кроме Блумберга, но там хорошо бы понимать с какого адреса они уходили) интересно было бы узнать, а отправлял ли что-то его "штаб".

                  0
                  без анализа самих писем — это профанация

                  Держать свой почтовый сервер и правильно его настроить чтобы исходящаяя почта выглядела идеально для спам фильтров — очень нетривиальная задача

                  оформить рассылку так чтобы антиспам гугла (яндекса, мейла и сотен других сервисов почты) не отправлял письмо в спам — вторая нетривиальная задача

                  доказать что гугл имеет политические предпочтения — невозможно без прямых свидетельств, обратное — тоже.

                  процентов на 95 уверен что проблемы вызваны криворукостью или ленью рассылальшиков

                    0
                    «Homo deus. Краткая история будущего» Юваль Ной Харари.
                    Вот вариант развития событий.
                      0
                      Вот только Харари — неумный громогласный популист. В одном ряду с Черниговской, Даймондом, Курпатовым и т.п.
                      0

                      ИМХО странный эксперимент. Если подписаться на рассылку, то письма из рассылки должны иметь один адрес отправителя. Допустим, робот отправляет письмо с этого адреса в спам. Заходим в папку спам, помечаем письмо как "не спам", и после этого, все письма должны приходить без проблем. Если письма всё равно помечаются как спам, это повод обратиться в службу поддержки.

                        +1
                        На одном из моих адресов почты — он управляется провайдером довольно известного хостинга — стоит антиспам от Касперского. Так вот, он отправляет (вернее, отправлял) в спам все письма на украинском языке. Даже если все антиспам-фильтры отключить.
                        Перевёл адресацию украинской рассылки на домен, управляемый Яндексом. Теперь всё приходит куда надо ) И поди узнай, с кем найдёшь, а с кем потеряешь…
                          0

                          Мне кажется, что просто надо сильно изменить программу, но даже не по информатике, а по ОБЖ. Вместо "вспышки слева" рассказывать про статистику на дорогах (например, сбитые в тёмной одежде без отражателей), про то, что неотмытое средство для мытья посуды убивает печень круче алкоголя, и что отмывается оно плохо и его запах нужен не для уюта, а чтобы по исчезновению понять — отмылось, как искать проводку в стенах и правильно проводить домашний ремонт, т.е. когда лучше звать специалиста, и, наконец, что любой аппаратный продукт может сломаться или испортиться, а тем более работать не так, как вам хочется, для чего есть инструкция, а для почты, например, чёрные и белые списки. Всё-таки способы навредить себе за последние 30 лет огого как изменились. Про то, как правильно не помереть, должны рассказывать родители, но и они обычно многого не знают.

                            0
                            Да.

                            И, например, лекции по кибербезопасности вроде www.interfax.ru/russia/683492 должны быть не новостью дня для Интерфакса (там понятно, что три четверти новости — это Мария Бутина, а не сами лекции, но всё же), а рядовым явлением.

                          Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                          Самое читаемое