Comments 58
Немного переборщили. ребят.
У нас на работе в одном из отделов постаринке пользуются одним е-майлом на отдел плюс заходы из дома.
На днях как раз при логине на почту бухи видят сообщение, что дескать мы подозреваем, что вас взломали, пройдите теперь пароль новый придумаете и пр.
Вот эту параною можно будет отключить?
У нас на работе в одном из отделов постаринке пользуются одним е-майлом на отдел плюс заходы из дома.
На днях как раз при логине на почту бухи видят сообщение, что дескать мы подозреваем, что вас взломали, пройдите теперь пароль новый придумаете и пр.
Вот эту параною можно будет отключить?
Спасибо за ваш комментарий. Мы учитываем такой сценарий использования почты и отдельно его обрабатываем, чтобы избегать ложных срабатываний. Возможно, аккаунт, о котором вы говорите, действительно был взломан и мы смогли это детектировать. Если у вас есть вопросы по этому кейсу, вы можете написать мне в личку или на a.shchus@corp.mail.ru.
Может я очень нестандартный, но такие системы реально бесят.
Гуглпочта, например, каждый заход на почту меня банит, т.к. захожу редко (где-то раз в месяц-два) и с разных устройств (всего, внезапно, двух, но через раз). Особенно радует когда пишет — вы зашли с нового устройства, при этом у меня открыт djabber с их аккаунтом (который вообще постоянно работает). Не, я понимаю, что это разные системы, но всё-таки…
А так: уехал в отпуск, решил проверить почту — доказывай что ты это ты. Заболел и работаешь в нестандартном режиме — доказывай. Просто путешествуешь не сидя долго на одном месте (не дай бог ещё используешь интернет кафе ради экономии на роуминге) — вообще террорист.
Всё таки стоит наверно разрешать пользователям отключать такие проверки с предупреждением.
Гуглпочта, например, каждый заход на почту меня банит, т.к. захожу редко (где-то раз в месяц-два) и с разных устройств (всего, внезапно, двух, но через раз). Особенно радует когда пишет — вы зашли с нового устройства, при этом у меня открыт djabber с их аккаунтом (который вообще постоянно работает). Не, я понимаю, что это разные системы, но всё-таки…
А так: уехал в отпуск, решил проверить почту — доказывай что ты это ты. Заболел и работаешь в нестандартном режиме — доказывай. Просто путешествуешь не сидя долго на одном месте (не дай бог ещё используешь интернет кафе ради экономии на роуминге) — вообще террорист.
Всё таки стоит наверно разрешать пользователям отключать такие проверки с предупреждением.
Вы привели очень верные примеры: отпуск, путешествия и прочее. В них действительно, в той или иной мере, есть смена поведения. Но это очень распространенные сценарии использования почты, о которых мы знаем и которые мы учли при разработке системы. Честных отпускников и заболевших мы корректно обрабатываем и не блокируем их.
Ога, я так в какую-то из подобных систем (не помню уже в какую) просто не смог зайти.
Поехал в командировку, телефон дома оставил (на месте телефоном и ноутбуком обеспечивали); опа, «вы зашли с нового устройства, на всякий случай мы вас не пустим, но вы пожете подтвердить личность по смс»; спасибо, блин.
Поехал в командировку, телефон дома оставил (на месте телефоном и ноутбуком обеспечивали); опа, «вы зашли с нового устройства, на всякий случай мы вас не пустим, но вы пожете подтвердить личность по смс»; спасибо, блин.
Не могу ничего сказать о системах безопасности сторонних сервисов — у каждой компании своя политика. Если говорить об описанной в посте системе, то, как я упомянул выше, она обрабатывает подобные случаи. А вообще, мы даем возможность пользователям восстановить доступ к аккаунту несколькими способами: через телефон, дополнительный email и службу поддержки. Так что даже если нет доступа к телефону, доступ к аккаунту все равно можно восстановить.
Так как раз гугл. Через раз то пишет на привязанную почту предупреждение, то просто банит на некоторое время. Один раз даже умудрился прислать сообщение о подозрительной активности (после блокировки, ага) на… барабанная дробь, самого себя. С удивлением обнаружил когда смог зайти. Правда это был единичный случай.
А когда вы добавите IPv6 для MTA?
а как же: «Защищён АнтиВирусом и АнтиСпамом Касперского»? Неужели такая мощная защита не помогает?
Дело в том, что фильтрация спама и детектирование взломов — это разные задачи. Системы антиспама справляются с нежелательным трафиком, а со взломами работают другие системы. Одна из них — Marshal.
Так Касперский защищает от всего
Он не защищает от отсутствия мозга. У пользователя, который ставит пароль 123, не ставит антивирус и ходит по всем сайтам подряд.
на самом деле, фраза «Защищён АнтиВирусом и АнтиСпамом Касперского» в веб интерфейсте майл-ру с кучей спама от самого майл-ру и через 2-3 недели после регистрации от всех, кого угодно, на мой взгляд, самая худшая реклама каспера.
Когда-то была, кнопка «Это спам» творит чудеса.
gmail творит чудеса
Gmail у меня тоже есть, и Яндекс, и Рамблер. Причём мейловский аккуант называется «ящик для мусора»(адрес *spam@mail.ru) и я какое-то время его оставлял где придётся (был ещё именной, который потерял по причине непосещения и восстановить не вышло и решил этот не удалять), но сейчас у него всё тихо (иногда спам падает в папку спам), правда и активности последнее время особо нет, хоть и есть «Мой мир». «Ящик для мусора, мы нашли вам новых друзей» (Ц) мейл.ру
Все верно, кнопка «это спам» творит чудеса и успешно решает проблему. Антиспам — это реактивная система, которая использует обратную связь от пользователей. Чем больше обратной связи, тем лучше.
До этого пользовался байесовскими фильтрами в Бат'е(BayesIT с первых версий плагина), потом на своём почтовом серваке — видел как они обучаются и улучшается результат, потому и нажимал кнопку «Спам» сразу после их появления на любом ящике в почтовых сервисах, которыми пользовался. И родственников, друзей, знакомых, сотрудников обучал нажимать. Когда тебе на ящик info,support, ещё что-то@*.ru приходит полторы сотни писем в день, из них 2-3 не мусорных — начинаешь задумываться об автоматизации и курить маны на тему.
Было бы очень круто, если бы вы научили техподдержку нормально реагировать на вопросы, связанные с безопасностью почтового ящика.
А то у меня был не очень приятный случай, когда мне стали сыпаться СМС о попытках авторизации, я написал в техподдержку и получил гору отписок от сотрудника. Только благодаря Хабру удалось решить проблему.
А то у меня был не очень приятный случай, когда мне стали сыпаться СМС о попытках авторизации, я написал в техподдержку и получил гору отписок от сотрудника. Только благодаря Хабру удалось решить проблему.
Спасибо за репорт, мы помним и исправляемся :-)
О любых проблемах поддержки — пишите мне в личку, я разберусь…
Евгений Кузнецов, руководитель группы технической поддержки Mail.ru
О любых проблемах поддержки — пишите мне в личку, я разберусь…
Евгений Кузнецов, руководитель группы технической поддержки Mail.ru
И какая в итоге точность получилась? Что то подобное еще в эпоху байесовских спам фильтров использовали. Кстати на gmail мне спам не приходит, в отличие от mail.ru.
На тестовых выборках получили значение f-меры около 0.98. А по поводу спама: если это рассылки, то просто отпишитесь от них. Если же это нежелательные письма (и при этом не являются рассылками), то жмите «это спам». Таким образом вы дадите нам обратную связь и количество спама значительно снизится.
Это нежелательные письма вроде только что пришедшего письма с заголовком «Buy Cheap Meds. Save up to 88%. New 21 products. Deliver to your home.»
Похоже, что анализ взломанности аккаунта у вас работает гораздо лучше, чем спам фильтры.
Похоже, что анализ взломанности аккаунта у вас работает гораздо лучше, чем спам фильтры.
Это Вы ремблеровские не видели, он 99% мусора пропускает (не смотря на «Это спам»), зато всякие инет-магазины с рекламой стал в спам отправлять (только удалял, пусть и не всегда читая само письмо).
А к мейловским спам-фильтрам претензий нет (они индивидуальные? во времена активной переписки и «засвета» ящика несколько лет назад много нажимал «Это спам» и «грузчики из Киева» (утащили контакты киевского знакомого и пошёл украинский спам) больше не беспокоят. Изредка в спам-папке появляется очередная нигерийская принцесса, даже забавно почитать.
А к мейловским спам-фильтрам претензий нет (они индивидуальные? во времена активной переписки и «засвета» ящика несколько лет назад много нажимал «Это спам» и «грузчики из Киева» (утащили контакты киевского знакомого и пошёл украинский спам) больше не беспокоят. Изредка в спам-папке появляется очередная нигерийская принцесса, даже забавно почитать.
Кликайте «это спам». Проблема достаточно быстро решится.
Поддержу насчет спама. Тоже мучался на почте от мэйла, удалил аккаунт на моем мире — стало лучше, несколько месяцев вообще тишина была. Но вот опять началось, хотя ящик не свечу нигде, просто залогинен на сервисах мэйла. Грешу вот на это, интересно, есть ли связь? А на гугл мне тоже приходит спам, хотя я использовал его на некоторых сервисах, наверно попал в какую-нибудь нехорошую базу из-за этого. Было бы круто, если кто-нибудь разработал очень стойкую защиту от спама. Хотя мэйл молодцы, их анонимные ящики — очень крутая идея!
Проверьте, пожалуйста, что приходящие письма не являются рассылками. Возможно, вы когда-то оставляли ящик Mail.Ru при регистрации, а теперь сторонние сервисы присылают вам обновления, акции, рекламу и прочее. От таких рассылок можно просто отписаться (внизу есть кнопка «отписаться»). Если же это действительно спам, то кликайте «это спам». Антиспам использует обратную связь от пользователей: чем больше обратной связи вы дадите, тем чище будет ваш ящик.
Интересная статья, спасибо. Несколько вопросов:
Первый вопрос — как оценивается полезность такой системы? Ведь здесь две крайности — либо при каждой подозрительной, «аномальной» активности юзера блокировать его аккаунт и просить подтверждений всяких кодов через смс и т. д. Вторая крайность — отсутствие антиспама как такового. В первом сценарии юзеры озвереют, во втором — кул хацкеры похацкают юзеров и отожмут их аккаунты. Оба сценария нежелательны, но как на практике можно найти эту тонкую грань?
Второй вопрос — планируется ли вытаскивать новые правила постоянно в реальном времени и перетренировать модельку или делать это, скажем, каждый час, день? Ведь взлом надо детектить как можно быстрее, а не через, скажем, неделю или месяц. Но я понимаю что технически может быть затратно обрабатывать информацию в реальном времени.
Третий вопрос — отказ от классификатора в пользу логических правил в первую очередь связан с техническим трудностями? Наверное, 80% юзеров пользуются мылом с определенными паттернами в течение продолжительного времени, но ведь полно разных «юз-кейсов» которые в идеале можно попытаться выучить каким-либо классификатором (можно, конечно, перестараться и перетренить его, конечно). В идеале такой классификатор мог бы дать более точные результаты, не так ли?
Предпоследний вопрос — логические правила строятся на истории одного пользователя или группы пользователей? Как я понял, Маршал же вместо классификатора юзает hardcoded правила, вытащенные из истории одного пользователя и эти правила применяются к этому же пользователю?
Последний вопрос — правила были вытащены «ручками» в результате анализа данных множества пользователей или с помощью какого-либо алгоритма вроде decision trees?
Я понимаю, что, наверное, некоторые технические детали Маршала являются секретом или ноухау, но было бы интересно услышать немного деталей ^.^
Первый вопрос — как оценивается полезность такой системы? Ведь здесь две крайности — либо при каждой подозрительной, «аномальной» активности юзера блокировать его аккаунт и просить подтверждений всяких кодов через смс и т. д. Вторая крайность — отсутствие антиспама как такового. В первом сценарии юзеры озвереют, во втором — кул хацкеры похацкают юзеров и отожмут их аккаунты. Оба сценария нежелательны, но как на практике можно найти эту тонкую грань?
Второй вопрос — планируется ли вытаскивать новые правила постоянно в реальном времени и перетренировать модельку или делать это, скажем, каждый час, день? Ведь взлом надо детектить как можно быстрее, а не через, скажем, неделю или месяц. Но я понимаю что технически может быть затратно обрабатывать информацию в реальном времени.
Третий вопрос — отказ от классификатора в пользу логических правил в первую очередь связан с техническим трудностями? Наверное, 80% юзеров пользуются мылом с определенными паттернами в течение продолжительного времени, но ведь полно разных «юз-кейсов» которые в идеале можно попытаться выучить каким-либо классификатором (можно, конечно, перестараться и перетренить его, конечно). В идеале такой классификатор мог бы дать более точные результаты, не так ли?
Предпоследний вопрос — логические правила строятся на истории одного пользователя или группы пользователей? Как я понял, Маршал же вместо классификатора юзает hardcoded правила, вытащенные из истории одного пользователя и эти правила применяются к этому же пользователю?
Последний вопрос — правила были вытащены «ручками» в результате анализа данных множества пользователей или с помощью какого-либо алгоритма вроде decision trees?
Я понимаю, что, наверное, некоторые технические детали Маршала являются секретом или ноухау, но было бы интересно услышать немного деталей ^.^
Коля, здравствуй.
Отвечаю по пунктам.
1. Чтобы пользователи не озверели, мы оцениваем уровень ложных срабатываний по описанному алгоритму. Если уровень ложных срабатываний превысит некоторый порог, то мы начнем поиск причины, по которой это произошло. Чтобы убедиться в том, что система приносит пользу, мы следим за количеством заблокированных аккаунтов. Если оно упадет ниже критического порога, то мы так же начнем искать причину, по которой это произошло. Два этих параметра дают представление о качестве работы системы.
2. Мы уже это делаем. Профили перестраиваются через определенные промежутки времени.
3. Правила гораздо более дешевы с точки зрения издержек на разработку. На данный момент они дают приемлемое качество при минимальных усилиях. Но в будущем, вполне может быть, будем двигаться в сторону классификатора.
4. Профиль строится для каждого пользователя. В этом смысле модели индивидуальные. Сколько пользователей, столько и моделей.
5. Так получилось, что в какой-то момент эти закономерности стали очевидными.
Отвечаю по пунктам.
1. Чтобы пользователи не озверели, мы оцениваем уровень ложных срабатываний по описанному алгоритму. Если уровень ложных срабатываний превысит некоторый порог, то мы начнем поиск причины, по которой это произошло. Чтобы убедиться в том, что система приносит пользу, мы следим за количеством заблокированных аккаунтов. Если оно упадет ниже критического порога, то мы так же начнем искать причину, по которой это произошло. Два этих параметра дают представление о качестве работы системы.
2. Мы уже это делаем. Профили перестраиваются через определенные промежутки времени.
3. Правила гораздо более дешевы с точки зрения издержек на разработку. На данный момент они дают приемлемое качество при минимальных усилиях. Но в будущем, вполне может быть, будем двигаться в сторону классификатора.
4. Профиль строится для каждого пользователя. В этом смысле модели индивидуальные. Сколько пользователей, столько и моделей.
5. Так получилось, что в какой-то момент эти закономерности стали очевидными.
Тема «антиспам в mail.ru» раскрыта не полностью (я бы даже сказал — подменена темой «антивзлом», что не есть одно и то же).
Как насчёт писем, которые улетают в спам, причём совершенно независимо от их содержания и отправителя?
В конце прошлого года — начале этого лично столкнулся с ситуацией, когда в ящики на mail.ru не было доставлено несколько моих писем (ладно бы поздравительные открытки, так ведь нет — достаточно важные документы). А недавно обнаружили, что и с корпоративного аккаунта почта на mail.ru категорически не хочет приходить — проверили папку «спам», оказалось, mail.ru всё туда сгрузил… техподдержка посоветовала мне попросить (!) получателя проверить папку «спам». нда… знаете, это не всегда возможно и корректно (как это — я присылаю партнёру деловое письмо и прошу его найти в спаме… вы шутите?!)
Как насчёт писем, которые улетают в спам, причём совершенно независимо от их содержания и отправителя?
В конце прошлого года — начале этого лично столкнулся с ситуацией, когда в ящики на mail.ru не было доставлено несколько моих писем (ладно бы поздравительные открытки, так ведь нет — достаточно важные документы). А недавно обнаружили, что и с корпоративного аккаунта почта на mail.ru категорически не хочет приходить — проверили папку «спам», оказалось, mail.ru всё туда сгрузил… техподдержка посоветовала мне попросить (!) получателя проверить папку «спам». нда… знаете, это не всегда возможно и корректно (как это — я присылаю партнёру деловое письмо и прошу его найти в спаме… вы шутите?!)
Я считаю себя грамотным пользователем. Я не свечу свои пароли, захожу с известных мне сетей, пользуюсь генераторами. Мне каждая лишняя проверка — это куча напрасно потраченного времени, и я знаю, что я могу вести себя нестандартно, поскольку могу пользоваться своей почтой и для мониторинга и для проверки нового девайса, и посмотреть как работает вот такая прога.
Могу я надеяться, что в профайле пользователя будет опция «отключить мониторинг подозрительного поведения», которую один раз отключил и забыл?
Более чем достаточно сделать дополнительный резервный емайл и телефон (или на выбор), которые регистрируются один раз.
Чтобы изменить альтернативный емайл — подтверждение через альтернативный емайл.
Чтобы изменить телефон — подтверждение высылается через смс.
Все.
Могу я надеяться, что в профайле пользователя будет опция «отключить мониторинг подозрительного поведения», которую один раз отключил и забыл?
Более чем достаточно сделать дополнительный резервный емайл и телефон (или на выбор), которые регистрируются один раз.
Чтобы изменить альтернативный емайл — подтверждение через альтернативный емайл.
Чтобы изменить телефон — подтверждение высылается через смс.
Все.
Ну вот, теперь хакеры узнают подробности работы вашей системы и скорректируют методы своей работы.
Здесь ситуация аналогичная той, как когда-то возлагались большие надежды на байесовские спам-фильтры. Действительно, первое время байесовские фильтры надежно обнаруживали спам. Но потом они попали в руки спаммеров, были ими изучены, и к ним были разработаны методы противодействия. Можно так сказать, что статистика помогает против случайности, но не против злонамеренности.
Особенно ужаснуло вот это:
А вдруг взломщик каким-то образом сохранил доступ к аккаунту жертвы и продолжает заниматься там черными делами, а вы оставляете его в покое?
Смена пароля — это такое дело, не помогает, если у жертвы установлен клавиатурный шпион, например. И во многих других случаях.
Здесь ситуация аналогичная той, как когда-то возлагались большие надежды на байесовские спам-фильтры. Действительно, первое время байесовские фильтры надежно обнаруживали спам. Но потом они попали в руки спаммеров, были ими изучены, и к ним были разработаны методы противодействия. Можно так сказать, что статистика помогает против случайности, но не против злонамеренности.
Особенно ужаснуло вот это:
Если же после восстановления доступа к аккаунту в нем продолжается то же самое поведение, которое ранее вызвало у нас подозрения, то мы полагаем, что данное поведение теперь характерно для пользователя и система сработала ложно
А вдруг взломщик каким-то образом сохранил доступ к аккаунту жертвы и продолжает заниматься там черными делами, а вы оставляете его в покое?
Смена пароля — это такое дело, не помогает, если у жертвы установлен клавиатурный шпион, например. И во многих других случаях.
Мне кажется, изложенное в статье техническое решение — не панацея от всего, а лишь один из рубежей обороны, задача которого — бороться с нелегитимными подключениями с подозрительных ПК. Таким образом, то, что оно не спасёт от клавиатурного шпиона — это нормально. Зато оно уменьшает другие риски.
Все публичные материалы по этой системе подготовлены так, чтобы не дать подсказок как её обойти. Мы описываем общий подход, но дьявол-то в мелочах. А для того, чтобы гарантировать безопасность аккаунта после смены пароля мы рекомендуем включать двухфакторную аутентификацию.
Вспоминая заблокированный во время поездки во Вьетнам почтовый ящик жены, появилось предложение добавить кнопку «я еду в отпуск». Или настройку «любимые места для отпуска». Чтобы система так болезненно не реагировала…
У меня был совершенно тот же опыт в путешествиях. Однако эту проблему уже давно решили в некоторых банках. Например в своем интернет-банкинге я могу включить/отключить списание со своей карты для определенных стран (одной или нескольких). Обычно у меня включена одна страна, но, когда я еду путешествовать, я добавляю в список страны назначения. После возвращения из поездки — удаляю эти страны из списка. И никаких запоздалых списаний от отелей или проката машин :) Было бы отлично иметь такой фильтр и в почте. Фильтр по IP для меня всегда был бесполезен, учитывая количество NAT-сетей в моей среде, а вот фильтр по гео бы пригодился.
Я думаю, что ящик заблокировался по каким-то другим причинам. Вы можете прислать мне этот адрес на a.shchus@corp.mail.ru, я проверю, что с ним было.
Естественно эта была совокупность из отъезда во Вьетнам, мобильного клиента mail.ru и привычки жены не вчитываться в сообщения софта, а тыкать пальцами в экран «вдруг проскочит». Почему именно там мобильный клиент решил «забыть» и немедленно переспросить пароль я не знаю. Подозреваю что по команде вашей системы. Кстати у меня он стабильно «забывает» и переспрашивает пароль в метро, когда я подключен к Metro WiFi. «Случайность? Не думаю» :-).
Marshal не переспрашивает пароль. Он закрывает вход в аккаунт, а далее просит восстановить к нему доступ, подтвердив свою личность (через телефон, дополнительный адрес или службу поддержки). Тут что-то другое. Более точно смогу вам ответить, если вы отправите на мою корпоративную почту адреса ваших ящиков и приблизительное время поездки во Вьетнам.
При использовании дополнений типа frigate, которые могут автоматом менять прокси по истечению временного интервала, предупреждений о возможном взломе не приходило, просто выбрасывало с почты и просило ввести еще раз пароль. Интересно, это система научилась понимать, что если юзер каждые n минут заходит с другого географического региона, то он сидит за проксей/VPN/еще чем нибудь и его лучше не трогать? Или у вас просто прописан где-нибудь список используемых подобными дополнениями ip-шников?
Возможно, что это артефакт упрощения в примерах, но транзакции — это последовательности действий (они упорядочены аля «search-search-check»), а паттерны у вас множества (не упорядочены, не встречается чего-то в духе «check-read-check-send»). Это выглядит довольно странно, есть какая-то причина почему так сделано? Или на самом деле всё последовательности и это упрощение примеров?
Недавно сам столкнулся с работой этой системы, о которой с таким интересом читал. Впечатления неоднозначные.
С одной стороны, очень радует то, что есть какая-то дополнительная защита аккаунта. С другой стороны, эта система работает очень непонятно для пользователя: выполняется автоматический выход из аккаунта, потом надо добавить телефон (если еще не добавлен) и сменить пароль. Никакой информации о том, что и как произошло нет. Написал в техподдержку, чтобы узнать подробности. Сначала выглядело так, словно сотрудник техподдержки не знает об этой системе. Потом мне сказали, что с моего аккаунта рассылали спам, хотя в списке действий этого нет.
А потом посоветовали сменить пароль, хотя используется двухфакторная авторизация. Зачем нужно сбрасывать пароль в такой ситуации, я не знаю. Если честно, все выглядит так, словно разработчики сделали хорошую систему, но вот с пользователями она взаимодействует не очень понятно. И техподдержка не особо понимает, как она работает и что надо делать.
С одной стороны, очень радует то, что есть какая-то дополнительная защита аккаунта. С другой стороны, эта система работает очень непонятно для пользователя: выполняется автоматический выход из аккаунта, потом надо добавить телефон (если еще не добавлен) и сменить пароль. Никакой информации о том, что и как произошло нет. Написал в техподдержку, чтобы узнать подробности. Сначала выглядело так, словно сотрудник техподдержки не знает об этой системе. Потом мне сказали, что с моего аккаунта рассылали спам, хотя в списке действий этого нет.
А потом посоветовали сменить пароль, хотя используется двухфакторная авторизация. Зачем нужно сбрасывать пароль в такой ситуации, я не знаю. Если честно, все выглядит так, словно разработчики сделали хорошую систему, но вот с пользователями она взаимодействует не очень понятно. И техподдержка не особо понимает, как она работает и что надо делать.
Sign up to leave a comment.
Антиспам в Mail.Ru: как машине распознать взломщика по его поведению