PycmaM Feb 6 2009 at 09:27

Валидация Email с проверкой MX-записи домена

2 min

9.9K

Symfony*

+17

Comments 79

dioteos Feb 6 2009 at 09:37

Спасибо. Натолкнули на идею. А вроде бы на поверхности лежала). Есть один минус — если сервер пользователя находится в дауне — ваш скрипт вызовет ошибку. И юзер откроет широко глаза…
Можно расширить данную функцию, проверив домен на наличие в спамлистах. Тогда вообще круто будет.

PycmaM Feb 6 2009 at 09:57

А спам-листы это идея, попробую реализовать в свободное время(:

alexxxst Feb 6 2009 at 12:58

Не сервер, а ДНС в дауне, тогда ошибка будет.

vladon Feb 6 2009 at 16:31

«домен на наличие в спамлистах»?

это ерунда, хотите, я вам спам от вашего же почтового адреса зашлю?

Goodkat Feb 6 2009 at 19:01

давай

vladon Feb 6 2009 at 23:37

диктуйте ваш почтовый адрес и ваш MX.

Goodkat Feb 7 2009 at 01:10

может вам ещё пароль сказать, чтобы наверняка? :)

vladon Feb 7 2009 at 09:59

это совсем не обязательно.

неужели непонятно, что по домену отправителя нельзя судить о самом отправителе?
никогда не приходил спам с вашего собственного адреса?

в MAIL FROM:<example@example.com> при инициировании SMTP-сессии можно подставить что угодно, это во-первых.

во-вторых, что угодно можно подставить и в заголовок From самого письма.

Sergej_Sim Jul 24 2011 at 13:55

Данная тема заинтересовала, подскажите какой-нибудь
онлайн-сервис для быстрой проверки записей домена,
включая МХ записи

PycmaM Jul 24 2011 at 13:56

www.mxtoolbox.com/

Sergej_Sim Jul 24 2011 at 13:58

Этот сервис я знаю, он только записи МХ проверяет,
а более подробно, включая
проверку DNS записей A, NS, MX, CNAME, PTR, TXT…

PycmaM Jul 24 2011 at 14:00

man dig?

alximik Feb 6 2009 at 09:40

Сделайте кат, пожалуйста.

PycmaM Feb 6 2009 at 09:54

Давно ничего не писал, забыл совсем(:

Nik_priest Feb 6 2009 at 10:07

у меня чисто теоретический вопрос — А что часто бывают домены без MX записей? (вопрос без под%ба, просто интересно)
Действительно было бы гораздо эффективней ИМХО проверять на наличие в спам листах. Но и тут бывают косяки. Взять хотябы спамхаус — там полроссии заблочено.

dioteos Feb 6 2009 at 10:14

Существование домена без МХ записей — возможно, но встречается редко. Часто бывает, что указаны неправильные МХ.

Nik_priest Feb 6 2009 at 10:16

по первому согласен. А вот что вы понимаете под «неправильным MX» для меня загадка

dioteos Feb 6 2009 at 10:21

Я имел в виду умышленную или неумышленную ошибку в МХ записи, или указание МХ левого ресурса.

kabachok Feb 6 2009 at 12:11

у меня в MX прописан домен моего сервера, который отличается от самого домена email, это не запрещено и нормально работает, не всегда почта хостится там же где и сайт.

dioteos Feb 6 2009 at 12:16

Да. У меня тоже МХ на Гугл прописаны. В данном случае — если указаны МХ другого ресурса — неважно, знает он вас или нет, тогда функции будут показывать, что все ок. Сработает ошибка только когда МХ не найден.

PycmaM Feb 6 2009 at 10:17

Это на случай, если пользователь введет что-нить типа 'qwer@asfasfasf.ru', в большинстве случаев все же заставляет ввести существующий емыл(: Ну и избавление от назойливого экспшена доктрины, иногда бывает, что внести изменения в модель нет возможности.

Nik_priest Feb 6 2009 at 12:35

Может я ошибаюсь, но в этом случае, как мне кажется, быстрее валидировать домен на существование чем MX

unicast Feb 6 2009 at 15:33

Домены без MX записей? Ещё как бывают!
При этом MTA лезет на запись @ IN A…

vladon Feb 6 2009 at 16:34

> А что часто бывают домены без MX записей?

Строго говоря, MX-запись не обязательна. Поэтому разработчики должны исходить из того, что её может и не быть.

zepps Feb 6 2009 at 19:03

Если у домена нет MX записи, то значит что у него нет почты. А если нет почты — то и указывать ее нечего.

Cancel Feb 6 2009 at 20:03

Опа, ссылку, пожалуйста на обоснование.

zepps Feb 6 2009 at 20:05

Если бы я сказал, что если у домена нет A записи, то у него нет сайта, то тоже бы потребовался пруфлинк?

Cancel Feb 6 2009 at 20:16

Да, ибо без A-записи сайт не может работать в принципе. Однако без MX-записи почта работать может, что прямо утверждается в RFC 2821:

Usually, intermediate hosts are determined via the DNS MX record, not
by explicit "source" routing (see section 5 and appendices C and
F.2).
…
If no MX records are found, but an A RR is found, the A RR is treated as
if it was associated with an implicit MX RR, with a preference of 0,
pointing to that host.

zepps Feb 6 2009 at 20:26

Спасибо, не знал.
Но имхо, моветон — не использовать MX-записи. У меня несколько почтовых серверов, и ни на одном из них нет веб-сервера.

vladon Feb 8 2009 at 00:09

A-запись — это вовсе не веб-сервер.

Вернее, наличие A-записи не означает наличие веб-сервера.

zepps Feb 8 2009 at 00:52

Да, вы правы. Я слишком обобщил)

apelsinka Feb 6 2009 at 10:22

а вы не ставили перед собой задачу помимо мх-ов проверять еще и существование учетки на сервере, чтобы исключить возможность фейковых адресов, например dfglkshdfsgdfgs@host.ru?

PycmaM Feb 6 2009 at 10:23

каким образом?

apelsinka Feb 6 2009 at 10:30

отсылать пустое мыло на адрес и смотреть код ответа

apelsinka Feb 6 2009 at 10:30

точнее имитировать отправку письма. а потом обрывать.

vladon Feb 6 2009 at 16:36

не сойдёт, например, Exchange-сервера с дефолтными настройками принимают почту для любого аккаунта, даже несуществующего.

dioteos Feb 6 2009 at 10:30

Нашел.

Альтернативой checkdnsrr() может стать функция getmxrr(), предназначенная для возврата MX — записей для предоставленного домена. В случае, если ни одной записи не найдено, функция вернет false. Массив $mxhosts используется для сохранения всех найденных записей MX для предоставленного домена.

Ссылка на источник — netbird.ru/articles/view/email_verification
Там полностью описан процес верификации почты — от даваскрипта и до проверки МХ

apelsinka Feb 6 2009 at 10:32

это опять же проверка мх-ов, а не учетки :)

dioteos Feb 6 2009 at 10:41

Мда. Поспешил я однако. Наверное — тогда соглашусь с вами. Можно определить по коду ответа при отправке письма по адресу. Хотя и не 100% он придет. Но для реальных систем — это уже излишество. Надо придумать универсальный метод. Из академического интереса.

apelsinka Feb 6 2009 at 11:10

if (@getmxrr($domen, $mxhostsarr, $weight)) // забираем мх
{
   if (is_array($mxhostsarr) && count($mxhostsarr))
   {
      foreach ($mxhostsarr as $mxhost) // долбимся в каждый мх
      {
         $smtp_conn = @fsockopen($mxhost, 25, $errno, $errstr, 60); // устанавливаем соединение
         if ($smtp_conn)
         {
           echo "conn to ".$mxhost."\n";
           flush();
           sleep(10);
           fputs($smtp_conn,"helo hostname.ru\r\n"); // представляемся
           sleep(2);
           fputs($smtp_conn,"mail from:<>\r\n"); 
           sleep(2);
           foreach($email_list as $k => $email)
           {
              if ($smtp_conn && $email['checked']==0)  // если еще есть соединение и адрес непроверен
              {
                 fputs($smtp_conn,"rcpt to:<".$k.">\r\n"); // имитируем письмо, получаем ответ
                 sleep(1);
                 while ($str = fgets($smtp_conn))
                 {
                    $result = $str;
                    echo $k."==".$str."\n";
                    flush();
                 }
                 $ans = substr($result,0,3); 
                 if ($ans=="250")
                 {
                   // адрес проверен, активный                             
                 }
                 elseif ($ans=="550")
                 {
                    // адрес проверен, ненеактивный
                 }
                 else
                 {
                    // не удалось проверить адрес
		 }
              }
           }
           fputs($smtp_conn,"quit\r\n"); // закрываем соединение
           unset($smtp_conn);
        }
     }
   }
}

как-то так выглядят мои попытки проверки :)

dioteos Feb 6 2009 at 11:16

Круто)) И не лень вам было сейчас писать. Есть проблемма — 25 порт. Он не всегда есть портом по умолчанию.
Также настораживает
sleep(10);
sleep(2);
sleep(2);
Значит вам надо будет на валидацию одного адреса >14 секунд.
Надо новый почтовый протокол придумать).

Хотел также спросить. Только 250 — код успеха? Или есть еще?

apelsinka Feb 6 2009 at 11:32

писала полгода назад, сейчас просто нашла этот кусок.
да, долго, да 25 порт не везде по умолчанию, но в любом случае, часть мусора такой скрипт в состоянии разобрать.
насчет кодов ответа и сам smtp можете почтитать тут

dioteos Feb 6 2009 at 11:39

При сочетании всех методов — исчезает вероятность ошибочного ввода адреса.

apelsinka Feb 6 2009 at 11:47

а вот и нет :)
как уже писали:
1. почтовый сервак может быть временно в ауте, а мх вы его не получите.
2. как ни билась, но на ВСЕ адреса с mail.ru мне приходил положительный ответ о существовании учетки. даже на фейковые.
3. при удалении учетки, ее данные хранятся на серваке еще 3 месяца. а по факту писать некому.

это первое, что приходит в голову. может еще какие проблемы есть. так что на 100% неправильность мыла проверить нельзя.

dioteos Feb 6 2009 at 11:56

Только-что проверил. Да. Вы правы. Мейл.ру — нормальные ответы возвращает на любой адрес. Надо что-то понадежнее искать.
Может вариантом будет завести у себя черный список таких серверов и отправлять юзерам письмо активации почты? Другого выхода в данном направлении я не вижу.

apelsinka Feb 6 2009 at 12:07

ну так письмо при регистрации с подтверждением не только эту проблему решает :)

vladon Feb 6 2009 at 16:40

что значит 25 порт не всегда по умолчанию?

если сервер, записанный в MX, не принимает соединения на TCP 25, то это уже неверная MX-запись.

dioteos Feb 6 2009 at 17:40

А что же вы скажете о случае, когда 25 порт блокируют в целях безопасности, открывая 465 порт (secure SMTP) или 587 (Submission)? Оба варианта также описаны с помощью RFC.

vladon Feb 6 2009 at 23:36

Извините, но если ты объявляешь себя MX'ом — то обязан принимать соединения по tcp/25.

см. rfc 4409

не принимаешь — то извини, то ты не MX, а просто MTA «для своих».

dioteos Feb 7 2009 at 00:56

Извините, пожалуйста но в приведенном вами доке не совсем о том говорится. Там ни словом не упоминаются MxRR.

Посмотрите, что я накопал.

RFC 2821 Simple Mail Transfer Protocol

It is important to note that MX records can point to SMTP servers
which act as gateways into other environments, not just SMTP relays
and final delivery systems

Вот то о чем я говорил. А рассматривать МТА из внешней сети не стоит. С сетью работает MSA(587), который и есть каналом между МUA и MTA.

Ссылка на RFC: tools.ietf.org/html/rfc2821
Страница: 24

Может, я, конечно, в чем-то не прав. Не серчайте на меня=)

zepps Feb 6 2009 at 19:08

На серверах с целью защиты от спамером часто включают задержку SMTP Greeting. Она может быть до 30 секунд. Для нормальных почтовиков это не страшно, но для такого скрипта и спамеров — это вилы!

nshopik Feb 6 2009 at 12:51

Если вы делаете такую проверку то я могу использовать ваш сервис для абуза чужих емайл серверов.

apelsinka Feb 6 2009 at 12:57

я вас не поняла. честно полезла гуглить слово *абуз*, но все равно не поняла :)

PycmaM Feb 6 2009 at 13:09

проверять спам-лист на «живые» емылы, видимо это имелось в виду

nshopik Feb 6 2009 at 13:12

abuse = абуз — злоупотребление чужими ресурсами. абузо устойчивый хостинг — типичный для спамеров, которые не принимают абуз письма(жалобы).

alexxxst Feb 6 2009 at 12:59

Зачем столько слипов? Можно просто использовать блокированные сокеты с таймаутом и все.

vladon Feb 6 2009 at 16:38

увы, но подобный код не пройдёт дальше greylisting'а

zepps Feb 6 2009 at 19:06

Это будет атака типа Directory Harvesting. На большинстве почтовиков от нее защита.

UFO landed and left these words here

PycmaM Feb 6 2009 at 13:11

добавить проверку А записи ничего не стоит. Так будет хотя бы гарантия, что домен существует. А дальше по старой схеме — активация учетки через е-мыл

solenko Feb 6 2009 at 14:16

Т.е. теперь проверка будет выполнятся дважды (т.е. два запроса на удаленные сервера)? Не проще ли обрабатывать exception?

marazm Feb 6 2009 at 14:38

Думаю, стоит ознакомиться с вопросом что такое эксепшн и найти способ проще… Хотя может вселенские законы только для питона? :)

UFO landed and left these words here

y0ga Feb 6 2009 at 17:07

перехватывать этот самый эксепшн.

UFO landed and left these words here

y0ga Feb 6 2009 at 17:18

я так понял эксепшн кидает валидатор. поймать его можно например в методе isValid() формы.

vladon Feb 6 2009 at 16:33

этот способ валидации не соответствует стандартам.

согласно RFC 2821, если MX-записи нет, то MTA должен отправлять почту на A-запись.

UFO landed and left these words here

avorobiev Feb 6 2009 at 22:42

Вот и я не понимаю — зачем весь этот огород.
Просто не задавайте для поля правило валидации на email и все. Особенно учитывая что email уже прошел валидацию в контроле symfony!
Если надо получить 100% работающий почтовый ящик — зашлите на него письмо со ссылко для активации этого ящика в учетной записи пользователя (или активации самого пользователя).

Rayan Feb 8 2009 at 18:53

это скорей всего для случая с формой заказа без регистрации

avorobiev Feb 8 2009 at 19:54

В любом случае важно получить работающий емейл. Единственный способ в этом убедиться — отправить на него письмо. Что, если пользователь ошибся в имени, корректно указав домен? MX-запись для такого емейл будет в полном порядке, но связь с пользователем будет потеряна…

А избегать эксепшин доктрины да еще после валидации в контроле симфони таким образом — по моему как-то слишком сложно… Эксепшина можно избежать много проще.

Rayan Feb 8 2009 at 20:04

просто тут какой момент

есть форма заказа/обратной связи.
нам важно чтобы пользователь написал валидный мейл, дабы потом на него можно было отослать ответ
если он ошибся форма не пройдет валидацию и пользователю предложат указать правильное мыло

тут избегания эксепшына это не задача а симптом

задача — получить валидное мыло

valeraorg Feb 6 2009 at 17:51

хотелось бы иметь такй метод проверки на вооружении конечно всем, но он неработает по самой своей сути.
Дело в том что спамеры собирают свою базу ящиков из двух источников. Первое — парсинг сайтов(пауки), второе — опрос днс серверов. Последнее уже известно много лет назад, в связи с чем многие средства антиспама блокируют такие запросы.

zepps Feb 6 2009 at 19:09

А что можно узнать у DNS-сервера кроме MX-записи?

Cancel Feb 6 2009 at 20:05

SRV-записи, правда, в данном контексте они фактически не нужны.

zepps Feb 6 2009 at 20:12

Единственный адрес, который может быть полезен спамерам — это адрес администратора домена.

valeraorg Feb 7 2009 at 13:31

Да конечно это я протупил. Я имел ввиду другое. Почтовые сервера — на них можно подавать запросы на отправку письма а потом резко обрывать и делать вывод о наличии такого ящика в этом домене. Таким образом можно отсканировать довольно большой список адресов. Но эту лавочку прикрыли фильтры антиспама.

Rayan Feb 8 2009 at 18:51

Одно непонятно
где тут Doctrine?

gasyoun Dec 5 2011 at 11:24

Пригодилось еще как!