В этом топике вы узнаете, как грамотно настроить, сервер исходящей почты и в частности функцию mail() в PHP. Сам являюсь жутким педантом. Люблю, что бы везде было все на своих местах, не терплю халтуры. Увидев один раз полную чушь в заголовках письма со своего сервера я разобрался с этим кардинально и безоговорочно. Под грамотной настройкой я подразумеваю такую, которая удовлетворяет потребности спам фильтров крупных почтовых систем, и просто выглядело красиво и осмысленно.
Как известно протокол SMTP не подразумевает никаких средств защиты от спама и аутентификации пользователя, поэтому крупными и не очень компаниями были придуманы «фиксы» безопасности протокола.
Если вы устанавливаете выделенный сервер с доменом размещенным на нем, очень рекомендуется выполнить данные настройки, что бы все было как надо.
На изучение этого вопроса я потратил немало времени, разобравшись в каждом заголовке. Начал с базовой настройки из пакетов, при этом из предоставляемых пакетов выбрал, то что понравилось, а закончил тонким феншуем, который я так до конца не воплотил, ибо это уже было совсем изыск.
Название заголовка выбрал именно такое, так как вначале своего пути я искал что-то вроде этого. Настраивать будем postfix, php, dns (ptr, spf), и другое.
Эта статья будет интересная людям, настраивающим выделеные сервера, но не менее интересна для обычных программистов.
К слову данную инструкцию я использую для своих проектов. Системы автоматизированного получения приглашений и получения виз в страны Шенгена: https://goingrus.com/ru, весь софт крутится на виртуальной машине.
Подробности под катом
Кто-то пользуется либами, которые заменяют функцию mail (например phpmailer), они могут общаться с SMTP напрямую, а могут отправлять и на локальный сервер. Но лучше использовать стандартную встроенную и настроенную функцию PHP mail() которая будет отправлять почту на локальный сервер исходящей почты, который в свою очередь будет с ней сам разбираться. При использовании данной функции тормозов всегда наименьшее количество, так как локальный почтовый агент быстро принимает либо отклоняет почту, а если принимает, то доставляет самостоятельно.
Статья отформатирована не самым лучшим образом. Извиняюсь, время поджимает, а рассказать хочется пока вспомнил, а то потом не времени будет.
Тестируем вот этим методом
Мы будем очень много читать заголовки писем. Просматривать заголовки очень удобно в gmail, там есть такая фишка в 2 клика, сами найдете.
— Вот этих заголовков от gmail.com
Прошу заметить, что это заголовки с которыми письмо попадает в ящик конечного пользователя
— А так же этих заголовков от mail.ru
Когда вы только начнете, вы увидите, что таких красивых заголовков у вас нет. Принимающий сервер почты будет считать вас каким-то чучмеком, об этом и будет писать в заголовке письма с предупреждением, что вот еще чуть чуть и он тебя точно в блек-лист поставит. Вся информация в заголовке используются всеми цепочками серверов и принимающий агент для того что бы в зависимости от настроек спам фильтра отклонить письмо или принять. Самые драконовые методы это блек-листы, а мягкие определяют плохих по заголовкам и жалобам.
Так же замечаю, если установить в функции mail() 4-й параметр и поставить туда заголовок From то и заголовок From: no-reply@goingrus.com тоже изменится, а если не задавать, то оно будет автоматически определяться таким же как и заголовок Return-path: <no-reply@goingrus.com>, что вы можете видеть у меня в заголовках.
Очень удобна такая схема: отправка идет через сервер с измененным заголовком From, а прием на gmail (через службы домена). Желательно, что бы почта тоже принадлежала к тому же домену, для которого настроен сервер, а так же выполнены некоторые пункты указанные ниже.
— Совет
Господа, я люблю ставить все пакетами и новичкам не советую заниматься самодеятельностью, во многих пакетах уже есть скрипты автоматической настройки, результаты которых надо только чутка подправить и все будет хорошо. Кроме того, из репозиториев оно само обновляется и вообще меньше запары просто потому что её меньше.
— Настройка PHP
Ставим как хотим php, это вы как-нибудь без меня.
Идем в настройки php, заменяем эквивалентно:
Этим мы указали заголовок Return-Path: <no-reply@goingrus.com>
Кстати 1: это будет таковым для всех виртуальных доменов сервера, что бы это исправить и настроить под текущий, то требуется передать 5-й параметр в функцию mail().
Кстати 2: если вы поставите 5-й параметр на обычном виртуальном хостинге, то вам тоже рекомендуется проводить настройку вашего домена, как это описано ниже. Обращаю внимание, что операцию с PTR записями сделать невозможно, так как 1 IP = Домен, ну или по крайней мере не рекомендуется делать их 2, не помню уже.
— Настройка MTA, он же локальный сервер исходящей почты
Я вам искренне советую postfix, далее идем в настройки /etc/postfix/main.cf
для тех, кто уже нарвался на sendmail, и понял как они трудно выпиливаются из системы, советую команду:
Далее, делаем эквивалетно вот так
myhostname = goingrus.com
#smtp_helo_name = srv.goingrus.com
mydestination = _ALL_, goingrus.com, srv.goingrus.com, localhost.goingrus.com, localhost
(srv.goingrus.com — это мой сервер в домене goingrus.com)
— Если я не ошибаюсь, это помогло. Когда агент доставки представляется другому серверу передается HELO. Поменяете myhostname, поменяется следующий заголовок:
Message-Id: <20120121212420.460BC9B7@goingrus.com>
— smtp_helo_name по дефолту это myhostname, читаем матчасть
— mydestination — если я не ошибаюсь, это задает те домены с которых MTA будет принимать почту на обработку, если у вас виртуальный хостинг (что я устроил на сервере дома), то без _ALL_ у вас будут проблемы с отправкой почты с других доменов кроме указанных.
Ну вот, видите, заголовки уже намного правильнее не так ли, а то ужас поначалу был.
— Разборки с почтовыми сервисами (почтовики)
А они нас считают как недобрый источник.
Наш сервер смог правильно helo представиться, но вот только почтовики нам все равно не доверяют.
Для этого были придуман алгоритм, для того что бы владелец домена с помощью DNS (если он конечно грамотный как мы) мог указывать, что вот таким-то серверам можно доверять, а другим нельзя.
У вас вместо ужаса который сейчас должно получиться вот это:
Мы уже на пути к истине. К слову, по умолчанию, почтовик все считает как v=spf1 ~all, что понижает уровень порога входа в блек лист, и а так же можно пользоваться вашим доменом для отправки спама, и вас сами того не знали пометят как плохиша на будущие времена.
Идем в ДНС и создаем TXT запись в вашем домене, в моем случае goingrus.com
v=spf1 +mx +a:goingrus.com +a:srv.goingrus.com +include:gmail.com -all
v=spf1
это означает, что версия алгоритма spf1
+mx
Можно доверять почте если она отправлена с серверов mx, например если mx.goingrus.com это сервер приема, то если этот сервер будет отправлять, то все будет хорошо.
+a:goingrus.com
Можно доверять серверу, обслуживающий домен goingrus.com
так же добавлю, например на моем почтовом сервере разместился pupkin.ru.
Я дал Пупкину погонять мой почтовый сервер исходящей почты srv.goingrus.com (обычная ситуация виртуального хостинга, он всегда стоит локально, как бд, и все все все). Тогда он у себя должен настроить +a:srv.goingrus.com
+include:gmail.com
Импортируем все правила gmail.com, у них тоже есть такая запись TXT для своих серверов. (я использую сервисы google для домена)
-all
Указываем, что админ считает другие места не своими, и это может быть ближайший бордель в подворотне рассылающий спам от моего имени
(+all а это означает, что весь мир мои друзья)
Матчасть для самообучения
http://ru.wikipedia.org/wiki/Sender_Policy_Framework
— Разборки с почтовыми сервисами, настройка обратной PTR
Почтовики еще спрашивают обратные доменные зоны PTR для дополнительной галочки, думаю эта галочка одна из самых жирных, так как она 100% определяет сервер, и если он ведет себя правильно, то ему очень сильно доверяют и любое письмо наверняка дойдет до адресата.
X-Mru-PTR: goingrus.com, он же есть в google наврное это Received: from goingrus.com (goingrus.com. [188.134.79.140])
Заметка:
В виртуальном хостинге вам это сделать не дадут, у них на этот адрес замапин свой сервер, какой-нибудь servername.badhosting.ru, на котором вы и размещаетесь, да и вообще только на собственном серваке с собственным IP это возможно провернуть.
Интересно: Если вы живете дома, а у меня один из серверов стоит дома, в частности goingrus.com. Что делать? вроде IP выделенный, а обратный адрес, не настроить. Я позвонил выше (к провайдеру) сказал мол так и так хочу PTR зону. Мне её сделали, очень доволен.
X-Mru-BL: 0:0:0:0 упаси вас иметь что-нибудь кроме нолей, это блеклисты.
X-Mru-OF: интерфейс с которого посылается, я так и не понял от чего это зависит.
X-PHP-Originating-Script: — я бы советовал добавлять, хотя если вы очень печетесь о безопасности и неразглашении, то можно и запретить. Делается это неподалеку от той настройки PHP которой мы делали. По умолчанию включено.
Еще можно и интересно посмотреть что пишет Яндекс при приеме, очень интересно.
Там еще какие-то цифровые подписи есть.
определяется заголовком, DKIM-Signature
С виду у меня уже было все в порядке, а этот заголовок не очень нужен. Он нужен обычно сервисом очень крупного масштаба вроде facebook или google где рассылка уведомлений и почты идет в гигатонном масштабе. Если ваш сервис не обладает миллионами пользователей, то не думайте об этом, хотя если вы изыскатель — напишите как об этом здесь и мы свяжем статьи — что бы все казалось полностью законченным, только я прошу намного проще написать, так как уже где-то видел статьи про это все. От себя добавлю что мне было лень устанавливать еще один пакет, разбираться и еще что-нить.
Материала к сожалению нет, так как по крупицам отовсюду собирал 4 месяца назад, потом меня не было времени, а теперь я написал по памяти.
Удачной грамотной настройки вашего сервера. Я попробовал объяснить хотя бы один из нескольких аспектов настройки.
UPD:
Найден интересный пруф по теме: http://forum.ixbt.com/topic.cgi?id=7:26978
Так же интересно прочитать:
http://habrahabr.ru/blogs/sysadm/114852/
UPD2: 2012.08.02
Классная статья как раз по теме!
http://habrahabr.ru/post/141534/
UPD3: 2013.04.04
Понадеявшийся на сознательность/внимательность людей, я поставил труадреса, для того, то вы Вы увидели реальную картину и их сменили. Мне не однократно приходили на почту сообщения с бессмысленным содержанием, поэтому я изменил адрес на YOURMAIL@DOMAIN.DOM
Как известно протокол SMTP не подразумевает никаких средств защиты от спама и аутентификации пользователя, поэтому крупными и не очень компаниями были придуманы «фиксы» безопасности протокола.
Если вы устанавливаете выделенный сервер с доменом размещенным на нем, очень рекомендуется выполнить данные настройки, что бы все было как надо.
На изучение этого вопроса я потратил немало времени, разобравшись в каждом заголовке. Начал с базовой настройки из пакетов, при этом из предоставляемых пакетов выбрал, то что понравилось, а закончил тонким феншуем, который я так до конца не воплотил, ибо это уже было совсем изыск.
Название заголовка выбрал именно такое, так как вначале своего пути я искал что-то вроде этого. Настраивать будем postfix, php, dns (ptr, spf), и другое.
Эта статья будет интересная людям, настраивающим выделеные сервера, но не менее интересна для обычных программистов.
К слову данную инструкцию я использую для своих проектов. Системы автоматизированного получения приглашений и получения виз в страны Шенгена: https://goingrus.com/ru, весь софт крутится на виртуальной машине.
Подробности под катом
Преамбула
Кто-то пользуется либами, которые заменяют функцию mail (например phpmailer), они могут общаться с SMTP напрямую, а могут отправлять и на локальный сервер. Но лучше использовать стандартную встроенную и настроенную функцию PHP mail() которая будет отправлять почту на локальный сервер исходящей почты, который в свою очередь будет с ней сам разбираться. При использовании данной функции тормозов всегда наименьшее количество, так как локальный почтовый агент быстро принимает либо отклоняет почту, а если принимает, то доставляет самостоятельно.
Статья отформатирована не самым лучшим образом. Извиняюсь, время поджимает, а рассказать хочется пока вспомнил, а то потом не времени будет.
Чем проверять нашу работу?
Тестируем вот этим методом
$result = mail('yourmail@domain.ru', 'subject', 'message');
if($result)
{
echo 'все путем';
}
else
{
echo 'что-то не так';
}
Мы будем очень много читать заголовки писем. Просматривать заголовки очень удобно в gmail, там есть такая фишка в 2 клика, сами найдете.
Каких целей в заголовках нам требуется достичь?
— Вот этих заголовков от gmail.com
Прошу заметить, что это заголовки с которыми письмо попадает в ящик конечного пользователя
Delivered-To: YOURMAIL@DOMAIN.DOM
Received: by 10.182.0.137 with SMTP id 9cs9033obe;
Sat, 21 Jan 2012 13:25:09 -0800 (PST)
Received: by 10.205.119.199 with SMTP id fv7mr1052469bkc.113.1327181107295;
Sat, 21 Jan 2012 13:25:07 -0800 (PST)
Return-Path: <no-reply@goingrus.com>
Received: from goingrus.com (goingrus.com. [188.134.79.140])
by mx.google.com with ESMTP id ua10si4066845bkb.110.2012.01.21.13.25.06;
Sat, 21 Jan 2012 13:25:07 -0800 (PST)
Received-SPF: pass (google.com: domain of no-reply@goingrus.com designates 188.134.79.140 as permitted sender) client-ip=188.134.79.140;
Authentication-Results: mx.google.com; spf=pass (google.com: domain of no-reply@goingrus.com designates 188.134.79.140 as permitted sender) smtp.mail=no-reply@goingrus.com
Received: by goingrus.com (Postfix, from userid 1002)
id 9913B61D; Sun, 22 Jan 2012 01:24:55 +0400 (MSK)
To: YOURMAIL@DOMAIN.DOM
Subject: subject
X-PHP-Originating-Script: 1002:index.php
Message-Id: <20120121212455.9913B61D@goingrus.com>
Date: Sun, 22 Jan 2012 01:24:55 +0400 (MSK)
From: no-reply@goingrus.com
— А так же этих заголовков от mail.ru
Return-path: <no-reply@goingrus.com> Received-SPF: pass (mx64.mail.ru: domain of goingrus.comdesignates 188.134.79.140 as permitted sender) client-ip=188.134.79.140; envelope-from=no-reply@goingrus.com; helo=goingrus.com; Received: from [188.134.79.140] (port=64667 helo=goingrus.com) by mx64.mail.ru with esmtp (envelope-from <no-reply@goingrus.com>) id 1RoiQJ-0005E9-6r for goingrus@list.ru; Sun, 22 Jan 2012 01:24:31 +0400 X-Mru-BL: 0:0:0:0 X-Mru-PTR: goingrus.com X-Mru-NR: 1 X-Mru-OF: Linux (ethernet/modem) X-Mru-RC: RU Received: by goingrus.com (Postfix, from userid 1002) id 460BC9B7; Sun, 22 Jan 2012 01:24:20 +0400 (MSK) To: goingrus@list.ru Subject: subject X-PHP-Originating-Script: 1002:index.php Message-Id: <20120121212420.460BC9B7@goingrus.com> Date: Sun, 22 Jan 2012 01:24:20 +0400 (MSK) From: no-reply@goingrus.com X-Spam: Not detected X-Mras: Ok X-Mru-Authenticated-Sender: uid:1002@goingrus.com
Когда вы только начнете, вы увидите, что таких красивых заголовков у вас нет. Принимающий сервер почты будет считать вас каким-то чучмеком, об этом и будет писать в заголовке письма с предупреждением, что вот еще чуть чуть и он тебя точно в блек-лист поставит. Вся информация в заголовке используются всеми цепочками серверов и принимающий агент для того что бы в зависимости от настроек спам фильтра отклонить письмо или принять. Самые драконовые методы это блек-листы, а мягкие определяют плохих по заголовкам и жалобам.
Так же замечаю, если установить в функции mail() 4-й параметр и поставить туда заголовок From то и заголовок From: no-reply@goingrus.com тоже изменится, а если не задавать, то оно будет автоматически определяться таким же как и заголовок Return-path: <no-reply@goingrus.com>, что вы можете видеть у меня в заголовках.
Очень удобна такая схема: отправка идет через сервер с измененным заголовком From, а прием на gmail (через службы домена). Желательно, что бы почта тоже принадлежала к тому же домену, для которого настроен сервер, а так же выполнены некоторые пункты указанные ниже.
Приступим
— Совет
Господа, я люблю ставить все пакетами и новичкам не советую заниматься самодеятельностью, во многих пакетах уже есть скрипты автоматической настройки, результаты которых надо только чутка подправить и все будет хорошо. Кроме того, из репозиториев оно само обновляется и вообще меньше запары просто потому что её меньше.
— Настройка PHP
Ставим как хотим php, это вы как-нибудь без меня.
Идем в настройки php, заменяем эквивалентно:
sendmail_path = /usr/sbin/sendmail -t -i -fno-reply@goingrus.com
Этим мы указали заголовок Return-Path: <no-reply@goingrus.com>
Кстати 1: это будет таковым для всех виртуальных доменов сервера, что бы это исправить и настроить под текущий, то требуется передать 5-й параметр в функцию mail().
$result = mail('YOURMAIL@DOMAIN.DOM', 'subject', 'message', 'From ...', '-fno-reply@yourdomine.ru');
Кстати 2: если вы поставите 5-й параметр на обычном виртуальном хостинге, то вам тоже рекомендуется проводить настройку вашего домена, как это описано ниже. Обращаю внимание, что операцию с PTR записями сделать невозможно, так как 1 IP = Домен, ну или по крайней мере не рекомендуется делать их 2, не помню уже.
— Настройка MTA, он же локальный сервер исходящей почты
Я вам искренне советую postfix, далее идем в настройки /etc/postfix/main.cf
для тех, кто уже нарвался на sendmail, и понял как они трудно выпиливаются из системы, советую команду:
aptitude purge sendmail
Далее, делаем эквивалетно вот так
myhostname = goingrus.com
#smtp_helo_name = srv.goingrus.com
mydestination = _ALL_, goingrus.com, srv.goingrus.com, localhost.goingrus.com, localhost
(srv.goingrus.com — это мой сервер в домене goingrus.com)
— Если я не ошибаюсь, это помогло. Когда агент доставки представляется другому серверу передается HELO. Поменяете myhostname, поменяется следующий заголовок:
Message-Id: <20120121212420.460BC9B7@goingrus.com>
— smtp_helo_name по дефолту это myhostname, читаем матчасть
— mydestination — если я не ошибаюсь, это задает те домены с которых MTA будет принимать почту на обработку, если у вас виртуальный хостинг (что я устроил на сервере дома), то без _ALL_ у вас будут проблемы с отправкой почты с других доменов кроме указанных.
Ну вот, видите, заголовки уже намного правильнее не так ли, а то ужас поначалу был.
— Разборки с почтовыми сервисами (почтовики)
А они нас считают как недобрый источник.
Наш сервер смог правильно helo представиться, но вот только почтовики нам все равно не доверяют.
Для этого были придуман алгоритм, для того что бы владелец домена с помощью DNS (если он конечно грамотный как мы) мог указывать, что вот таким-то серверам можно доверять, а другим нельзя.
У вас вместо ужаса который сейчас должно получиться вот это:
Received-SPF: pass (google.com: domain of no-reply@goingrus.com designates 188.134.79.140 as permitted sender) client-ip=188.134.79.140; Received-SPF: pass (mx64.mail.ru: domain of goingrus.com designates 188.134.79.140 as permitted sender) client-ip=188.134.79.140; envelope-from=no-reply@goingrus.com; helo=goingrus.com;
Мы уже на пути к истине. К слову, по умолчанию, почтовик все считает как v=spf1 ~all, что понижает уровень порога входа в блек лист, и а так же можно пользоваться вашим доменом для отправки спама, и вас сами того не знали пометят как плохиша на будущие времена.
Идем в ДНС и создаем TXT запись в вашем домене, в моем случае goingrus.com
v=spf1 +mx +a:goingrus.com +a:srv.goingrus.com +include:gmail.com -all
v=spf1
это означает, что версия алгоритма spf1
+mx
Можно доверять почте если она отправлена с серверов mx, например если mx.goingrus.com это сервер приема, то если этот сервер будет отправлять, то все будет хорошо.
+a:goingrus.com
Можно доверять серверу, обслуживающий домен goingrus.com
так же добавлю, например на моем почтовом сервере разместился pupkin.ru.
Я дал Пупкину погонять мой почтовый сервер исходящей почты srv.goingrus.com (обычная ситуация виртуального хостинга, он всегда стоит локально, как бд, и все все все). Тогда он у себя должен настроить +a:srv.goingrus.com
+include:gmail.com
Импортируем все правила gmail.com, у них тоже есть такая запись TXT для своих серверов. (я использую сервисы google для домена)
-all
Указываем, что админ считает другие места не своими, и это может быть ближайший бордель в подворотне рассылающий спам от моего имени
(+all а это означает, что весь мир мои друзья)
Матчасть для самообучения
http://ru.wikipedia.org/wiki/Sender_Policy_Framework
— Разборки с почтовыми сервисами, настройка обратной PTR
Почтовики еще спрашивают обратные доменные зоны PTR для дополнительной галочки, думаю эта галочка одна из самых жирных, так как она 100% определяет сервер, и если он ведет себя правильно, то ему очень сильно доверяют и любое письмо наверняка дойдет до адресата.
X-Mru-PTR: goingrus.com, он же есть в google наврное это Received: from goingrus.com (goingrus.com. [188.134.79.140])
Заметка:
В виртуальном хостинге вам это сделать не дадут, у них на этот адрес замапин свой сервер, какой-нибудь servername.badhosting.ru, на котором вы и размещаетесь, да и вообще только на собственном серваке с собственным IP это возможно провернуть.
Интересно: Если вы живете дома, а у меня один из серверов стоит дома, в частности goingrus.com. Что делать? вроде IP выделенный, а обратный адрес, не настроить. Я позвонил выше (к провайдеру) сказал мол так и так хочу PTR зону. Мне её сделали, очень доволен.
Еще немного слов о заголовках (все вперемешку)
X-Mru-BL: 0:0:0:0 упаси вас иметь что-нибудь кроме нолей, это блеклисты.
X-Mru-OF: интерфейс с которого посылается, я так и не понял от чего это зависит.
X-PHP-Originating-Script: — я бы советовал добавлять, хотя если вы очень печетесь о безопасности и неразглашении, то можно и запретить. Делается это неподалеку от той настройки PHP которой мы делали. По умолчанию включено.
Еще можно и интересно посмотреть что пишет Яндекс при приеме, очень интересно.
Дополнительно
Там еще какие-то цифровые подписи есть.
определяется заголовком, DKIM-Signature
С виду у меня уже было все в порядке, а этот заголовок не очень нужен. Он нужен обычно сервисом очень крупного масштаба вроде facebook или google где рассылка уведомлений и почты идет в гигатонном масштабе. Если ваш сервис не обладает миллионами пользователей, то не думайте об этом, хотя если вы изыскатель — напишите как об этом здесь и мы свяжем статьи — что бы все казалось полностью законченным, только я прошу намного проще написать, так как уже где-то видел статьи про это все. От себя добавлю что мне было лень устанавливать еще один пакет, разбираться и еще что-нить.
Материала к сожалению нет, так как по крупицам отовсюду собирал 4 месяца назад, потом меня не было времени, а теперь я написал по памяти.
Удачной грамотной настройки вашего сервера. Я попробовал объяснить хотя бы один из нескольких аспектов настройки.
UPD:
Найден интересный пруф по теме: http://forum.ixbt.com/topic.cgi?id=7:26978
Так же интересно прочитать:
http://habrahabr.ru/blogs/sysadm/114852/
UPD2: 2012.08.02
Классная статья как раз по теме!
http://habrahabr.ru/post/141534/
UPD3: 2013.04.04
Понадеявшийся на сознательность/внимательность людей, я поставил труадреса, для того, то вы Вы увидели реальную картину и их сменили. Мне не однократно приходили на почту сообщения с бессмысленным содержанием, поэтому я изменил адрес на YOURMAIL@DOMAIN.DOM
