Добрый день, сообщество. В этой статье хочу поговорить о Postfix – о том, каковы принципы его работы, и о возможностях диагностики проблем. В силу специфики работы приходится с ним сталкиваться — либо для решения своих задач, либо для понимания того, как работает чужая инфраструктура. В интернете о Postfix много информации, однако в основной массе это готовые конфиги для развертывания почтового сервера с нуля. Здесь же я постараюсь охватить основные аспекты администрирования Postfix.
Известно, что Postfix разработан как альтернатива Sendmail. ПО повышало производительность, обеспечивало устойчивость, гибкость и безопасность решения. Все основные Linux-дистрибутивы включают Postfix, в Mac OS X, начиная с версии 10.3, программа также используется вместо Sendmail.
Главные особенности
- Фокус Postfix в том, что можно начинать работу без приготовлений (базовые конфигурационные файлы включают в себя пару строк).
- Для эффективной фильтрации писем применяются регулярные выражения PCRE (Perl compatible regular expression).
- Программа Postfix совместима с Sendmail: файлы aliases и .forward имеют схожий формат и семантику.
- Postfix общается по протоколу ESMTP, поддерживает виртуальные домены и фильтрацию спама.
- Не используется язык подстановки адресов как в Sendmail. Вместо этого производится поиск в плоских файлах таблиц или базе данных MySQL.
Архитектура
Postfix состоит из нескольких небольших, совместно работающих программ, которые посылают сетевые сообщения, принимают сообщения, осуществляют локальную доставку почты и другие действия. Связь между программами обеспечивается с помощью сокетов Unix или алгоритмов FIFO. Архитектура отличается от Sendmail, где всю работу нужно выполнять одной большой программе.
Запуск и контроль всех процессов выполняет программа master. В ее конфиге — master.cf -перечислены вспомогательные программы и информация о том, как и когда их нужно запустить.
Самые важные программы показаны в блок-схеме:
За прием почты на порту SMTP отвечает smtpd. Он же проверяет, авторизован ли клиент для отправки почты. Если письмо отправляется локально, через совместимость с /usr/lib/sendmail, файл будет записан в каталог /var/spool/postfix/maildrop. Этот каталог сканируется программой pickup, которая обрабатывает найденные файлы. Входящая почта обрабатывается программой cleanup. Она добавляет отсутствующие заголовки и переписывает адреса в соответствии с картами canonical и virtual. Прежде чем поместить письмо в очередь, incoming программа cleanup передает письмо программе trivial-rewrite, которая также выполняет незначительные исправления в адресах, добавляя домен и частично заполненный адрес.
Электронные письма, ожидающие доставки, находятся под управлением qmgr – администратора очередей:
Incoming – входящая почта;
Active – доставляемая почта;
Deferred – письма, доставка которых не осуществилась ранее;
Hold – письма, заблокированные в очереди администратором;
Corrupt – письма, которые невозможно прочитать.
Анализатор очередей обычно выбирает сообщение для обработки на основе алгоритма FIFO.
Также он поддерживает и более сложный алгоритм — например, отбирает события только с определенных адресов.
Чтобы не перегружать хост приемки, после доставки писем Postfix использует алгоритм медленного запуска, который позволяет контролировать скорость доставки. Отсроченные письма получают метку с обозначением времени повторной отправки. Время увеличивается экспоненциально, благодаря этому вы можете избежать траты ресурсов на сообщения, которые не удается доставить. Состояние недосягаемых мест кешируется — во избежание новых попыток.
Отправка почты идет при поддержке trivial-rewrite, утилита qmgr принимает решение, куда должно быть отправлено сообщение. Решение о маршруте может быть аннулировано transport картой.
Доставка с помощью SMTP осуществляется, конечно, smtp-программой. Lmtp осуществляет локальную пересылку почты по протоколу LMTP, использующим семантику ESMTP (https://tools.ietf.org/html/rfc2033). LMTP изменен так, что для управления локальной очередью почтовый сервер не нужен.
Задача local – локальная доставка почты. Программа распознает в таблице aliases и выполняет инструкции из файла .forward получателя. Сообщения могут быть направлены по другому адресу, переданы внешней программе на обработку или сохраниться в почтовых папках пользователей.
Программа virtual доставляет письма в виртуальные почтовые ящики – ящики, представляющие собой адреса назначения. Наконец, программа pipe реализует доставку через внешние программы.
Взаимодействие между пользователем и системой обработки регулируется утилитами:
sendmail, mailq, newaliases — интерфейс совместимости postfix и sendmail.
[root@iwtm611 ~]# sendmail user@example.com
from test@test.com
user@example.com
HI!!!
.
Поставьте "." И нажмите Enter — sendmail попытается отправить письмо.
postfix – запускает и прекращает работу системы обработки почты;
[root@iwtm611 ~]# postfix status
postfix/postfix-script: the Postfix mail system is running: PID: 16765
postalias — создает и модифицирует таблицы псевдонимов;
postmap – создает, модифицирует, запрашивает таблицы преобразований;
cat /etc/postfix/transport
onedomain.ru smtp:10.1.2.10
twodomain.ru smtp:10.1.3.10
postmap /etc/postfix/transport
postalias /etc/postfix/aliases
Утилиты фактически создают индексированные карты файлов. Повторить запуск при изменениях в файлах aliases и transport;
Postcat –напечатает содержимое файла из очереди;
[root@iwtm611 ~]# postcat -qv 96987C3CFB40
postcat: name_mask: all
postcat: inet_addr_local: configured 2 IPv4 addresses
postcat: inet_addr_local: configured 2 IPv6 addresses
*** ENVELOPE RECORDS deferred/9/96987C3CFB40 ***
…
Postsuper и postqueue – управляют почтовыми очередями. Первая используется для высокопривилегированных операций. Например, удаление очереди:
[root@iwtm611 ~]# postqueue -p
-Queue ID- --Size-- ----Arrival Time---- -Sender/Recipient-------
956FAC3CFB46 2311 Mon Jul 27 19:50:05 MAILER-DAEMON
(connect to 10.70.85.12[10.70.85.12]:25: No route to host)
user@domain.ru
Postconf – инструментальное средство, позволяющее конфигурировать postfix- конфиг main.cf. Без аргументов выводит все параметры в текущей конфигурации. Если передать значение параметра – выведет значение этого параметра. С ключом –d напечатает default-настройки, а не сконфигурированные.
[root@iwtm611 ~]# postconf virtual_mailbox_limit
virtual_mailbox_limit = 51200000
С ключом –n напечатает только значения, отличные от типовых.
Главным файлом Postfix является main.cf. Он конфигурирует серверные программы и определяет таблицы преобразований, на которые содержит ссылки. Содержит более 300 параметров. Для запуска почтового сервера в средней организации достаточно лишь несколько из них. В документацию рекомендуется включать лишь параметры, содержащие нестандартные значения.
Базовая возможная настройка
Супер-простая конфигурация – пустой файл. Как ни странно, вполне приемлемая и приводит к тому, что создается почтовый сервер, осуществляющий локальную доставку почты в пределах домена локального хоста. Любые нелокальные сообщения посылаются дистанционным серверам.
Второй вариант – null клиент. Система не выполняет локальную доставку, а направляет исходящую почту на указанный почтовый сервер. При этом конфиге указывается несколько параметров: mydomain – определяющий домен компьютера; myorigin — определяющий почтовый домен, добавляемый к почтовым адресам. Третьим параметром будет mydestination, определяющий локальные почтовые домены (они же canonical домены). Если домен получателя соответствует mydestination, письмо доставит программа local (при условии что файла .forward не найдено). Если в mydestination несколько записей, они рассматриваются как псевдонимы одного домена. Null клиенту локальная доставка не нужна, поэтому параметр mydestination — пустой. Также программа local проведет поиск псевдонима адреса в таблицах alias_maps. Наконец, параметр relayhost оповещает Postfix о том, что нелокальные сообщения нужно посылать на указанный компьютер, а не адресатам. Квадратные скобки говорят о том, что указанная строка обрабатывается как имя компьютера, то есть A не MX запись DNS. Null клиент не должен получать почту с других систем – комментируем строчку smtpd в файле master.cf – программа smtpd не запустится.
Преобразования и виртуальные домены
Аспекты поведения Postfix определяются использованием таблиц поиска, отражающих ключи как значения тип: путь или просто как списки. Например, таблица alias_maps:dbm:/etc/mail/aliases.
Обратите внимание, синтаксис ключ: значение обеспечивает совместимость с Sendmail.
Помимо традиционного файла базы данных бинарного формата dbm, источником данных для таблицы преобразований может быть ldap, regexp выражения, postgres, Mysql и многое другое.
Если вам нужно обслуживать почтовый домен, то можно сделать это тремя путями:
— Указать домен в mydestination – доставка пойдет по схеме, описанной выше;
— Указать домен в параметре virtual_alias_domains. Домен получит собственное адресное пространство. Потребуется обеспечить возможность преобразования адресов в реальные (карта virtual_alias_maps);
— Указать домен в virtual_mailbox _domains. Здесь также будет собственное именное пространство. Но управление списком пользователей будет независимым от системных учеток. Потребуется указать параметр virtual_mailbox _maps c таблицей действительных пользователей в домене.
Защита и доступ
Postfix защищает себя на нескольких уровнях. Большинство серверных Postfix-программ могут выполняться в среде с измененным корневым каталогом (chroot). Они являются отдельными программами без связи Родитель-дочерний. Ни одна из них не имеет бита setuid. Каталог, в который направлена почта, открыт для записи группе postdrop, для нее — программа postdrop setgid.
Что касается доступа, почтовые домены ретранслируют почту на сторонние адреса только для надежных агентов. Открытая ретрансляция с неизвестных адресов, как известно, не сулит ничего хорошего. Postfix по умолчанию закрыт как ретранслятор. Стандартные настройки сильно ограничены, возможно вам придется ослаблять ограничения. Доступы конфигурируются списками ограничения доступа access restriction list. Важнейшим параметром будет smtpd_recipient_restrictions, так как адресом получателя куда проще управлять. По крайней мере, можно установить локальный ли он.
Вот список ограничений для проверки ретрансляции:
Check_client_address – проверяет адрес ПК клиента;
Check_recipient_access – проверяет почтовый адрес получателя;
Permit_mynetworks – предоставляет доступ к адресам в параметре mynetworks;
Reject_anauth_destination – отклоняет почту для нелокальных получателей – ретрансляция отсутствует.
Одна из мер защиты – строгая реализация протокола ESMTP. Легитимные почтовые сервера протокол принимают, а рассылки спама могут не принять и дискредитировать себя. Однако сейчас технология уже не столь надежна. Есть злоумышленники, способные обработать легитимную почту.
Черные списки основаны на информации из DNS – разрешаются директивой reject_rhsbl_sender – после указывается DNS-сервер, также reject_rbl_client , только проверяет имя PC, а не доменное имя.
Фильтрация – для проверки самого Body письма Postfix использует regexp выражения в реальном времени. А также может передавать сообщения другим программам. Postfix поддерживает SpamAssasin и фильтры подобного рода.
До сих пор в версиях Posfix удавались лишь DDOS атаки.
Отладка
Если возникла проблема с почтой, первым делом можно заглянуть в журнальные файлы Posfix. Каждая Postfix-программа регистрирует запись в журнале для обработанного сообщения.
Идентификатор письма 96987C3CFB40 — общий для каждой строки. Postfix присвоит его, как только сообщение попадает в систему и никогда не изменяет. Таким образом, при поиске в журнале можно сосредоточиться на поиске ID, затем с помощью grep отследить маршрут.
[root@iwtm611 ~]# tailf /var/log/maillog
Jul 27 20:00:08 iwtm611 postfix/smtp[8576]: 96987C3CFB40: to=<user@domain.ru>, relay=none, delay=603, delays=600/0.06/3/0, dsn=4.4.1, status=deferred (connect to 10.70.85.12[10.70.85.12]:25: No route to host)
Jul 27 20:00:08 iwtm611 postfix/error[8585]: 98640C3CFB4D: to=<user@domain.ru>, relay=none, delay=603, delays=600/3.1/0/0, dsn=4.4.1, status=deferred (delivery temporarily suspended: connect to 10.70.85.12[10.70.85.12]:25: No route to host)
Jul 27 20:00:08 iwtm611 postfix/error[8585]: 98E5CC3CFB77: to=<user@domain.ru>, relay=none, delay=603, delays=600/3.1/0/0.01, dsn=4.4.1, status=deferred (delivery temporarily suspended: connect to 10.70.85.12[10.70.85.12]:25: No route to host)
Jul 27 20:00:08 iwtm611 postfix/error[8585]: 99C8DC3CFB62: to=<user@domain.ru>, relay=none, delay=603, delays=600/3.1/0/0, dsn=4.4.1, status=deferred (delivery temporarily suspended: connect to 10.70.85.12[10.70.85.12]:25: No route to host)
Другим местом поиска является сама очередь. Утилита postqueue –p (или аналогичный вывод mailq) печатает содержимое очереди.
[root@iwtm611 ~]# mailq
-Queue ID- --Size-- ----Arrival Time---- -Sender/Recipient-------
90190C3B9B9F 2242 Mon Jul 27 19:50:05 MAILER-DAEMON
(connect to 10.70.85.12[10.70.85.12]:25: No route to host)
user@domain.ru
95E96C3CFB5A 2307 Mon Jul 27 19:50:05 MAILER-DAEMON
(delivery temporarily suspended: connect to 10.70.85.12[10.70.85.12]:25: No route to host)
user@domain.ru
956FAC3CFB46 2311 Mon Jul 27 19:50:05 MAILER-DAEMON
(delivery temporarily suspended: connect to 10.70.85.12[10.70.85.12]:25: No route to host)
user@domain.ru
96987C3CFB40 2311 Mon Jul 27 19:50:05 MAILER-DAEMON
(delivery temporarily suspended: connect to 10.70.85.12[10.70.85.12]:25: No route to host)
user@domain.ru
97944C3CFB5E 2311 Mon Jul 27 19:50:05 MAILER-DAEMON
(delivery temporarily suspended: connect to 10.70.85.12[10.70.85.12]:25: No route to host)
user@domain.ru
postcat –qv 96987C3CFB40 Найдет письмо по ID, покажет заголовок и дополнительную информацию:
[root@iwtm611 ~]# postcat -qv 96987C3CFB40
postcat: name_mask: all
postcat: inet_addr_local: configured 2 IPv4 addresses
postcat: inet_addr_local: configured 2 IPv6 addresses
*** ENVELOPE RECORDS deferred/9/96987C3CFB40 ***
message_size: 2311 201 1 0 2311
message_arrival_time: Mon Jul 27 19:50:05 2020
create_time: Mon Jul 27 19:50:05 2020
…….
regular_text: Return-Path: <user@domain.ru>
regular_text: Received: from Vvpc (unknown [10.254.1.250])
regular_text: by iwtm611.local (Postfix) with ESMTP id BCB42C3CFB62
regular_text: for <usr111@test.com>; Thu, 2 Jul 2020 12:48:45 +0300 (MSK)
regular_text: MIME-Version: 1.0
regular_text: From: user@domain.ru
regular_text: To: usr111@test.com
regular_text: Date: 2 Jul 2020 12:48:40 +0300
regular_text: Subject: test
regular_text: Content-Type: text/plain; charset=utf-8
regular_text: Content-Transfer-Encoding: base64
regular_text: Message-Id: <20200702094845.BCB42C3CFB62@iwtm611.local>
regular_text: --BCB42C3CFB62.1595868605/iwtm611.local--
*** HEADER EXTRACTED deferred/9/96987C3CFB40 ***
*** MESSAGE FILE END deferred/9/96987C3CFB40 ***
qshape – новый инструмент свежих версий – показывает сводную статистику содержимого и подводит итог – количество минут, в течение которых сообщение отправляется. Например, для итога по домену отправителя запустите qshape –s, а отклоненные письма можно посмотреть через параметр qshape deferred.
В примере таблицы можно увидеть, что 4 сообщения на gmail висят в очереди более 120 минут.
Рикошет – вызывается параметром soft_bounce. Это конфигурационный параметр. Postfix будет отправлять временные сообщения при отправке сообщений об ошибках типа: user_unknown или relay_denied. Это эффективное средство, позволяющее отслеживать местонахождение сообщения после изменений конфигурации и не терять их. Все, что вы отклоните, в конечном итоге вернется отправителю. Не забудьте это отключить после завершения проверки.
Для проверки доступа в Postfix есть расширение xclient, имитирующее отправку сообщений из другого места. Включается в main.cf параметром smtpd_autorized_xclient_hosts.
Postfix можно легко установить и запустить. Но быстро разобраться и решить проблему его внедрения в незнакомой структуре, удастся лишь при понимании тонкостей его работы. Надеюсь, кому-то эта статья поможет сэкономить время и силы на выявление причин проблем. И понять, почему почтовая система работает таким образом, а не иначе.
Автор: Галиулин Тимур GTRch
