Сегодня рано с утра обнаружил на одном из серверов что несколько часов назад изменился файл /etc/passwd и /etc/shadow, так же сервер был перезагружен. Как вы догадались, я этот процесс не инициировал.
В ходе анализа логов, внесенных изменений в конфигурацию сервера стало ясно:
1) Изменение файлов со списком пользователей заключалось в добавлении пользователя support и назначении ему uid 0.
2) Данный пользователь был добавлен с консоли сервера (точнее tty2), причем пользователем root.
Дальнейший анализ показал следующее…
Проблемный сервер был на базе платформы Supermicro с доступным из сети Интернет IPMI интерфейсом, возможность авторизоваться с терминала tty2 можно только с него.
Доступ по IP к IPMI ограничен не был, так как доступ к нему нужен нескольким сотрудникам которые часто перемещаются в пределах РФ и не имеют постоянного IP адреса.
Пароли для IPMI пользователей были достаточно сложные, также использовался SSL, так что варианты перехвата доступов я откинул сразу.
В ходе поиска наткнулся на описание серьезных проблем с безопасностью во встроенных в материнские платы X9 IPMI. Вместо с данным материалом также шла статья с описанием методики проникновения на сервер через IPMI интерфейс, после нее стало понятно зачем потребовалась перезагрузка, так как добавить пользователя кроме как в single mode взломщики не могли.
В итоге, для устранения проблемы сделал следующее:
1) Обновил версию прошивки для IPMI на последнюю, для платформ на базе материнской платы X9 актуальная версия — это 3.15. Даже если для вашей материнской платы нет новой версии прошивки, все равно рекомендую обновить ее. Так как взломщики могли загрузить какую-нибудь версию со встроенным backdoor.
2) Задал список IP адресов, с которых разрешен доступ к IPMI, при помощи IP Access Control (раздел 2.8.14 документации по IPMI). В итоге, как временную меру, решил сделать доступ для часто переезжающих коллег через дополнительный доверенный сервер.
Напомню, что при указании IP адресов для доступа к IPMI — последний IP адрес должен быть формата 0.0.0.0/0 и правилом обработки DENY, иначе ограничение не будет работать.
3) Провел анализ сервера про помощи rkhunter и find, проверил изменены ли какие-нибудь установленные программы, нет ли подозрительных процессов — все оказалось чисто, кроме добавления пользователя никаких изменений не было внесено.
К сожалению данная проблема затрагивает всех владельцев платформы Supermicro с доступным из сети Интернет IPMI интерфейсом, так как известны случаи взлома серверов с отличными от X9 материнскими платами.
В ходе анализа логов, внесенных изменений в конфигурацию сервера стало ясно:
1) Изменение файлов со списком пользователей заключалось в добавлении пользователя support и назначении ему uid 0.
2) Данный пользователь был добавлен с консоли сервера (точнее tty2), причем пользователем root.
Дальнейший анализ показал следующее…
Проблемный сервер был на базе платформы Supermicro с доступным из сети Интернет IPMI интерфейсом, возможность авторизоваться с терминала tty2 можно только с него.
Доступ по IP к IPMI ограничен не был, так как доступ к нему нужен нескольким сотрудникам которые часто перемещаются в пределах РФ и не имеют постоянного IP адреса.
Пароли для IPMI пользователей были достаточно сложные, также использовался SSL, так что варианты перехвата доступов я откинул сразу.
В ходе поиска наткнулся на описание серьезных проблем с безопасностью во встроенных в материнские платы X9 IPMI. Вместо с данным материалом также шла статья с описанием методики проникновения на сервер через IPMI интерфейс, после нее стало понятно зачем потребовалась перезагрузка, так как добавить пользователя кроме как в single mode взломщики не могли.
В итоге, для устранения проблемы сделал следующее:
1) Обновил версию прошивки для IPMI на последнюю, для платформ на базе материнской платы X9 актуальная версия — это 3.15. Даже если для вашей материнской платы нет новой версии прошивки, все равно рекомендую обновить ее. Так как взломщики могли загрузить какую-нибудь версию со встроенным backdoor.
2) Задал список IP адресов, с которых разрешен доступ к IPMI, при помощи IP Access Control (раздел 2.8.14 документации по IPMI). В итоге, как временную меру, решил сделать доступ для часто переезжающих коллег через дополнительный доверенный сервер.
Напомню, что при указании IP адресов для доступа к IPMI — последний IP адрес должен быть формата 0.0.0.0/0 и правилом обработки DENY, иначе ограничение не будет работать.
3) Провел анализ сервера про помощи rkhunter и find, проверил изменены ли какие-нибудь установленные программы, нет ли подозрительных процессов — все оказалось чисто, кроме добавления пользователя никаких изменений не было внесено.
К сожалению данная проблема затрагивает всех владельцев платформы Supermicro с доступным из сети Интернет IPMI интерфейсом, так как известны случаи взлома серверов с отличными от X9 материнскими платами.