Сетевой стек Linux по умолчанию замечательно работает на десктопах. На серверах с нагрузкой чуть выше средней уже приходится разбираться как всё нужно правильно настраивать. На моей текущей работе этим приходится заниматься едва ли не в промышленных масштабах, так что без автоматизации никуда – объяснять каждому коллеге что и как устроено долго, а заставлять людей читать ≈300 страниц английского текста, перемешанного с кодом на C… Можно и нужно, но результаты будут не через час и не через день. Поэтому я попробовал накидать набор утилит для тюнинга сетевого стека и руководство по их использованию, не уходящее в специфические детали определённых задач, которое при этом остаётся достаточно компактным для того, чтобы его можно было прочитать меньше чем за час и вынести из него хоть какую-то пользу.
Администратор
Ручной мониторинг доступности сайта (обзор простых инструментов)
6 мин
После покупки виртуального и/или выделенного сервера важно вовремя получать информацию о недоступности сервиса, то есть проводить мониторинг основных подсистем веб-сайта.
Надежный веб-сайт должен быть легкодоступен для пользователей 7 дней в неделю, поэтому его надо постоянно проверять как на предмет доступности, так и на предмет работоспособности:
- регулярная самостоятельная проверка работоспособности веб-сайта с помощью бесплатных инструментов;
- постоянный мониторинг доступности сайта, оптимальным для которого является часовой интервал: большинство пользователей попытаются вернуться на сайт в течение 1-2 часов, более частые проверки не гарантируют более оперативного исправления проблем быстрее, чем в течение часа;
- мониторинг компонентов проекта и анализ метрик приложений: скорости ответа, ошибок компонентов, сервисов, скорость ответов базы данных, мониторинг запросов без индексов или медленных запросов;
- мониторинг производительности веб-сайта: медленная загрузка страниц может стоить потери клиентов, в то время как в результате мониторинга приходит своевременное уведомление о проблемах, позволяющее оперативно их устранять и минимизировать последствия;
- мониторинг проблем заключается в отслеживании нескольких параметров сайта с частотой не менее раза в минуту из нескольких географических точек, для того чтобы максимально покрыть минутный интервал проверками и отследить возможные проблемы, связанные с географией пользователей.
Герман Клименко: «Нам всего-навсего осталась одна большая история — это деанонимизация»
16 мин
В начале июня я приехал на конференцию РИТ++, чтобы провести время с коллегами, которые организовали хабрастудию, а вечером отметить 11-й день рождения «Хабра». Мы вели прямую трансляцию с мероприятия и брали интервью у спикеров. Когда мне предложили взять интервью у Германа Клименко, советника президента РФ по вопросам развития интернета, я сразу согласился, потому что, во-первых, давно с ним знаком, ещё с начала 2000-х годов, а во-вторых, давно не видел, лет 10, наверное. Ну а в-третьих, у меня накопилось достаточно вопросов к людям, которые в том числе имеют отношение к развитию интернета в России. Поскольку формат интервью предполагал всего 10 минут общения, а Герман за время интервью ответил всего на несколько вопросов, я предложил отдельно встретиться и поговорить более обстоятельно. Мы беседовали 1,5 часа, ниже я предлагаю вашему вниманию текстовую версию интервью с небольшими сокращениями там, где они были возможны.
Серьёзная ошибка в многопоточности процессоров Skylake и Kaby Lake
3 мин
В течение апреля и мая 2017 года компания Intel обновила документацию к процессорам Skylake и Kaby Lake, добавив одно небольшое примечание (errata KBL095, KBW095 для Kaby Lake, errata SKW144, SKL150, SKX150, SKZ7 для Skylake). Оно звучит следующим образом:
«В сложных микроархитектурных условиях краткие циклы менее чем из 64 инструкций с использованием регистров AH, BH, CH или DH, а также соответствующих более широких регистров (например, RAX, EAX или AX для AH) могут вызвать непредсказуемое поведение системы. Такое может произойти только если активны оба логических процессора на одном физическом процессоре».
Что означает это примечание — 25 июня 2017 года подробно объяснили в почтовом списке рассылки разработчиков Debian. Если вкратце, то процессоры Skylake и Kaby Lake с включенным HyperThreading могут вести себя неадекватно. Разработчики рекомендуют немедленно отключить HyperThreading в BIOS/UEFI, а потом обновить микрокод процессора от Intel или дождаться обновления BIOS/UEFI от своего вендора.
Как держать 20 тысяч VPN клиентов на серверах за $5
24 мин
Месяц назад мы с друзьями сделали бесплатный сервис для обхода блокировок сайтов в Украине Zaborona.Help. За это время сервис стал довольно популярным, аудитория выросла до 20 000 пользователей. Число одновременных подключений в пиковые часы — ≈6 000 клиентов.
Главная особенность нашего сервиса в том, что через VPN маршрутизируется трафик только к заблокированным сетям, остальные сайты работают напрямую. Это не влияет на скорость интернета и не подменяет IP-адрес для остальных сайтов.
В статье описываются тонкости настройки OpenVPN для большого числа клиентов, на дешевых VPS.
Наш опыт будет полезен для тех, кто собирается развернуть VPN для личных нужд, и тех, кто хочет создать сервис с большим числом клиентов.
Главная особенность нашего сервиса в том, что через VPN маршрутизируется трафик только к заблокированным сетям, остальные сайты работают напрямую. Это не влияет на скорость интернета и не подменяет IP-адрес для остальных сайтов.
В статье описываются тонкости настройки OpenVPN для большого числа клиентов, на дешевых VPS.
- Как выбрать подходящий хостинг. Отличительные черты плохого хостинга. История о том, как мы долго искали и нашли хостинг в России.
- Почему IPv6 — хорошо. Правильная настройка IPv6-адресов для VPN-клиентов.
- Изменение конфигурации OpenVPN на лету, без перезапуска сервера и отключения клиентов.
- Балансировка нагрузки между серверами и процессами OpenVPN
- Тонкая настройка Linux для большого числа подключений
- Особенности кривых операционных систем и роутеров пользователей
Наш опыт будет полезен для тех, кто собирается развернуть VPN для личных нужд, и тех, кто хочет создать сервис с большим числом клиентов.
Теперь и провайдеры: Ростелеком вводит лимиты на «безлимитных» тарифах
3 мин
Похоже ввод ограничений на «безлимитные» тарифы становится новым трендом. 20 июня 2017 года на портале Ростелеком была опубликована следующая новость:
Магия SSH
11 мин
С SSH многие знакомы давно, но, как и я, не все подозревают о том, какие возможности таятся за этими магическими тремя буквами. Хотел бы поделиться своим небольшим опытом использования SSH для решения различных административных задач.
Оглавление:
1) Local TCP forwarding
2) Remote TCP forwarding
3) TCP forwarding chain через несколько узлов
4) TCP forwarding ssh-соединения
5) SSH VPN Tunnel
6) Коротко о беспарольном доступе
7) Спасибо (ссылки)
Оглавление:
1) Local TCP forwarding
2) Remote TCP forwarding
3) TCP forwarding chain через несколько узлов
4) TCP forwarding ssh-соединения
5) SSH VPN Tunnel
6) Коротко о беспарольном доступе
7) Спасибо (ссылки)
Обзор систем мониторинга серверов. Заменяем munin на…
9 мин
Туториал
Очень долго хотел написать статью, но не хватало времени. Нигде (в том числе на Хабре) не нашёл такой простой альтернативы munin, как описанная в этой статье.
Lavabit возвращается
4 мин
Ладар Левисон
Lavabit — анонимный почтовый сервис, которым пользовался Эдвард Сноуден, находясь в Шереметьево в июне 2013 года. Сервис поддерживал шифрование почты в браузере перед отправкой, а почтовый архив на сервере хранился в зашифрованном виде.
В августе 2013 года сервис Lavabit неожиданно закрылся. «Дорогие друзья, меня заставили сделать сложный выбор: стать соучастником преступления против американского народа или отказаться от почти десяти лет тяжёлой работы и закрыть Lavabit. После долгих раздумий, я решил прекратить работу», — написал тогда основатель и владелец компании Ладар Левисон (Ladar Levison), оставив в недоумении тысячи пользователей.
Почему я работаю только удалённо
5 мин
Перевод
Создание программного обеспечения для стартапов — серьёзная задача. Не потому, что само написание программного обеспечения является довольно трудным, а потому, что у большинства стартапов места для выполнения такой работы далеки от оптимальных. За свои более чем 10 лет опыта разработчика ПО для стартапов я научился не доверять способности работодателей обеспечить мне адекватную рабочую среду, и это мешает мне выполнять работу для них наилучшим образом. Я, по своей природе, амбициозный, энергичный, и я не хочу ничего более, чем выдать на том месте, где я работаю, лучшее из того, что я могу. Я отдаю себя на 100% компании, в которой я работаю. Но в большинстве мест, где я работал, было сделано немало, чтобы воспрепятствовать мне в этом. Вот почему в какой-то момент времени я занял чёткую позицию: отныне я буду работать только «удалённо».
Удаленная переустановка Linux по ssh без доступа к консоли
8 мин
Понадобилось мне переустановить сервер, который как бы хостился у знакомых знакомых. Там был сильно устаревший Debian, а, самое главное, система стояла на обычных разделах без lvm и пространство было распределено очень не оптимально. Физический доступ получить к нему было практически нереально, местного админа попросить что-то сделать было можно, но занять это могло неделю. Виртуальный KVM у сервера был, но извне на него попасть было нельзя; у как бы хостера не было лишних IP-адресов, а внутрь его сети попасть было невозможно. Надо было переустановить сервер из-под работающей системы по ssh. Ага, давайте поменяем ротор у турбины не выключая, потом её перезапустим и будет она с новым ротором работать!
Мозг с препятствиями. Открываем глаза и заглядываем в лабиринты своего сознания
7 мин
Самое простое определение успеха: постановка, стремление и достижение цели.
Доля людей, успешно добивающихся задуманного — менее 10%. Только 8% новогодних обещаний выполняются.
Продажа продуктов по самореализации и мотивации — многомиллиардный рынок. Эти семинары и тренинги помогают достигать миллионную прибыль своим авторам, но не помогают добиваться целей. К успеху приходят все те же 10%.
Существует множество методик по достижению целей. Некоторые из них подтверждены научными исследованиями, но сами по себе они не приводят к успеху.
Главный ключ к успеху — человек, который его достигает
Важно не количество полученных нами знаний, а то как мы их применяем. И успех зависит не от дорогого тренинга или крутого коуча, а только от нас.
Основное отличие тех 10% победителей не в генах или воспитании: они не сходят с пути, работают над достижением цели и не опускают руки, если что-то не получается. Они действуют.
Действие — неотъемлемая часть успеха
Любая задача требует действий, а их начало и конец — в мозге. Наш мозг работает над достижением целей и задач, но в нем существует множество барьеров. О них, а точнее о том как ими управлять, и рассказывает книга.
Может ли электростимуляция мозга заменить антидепрессанты и помочь от стресса?
7 мин
За последний год исследования неинвазивной электростимуляции мозга продвинулись далеко вперед. Так, масштабное аналитическое исследование на основе 1412 научных статей выявило, что воздействие на мозг слабым постоянным током (tDCS) эффективно для лечения депрессии и нескольких других психических заболеваний.
Причем, по-видимому, tDCS не уступает по эффективности стандартным антидепрессантам, а по безопасности ещё и значительно обгоняет их. Интересно, что аналогичная электростимуляция может применяться и здоровыми людьми для улучшения их настроения и большей устойчивости к повседневным стрессам.
Учитывая, что в развитых странах до 17% людей хотя бы раз в жизни страдают от депрессии (как, например, в США), а снижение настроения в результате депрессии влечет за собой разнообразные когнитивные нарушения: от проблем с памятью до нарушения способности решать задачи, то ученые предполагают самое широкое потенциальное применение новой технологии.
Причем, по-видимому, tDCS не уступает по эффективности стандартным антидепрессантам, а по безопасности ещё и значительно обгоняет их. Интересно, что аналогичная электростимуляция может применяться и здоровыми людьми для улучшения их настроения и большей устойчивости к повседневным стрессам.
Учитывая, что в развитых странах до 17% людей хотя бы раз в жизни страдают от депрессии (как, например, в США), а снижение настроения в результате депрессии влечет за собой разнообразные когнитивные нарушения: от проблем с памятью до нарушения способности решать задачи, то ученые предполагают самое широкое потенциальное применение новой технологии.
В поисках анонимной почты
5 мин
Как мыть голову, не снимая фольгированную шапочку?
Неизвестный автор
Не так давно у меня возникла необходимость в полностью анонимном адресе электронной почты, который, даже имея доступ к содержимому письма, нельзя было бы однозначно со мной связать. Мне было нужно отправить в больницу несколько вопросов по поводу лечения ребёнка, но очень не хотелось, чтобы эта информация осталась условно навечно ассоциированной c моим и его именами в логах провайдеров, поисковиков, почтовиков, товарища майора и кто знает каких ещё операторов Big Data, орудующих во Всемирной паутине. От адресата ожидалось получение файлов неизвестного размера с документами, необходимыми для госпитализации.
Мне казалось, что с регистрацией такой почты не будет трудностей, но, как выяснилось, я отстал от жизни. Известные почтовые сервисы, такие как gmail и outloook, теперь требуют номер телефона, поэтому пришлось немного потрудиться, чтобы найти устраивающий меня вариант. В данной статье я решил поделиться своим опытом решения этой проблемы.
Поддержка высоконагруженного проекта
20 мин
Евгений Потапов ( eapotapov )
Доклад будет про то, что делать с проектом после того, как мы его запустили. Вы спланировали архитектуру проекта, вы продумали, как у него будет работать инфраструктура, продумали, как будете балансировать нагрузку, наконец, его запустили. Что делать дальше? Как поддерживать, как сделать так, чтобы проект продолжал работать, и как сделать так, чтобы ничего, в конце концов, не упало?
Browser Fingerprint – анонимная идентификация браузеров
14 мин
Валентин Васильев (Machinio.com)
Что же такое Browser Fingerprint? Или идентификация браузеров. Очень простая формулировка — это присвоение идентификатора браузеру. Формулировка простая, но идея очень сложная и интересная. Для чего она используется? Для чего мы хотим присвоить браузеру идентификатор?
- Мы хотим учитывать наших пользователей. Мы хотим знать, пришел ли пользователь к нам первый раз, пришел он во второй раз или в третий. Если пользователь пришел во второй раз, мы хотим знать, на какие страницы он заходил, что он до этого делал. С анонимными пользователями это невозможно. Если у вас есть система учета записей, пользователь логинится, мы все про него знаем — мы знаем его учетную запись, его персональные данные, мы можем привязать любые действия к этому пользователю. Здесь все просто. В случае с анонимными пользователями все становится гораздо сложнее.
Виртуализация с использованием Ubuntu Server 16.04 и pHpVirtualBox 5.0.5
4 мин
Недавно столкнулся с задачей быстрого и простого развертывания серверов на основе связки Ubuntu Server 16.04 и pHpVirtualBox 5.0.5 для дальнейшей виртуализации всяческих OS.
Задача тривиальная, но быстрого, простого и самое главное — пошагового рецепта не нашел, поэтому по итогам успешной инсталляции решил выложить примитивный FAQ для всех интересующихся.
Задача тривиальная, но быстрого, простого и самое главное — пошагового рецепта не нашел, поэтому по итогам успешной инсталляции решил выложить примитивный FAQ для всех интересующихся.
VPN за 60 секунд
2 мин
Если Вы предпочитаете простые и красивые решения, или Вам нравится всё, что попадает под категорию It Just Works, то эта статья для Вас. Для запуска шифрованного подключения достаточно иметь на своем компьютере SSH-клиент, установить sshuttle (об этом чуть позже) и приобрести VPS с любым тарифным планом в интересующей Вас стране. На удалённой VPS-машине в большинстве случаев абсолютно ничего настраивать не нужно (достаточно, чтобы были установлены пакеты python и сервер SSH).
МиниАТС у себя дома
13 мин
У меня есть стационарный телефон от Укртелекома. И все бы хорошо, если бы не воровали телефонный кабель. И вот оставшись очередной раз без городской связи, я решил заняться поиском альтернатив. Интернет у меня идет по оптике. Узнав что Укртелеком предоставляет услуги SIP телефонии я уже обрадовался решению проблемы малой кровью. Однако оказалось, что номер при этом у меня изменится. А ведь старый номер это единственное, что меня останавливало от ухода с Укртелекома. Ну раз потери номера мне было не избежать, тогда я решил более плотно заняться вопросом обеспечения себя связью.
Опыт работы со взломанным сервером
3 мин
Хочу поделиться своим опытом начинающего системного администратора. Так уж случилось, что мой первый блин комом — это было предложение заняться инфраструктурой в одной маленькой компании. Ситуация сложная. Никакой автоматизации, все вручную и по принципу: работает — не трогай, а если не работает и никто не заметил, то считай, что работает. Предыдущий сотрудник не оставил почти никакой документации. Вот доступ к серверам, кофемашина — там, вроде всё…