Время от времени некоторых людей посещает идея переехать куда-нибудь на Дальний Восток, чтобы жить в окружении природы и наслаждаться жизнью. Так как у меня есть соответствующий опыт, я поделюсь с вами опытом работы в IT на Дальнем Востоке.
reff @reff
Пользователь
Нужно ли собирать NAS?
28 мин
Как в блогах, так и в журналах есть множество статей о том, как собрать NAS своими руками.
И с первого взгляда кажется, что при наличии прямых рук, свой NAS по всем пунктам бьёт покупное решение.
"Фигак, фигак и в продакшн", — и вот уже быстро, дёшево и качественно реализованное хранилище радует вас высокой производительностью и надёжностью.
Цикл статей: построение защищённого NAS, либо домашнего мини-сервера
2 мин
Recovery Mode
Статьи цикла:
- Обзор материалов и литературы по NAS. По предложениям пользователей ссылки на материалы будут сведены в отдельную статью.
- Выбор железа. Описан один из вариантов выбора железа и дан краткий обзор рынка домашних и офисных NAS систем.
- Установка ОС, на которой будет строиться NAS. В отдельной статье описано дополнение, позволяющее отказаться ото всех файловых систем, кроме ZFS.
- Проектирование поддерживающей инфраструктуры, которая будет лежать в основе всех сервисов NAS.
- Реализация поддерживающей инфраструктуры.
- Механизм аварийной удалённой разблокировки. Требуется для того, чтобы разблокировать систему, не имея к ней физического доступа.
- Повышение защищённости NAS. Исправление ошибок, допущенных в предыдущих статьях и описание Hardening процесса.
- Система контроля версий на базе Git. Установка Gitlab в контейнере.
- Система резервного копирования. От регламента до установки ПО, где в качестве примера используется UrBackup.
- Персональное облако. Обеспечивает хранение персональных файлов пользователя, обмен файлами между пользователями, а также интеграцию различных сервисов между собой.
- Сквозная аутентификация контейнеров.
- Управление файлами.
- Библиотека.
- Мультимедийная система 1: музыка.
- Мультимедийная система 2: медиа сервер.
- Фронтенд. Интерфейс, позволяющий быстро обращаться к сервисам.
- Заметки про управление контейнерами.
Бесплатные утилиты для бэкапа с бесплатного ESXI
7 мин
Recovery Mode
Как-то появилось у меня несколько персональных проектов, которые требовали относительно много дискового места — около 2TB. Подходящих VPS не нашлось (мало кто предлагает много HDD места), поэтому я взял выделенный сервер у OVH, поставил там ESXI 5.5 с бесплатной лицензией и всё работало.
Через некоторое время, с развитем проектов, я стал настраивать админские фишки — мониторинг, бэкап, и выяснил, что оказывается сервер, в котором мне обещали Soft RAID, и на который хостер (OVH) накатил свой образ ESXI — без RAID! То есть просто 2 диска. Ну да, теперь вот я знаю, что ESXI не поддерживает Soft RAID, только Hard. Стало неуютно. Да и 2TB стало не хватать. В общем взял я себе сервер побольше, с аппаратным RAID и поставил туда ESXI 6.0.
И возникло две задачи, решение которых я тут опишу:
Скажу сразу, что обе эти задачи легко решаются, если есть хотя бы минимальная платная лицензия ESXI. Дело в том, что «родной» Backup API в бесплатной версии ESXI выключен. Поэтому приходится находить другие пути.
С платной лицензией есть вариант миграции через vCenter. Ещё есть бесплатная версия Veeam Backup, которая позволяет делать бэкапы и переносить виртуальные машины с одной системы на другую и при этом не требуется их останавливать. Но с бесплатной лицензией ESXI, текущая версия — Veeam 9 — не работает вообще.
Через некоторое время, с развитем проектов, я стал настраивать админские фишки — мониторинг, бэкап, и выяснил, что оказывается сервер, в котором мне обещали Soft RAID, и на который хостер (OVH) накатил свой образ ESXI — без RAID! То есть просто 2 диска. Ну да, теперь вот я знаю, что ESXI не поддерживает Soft RAID, только Hard. Стало неуютно. Да и 2TB стало не хватать. В общем взял я себе сервер побольше, с аппаратным RAID и поставил туда ESXI 6.0.
И возникло две задачи, решение которых я тут опишу:
- Перенести виртуальные машины (некоторые из которых около 1TB) с одного сервера на другой с минимальным оффлайном
- Делать регулярные бэкапы
Скажу сразу, что обе эти задачи легко решаются, если есть хотя бы минимальная платная лицензия ESXI. Дело в том, что «родной» Backup API в бесплатной версии ESXI выключен. Поэтому приходится находить другие пути.
С платной лицензией есть вариант миграции через vCenter. Ещё есть бесплатная версия Veeam Backup, которая позволяет делать бэкапы и переносить виртуальные машины с одной системы на другую и при этом не требуется их останавливать. Но с бесплатной лицензией ESXI, текущая версия — Veeam 9 — не работает вообще.
Полезные советы по архивированию бэкапов Veeam на магнитную ленту
5 мин
Перевод
Продолжаем полюбившуюся многим серию статей с рекомендациями от Veeam Support.
Один из важных вопросов, возникающих на этапе планирования резервного копирования – как организовать хранение бэкапов?
Veeam советует выдерживать размер цепочки в 7 – 14 точек восстановления и хранить их на диске, чтобы можно было быстро восстановиться при необходимости. Более длительное хранение рекомендуется организовать с помощью вспомогательных СХД. Такие системы хранения данных, как правило, более дешевы, но восстановление с них занимает больше времени.
В общем и целом следует опираться на правило «3-2-1», которое можно проиллюстрировать, например, так:
Сегодня мы поговорим о том, как разумно организовать хранение резервных копий на магнитной ленте в рамках этой стратегии. Магнитная лента давно обрела признание как надёжный и недорогой носитель, который не подвержен хакерским атакам и вирусам-шифровальщикам. Решения Veeam поддерживают ленточные устройства, позволяя хранить на них резервные копии как виртуальных, так и физических машин. Полезные советы и рекомендации по архивированию на ленту вы найдете под катом.
Один из важных вопросов, возникающих на этапе планирования резервного копирования – как организовать хранение бэкапов?
Veeam советует выдерживать размер цепочки в 7 – 14 точек восстановления и хранить их на диске, чтобы можно было быстро восстановиться при необходимости. Более длительное хранение рекомендуется организовать с помощью вспомогательных СХД. Такие системы хранения данных, как правило, более дешевы, но восстановление с них занимает больше времени.
В общем и целом следует опираться на правило «3-2-1», которое можно проиллюстрировать, например, так:
Сегодня мы поговорим о том, как разумно организовать хранение резервных копий на магнитной ленте в рамках этой стратегии. Магнитная лента давно обрела признание как надёжный и недорогой носитель, который не подвержен хакерским атакам и вирусам-шифровальщикам. Решения Veeam поддерживают ленточные устройства, позволяя хранить на них резервные копии как виртуальных, так и физических машин. Полезные советы и рекомендации по архивированию на ленту вы найдете под катом.
Побег из гнезда успеха или Проблемы больших компаний
9 мин
Привет, Хабр! Говорят, чистосердечное признание смягчает наказание. Каюсь — большая часть статьи будет откровенным копипастом чужого текста. Прошу модераторов не судить строго и считать огромной цитатой. Потому что лучше не скажешь. Потому что я, вы, ты, читатель, — все мы там были или можем быть. В больших межгалактических корпорациях компаниях, которые заманивают офисами, всевозможными плюшками из рога изобилия, самокатами в коридорах и прочими релакс-капсулами, но редко говорят, что будет взамен. А взамен будут бесконечные совещания, легаси, инерция и… мать его, одинокое ощущение себя маленьким винтиком какой-то адовой машины. Начну со своей истории — в одном абзаце. А потом — просто откровенная бомба — текст, каждое слово которого крепко отозвалось во мне, вроде суровом дядьке.
WI-FI в метро: архитектура сети и подземные камни
7 мин
Всего за пару лет поездка москвича в метро перестала быть ежедневной рутиной. Если раньше единственным развлечением в подземке были чтение книг, прессы и MP3-плеер, то теперь к ним добавились онлайн-шоппинг, просмотр сериалов, деловая переписка, даже знакомства в Tinder и квесты. А все благодаря появлению в метро бесплатной сети Wi-Fi. Порядка 80% москвичей регулярно подключаются к сети MT_FREE в метро, не задумываясь, как это работает и чьими силами это сделано. Бытует мнение, что Wi-Fi в метро “провел” сам метрополитен, но это не совсем верно. Беспроводная сеть — это проект “МаксимаТелеком”. Для компании это был первый опыт строительства высокоскоростной сети Wi-Fi с уникальными в мировой практике инженерными и техническими решениями. В этом посте мы расскажем, как организована сеть Wi-Fi в метро Москвы.
Миграция инфраструктуры в «облако» по шагам: какие возникают сложности и где
8 мин
Мы довольно часто помогаем бизнесу заказчика переехать в «облако». Это совершенно нормальный запрос, и большая часть крупных компаний так или иначе переносит свои мощности. Около 80% случаев приходится на перенос уже виртуализированной инфраструктуры из «домашней» серверной в дата-центр, остальные 20% — это перенос прямо с железа (включая рабочие станции пользователей) в виртуальную среду плюс вынос самого вычислительного узла в «облако».
Давайте расскажу по шагам, как это происходит у нас. Начну с того, что редко кто переезжает сразу всеми сервисами. Обычно сначала уводят некритичные, смотрят пару месяцев, а потом уже переводят всё остальное.
Отличительные признаки «скороспелого» ИТ-директора
5 мин
На которые стоит обратить внимание, подбирая себе руководителя ИТ-службы
На должность ИТ-директора претендует большое количество «скороспелых» менеджеров, которые руководить начали раньше, чем научились делать что-то своими руками. Вреда от таких руководителей обычно больше, чем пользы, и технические специалисты чувствуют «скороспелых» менеджеров за версту. Но компании, чей бизнес не связан с информационными технологиями, регулярно нанимают подобных кандидатов за их харизму.
В данной статье я собрал отличительные признаки «скороспелых» ИТ-директоров и постарался сформулировать их как можно доступнее. Надеюсь, что они помогут не разбирающимся в информационных технологиях специалистам по кадрам и генеральным директорам фильтровать кандидатов на должность руководителя ИТ-службы. Буду рад, если сообщество Хабрахабра дополнит меня или исправит ошибки в суждениях. Но на этом вступительную часть заканчиваю и перехожу к сути:
Семь отличных ускорителей сайтов для Linux и Unix
4 мин
Перевод
«Производительность веб-проектов» — это, с точки зрения пользователя, скорость, с которой страницы загружаются и отображаются браузером. Что даёт повышение скорости работы некоего сайта? На самом деле – много всего. Здесь и увеличение продаж, и повышение лояльности клиентов, и улучшение впечатлений пользователей от работы с ресурсом. Скорость, с которой веб-ресурс реагирует на запросы, особенно важна для тех пользователей, которые сидят на медленных каналах связи или занимаются веб-серфингом со смартфонов или планшетов.
Пора рассказать, как я 4 года был Билайном на Хабре — и что за это время узнал про Хабр
16 мин
Вчера был очередной семинар Хабра о том, как надо делать корпоративные блоги, и я там не выдержал и рассказал эту историю.
Конечно, это был не совсем я, но близко. Дело в том, что давным-давно мне предложили помочь Вымпелкому с блогом. На немного необычных условиях. Первым стало отсутствие всякой официальщины – отсюда и совершенно отрывные посты (за часть из которых в корпоративном сегменте смело оторвали бы руки и не только), и самые актуальные темы (Базовая станция вредная? Ещё как!), и вообще много всего.
Но начну с самого начала. Итак, Хабр тогда был торт — большой и зверски агрессивный, хабов не было, а корпоративные блоги были чем-то вроде раздела «тупиковый отстой». За любую ссылку или рекламу тогда почти банили. Или забивали до -50 за час, например. С корпоративным рылом в такой калашный ряд было никак нельзя.
И ещё – Билайн, как и любой сотовый оператор, имел тысячи людей, не очень довольных его существованием. Поэтому первый пункт стратегии был довольно необычным, и мало кто мог позволить себе его повторить. Всё просто: пишут исключительно технари, а маркетинг на пушечный выстрел не подходит к постам.
Технари, кстати, оказались совершенно офигенные. Только плевать они хотели на Хабр, по большому счёту. Как и везде.
Конечно, это был не совсем я, но близко. Дело в том, что давным-давно мне предложили помочь Вымпелкому с блогом. На немного необычных условиях. Первым стало отсутствие всякой официальщины – отсюда и совершенно отрывные посты (за часть из которых в корпоративном сегменте смело оторвали бы руки и не только), и самые актуальные темы (Базовая станция вредная? Ещё как!), и вообще много всего.
Но начну с самого начала. Итак, Хабр тогда был торт — большой и зверски агрессивный, хабов не было, а корпоративные блоги были чем-то вроде раздела «тупиковый отстой». За любую ссылку или рекламу тогда почти банили. Или забивали до -50 за час, например. С корпоративным рылом в такой калашный ряд было никак нельзя.
И ещё – Билайн, как и любой сотовый оператор, имел тысячи людей, не очень довольных его существованием. Поэтому первый пункт стратегии был довольно необычным, и мало кто мог позволить себе его повторить. Всё просто: пишут исключительно технари, а маркетинг на пушечный выстрел не подходит к постам.
Технари, кстати, оказались совершенно офигенные. Только плевать они хотели на Хабр, по большому счёту. Как и везде.
Как и какой выбрать мобильный интернет? Декодируем GSM
6 мин
В настоящее время огромное количество людей, проживающих в городах и районных центрах, а особенно в удалении от них испытывает сложности с возможностью выбора проводника услуг для качественно использования таких благ цивилизации как цифровое телевиденье, интернет, радио и просто решить, для примера, какого оператора мобильной связи выбрать из возможных для качественной и надежной телефонной связи в данном месте (Мегафон, Билайн, МТС, TELE2 и др.). Как правило в лучшем случае это решается опросом соседей «какую связь используете Вы?» и, полагаясь на их ответ приобретаете необходимую сим карту оператора мобильной связи, а потом сталкиваетесь с тем что не слышно, нет связи, интернета, а как же тогда читать хабр, итд.
VPN везде и всюду: IPsec без L2TP со strongSwan
10 мин
достаточно сильный лебедь
Если вы когда-либо искали VPN, который будет работать на десктопах, мобильных устройствах и роутерах без установки дополнительного ПО и перепрошивки роутера, вы, вероятно, выбирали между PPTP и L2TP+IPsec. У протокола PPTP имеются проблемы с безопасностью и прохождением через брандмауеры и NAT, так что в 2015 году его уже использовать не стоит, а использование L2TP излишне, т.к. L2 VPN, по моему мнению, для обычного удаленного доступа не нужен практически никогда.
Удивительно, что в интернете не так-то просто можно найти информацию о настройке чего-то помимо L2TP+IPsec в транспортном режиме, учитывая, что это обширный стек протоколов, который можно конфигурировать буквально как душе угодно, поэтому я попытаюсь устранить такое несовершенство мира.
Небольшое введение в мир IPsec
Вообще говоря, не совсем правильно называть IPsec VPN. IPsec не предназначен для построения «виртуальных частных сетей», а создан для шифрования или защиты от подмены передаваемых по IP данных. Это специальный слой поверх IP, который, в зависимости от режима и настроек, работает по-разному. В отличие от привычного VPN, который создает новый интерфейс в системе, на который вы, как это чаще всего бывает, назначаете IP-подсеть из диапазона частных адресов (т.е. создаете новый сетевой сегмент), и через который маршрутизируется трафик в зашифрованном виде, IPsec просто шифрует трафик магическим образом между «внешними» интерфейсами сервера и клиента.
Ручная установка Windows 7/8/8.1/10 в систему с загрузчиком GRUB2
9 мин
Наверняка почти у каждого пользователя ОС Linux и ОС Windows, а я имею в виду именно тех, у кого, в силу ряда причин, установлены обе системы, время от времени возникал вопрос: «А нельзя ли, черт возьми, придумать способ, с помощью которого можно было бы устанавливать эти системы в произвольном порядке? Без порчи настроек загрузчика?» Ведь если ставим сначала Windows а потом Linux всё хорошо — линуксовый загрузчик (например GRUB) обычно подхватывает bootmgr. Если ставить в обратном порядке то увы. Даже с использованием GPT + EFI. В случае с EFI нет опасности перезаписи MBR, зато таки есть один нюанс, который лично мне не нравится — установщик Windows в режиме EFI хоть и не перезаписывает сектора диска своим кодом, но зато переопределяет NVRAM, подсовывая туда путь к своему загрузчику. Так что функционал GBUB всё равно приходится восстанавливать. В настройках штатного установщика нет опций для кастомизации процесса установки загрузчика. А что если… не использовать стандартный установщик?! Ну, или почти не использовать…
И такой способ есть. И основан он на технологии установки Windows, которую мы имеем в её дистрибутивах начиная с «семерки». Способ работает для случая Windows версий 7/8/8.1/10, как в случае с MBR + BIOS системы, так в случае с EFI + GPT. Установить систему можно как в раздел HDD, так и на VHD. При этом функционал установщика нужен нам в общем-то для запуска программы настройки BCD-хранилища конфигурации загрузчика. Вместо установочного диска можно использовать загрузочный носитель на основе WinPE. Если бы утилитам bcdedit.exe и BootICE была *nix альтернатива, весь процесс развертывания системы можно было бы вообще выполнить в среде Linux.
И такой способ есть. И основан он на технологии установки Windows, которую мы имеем в её дистрибутивах начиная с «семерки». Способ работает для случая Windows версий 7/8/8.1/10, как в случае с MBR + BIOS системы, так в случае с EFI + GPT. Установить систему можно как в раздел HDD, так и на VHD. При этом функционал установщика нужен нам в общем-то для запуска программы настройки BCD-хранилища конфигурации загрузчика. Вместо установочного диска можно использовать загрузочный носитель на основе WinPE. Если бы утилитам bcdedit.exe и BootICE была *nix альтернатива, весь процесс развертывания системы можно было бы вообще выполнить в среде Linux.
Исследование защищенности карты Тройка
18 мин
Карта Тройка представляет из себя универсальный пополняемый электронный кошелек, широко используемый в системах оплаты общественного транспорта Москвы с 2013 года.
Цель данного исследования — выяснить защищенность системы электронного кошелька от подделки баланса, оценить безопасность инфраструктуры, работающей с картой. Вся работа была выполнена без использования специальных технических средств. Использовался дешевый смартфон на платформе Android и персональный компьютер. Общее время, затраченное на исследование, составило 15 дней.
В ходе работы был успешно проведен реверс-инжиниринг мобильного приложения «Мой проездной», что позволило получить доступ к памяти карты и изучить структуру хранения данных. Были найдены уязвимости, позволяющие выполнить подделку баланса, записанного на электронном кошельке карты Тройка. В результате чего стало возможным использование систем, поддерживающих карту, без оплаты.
Итогом исследования стала разработка приложения TroikaDumper, позволяющего эксплуатировать уязвимости системы электронного кошелька.
Внимание! Данные материалы представлены исключительно в ознакомительных целях. Подделка проездных билетов является уголовным преступлением и преследуется по закону.
DIY порошок для посудомойки: разбираем промышленные средства и улучшаем рецепт
11 мин
Внимание! В рецепте с отбеливателем обнаружилась опасность коррозии металла! Не рекомендуется в стандартном применении!
Обзор экспериментов год спустя:
DIY порошок для посудомойки: как не растворить посуду и не повторить моих ошибок. Год экспериментов
В прошлой публикации мы создавали дешевый порошок для посудомойки из
Пудра для мозга или как сделать порошок для посудомойки в 9,7 раз дешевле
11 мин
Туториал
Update
Новый вариант порошка и более подробный разбор во второй части: DIY порошок для посудомойки: разбираем промышленные средства и улучшаем рецепт
Сейчас расскажу, как из соды и стирального порошка сделать порошок для посудомоечной машины. Такой же по составу, только дешевле на порядок.
Есть очень много областей нашей жизни, где наше представление формирует исключительно маркетинговый буллшит. Увы, большинство людей даже не пытаются задумываться о том, что лежит в основе всего этого. Очень часто рыночная ситуация приводит к тому, что себестоимость продукта составляет 0.5% от его цены. Остальное маркетинг, наценки, логистика, упаковка и тому подобное. Почти все в курсе про концепцию продажи чернил для принтера по цене слез гималайских девственниц и настойчивые рекомендации производителей использовать только оригинальные расходные материалы. Например, совсем недавно меня озарило, что 1.5 грамма сухого вещества во флаконе удобрений для растений не могут стоить 200-250 рублей. А ведь именно такое количество может уместиться в относительно стабильном состоянии в виде раствора. Я сразу представил себе гектары полей и грузовики, которые везут тонны порошка. В результате перешел на расфасовки по 1 кг Буйских комплексных сухих удобрений. Можно ванну раствора приготовить.
Сегодня будем создавать ультра-дешевый порошок для посудомойки. Уменьшение реальной зарплаты и удорожание импортной бытовой химии заставило перерыть учебники, просмотреть кучу материалов с форумов химиков и попытаться найти способы экономии на расходниках. Очень уж ощутимо стал стоить порошок. Результаты вдумчивого исследования и экспериментов сильно удивили. Для промышленного применения чаще всего химиками-технологами создаются индивидуальные рецептуры в зависимости от качества воды и задач. Почему бы нам не попробовать разобраться во всем этом?
TLDR:
70% прокаленной соды и 30% стирального порошка вместо моющего средства.
Если очень лень возиться с содой, то просто порошок Биолан или его аналоги. Сода удешевляет.
Пищевая соль «Экстра» вместо соли.
Сбой на Яндексе
1 мин
Перевод
Сегодня в течение нескольких часов сервисы Яндекса были недоступны. Это произошло из-за проблемы с маршрутизацией в сети Яндекса. С работой дата-центров, DDoS-атаками, пожарами, а также любыми другими внешними факторами это никак не связано. Сейчас основные последствия проблемы устранены. Никакие пользовательские данные не потеряны.
Мы приносим извинения всем нашим пользователям.
Для тех, кому интересно, более подробное описание:
Проблема вызвана ошибкой программного обеспечения на маршрутизаторе, расположенном в нашем новом дата-центре в Амстердаме. В Яндексе используются протоколы маршрутизации – внутренний протокол OSPF и внешний протокол BGP. Из-за ошибки информация обо всех внешних маршрутах оказалась во внутренних таблицах маршрутизации. Это примерно на три порядка больше маршрутов, чем обычно. Протокол OSPF не рассчитан на такое количество. В результате у всех маршрутизаторов кончилась память, и они перестали работать. Нарушилась работа сети, и через несколько минут Яндекс стал полностью недоступен.
Внутренняя сеть тоже не работала. Поэтому нашим специалистам потребовалось потратить много времени для того, чтобы по цепочке добраться до источника проблемы.
Администраторы исправили ошибку на маршрутизаторе. После этого, чтобы снять лишнюю нагрузку с остальных маршрутизаторов, которых у нас больше сотни, нашим специалистам пришлось разделить сеть на несколько частей. Количество трафика снизилось, у маршрутизаторов появилось больше свободной памяти, и они смогли самостоятельно восстановить связность сети.
Сеть начала постепенно подниматься. Через некоторое время сервисы Яндекса стали доступны большей части пользователей.
Владимир Иванов,
делаю sh ip bgp summary
Криптовымогатель Petya денег не получит: генерируем ключ разлочки жесткого диска сами
2 мин
3 апреля на Habrahabr появилась информация по обнаружению нового криптовымогателя, который шифрует не отдельные файлы, а весь раздел диска (том). Программа получила название Petya, а ее целью является таблица размещения файлов NTFS. Ransomware работает с диском на низком уровне, с полной потерей доступа к файлам тома для пользователя.
У Petya обнаружена также специальная схема маскировки для скрытия активности. Изначально криптовымогатель запрашивает у пользователя активацию UAC, маскируясь под легальные приложения. Как только расширенные привилегии получены, зловредное ПО начинает действовать. Как только том зашифрован, криптовымогатель начинает требовать у пользователя деньги, причем на выплату «выкупа» дается определенный срок. Если пользователь не выплачивает средства за это время, сумма удваивается. «Поле чудес», да и только.
Интересные случаи организации работы на второй линии технической поддержки
11 мин
История такая: будучи одной из крупнейших ИТ-компанией на российском рынке ИТ-аутсорсинга и услуг, мы очень часто оказываемся в ситуации поддержки решений на стыке двух-трёх производителей. И когда возникает проблема, например, от которой зависит, заплатят людям вовремя пенсию или нет, в общем случае начинается следующая история:
— Ну что вы, наше железо отлично работает, проблема в ПО, — говорит первый вендор и отправляет ко второму.
— Как можно! Наш софт протестирован, проблема в аппаратной части, — говорит второй и отправляет к первому.
Если на этой стадии начать их знакомить, собирать встречи и объяснять, что надо работать, а не переводить стрелки, то конечные пользователи могут выйти толпой на улицы.
Поэтому работаем вместо них мы. Один раз – даже включенными в кислородно-изолирующие приборы после сработки пожарной сигнализации.