Comments / Profile of vlom88 / Habr

Шаров Дмитрий @vlom88

User

Да, было: большая подборка IT-факапов ко Дню программиста

Хехех. Вспомнил пару своих эпичных фэйлов, после одного меня все таки уволили.

Когда еще только начинал работать программистом работал в компании которая занимается продажей инструмента. Ни о каких CI/CD и прочих прелестях доставки изменений на прод и слыхать не слыхивал, да и понятий таких тогда еще не было. Под конец рабочего дня мне надо было выкатить изменения и в частности накатить миграции. Но я же решил перестраховаться и захотел сделать перед этим дамп базы, но то ли уставший, то ли просто затупил и вместо того что бы в вести в консоли mysqldump ввожу mysql -u -p < dump.sql и просто наливаю дамп который был сделан утром((( Как итог похерилось около 300 заказов, которые были сделаны за день через сайт, а на основе их ночью формируются заявки поставщикам, наряды на доставку, запускаются еще какие-то процессы. До полуночи с менеджерами сидели восстанавливали заказы по отбивкам из почты. Следующим днем меня уволили.

Второй факап случился несколько лет назад. Работал в компании которая разрабатывает продукт как для своего пользования (важный момент), так и продает его на рынок, как saas решение. Понадобилось затащить на прод профилирование, не спрашивайте почему)))), выбор пал на xhprof, был написан функционал который в качестве одного из аргументов принимает callback который по сути и выполняет весь рантайм приложения, и в коде было нечто вроде

function profiling(Closure $callback): void
{
    if (extension_loaded('tideways_xhprof')) {
        return;
    }

    //Тут проверки других условий нужно ли запускать профилирование

    //Запускаем профилирование
    tideways_xhprof_enable();

    $callback();

    //записываем результаты профилирования
    file_put_contents();
}

profiling(
    function (): void {
        $application = new Application();
        
        $application->run();
    }
);

Через 5 минут после релиза клиенты начинают обрывать телефоны техподдержки, сыпать письмами в почту что ничего не работает и вместе приложения видят белый экран.
В свою очередь мы в офисе понять ничего не можем, у нас все корректно открывается все работает. А проблема оказалось в том, что под сам сайт было выделено 5 нод, на одну, с офисного IP, идет трафик собственно с офиса, на остальные четыре распределятся остальной. И xhprof был установлен только на той, на которую ходят сотрудники компании и на стйджах, поэтому все тесты прошли нормально и задача уехала в прод. Ну и вся проблема ясна из кода, в первом пресловутом if'е вместо того что бы вызвать переданный callback мы просто завершаем выполнение. Тут меня не уволили, не депримировали. проблему нашли в течении пары минут после первого обращения мерж с фиксом еще пара минут. Дольше доставлялись изменения на прод, но это совсем другая история. Общее время простоя около 20 минут.