Pull to refresh

Comments 40

вентилятор сейчас — весьма актуально. говорят, в Москве уже иссяк запас ))
Я из-за вашей жары не могу себе домой (живу в регионе) заказать кондиционер — где-то закончились, где-то цены подскочили так, что сравнимо с нашими…
на кондиционеры, говорят, очередь. я сейчас в глубинах Украины, под Евпаторией, тут в принципе неактуально. а из Москвы получаю только сводки ))
98 год — первая работа, админ в компьютерном клубе. Местные «чёткие пацаны» решили устроить чамп по контре и за полчаса до окончания вырубился хаб. Вылечился простой перезагрузкой. Но ТАК на меня не смотрели ни бухгалтера, ни крупные директора, никто больше. От одного взгляда было больно. Пришлось ребятам накинуть дополнительно полчаса, чтобы после смены не встретиться с ними для проведения чампа по мортал комбат. Было много потом рухнувшего железа (в том числе один раз случайно уронили магистраль, оставив на полчаса (пока переваривали) полгорода без инета), но после того случая, всё как то пресно и абсолютно спокойно воспринимается.
А хорошо, когда такое случается уже на первой работе) Никакое образование не может дать такой уверенности в своих силах, как одна пережитая катастрофа.
Хм, мы как раз сегодня на работе случай обсуждали.

Предыстория:

Был у нас один Заказчик, которому мы делали небольшой проект по организации всей инфраструктуры на базе VMware ESX 3.5.

Делали все по уму-разуму: два сервера HP Proliant DL380 G5 (с резервированием по дискам, по питанию), одна полка HP StorageWorks MSA 2000i с двумя контроллерами и блоками питания, два управляемых коммутатора Cisco для подключения всего этого и разграничения трафика (VLAN, CHAP аутентификация для пущей надежности). Выделенный сервер резервного копирования Microsoft SCDPM 2007 делал бекапы образов основных серверов и данных приложений на локальные диски.

Это было вступление, а теперь короткая история:

Под Новый Год сдали проект, а через три месяца все сломалось.

Из-за скачка электропитания в полке (как мне потом рассказал админ) поломался backplane, маленькая такая плата, которая, естественно не резервировалась. Плату поменял по гарантии приехавший инженер. Однако, сбой привел к недоступности сервиса на протяжении ~2 дней.

Мораль — а кто же знал??!

Вторая история:

Ни с того, ни с сего, начал глючить файловый сервер, который был организован на сервере-лезвии HP BL460 (поколение, к сожалению, не помню). Тома с данными к блейду подключались по Fibre Channel с хранилища EVA 4400. Но суть не в этом.

Сервер начинал жутко тормозить под нагрузкой, файлы могли открываться минутами, перезагружался по пол-часа.

Слово за слово, решили перенести роль файлового сервера на свежесозданную виртуальную машину, а на это лезвие поставить VMware ESX для тестовой среды. Установка прошла успешно, а вот работать ESX октазался, ругаясь в служебной консоли страшными надписями.

Общение с тех.поддержкой HP заняла некоторое время и слава Google, нашлась похожая проблема у одного админа и причиной ее был… backplane, к которому в сервере подключаются 2.5" SAS диски. Убедив ТП и приехавшего инженера в том, что так оно и есть (это было уже после того, как попробовали заменить мат.плату лезвия, что, естественно, не дало результатов), злополучная железка была заменена, и, о чудо, все заработало.

Мораль — да, блин… кто же знал??!

Конец.
эх… хорошая задумка… но судя по тому как прошлые топики превратились в топики зла из-за набежавших троллей, этот топик тоже постигнет такая участь…
тут бы запретить ставить минусы комментариям или что нит в этом роде, тогда ещё можно получить что то похожее на правду.
Спасибо! Но мы все же надеемся что не смотря на троллей конкурс состоится в честной борьбе :)
Пивезли нам один раз сервер на ремонт. А на сервере том по словам заказцика финансовая отчетность за весь период работы фирмы. Открыли, смотрим — ба! а там чипсет оторвался и по всему корпусу болтается, вентиляция наверное плохая была. Ну мы конечно к Насте сразу — мол Насть, дай кофе, а? Она в штыки конечно — говорит, ну что вы IT-шники за народ, покупаете себе какие-то штучки дрючки мигающие за огромные деньги а кофе купить не можете?! Ну ничего, Серега все-таки подкупил ее антистатичным пакетиком из под видеокарты, прицепив туда какую-то блестючую переливающуюся наклейку от корпуса. В этот пакет и пересыпали Настино кофе, а жестяную банку забрали и понесли на кухню. Вырезали в днище дырку размером с чипсет, поставили на комфорку вверх дном, сверху положили материнку от сервера, покрашили на место чипсета немного канифоли. Канифоль кстати дал Михалыч, электрик. Мы ему с тех пор чекушку должны, ну не знаю, может забудет все-таки… Подожгли газ, и… Тут на кухню зашла Мария Петровна, это бухгалтер наш. Конечно она привыкла уже ничему не удивлятся, но тут в ее глазая явно читалось недоумение: пять волосатых человеков стоят над плитой, на плите стоит банка с кофе, сверху лежит какая-то плата и валит густой дым. Густой дым — это потому что краска с банки отгорает. Ну ничего, обошлось все, успокоили ее, она даже чего-то поняла вроде. Да не ссуть, припаялся у нас чипсет нормально, только кривовато немного на взгляд, но Серега сказал что и так сойдет и пора затестить. Включили — сервер работает, но ничего не грузит. Решено было грузится с LiveCD с пингвинами. Загрузились, лезем на жесткий диск сервера — а там, вы не поверите, MacOS стоит. А клиент то вроде говорил, что отчетность у них в Windows делают. Смотрим дальше, и находим — внимание — виртуальную машину, на которой установлена Windows. Не растерялись, скопировали образ виртуальной машины по сети на другой компьютер. Так мы и вытащили файл «Годовая отчетность.XLS». Позвонили клиенту — мол все готово, забирайте ваш сервер. Он приехал, забрал, доволен. Но не долго мы радовались. На следующее утро звонок — мы тут у вас вчера сервер забирали, все хорошо, да вот только у нас таблицы роутинга постоянно слетают, админ уже всю голову сломал — говорит аппаратная проблемма.- Ну привозите…
Привезли, подтянулся наш дружный коллектив и Дима, в лице главного админа — иол не может такого быть, чтобы слетали таблицы роутинга, если все правильно настроено. Смотрит — действительно при перезагрузке слетают. Все конечно с подсказками лезут: Серега говорит — да давайте в автозагрузку батник запихнем который будет каждый раз маршруты по новой прописывать. Дима говорит- да сейчас Винду переставим и все нормально будет. Ну и в таком же духе. Короче работа закипела. Чего только не делали и так и сяк и наперекосяк — а ссбрасываются при перезагрузке и все тут. Ближе к концу рабочего дня интерес к серверу начал заметно угасать, и тут, вернувшийся с обьекта монтажник Коля выдал идею его перепрошить. Я, говорит, когда эта тварь (показывая глазами на старенький телефон Нокия) глючит, всегда его перепрошиваю и глюки исчезают. Научил его админ Дима на свою голову, да… А дима, меж тем, от безысходности уже набирающий в редакторе бат-файлик с роутами, остановился, и в глубокой задумчивости полез на сайт производителя. Скачал новую версию BIOS, загрузился толи с дискеты толи еще как, я уже не помню. Помню на фоне черного экрана побежали проценты. 50%, 60%, 100%!!! Дима отвернулся от монитора и нажал ресет. Надо заметить, что была у него такая привычка — отворачиваться от монитора, когда он делал что-то такое, что либо заработает стабильно и безглючно, либо порушит все окончательно и без поворотно. Ну не знаю, магия какая-то одним словом. Ну а мы смотрим в монитор, мы без этих всяких заморочек — пошла загрузка, вот ОС загружается, вот Дима повернулся, лезет в консоль, riute print — есть маршруты!!! Опять перезагрузка, опять в консоль — опять есть. Вот так непоколебимый и страшный сервер был возвращен полностью работающим и настроенным довольному клиенту. А на радостях отправили Коля в магазин за кофем и конфетами и пошли чаевничать к Насте.
:)
> слетали таблицы роутинга
> Винду переставим
> Скачал новую версию BIOS
> сервер

Персонажи у вас получились как живые прямо)
предлагаю немедленно выдать вентилятор! )))
Расскажите, как, когда и для чего вам доводилось реанимировать серверы и системы хранения данных. Автор истории, тронувшей суровые сердца читателей, и набравшей больше всех плюсов, получит от нас замечательный приз…

Да у нас целых три главных приза – вентиляторы!

Автор получит три вентилятора? :))
на мой взгляд hp делает весьма хорошее железо, и при правильной конфигурации оборудования/софта, все ЧП сводятся к тому что заходишь через iLo, через virtual media грузишься с лайв сд и достаёшь всё что нужно… ну или просто перемонтируешь разделы лежащие на storageworks в соседнюю виртуалку и туда же конвертируешь операционку… а потом уже неспеша достаёшь и смотришь где накосячил :)
Надо было мне как-то собрать башенный сервер на тестинг клиенту. Пошёл на склад, взял все запчасти, понёс в лабу собирать. Запихивал мать в шасси, намучился с проводами, которые постоянно мешают, вроде запихнул, начал прикручивать, смотрю — на матери один винт вкрученный вместе с ножкой отломанной. Нельзя такое клиенту слать. Иду на склад, меняю мать, вставляю, всё скручиваю, запускаю сервер, смотрю — версия биоса древнющая (плата оказалось тестовым образцом, биос перепрошивается только перепайкой). Всё раскручиваю, иду на склад, беру уже третью материнку. Опять корячусь, квставляю в корпус, прикрутил, начинаю накручивать радиаторы на процы и тут вижу, что на одном сокете винтик отломанный от другого радиатора и новый радиатор вкрутить, соответственно, нельзя. Пришлось опять пойти на склад. Оказалось, что нужных матплат больше нет. Пришлось открутить сокет с другой платы, прикрутить к этой. После этого всё собрал таки, всё перепрошил, и отправил красавца куда положено :-)
Хорошо хоть железо от Intel очень юзер-френдли как в плане сборки, так и в плане перепрошивки =)
UFO just landed and posted this here
Про роутер и морозилку недавно похожая история произошла:
Очень нужен был интернет, а точка доступа безумно перегрелась на жаре (она как раз висит на южной стене), поэтому отказывалась соединять меня с миром. В морозилке кроме сосисок и рыбы не было ничего. Я примотала скотчем рыбу к роутеру, а сосиски засунула под ноутбук. Получилось не очень эстетично, зато работало :)
Вопрос-парадокс: можно ли назвать замороженную рыбу активным охлаждением?
Можно, если ничего другого подходящего нет :)
Она же замороженная — значит, это пассивное охлаждение.
Я на лето, на такой случай, на свой роутер просто сверху кладу обычный 12см пропеллер (хорошо, что у роутера сверху множество вентиляционных отверстий) и подрубаю его через молекс в системник. Результат — вместо горячего роутер остается прохладным.
Если мне подарят ведро драгоценных чернил, придумаю развесёлую историю!
Прилетаю я как-то на Таити… Вы не были на Таити? Ну, значит, беру такси и еду на виллу… А что, мне нет смысла держать там свою машину, я прилетаю туда не так уж часто — несколько раз в году отдохнуть от дел.
Ну и на вилле что — первым делом к автоответчику. Послушать чего там мне друзья наговорили. А то может и соседи жаловались, всякое может быть. Жму на кнопки — а он пленку назад не перематывает.
По старой советской привычке не плачу, конечно, не 911 звоню, и даже не 112, а за свою отвертку хватаюсь. Разбираю и начинаю разбираться, проблему искать. А там такая конструкция хитрая была… В общем, полночи ковырялся.
Потом проснулся.
Пусть Вам в следующий раз приснится выигранный вентилятор :)
Серьезно хотите? Их есть у меня…
Стоял некий шкаф под названием Panasonic KX-T336 в скромной комнате в недрах офиса одной корпорации. Был, и даже неплохо жил. Особенно после того как ему подарили кондиционер в эту комнату. После того, как из-за жары потекло олово на плате в блоке питания, так что под весом радиатора силовой транзистор из той платы начал ногами в воздухе болтать. Тогда шкаф отказался выполнять функции офисной АТС, так что заявку на кондиционер удовлетворили. И даже блок питания новый купили, почти недорого. Ну да речь сейчас не о надоевшей всем жаре, а о логах телефонной станции.

Есть у начальств желания разные. Иногда они хотят знать, кто с Бразилией по ночам долго разговаривает. Для удовлетворения начальственных желаний брался из загашников никому не нужный комп, подключался к RS-232 порту телефонной станции и юниксовым котом начинал записывать факты состоявшихся соединений. Текстовый файлик отдавался программе, написанной дельфёй на коленке, для приведения в удобочитаемый вид.
И обнаружилось, что в произвольных местах лога АТС теряются байты. Ровно по два — съедает непонятно кто. После этого началась и несколько месяцев длилась эпопея по поиску диверсанта.

Шнурок наводки ловит? Переложили подальше от силовых кабелей, уменьшили длину до стандартных двух метров, спаяли из дорогущего экранированного кабеля — нет результатов, не шнурок теряет. Комп сменили на соседний — теряется. Винт, мама, прошивка на маме… На кого еще можно пальцем показать? Станция не отдает? Переписка с производителем, поиск прошивки, смена коммуникационного модуля — нет результатов, всё честно отдается. Cat не справляется? Маловероятно, но дошли даже до теста дорогущей программы по сбору и анализу подобной информации — не в софте дело. Скорость на порту была в районе 1200 бод — не так уж много, чтобы на нехватку мощностей кивать. Скорость меняли, флажками игрались, пытались найти зависимость пропадающих объемов с работой рядом стоящего оборудования и с временем суток… Вроде бы чаще пропадают при загрузке винта. Но почему именно по два байта теряется, никогда не пропадал один или три? Мистика полная.

Тем временем программа по банальному парсингу текстового файла превратилась в мощный аналитический инcтрумент — есть время начала звонка, продолжительность, порт внутренней линии, порт внешней линии, флаги переводов, набранный номер, а также есть понимание что в любой из этих переменных могла поселиться ошибка, а важен каждый звонок, отмахиваться от сбойных данных нельзя. И в процессе очередной проработки этой программы как-то нечаянно всплыл вопрос об объеме имевшегося буфера на RS-232… Вы тут тоже сразу поняли, да? Порт на компе оказался без буфера, то есть абсолютно. Вот были такие конструкционно ущербные мамы, которые за их дешевизну корпорация закупила. И тестовый комп, на который мы проблемный меняли при проверке, был с такой же мамой. Поэтому при большом потоке информации от станции комп таки не всегда справлялся.

Да, оба наши техотдела не проявили себя героями в той истории — ни компьютерщики, ни телефонисты так и не смогли с помощью отвертки и паяльника в первый же день вычислить проблему. Но, черт побери, как же хорошо, приятно и весело всем нам стало, когда мы её таки обнаружили.
На этом и прервемся. Бывший телефонист, программист, чел с паяльником и еще кое-кто по мелочам.
думал отдельный пост в «я негодую писать», но пока лень, отпишу тут.
у меня на купленном 8 месяцев назад HP Pavillion dv-6r помер аккумулятор.
я его понес в сервис наш местечковый, а мне говорят: у HP гарантия на аккумуляторы — пол года всего, так что гони 300 долларов.
я и прифигел. думаю — НР компания порядочная и на такую фигню не способна. попросил панов-сервисников показать мне, где такая фигня написана.
они пол-часа искали (попутно рассказывая — какое г… эти павилионы, зачем я купил такую дрянь и т.п.) а потом им из киева сказали-таки что гарантия год.
они и приняли все в ремонт.
но теперь требуют с меня 200 грн за выдувание пыли.

история не на конкурс, а просто высказаться. куда лучше жаловаться на таких…
ладно б еще просто на деньги меня пытались кинуть, но зачем хаять хорошую технику хорошей компании?
Эх, 5ый курс. Первая конференция. На подключенную к проектору машину слайды «скопированы» с флешки кнопкой F6 в FAR. Почему так — не знаю, с копировать, вроде, хотел, и F6 нажимал почти сознательно, видимо волновался.
На третьем слайде внутри системника происходит тихий, но вполне различимый на фоне неуверенного рассказа об адаптивных фильтрах, щелчок и проектор радует публику синим экраном смерти. Минутная заминка, reset и экран становится черным с не менее драматичным «Hard drive not found. Insert system disk and press ENTER».
Понимая, что кина не будет, пытаюсь говорить что-то из головы, но получается уж совсем грустно, даже на фоне в целом неяркого остального выступления. Председатель (или кто там главный), дабы предатвратить дальнейшее мое самоунижение, дает перерыв 15 минут на чай.
За этого время удалось:
1) Найти ноутбук и понять, что на начальном носителе ничего полезного нет.
2) Дать домашним по телефону указания, как включить компьютер и узнать белый динамический IP.
3) По тому же телефону с ноута из п.1 залезть на персоналку по ssh и попытаться из Ъ-консоли отправить себе на почту нужные файлы.
4) Осознать, почему они не идут и все же отправить их.
В конце концов доклад закончил и сразу ушел от туда. Как после этого всего не появилась боязнь публичных выступлений, не понимаю до сих пор.
Занятно, но куда забавней было бы, если бы оказалось, что просто забыли вытащить флешку, и комп пытается загрузиться с нее :) Бывали и такие случаи. При перезагрузке с воткнутой флешкой в БИОСе просто менялся порядок загрузки :)
*устроившись поудобнее в кресле и заварив чай в одминскую кружку.
А вот у меня был случай… Стоит значится у нас около 20 серверов HP от ML350 до DL580. И вот однажды, месяца четыре назад возникла нужда второй сервер БД поднять. Взялись мы включать сервер HP Proliant DL380G5, а на мониторе только пикслели разноцветные бегают, да вентиляторы шумят. «Видяха сдохла» подумал я и поставил на пробу внешнюю видеокарту. Работает! Ну, думаю, не зря ж гарантия три года, надо поменять материнскую плату, ага. Звонок, заказ, курьер, приехала родимая полметра на полметра материнка.

Поставили, подключили, два Xeon'а x5260 штатные поставили, включаем — банан. Вентиляторы включаются на полные обороты, а диоды на корпусе говорят нам о том, что проблема с процессорами. Нахмурились мы тогда, сняли один процессор, включаем — работает родимый. Ставим обратно процессор — не работает. Эка ромашка, подумали мы. Звоним в HP, объясняем ситуацию.

Третьего дня нам присылают инженера с новой материнской платой. Инженер вынимает-отключает-ставит-подключает — не работат. Вынимает один процессор — работат, ставит два не работат. Озадачился, озадачил вышестоящих инженеров. Ничего не придумали, кроме как поставить другую материнку.

Через неделю приехал еще один инженер. Угадайте с чем? Правильно, с такой же материнкой, которая опять не заработала. Кстати пока инженеры катались с материнками, мы попробовали вставить процессоры другой модели с другого сервера DL380. С другими процами всё работало, Xeon'ы 5260 тоже протестировали — оказались рабочие. Сказали об этом инженеру, продемонстрировали, сказал об этом вышестоящим инженерам. И решили что? Правильно, заменить материнку.

Вообщем стоит у меня четыре месяца под правым локтем DL380G5 с четвертой по счету материнской платой (три раза менял инженер и один раз я) и двумя Xeon'ами 5260. А я грустно раз в неделю звоню в HP и слушаю ответ о том, что мою заявку под номером 4615237714, дескать «эскалировали до Европы» и надо чего-то ждать. Чего ждать не знаю, но как говорится «ебу и плачу». Это не реанимация, это констатация смерти.
*чай допил, смахнул скупую админскую слезу.
А был случай — пролили лапшу Доширак на новенький, такой долгожданный сервер (ну, админ его ковырял на столе, и решил там же перекусить). Естественно, включаться он не захотел…

Починили просто — вытерли все следы лапши и отправили обратно по гарантии. :)
Сдох у меня значится винт. Аккуратненькая дырочка в микросхеме крутилки-шевелилки. Под рукой только 40 ватт паяльник. После недолгого раздумья был сотворен технотрэш:

— банка из-под кофе, вырезано дно (в процессе пропорота рука, все вокруг залито кровью)
— лампочка 100 ватт из туалета
— настольный светильник без абажура

Лампочка в светильник, сверху — банка, на банку — плата. Одна сигарета и время на бинтование руки — и микросхему можно снимать. С такого-же винта-донора снята живая. Паяльником 40 ватт и оплеткой от коаксиала («волной») живая микросхема усажена на новое место жительства. Винт завелся и отдал все данные.

И да, год то был 1999, винт — один из первых «резиновых» сегейтов. А я с тех пор и по сей день успешно занимаюсь data recovery. Только инструментарий другой, конечно, да и опыта поприбавилось. А о случае том напоминает шрам на руке да конструкция из лампы-банки, пылящаяся на шкафу.
Профессия нашла своего мастера — романтика! Кстати, уже не первыйраз слышу про такую конструкцию. Если когда-нибудь организуют Всероссийскую Премию по восстановлению данных, награду надо будет сделать в виде лампы с насаженной на нее банкой)
я не сисадмин а обычный сотрудник, но если что то с компами зовут меня, потому штатного сисадмина на фирме отродясь небыло.
Итак в самый разгар бухгалтерской отчетности (это сейчас все через инет, а тогда на бумажках было) принтер конкурирующей фирмы гнусмас отказывается печатать, т.к. по его мнению закончился картридж (хотя он был вполне ещё полон). Что делать? думал сначала отключить надоедливую проверку (как всегда делал на принтерах HP), однако гнусмас не так прост и ничего отключать там нельзя. В инете советуют перепрошить чип на картридже (ещё б я знал как это делается), однако же никакого чипа на картридже не было (он был из стартового набора). Между тем бухгалер стоит над душой, а гугл медленно переваривает мои запросы. (бежать за новым картриджем было далеко и непозволительно долго). И вот в последний момент я нахожу страницу на которой написано, что для решения проблемы надо замкнуть контакты какого то микроскопического чипа в принтере. разбираю значит я этот принтер, по пути меня шибает током оттого что полез руками не туда (а замыкать надо при включенном питании), бухгалтер зеленеет как будто её давно уже пытают током гестаповцы, нахожу этот чип, а он малюсенький и непонятно где у него верх где низ и где ноги №№ 1 и 2. При этом согласно инструкции замкнуть надо ровно на секунду после включения иначе ниче не выйдет. Замкнул раз, другой, не печатает, плюнул на все, решил подержать ножницы (а ничего другого для замыкания контактов под рукой небыло) подольше, секунда вторая третья (только бы не сгорела эта сложная электроника), убираю ножницы и вуаля — принтер весело глядит на меня зеленой лампочкой, что значит готов к работе, смело жмите print. Фуух. Собираю, рапортую, все довольны. Так я в первый раз в жизни разобрал принтер, потыкал в него ножницами и умудрился ничего не сломать.
Захожу я как-то на Хабр, и вижу IThappens.ru…
Был одновременно печальный и забавный случай в студенческие годы, где-то на 2 курсе. Ответственный за прием сайта человек не мог его принять из-за пиратской винды (тогда ещё XP). Сам сталкивался всего 1 раз — напомню: при запуске появляется настойчивое предложение её купить и ввести ключ. Сам был в области, цивилизация далеко, заказчик в соседней стране )) Заказчик — компания, я работал в «конторе», заказ получен исключительно благодаря связям директора, на бумаге даже не оформлялся. Вкратце, пока не примут — никаких денег.
Повезло, что слышал краем уха о баге с «особыми возможностями». В этом режиме работал хоткей Ctrl+U(если не ошибаюсь), открывалось окно, а там была ссылка на сайт Майкрософт и по клику соответственно открывался IE =). Периодически все падало, но принять сайт все же смогли, платеж прошел. Человеку посоветовал купить лицензию, правда он почему-то нервно хихикнул и поблагодарил. )
Получил деньги и свалил с такой «работы», благо как раз предложение поинтереснее появилось.
Sign up to leave a comment.