Комментарии 66
Как там говорится: "опыт инженера прямо пропорционален стоимости выведенного из строя оборудования". Статью писал опытный инженер)))
Если аппарат за пол-лярда баксов полностью сгорел от подачи неправильного напряжения - грош цена такому аппарату.
Никакое количество денег не обманет физику.
Если просто собрать его из самых дорогих комплектующих, то конечно. А вот если там aerospace-grade драйверы двигателей стоят, то они должны быть защищены от такого.
Ну и действительно оказались, раз агрегат не помер.
В хорошо спроектированном на максимальную надежность и автономность устройстве должна быть предусмотрена защита. Понятно, что если бы в аппарат попала молния, но тут просто повышенное напряжение. Максимум что должно было произойти, блок ушел в защиту и восстановился после нормализации ситуации.
Никакая защита не остановит хорошего инженера с хорошими инструментами.
В хорошо спроектированном на максимальную надежность и автономность устройстве должна быть предусмотрена защита.
Защита от штатных неполадок. Инженер, который может воткнуться разьемом куда угодно — явно не штатная неполадка для космического аппарата.
Любая защита усложняет схему, тратит время на проектирование и тестирование, тратит энергию во время работы.
Можно поставить все необходимые защиты - и утяжелить аппарат на пару килограмм. Которые как раз окажутся лишними в какой-то критический момент.
В эксплуатации подобным всплескам энергии просто неоткуда взяться.
Встраивать в схему защиты, а после испытаний их убирать == обесценить испытания.
Отвратительный перевод. А что касается стоимости, то для зарплаты инженера - огромная, конечно, но есть нюанс. Если я правильно помню, то JPL в то время (начиная с миссии Pathfinder/Sojourner) сконцентрировались на относительно простых и недорогих машинах, чтобы не было мучительно больно за потерю тяжелого межпланетного комплекса. Ну и как показала практика, оказались правы. Отработали посадку и кинематику на недорогих, стали постепенно увеличивать нагрузку.
Главная ошибка: как вообще можно было подать напряжение на аппарат? Там разъемы не должны дать провернуть подобного. Например одной стороны мама, с другой папа.
Перевод- догадайся что имелось ввиду. Мультиметр отключили - вырубили питание телеметрии. Значит всё-таки он контролировал потребляемый ток, а не напряжение. Но тогда вообще странно решение взять его "возьму этот мультиметр, ну и что если что-то останется без питания".
А посыл статьи правильный. Мы все ошибаемся. И я, как инженер, всегда радуюсь в таких случаях, что я не врач. И в случае ошибки самое правильное - не искать кто виноват, а сразу начинать думать, а что мы можем сделать, чтобы продолжить работу.
Действительно не очень похоже на ошибку. Больше похоже на непонимание собственных действий. Безрефлексивность.
Главная ошибка: как вообще можно было подать напряжение на аппарат? Там разъемы не должны дать провернуть подобного. Например одной стороны мама, с другой папа.
Эта практика появилась далеко не сразу. Раньше надо было бдить. Это потом уже додумались делать разные разъемы, разные цвета и всё такое.
Эта практика появилась далеко не сразу.
В продукции массового потребления. А в НИИ наоборот, удобнее когда все разъемы одинаковые, обжимаются одинаковыми инструментами, без "зоопарка" несовместимых разъемов. Уровень инженеров высокий и они должны знать, что куда подключается. В статье работал по сути стажер, не разрабатывал, а собирал статистику.
На макетном столе в моих хобби проекта вообще голые провода, с напряжением от 0.001 до 220В, естественно тут надо думать что куда подключается. И это типовой подход, вот даже статья есть Хватит скручивать. На макетной плате сотни проводков однотипных.
При монтаже проводки 220/380 многое на внимательности электриков держится. Подать фазу на корпус прибора нежелательно совсем (вместо заземления РЕ), желтый полосатый провод конечно об этом напоминает, но и перепутать не сложно.
У меня такое было, в 2008 году на моей первой работе мне поручили на приехавшей офисной АТС отрезать иностранные вилки и поменять на отечественные с заземляющим контактом. Я несмотря на в целом неопытность, прекрасно знал, что жёлто-зелёный провод заземляющий, я не раз дома до этого менял вилки на приборах, и тем не менее накосячил, перепутал заземление и один из силовых контактов. Хорошо, один коллега заметил и в розетку моё произведение так и не было включено, и ни АТС не сгорела, ни током никого не ударило, а я так и не смог для себя понять, как же это я так ошибся? Сделал вывод, что мозг может хитро отвлечься на что-то, и нужно быть внимательнее, научиться как бы мысленно сбрасывать впечптление от проделанной работы и смотреть на то, что сделал, как бы другими глазами, беспристрастно и с другой точки зрения.
У коллеги на другой работе был подобный прикол, когда он ещё не набрался опыта. После нескольких часов работы с оптической муфтой, на финальной стадии, когда связь уже пошла, он откусывал бокорезами хвосты стяжек, удерживающих пластиковые трубочки-модули на кассете, и что-то взял и откусил модуль с волокнами под корень, и стоял несколько секунд в ступоре, обдумывая, что он только что сделал. Связь частично снова упала, и исправить никак, только переваривать снова всю муфту, и объяснять дежурным на смене, что связи снова не будет часа три, а они уже успели закрыть аварийную заявку... С опытом такие приколы почти проходят, но вот тем не менее мозг может сотворить такую глупую ошибку.
На дорогах то же самое. Я всю жизнь езжу на (электро)велосипеде, и очень аккуратно, а вот недавно повернул налево подрезав двух самокатчиков, чуть не сбив их, хотя я их видел в нашлемное зеркало, и они мне, естественно, высказали что думали обо мне за этот манёвр. А я и сейчас не пойму до конца, почему я видя их повернул перед ними. Наверное, мозг больше заточен на пропуск автомобилей, а самокатчиков, ещё и в зеркале заднего вида, обгоняющих меня, воспринимает хуже как менее типовое явление. Может, меня перед этим отвлёк автобус и стоящие на остановки люди, плюс желание повернуть, и новая информация о наличии самокатчиков в зеркале не была воспринята мозгом как важная, не хватило "оперативки". Но тем не менее глупую ошибку на ровном месте может совершить каждый.
Наверное, мозг больше заточен на пропуск автомобилей
Водители автомобилей очень часто "не видят" двухколесный транспорт. Несколько таких аварий видел лично.
Участвовал в такой. Водитель поворачивавшей газели просто не воспринял меня. Хорошо, что сам не проспал, и вместо "меня сбила газель" получилось "я въехал в газель"- аккурат в заднее колесо. Небольшая восьмёрка и сломанная педаль. Даже не испугался.
А через 6 часов меня отпустило, и только тогда я понял, что был в диком стрессе. Не чувствовалось совершенно, а когда отпустило - затрясло.
"возьму этот мультиметр, ну и что если что-то останется без питания"
Ну очевидно ему сказали взять - он взял. Теперь, после этой ошибки, он уже так не сделает)
А по поводу разъемов - марсоход штучное устройство, мало ли как там все устроено, все равно это никто обслуживать на Марсе не будет.
Инженер (!) взял подключенный (!) мультиметр, включенный на измерение тока (!!)
Все мультиметры разобрали, поэтому он указал мне на прибор рядом с космическим аппаратом; похоже было, что тот следил за напряжением шины, но не использовался в испытаниях. Я аккуратно отключил разъёмы и направился на встречу с судьбой — тестировать двигатели RAT. На самом деле отключённый мной мультиметр мониторинга находился в цепи, питавшей телеметрию наземных испытаний аппарата. Отключив разъёмы, я ненамеренно разорвал соединение.
То есть на переключатель мультиметра он не посмотрел.
марсоход штучное устройство
Вот именно, а в таких устройствах наоборот, удобнее когда все разъемы одинаковые. Легко заменить один на другой и проще проектировать, отлаживать. Например на стендах такие же разъемы.
И я, как инженер, всегда радуюсь в таких случаях, что я не врач
У инженеров тоже есть ответственность, правда размазанная по коллективу. Кто-то выдает ТЗ, кто-то делает расчеты, кто-то тестирует и сертефицирует. Боинги падают, ренгеновские аппараты не отключаются, мосты в резонанс входят и т.п.
Баг-убийца. Фигак, фигак и Therac-25
В программном обеспечении Therac-25 были найдены как минимум четыре ошибки, которые могли привести к переоблучению.
Одна и та же переменная применялась как для анализа введённых чисел, так и для определения положения поворотного круга. Поэтому при быстром вводе данных через терминал Therac-25 мог иметь дело с неправильным положением поворотного круга (состояние гонки).
Настройка положения отклоняющих магнитов занимает около 8 секунд. Если за это время параметры типа и мощности излучения были изменены, а курсор установлен на финальную позицию, то система не обнаруживала изменений.
Деление на величину излучения, приводящее в некоторых случаях к ошибке деления на ноль и к соответствующему увеличению величины облучения до максимально возможной.
Установка булевской переменной (однобайтовой) в значение «истина» производилось командой «x=x+1». Поэтому с вероятностью 1/256 при нажатии кнопки «Set» программа могла пропустить информацию о некорректном положении диска.
Были выявлены потенциальные ошибки — в многозадачной операционной системе не было никакой синхронизации.
Там разъемы не должны дать провернуть подобного. Например одной стороны мама, с другой папа.
Из своей практики вспоминаю два ярких эпизода, связанных именно с разъемами.
Эпизод 1. Дорогущий вакуумметр, подключается стандартным разъемом DB9. В одном разъеме питание +12, линии RS232 и электронные реле, которые можно настроить на определенное давление. Нужно подключить его на экспериментальный прибор. Чтобы не отвлекать от работы профессиональных электронщиков решаю спаять разъем сам, внимательно изучаю инструкцию, несколько раз всё проверяю, подключаю. Вакуумметр вроде включается, на дисплее отображает давление, но обмена по RS232 нет. Я несколько дней пытаюсь наладить обмен, но все безуспешно. Затем вакуумметр работать перестает. И только тогда я обнаруживаю, что я припаял провода задом на перед - DB9 симметричный и я неправильно понял с какой стороны считать контакты. Каким-то образом, получал все это время питание через входы электронного реле, потому у меня не возникало сомнений, что разъем спаян правильно. Вакуумметр починили по гарантии, и долго удивлялись, как мы его умудрились сжечь.
Эпизод 2. Участвовал в разработке масс-спектрометра нового поколения. Как обычно ближе к новому году началась гонка, нужно было сдать до конца декабря. Лаборатория, которая занималась разработкой электроники выдает блоки, мы их интегрируем с управляющим ПО. В один день мне звонят, чтобы я подошел за очередным блоком. Блок мне выдает лично нач. лаборатории, также вручает кабель питания с разъемом типа ШР. Возвращаюсь к себе, подключаю, подаю на блок питание. Громкий хлопок. Из блока летят искры идет дым. Быстро все обесточиваю, открываю блок и вижу что на платах просто нет дорожек - зато на столе под ним образовалось пятно с характерным металлическим блеском. Дорожки просто испарились. Оказалось что в разных блоках разная распиновка разъемов питания, и мне выдали кабель не от того блока, а в этом блоке в разъеме питания помимо силовых линий заведены еще сигнальные, и так "удачно" сложилось, что они как раз попали на силовые линии в кабеле питания. Блок довольно быстро починили, выдали правильный кабель и работа продолжилась.
Какая мораль? Ошибаются все, особенно когда делается что-то новое, уникальное экспериментальное. Лет мне было примерно столько же, как и герою рассказа и тогда я конечно переживал и расстраивался, когда подобное случалось. Сейчас считаю, что сильно переживать по поводу таких ситуаций точно не стоит, это бесценный опыт, который дороже поломанного оборудования.
У меня похожий кейс по симметричности. Будучи специалистом по электронике, как-то так вышло что пришлось менять топливный насос высокого давления на дизельном двигателе 1Д20. На руках у меня был древний мануал как это правильно делать, полный комплект ЗИП для всех процедур и казалось бы дело за малым. После установки нового насоса надо было его выставить правильно по меткам, чтобы определённому углу на маховике соответствовала подача топлива в третий левый цилиндр.
Две недели я не мог понять, какого хрена дизель не запускается. В последствии оказалось что третий левый цилиндр надо было смотреть не со стороны вентилятора, а со стороны маховика.
Но тогда вообще странно решение взять его "возьму этот мультиметр, ну и что если что-то останется без питания".
А чего такого-то? Нужен мне инструмент для работы - спросил разрешение - получил разрешение - взял. Откуда я знаю что он там делал и нужен он или нет. Это должен был знать разрешающий)
Хех, вспомнилось как в первую неделю работы в институте, выпустил дым из железки за 2,5к евро... Косяк был скорее не мой, но неприятно. Шеф запаковал и отправил поставщику, потому что "не работает". Даже не знаю, прислали ли счет за новый девайс.
Если не секрет, что за железка была? И как так вышло?
Это была матрица микрозеркал (https://en.wikipedia.org/wiki/Digital_micromirror_device) как используются в в проекторах, только в виде Developers Evaluation Kit - вместе с платой управления, на которой выведены всякие интерфейсы ввода-вывода, USB, DisplayPort, HDMI, питание. Голый девайс получается довольно громозкий и неудобный: основная пллата + присоединенная на жестком шлейфе часть с матрицей
А раз дело было в оптической лабе, то смонтировано было на том что было под рукой: крепеже для оптическийх компонентов. Это такой прекрасный очень качественный конструктор из нержавейки. Коллега это быстренько зафигачил без задней мысли и передал мне: "программировай". Было очень удобно пару дней, до момента, когда был замечен дым и девайс навсегда умер. Следующий девайс был в напечатанном корпусе, живет до сих пор.
Ну и урок, что даже если ты свежий практикант, недели не проработавший, все же стоит минимально критику включать.
А что вы с этой штукой в институте делали? Они ведь вроде только в проекторах и используются.
Проектор это частный случай, в более широком смысле этот прибор обеспечивает пространственную модуляцию света - т.е. в зависимости от своего положения в пространстве каждое микрозеркало включает-выключает свет. В фотонике такое очень любят, ведь изменяя профиль лазерного луча можно делать разные экзотические лучи и придумывать интересные штуки с ними, например https://ru.wikipedia.org/wiki/Оптический_пинцет, воспроизводить простенькие голограммы, или просто очень быстро (микрозеркала переключаются с частотами в килогерцы) перенаправлять фокус чтобы что-нибудь сканировать, или прицельно взаимодействовать с образцами. А можно и видео показывать (тоже было дело), полезный прибор в общем!
Так может плата изначально была с дефектом.)
На первой моей работе к нам пришел новый сотрудник и в первый же день умудрился вставить планку памяти в материнскую плату с другим разъемом, уже не помню что там было, наверное DDR1 и 2. После включения материнка испустила белый дух) но это не помешало ему стать начальником отдела в будущем)
Судя по графику тока ничего опасного не случилось. Импульс был очень короткий. Перегрузки по току не было. Человек стрессовал скорее всего за нарушение какого-то регламента. Что-то здесь недоговорено.
Кто такой "моряк-лингвист"? И что он делает в чистой комнате марсохода?
Отвернувшись от микрофона, Джон сказал много нелестного обо мне, завернув так, что у него бы могли поучиться и опытные моряки.
Просто небольшая шутка про матерно-лингвистические возможности Джона в нештатной ситуации
Была бы шутка. Но есть Navy linguist, otherwise known as a Cryptologic Technician – Interpretive. Тоже моряк-лингвист.
Я бы перевёл эту часть на русский, сравнив его с "сапожником". Так метафора стала яснее? :)
Вообще, я понимаю, что человек накосячил, но имхо
Когда известие распространилось, коллеги в отделе испытаний систем начали шарахаться от меня.
Отвернувшись от микрофона, Джон сказал много нелестного обо мне, завернув так, что у него бы могли поучиться и опытные моряки.
На самом пике кризиса, когда у меня лились слёзы, а все коллеги отдалились от меня, меня поддержал единственный человек
говорит о непрофессионализме коллег? Я понимаю что срываются сроки/теряются деньги, но, вероятно, в их обязанности входит и решение проблемных ситуаций? Особенно касается руководителя.
Да и вообще, если человеческая ошибка может привести к такому, возможно проблема в дизайне/ответственному за процессы?
Много вопросов осталось.
Возможно это его личные когнитивные искажения, интроверт/аутист мог неправильно интерпретировать поведение коллег на фоне самокритики. То, на что раньше не обращал внимания, стало казаться признаком осуждения после пережитого стресса. По факту ничего ему не было.А Джон мог ругаться и в обычных ситуациях, в том числе при позитивных эмоциях.
проблема в дизайне/ответственному за процессы?
При ограниченном времени и бюджете нет времени на дизайн. Условно они могли за год не полностью аппарат собрать, а обсуждать цвет и форму разъемов. А ответственны там все. Вот же примеры аварий аналогичные (раз и два), виноваты все понемногу.
То, что его нецензурно покрыли с таким результатом - ничего удивительного, понимать надо. А вот остальное - это мне кажется субъективное преувеличение на фоне шуток типа: "Вон идёт, ну который марсоход сжёг" :)
Отключив мультиметр автор разорвал цепь, соответственно телеметрия пропала в этот момент, а не в момент проверки двигателя, тобиш кто то раньше автора ссыканул обозначить проблему отсутствия телеметрии?
Не думаю что там сидел человек и непрерывно смотрел на показатели телеметрии, это ж были просто тесты. Вот когда узнали об инциденте, тогда посмотрели и поняли что телеметрии нет, а то что она пропала в другой момент и непонятно было, там разницы то в пару минут между событиями.
Какого бы качества продуманности ни были их железяки, но при такой работе очень хочется, чтобы был "логгер работы инженера".
По чьему логу можно было бы увидеть, после просушки штанов, что какой-то мультиметр в роли предохранителя был зачем-то оторван от схемы...
Может гарнитура с голосовой диктовкой всех действий, и авто-SpeechToText в файлик...
Значит выходит, что они долго-долго проектировали, придумывали и заказали по одному образцу от каждой платы? Мне кажется человек напугался и истерит. Ну сгорело бы там все нафиг. И что? Заменили бы на второго образца из сотню заказанных и весь инцидент закончился бы в 24 часа. Даже я когда части и комплектующие заказываю беру в 2 раза больше чтобы было на всякий случай. А это же НАСА, а не я.
Тоже сталкивался с подобным проектированием дорогой аппаратуры, совершенно не рассчитанным на ошибку по питанию. Не за лямы баксов, но и не копеечная техника. К примеру специальный радиоприемник Rohde Schwarz EB100 - древний, тем не менее очень хороший аппарат. Питание процессора там заведено прямо с разъема внешнего питания, без каких-либо цепей защиты и ограничения. Однажды притащили дохляка после подключения к какому-то блоку питания. Процессор почил в бозе.
Интересно, я думал, что там тестовые стенды должны быть сложнее чем сам агрегат.
Вот эта статья мне кажется более интересная, кто не читал по теме
Типичные проблемы организации производства. Тут и смены по 12 часов, и отсутствие защиты от дурака, и отсутствие резервирования (могли бы и с запасом деталей марсохода произвести, на случай, если что-то сожгут).
Ну и да, если бы автор оригинальной статьи таки угробил бы марсоход, то наказано должно было бы быть его руководство, которое вышеописанные проблемы допустило, а не рядовой инженер/техник. В Российских реалиях, кстати, оно не так и виновным в падении ракет назначают какую-нибудь кладовщицу.
Хорошая история, но очень, очень, ОЧЕНЬ плохой перевод, я даже не вижу смысла отдельно выписывать особо ужасные фрагменты. Пожалуйста, НЕ переводите статьи из той области, которую не понимаете и не можете скорректировать...
Предлагаю новый формат постов - "ссылка на интересный материал", где есть ссылка на оригинал и один абзац пояснений, почему это интересно. Автоперевод в браузере сработает не хуже, ноосфера будет менее засрана плохим контентом, желающие прочитают оригинал, другие желающие - автоперевод, а обсуждение в комментариях, самое ценное на Хабре - никак не изменится.
У полицейских на груди висит регистратор, даже у кондукторов на транспорте он есть. Было бы неплохо и у инженеров такое иметь, для логирования действий с уникальным оборудованием.
На фотке мультиметер включен в режиме измерения напряжения а не тока.
Марсоход и моя ошибка на 500 миллионов долларов