Когда инфраструктура готова, возникает следующий вопрос: чем должна быть оснащена лаборатория, чтобы в ней действительно было удобно и безопасно работать? Рассказываю, без какого оборудования мы уже не представляем повседневную разработку в лабораториях YADRO и на чем, по нашему опыту, не стоит экономить.
Стабильное питание
Во время работы со стендами мы хотим тестировать собственное оборудование, а не качество городской электросети. Эргономичность телекоммуникационных стоек помогла нам решить и эту проблему. В нижней части каждой стойки мы устанавливаем отдельный ИБП мощностью от 2,5 до 3 кВт. Такой подход решает сразу несколько проблем.
Во-первых, кратковременные перебои в городской сети больше не приводят к внезапной перезагрузке стендов. Автоматические тесты продолжают выполняться, а инженерам не приходится разбираться, вызвано ли падение теста ошибкой в прошивке или отключением электричества.
Во-вторых, если питание пропадает надолго, остается достаточно времени, чтобы корректно завершить работу операционной системы, сохранить логи и выключить оборудование без риска повреждения данных.
Наконец, отдельный ИБП на каждую стойку делает инфраструктуру более независимой. Проблемы с одним сегментом питания не затрагивают остальные стойки, а обслуживание или замена оборудования становятся проще.
Мы не стали экономить на розетках. В лаборатории многие стенды соединяются между собой в том числе single-ended (несимметричными) интерфейсами, например i2c или UART. Если хотя бы одно из устройств не имеет заземляющего контакта в силовой вилке, то такие устройства должны получать питание от одного источника бесперебойного питания, иначе между ними может возникнуть разность потенциалов. В лучшем случае это приведет к нестабильной работе оборудования и труднообъяснимым сбоям, в худшем — к повреждению портов и электронных компонентов.
Помните, как мы искали причину сбоя работы платы в конце прошлой статьи? Вернемся к нашему «виновнику» — коробке заземления. Это довольно важный момент, так как он касается безопасности.
Есть два вида заземления — защитное и антистатическое. Первое нужно, чтобы защитить человека от поражения электрическим током. Все металлические поверхности, корпуса стоек и приборов должны иметь одну общую точку заземления.
Обычно у электриков с этим не возникает проблем. Они ставят общую шину, подключают ее к общей земле. Протягивают все крепления на стойках, чтобы у них было общее заземление. Поэтому для работы со стендом достаточно надеть антистатический браслет и подключить его к любой заземленной металлической части стойки.
С антистатическим заземлением сложнее. Его особенность в том, что между рабочей поверхностью (например, антистатическим ковриком) и землей устанавливается высокоомный резистор. Благодаря этому статический заряд отводится постепенно, а не напрямую. Именно на этом этапе у нас возникла неожиданная проблема. Несмотря на подробное техническое задание, электрики подключили провод антистатического заземления к общей земле, без резистора. Что и привело к описанной выше ситуации.
Поэтому при проектировании лаборатории важно заранее убедиться, что ваши электрики поняли: защитное и антистатическое заземление — это разные вещи, и путать их опасно не только для работы оборудования, но и для здоровья.
Если вы бы хотели тестировать высококлассное оборудование в наших лабораториях, обратите внимание на вакансии на карьерном сайте YADRO:
Сеть
Когда в лаборатории появляются телекоммуникационные стойки, первое, что обычно предлагают сетевые инженеры, — собрать сеть по классической серверной схеме с использованием patch-панелей. Это подойдет для дата-центров, но, как оказалось, совсем не подходит для лабораторий. Поняли мы это опытным путем.
Еще при монтаже первых стоек через patch-панели стало ясно, что:
Монтаж слишком трудоемкий. Для подключения всех стендов приходилось прокладывать большие косы кабелей между стойками, а это занимало много времени.
Patch-панели занимают много полезного пространства. Например, в лаборатории из четырех стоек почти половина первой стойки была отведена под сетевую коммутацию.
Масштабирование обходится очень дорого. Если нужно добавить еще одну стойку, приходится устанавливать новую patch-панель и прокладывать дополнительные кабели до существующей инфраструктуры. Выполнять такие работы над включенным дорогостоящим оборудованием рискованно, поэтому лабораторию приходится полностью останавливать.
В итоге мы перешли на top of the rack. В каждой стойке устанавливается отдельный недорогой управляемый коммутатор. К нему подводятся всего пара кабелей (up-link) для подключения к центральному коммутатору, который уже подключен к корпоративной сети.
Может показаться, что схема с patch-панелями дешевле. Однако основная стоимость такой инфраструктуры складывается не из самих patch-панелей, а из их монтажа и обслуживания. Прокладка кабелей занимает время, любые изменения требуют работы инженеров, а расширение лаборатории часто невозможно без остановки всей сети. Кроме того, при переезде лаборатории бо́льшую часть кабельной системы приходится демонтировать и иногда даже выбрасывать.
У top of the rack есть еще один плюс: лабораторию стало значительно проще обслуживать и расширять, а также удобнее перевозить стойки. Поскольку каждая из них представляет собой самостоятельный модуль, достаточно отключить питание и два сетевых кабеля, после чего стойку можно обмотать пленкой (для сохранности) и перевезти в другое помещение. Не нужно разбирать кабельные косы, демонтировать patch-панели или заново прокладывать десятки соединений.
Когда на стендах тестируют сетевые интерфейсы, важно отделить тестовую сеть от общей лабораторной сети. Во время испытаний оборудование может создавать большую сетевую нагрузку. Например, запуск утилиты iPerf способен полностью загрузить недорогой управляющий коммутатор, и сеть всей стойки упадет. Чтобы этого избежать, мы соединяем тестовые интерфейсы либо напрямую, либо через специальные коммутаторы, которые используются только для испытаний.
Инфраструктура
Из всего набора сетевых сервисов для лаборатории обязательными мы считаем три: DHCP, DNS и NFS. Именно они закрывают большинство повседневных задач и избавляют инженеров от рутинной работы.
DHCP и DNS позволяют отказаться от статической адресации. Стенды автоматически получают IP-адреса, а обращаться к ним можно по понятным именам вместо набора цифр. Такой подход значительно упрощает перенос оборудования. Если переставить стенд в другую лабораторию или подсеть, он автоматически получит новый адрес и сразу станет доступен в сети. При использовании статических IP подобная операция может обернуться долгим поиском проблемы, особенно если стенд работает без монитора, клавиатуры и привычного пользовательского интерфейса.
Не менее полезен и NFS. Помимо хранения общих файлов, мы используем его в качестве хранилища домашних директорий пользователей. Инженеру не приходится настраивать каждую новую машину под себя и переносить свои рабочие файлы между стендами. Это особенно удобно, когда в лаборатории много однотипных стендов, между которыми регулярно переключаются разработчики.
По возможности не размещайте сервер с сетевыми сервисами в самой лаборатории. Серверное оборудование рассчитано на работу в отдельных помещениях: оно довольно шумное и требует хорошего охлаждения. В лаборатории же гораздо важнее обеспечить комфортные условия для людей, которые проводят там весь рабочий день. Если в компании уже есть серверная, лучше разместить сервер там.
Организация работы
Хотя основная часть оборудования размещена в стойках, полностью отказаться от рабочих столов не получится. Они по-прежнему нужны для инженерной работы: для ремонта, обслуживания и внесения изменений в платы для проверки гипотез. В нашей лаборатории обычно три стола, один из которых — паяльное место. На нем мы собираем и дорабатываем прототипы, проверяем новые схемы на макетных платах, порой самостоятельно монтируем первые инженерные образцы, если получаем с производства только печатные платы. Именно поэтому паяльный стол остается одним из самых востребованных рабочих мест в лаборатории.
Такой стол важно правильно оснастить, для этого понадобится хорошая паяльная станция. Лучше сразу выбирать модель с двумя паяльниками: в один можно установить тонкую ручку для работы с мелкими компонентами под микроскопом, а во второй — более мощную для пайки крупных элементов.
Если вам приходится регулярно работать с SMD-компонентами, стоит приобрести термопинцет и компрессорный термофен. Первый позволяет быстро снимать и устанавливать небольшие компоненты без использования фена, поэтому многие операции выполнять проще и быстрее. А второй — в отличие от моделей, где турбина и нагреватель встроены в рукоятку, — легче, стабильнее по потоку и температуре воздуха и удобнее в работе.
Помимо паяльного оборудования, на рабочем месте не обойтись без луп. Обычно мы устанавливаем по две лупы на каждый стол, чтобы инженер мог в любой момент быстро рассмотреть плату или качество пайки, не занимая микроскоп, который мы установили специально для работы с SMD-компонентами.
Если в лаборатории приходится часто отмывать платы после пайки, стоит предусмотреть ультразвуковую ванну. Она значительно ускоряет очистку, а компрессор с пистолетом для продувки поможет быстро удалить остатки жидкости и подготовить плату к дальнейшей работе.
Еще один инструмент, который может пригодиться, — BGA-станция. Он опционален, так как на фабриках компаний или у специализированных подрядчиков, как правило, есть не только монтажные BGA-станции, но и рентгеновские установки, позволяющие проверить качество пайки скрытых выводов.
И, конечно, не стоит забывать о безопасности: паяльное место должно быть оборудовано вытяжкой, огнетушителем и аптечкой.
Выше я упоминал, что мы считаем: в лаборатории не место толпам разработчиков. И там, когда и где это возможно, мы — за удаленную работу. Гораздо эффективнее, когда на месте находятся один-два инженера, которые отвечают за оборудование, собирают новые стенды, выполняют пайку и помогают с подключением. Остальная команда должна иметь возможность работать удаленно.
Для этого мы оснастили наши лаборатории средствами удаленного доступа. Обычные веб-камеры позволяют наблюдать за индикацией на платах, а недорогие мини-компьютеры, как Raspberry Pi или Orange Pi, обеспечивают удаленный доступ к стендам.
Для отладки цифровых интерфейсов наши инженеры используют логические анализаторы. Их можно подключить к стендам по RDP или VNC и получать доступ к результатам измерений, как на осциллографе, только по сети. Во многих случаях этого достаточно, чтобы разработчик мог удаленно диагностировать проблему цифрового интерфейса.
Система управления стендами
Про систему управления тестовыми стендами ATF уже рассказывал мой коллега Анатолий Вильдеманов, руководитель группы автоматизации и управления тестового оборудования. Система стала одним из самых важных дополнений к организации комфортной работы в наших лабораториях.
ATF упрощает жизнь инженерам за счет:
доступа к полной информации о рабочих стендах;
возможности бронирования стендов, чтобы два инженера не могли одновременно пользоваться стендом и мешать работе друг друга;
поддержки автоматических запусков тестов и задач;
удаленной перезагрузки стендов, их диагностики и многого другого.
Подробности читайте в статье «Хочешь сделать хорошо — сделай сам: как у нас появилась собственная система работы со стендами».
За несколько лет мы убедились, что хорошая лаборатория — это не столько про дорогое оборудование, сколько про продуманную организацию. Многие решения, которые действительно экономят время инженеров, довольно просты: стандартизация стендов, удобная инфраструктура, удаленный доступ, автоматизация рутинных операций. Если готового решения для вашей задачи не существует, не бойтесь экспериментировать и создавать его самостоятельно.
Если у вас уже есть опыт организации лабораторий или вы решали похожие задачи по-другому, поделитесь в комментариях. Будет интересно узнать, с какими проблемами пришлось столкнуться и какие подходы оказались подходящими для вас!
