• Как правильно составить ТЗ на администрирование: наши грабли

      Вообще, тема неисчерпаемая. Ковыряется как-то Лёшка (наш инженер) в стойке в ЦОДе повышенной ответственности, где стоит несколько банков. В соседнем ряду наблюдает совершенно дикую картину: парень подошёл к блейду. Выдернул жёсткий диск, что-то записал, ВОТКНУЛ ЕГО НАЗАД, выдернул второй, записал, поставил, выдернул третий. Лёша ему: «Пссс, парень, ты чего?» Он: «Ну так инвентаризация же!» И сразу как-то всё стало понятно.

      Я работаю в департаменте вычислительных систем КРОК, мы поддерживаем всё то, что можно кинуть в стену. То есть сервера, системы хранения данных и прочее дорогое железо в дата-центрах. Ну и то, что на нём — операционки, базовую инфраструктуру. Простейшая базовая услуга — ЗИП, то есть замена комплектующих вовремя. Более сложные — это заменять сисадминов заказчика.

      Самый страшный момент контракта — это составление техзадания. Расскажу про те грабли, которые мы ощупали вместе с клиентами и о том, как их избежать. Ну и приложу пример шаблона ТЗ, который используем мы.
      Читать дальше →
    • От AI до VR: как промышленность и ритейл используют новые технологии

        Привет, Хабр! Меня зовут Алексей Сидорин. В КРОК я больше пяти лет помогаю внедрять роботов, а также системы дистанционного обучения и геймификации российским и международным компаниям. А недавно стал комьюнити-менеджером нетворкинг-платформы Digital Leader. DL – это международный проект, который объединяет представителей бизнеса и специалистов в ИТ.

        На прошлой неделе мы провели онлайн-конфу по теме Индустрии 4.0. Представители лидеров промышленного рынка и ритейла рассказали, какие задачи они решают и какой результат получают с помощью внедрения интернета вещей, искусственного интеллекта, робототехники, блокчейна, а также виртуальной и дополненной реальности.
        Я решил рассказать, о чем там говорили, как реальные компании используют те или иные технологии на практике.
        Читать дальше →
      • Как устроен склад алкоголя, и как нечеловекоподобный дрон может летать между бутылками

          image

          Мы собрали прототип дрона, который будет летать по складу и инвентаризировать алкоголь. Вообще-то такой дрон нужен много для чего (и вы могли видеть в некоторых магазинах ездящие колонны, которые занимаются чем-то подобным), но именно на складе алкоголя крайне важно, чтобы это был не человек. Потому что есть огромная проблема с подбором персонала на такие объекты. Отметим, что в результате отбора и последовательного отсева тех, кто злоупотребляет алкоголем на работе или стремится его украсть, в итоге на складе работают в основном глубоко религиозные люди, которым ислам запрещает пить.

          Но вернёмся к роботу. От него нужны три вещи:

          1. Двигаться по складу без помощи оператора.
          2. Считывать штрихкоды или QR-коды паллет и надписи около них.
          3. Превращать это в данные инвентаризации и передавать в WMS в итоге.

          Казалось бы, простейшая задача для пятичасового хакатона. Но на деле всё немного не так. Начнём с того, что метки под скотчем или полиэтиленом (то есть нужно сопоставление нескольких кадров без бликов) имеют разный шрифт и бывают рваными или протёртыми.
          Читать дальше →
        • Помощник или инспектор: по ком звонит робот?

            image

            Привет, Хабр! Я тимлид группы продуктовых инноваций в КРОК. Технарём меня назвать можно с большой натяжкой, но зато я много общаюсь с разработчиками, техническими менеджерами, продажниками. И надеюсь, мы друг друга неплохо понимаем. Мы много работаем со стартапами, помогаем им с масштабированием продаж, в том числе через акселератор. Но сейчас не об этом. Неожиданно случилось так, что нам и многим нашим клиентам пришлось быстро менять свои планы и искать новые формы сотрудничества. Да-да, всё из-за вируса. Расскажу вам, какой инструмент мы придумали, чтобы сделать переход на удалёнку безболезненным и эффективным.

            Весна 2020. Офлайн под запретом, люди сидят по домам, а работать всё равно нужно. А также – проверять, стимулировать и подбадривать сотрудников. Но даже если ваш босс Многорукий Шива, вряд ли ему хватит конечностей, чтобы держать их на пульсе каждого. Невозможно быть одновременно начальником, помощником, а иногда и психологом для большого коллектива. А почему бы и нет, – решили мы с Infobot и сделали робота-секретаря, робота-мотиватора, робота-трекера! В общем, называйте, как хотите, но это правда всё о нём.
            Читать дальше →
            • +26
            • 2.9k
            • 8
          • Инженерный спецназ: жара и холод


              Водитель этой машины почти сроднился с нами за время командировки. Кстати, с собой у него было ружьё. Спрашивали, зачем. Получили ёмкий ответ: «На всякий случай».

              Банк, аудит системы хладоснабжения ЦОДа. Есть действующая служба эксплуатации банка, у них сервисный договор с организацией ООО «Весёлые медузы». Ребята работают, деньги получают. Но системы сбоят регулярно, останавливаясь по высокому давлению, когда температура на улице повышается.

              Приезжаем на место на Дальний Восток разбираться. Собрали фреон, взвесили, сравнили проектный расчёт от производителя и фактическую заправку. Всё просто: предыдущий «сервис» налил в него больше, чем нужно.

              Есть шильдик, где написаны модель, серийный номер и большими буквами, сколько нужно заправлять хладагента. Но всё это игнорируется, люди работают по ощущениям:

              — Зачем весы? Я же и так знаю, сколько туда надо. Был баллон 15 килограммов — стал весить примерно 12. Ну я и заправил три килограмма. Почему три? Ну этого же достаточно.

              Или вот, например, крупный завод на Урале, там другая проблема. На монтаже подрядчик забыл добавить в хладоноситель присадку, которая снижает агрессивность среды. Через два года металлическую трубу разъело изнутри коррозией. Дальше — аварийная остановка оборудования. Мы приехали, перебрали. Почему изначально после запуска системы в работу никто не сделал отбор пробы хладоносителя, не провёл анализ химического состава для безопасной эксплуатации — вопрос.
              Читать дальше →
            • Развернуть дата-центр за время доставки пиццы



                — Да этот ЦОД можно развернуть и настроить, пока ты пиццу заказываешь!

                Я бросил эти слова на совещании, и расплата пришла немедленно. Коллега предложила заказать пиццу. Оплачивает проигравший: если я успеваю собрать ЦОД — то она, если не успеваю — то я.

                Чёрт!

                В общем, встречайте стресс-тест: гиперконвергентное решение от Cisco с простой настройкой против приготовления пиццы.
                Читать дальше →
              • Как мы упоролись по энергоэффективности машзала



                  Посвящаю этот пост тем людям, которые врали в сертификатах, из-за чего мы чуть было не установили у нас в залах бенгальские огни.

                  Истории больше четырёх лет, но публикую сейчас, потому что закончился NDA. Тогда мы поняли, что загрузили дата-центр (который сдаём в аренду) почти полностью, а энергоэффективность у него что-то не очень улучшилась. Раньше гипотеза была в том, что чем сильнее мы его заполняем, тем лучше, потому что инженерка распределяется на всех. Но оказалось, что мы себя в этом плане обманывали, и при хорошей загрузке где-то были потери. Работали мы по многим направлениям, но наша отважная команда занялась охлаждением.

                  Реальная жизнь дата-центра — это немного не то, что в проекте. Постоянные докручивания от службы эксплуатации для повышения эффективности и оптимизация настроек под новые задачи. Вот взять мифическую среднюю стойку. На практике её не бывает, по нагрузке распределение неравномерное, где-то густо, где-то пусто. Вот и пришлось кое-что перенастроить для лучшей энергоэффективности.

                  Наш дата-центр Компрессор нужен для самых разных заказчиков. Поэтому там посреди обычных двух–четырёхкиловаттных стоек может оказаться вполне себе 23-киловаттная или больше. Соответственно кондиционеры были настроены на то, чтобы охлаждать их, и через менее мощные стойки воздух просто проносился мимо.

                  Вторая гипотеза была в том, что тёплый и холодный коридоры не смешиваются. После замеров могу сказать, что это иллюзия, и настоящая аэродинамика отличается от модели примерно всем.
                  Читать дальше →
                • Байки про суровое российское ИТ и жертв цифровизации



                    Россия иррациональна. Есть правильные практики, есть сто раз ощупанные грабли, но всё равно с завидным постоянством случается что-то эпическое. Иногда по причине: «Ну уж меня-то точно пронесёт», иногда: «Всегда так делали, и работало», иногда просто из-за ошибок. Возможно, в генах.

                    Первый яркий пример невероятной дичи (детали немного изменены по требованию безопасников). Заказчик занимается капитальным строительством. Заказал несколько лет назад у подрядчика систему, которая управляет всем этим (в частности, сметными работами). Система была установлена на десятке немаленьких объектов, внедрена. Внезапно заказчик решил потребовать выдать ему исходный код. Как оказалось, у их имеющегося подрядчика были планы на то, что они проведут разработку софта, а потом будут продавать результат как SaaS по рынку. В договоре про код ничего не сказано. Поругались.

                    Когда позвали нас разбираться, там было примерно 10 разных версий ПО (релизы от 0.9 до 2.4). Есть исходники 1.5, эта версия собиралась когда-то из них. Документации нет. А систему надо дорабатывать и развивать. Посчитали «переписать всё заново» и «доработать 1.5» и остановились на втором — TtM три-четыре месяца против года. Научили собирать спецов поддержки, поправили исходники, свели кодовые базы, сделали инфраструктуру, организовали одну «разливочную», куда принимается исходник, там собирается и дистрибутируется. Это стоило нам и заказчику большого количества геморроя.

                    Заходите, покажу ещё примерно то, как можно поошибаться с процессом разработки, и к каким интересным последствиям это приводит.
                    Читать дальше →
                  • Будни дата-центра: неочевидные мелочи за 7 лет эксплуатации. И продолжение про крысу



                      Сразу скажу: та крыса в привезённом сервере, которую мы пару лет назад отпоили чаем после удара током, скорее всего, сбежала. Потому что мы увидели как-то на обходе её подругу. И сразу решили поставить ультразвуковые отпугиватели.

                      Теперь вокруг дата-центра проклятая земля: на здание не садятся птицы, и, наверное, сбежали все кроты и черви. Беспокоились, что звук может вызвать выход из строя HDD, но проверили, частоты не те.

                      Следующая история гораздо веселее. Мы как-то получили железку за пару миллионов рублей в коробке с датчиками наклона, вибрации и влажности. Всё целое. Аккуратно сняли упаковку, а железяка гнутая. Мистика.

                      Корпус прямо дугой. Красиво так.
                      Читать дальше →
                    • Документы на здание: маленькие радости автоматизации на примере Тёмной башни

                        Я хочу рассказать про то, как мы продолжаем убивать бумажный документооборот. Одна из областей, которая сдалась совсем недавно, — это технический документооборот, то есть все бумаги, которые нужны в процессе проектирования, строительства и других стадий жизненного цикла любого объекта. Давайте представим, что вам нужно построить башню. Это примерно то же самое, что строить Тёмную башню, но куда мрачнее по уровню бюрократии.



                        У такого строительства — даже если это Тёмная башня — есть чёткий (но довольно большой и сложный) процесс. Одни документы перетекают в другие, например, начинается всё с инженерных изысканий, потом появляется эскиз, потом сам проект, разрешения, вот уже сметы, служебные записки с замечаниями про то, что бак нашей башни не так отштукатурили и так далее. И в конце — регламенты и инструкции по эксплуатации.

                        Итак, башни еще нет, а документооборот уже есть, и он появляется задолго до строительства. Но уже с этапа возникновения идеи башни может использоваться наша система технического документооборота.
                        Читать дальше →
                      • Database as Сode. Копаем глубже


                          В IT-проектах код пишут все. Инженеры с помощью нескольких строк управляют Kubernetes кластерами, разгоняют облака Terraform'ом и ворочают тонны конфигураций на Ansible, Chef и Puppet. QA пишут понятные бизнесу тестовые сценарии на Spock и Cucumber. Аналитики свободно, часто лучше разработчиков, разговаривают на SQL. Проектная документация в форматах Markdown, AsciiDoc или LaTEX "компилируются" в нужный формат на билд-сервере. Ну а сами разработчики, эти укротители кода, владеют сразу россыпью языков на каждый жизненный случай — клиентский, серверный, скриптовый, функциональный и пр.


                          Код уже давно перестал быть загадочной тарабарщиной и теперь в том или ином виде доступен и понятен многим, даже премьер-министрам. И весь этот код участвует в стандартном жизненном цикле — находится под управлением VCS, подвергается code review, автоматизированному тестированию, CI, CD. Используются общие инструменты и подходы, метрики производительности и качества. А все вместе это носит гордое название — "Everything as code".


                          Однако мир БД традиционно стоит особняком вдалеке от этой феерии прогресса и технологий. Процесс разработки и сопровождения БД не меняется годами и продолжает вселять ужас и страх в разработчиков, администраторов и пользователей по всему миру. Но возможно ли представить БД в виде обычного кода? Приблизиться к основному процессу разработки, использовать общие инструменты и подходы? Об этом под катом.

                          Database as Code? Что за дичь?
                        • Энергоэффективность: подходы, которые мы тестируем в России



                            Привет! Я расскажу про геоохлаждение и геообогрев базовых станций сотовой сети, ветрогенерацию, практику солнечной энергетики (в частности, для обсерватории), генерацию тепла и энергии из биологических отходов, охлаждение дата-центра от реки, оптимизацию классических систем и немного про управляющий всем этим софт.

                            Начнём с реки в Сибири:


                            Проектировали ЦОД рядом с ТЭЦ. А ТЭЦ питается водой от реки. Собственно, температура воды в реке от 0 до +15, а ТЭЦ надо +25. Мы подумали: как это замечательно, что кому-то нужна тёплая вода! И сели с теплообменником на эту подпитку. В итоге подогреваем воду в среднем на один градус (зависит от вычислительной нагрузки и времени года) и передаём чуть более тёплую в контур ТЭЦ. От ТЭЦ не убудет, а для нас получается очень эффективно. PUE ЦОДа — 1,15 круглый год.
                            Читать дальше →
                            • +56
                            • 14.6k
                            • 7
                          • Как мы теряли и находили машины на 9-этажной парковке



                              У нас в офисе 9 этажей парковки, каждый этаж 40 на 60 метров. Частая проблема — сотрудники забывают этаж со своей машиной и как зомби ходят с ключами, пытаясь «пикнуть» сигнализацией. Именно там мы решили обкатать indoor-навигацию на базе Bluetooth.

                              В целом тема горячая. Активный интерес есть у больших магазинов (устройства для тележек в продуктовом с пуш-уведомлениями про акции и интересные товары рядом), стадионов, аэропортов и госкомпаний для разного рода indoor-навигации. Опыт для музеев был, но понадобились дотесты ряда вещей. А ещё решения актуальны для промышленности (мониторинг персонала, груза, транспорта; обеспечение промышленной безопасности и охрана труда).

                              Про сами датчики уже сотни раз писали. Я хочу рассказать про практику их применения в реальном мире. Например, одним из сюрпризов во время тестов стало то, что они падают на головы людям.
                              Читать дальше →
                            • Безопасность футбольных стадионов: некоторые неявные особенности


                                Пример монтажа на стадионе ЦСКА

                                Итальянские и английские футбольные фанаты считались самыми агрессивными. Но теперь они дома не бузят. Почему? Потому что их лишают пожизненно права посещения стадионов. Поэтому они бузят на евро, на ЧМ, во Франции. У нас тоже начинается такое: особо эмоциональные фанаты легко могут словить запрет на посещение арены на достаточно продолжительный срок.

                                Начну с того, что если вы набедокурите, то сотрудники безопасности стадиона заботливо занесут ваши биометрические данные лица в систему видеонаблюдения согласно законному решению суда. Когда вы в следующий раз появитесь на стадионе, вас уверенно распознают и сообщат об этом сотрудникам безопасности. Вопрос с персональными данными и свободой договора (билет — это договор) решается элегантно: на стадии «набедокурил» на вас просто подают в суд и получают заключение, с которым уже можно действовать дальше.

                                Вообще, есть два мифа про безопасность на стадионах:

                                1. Что видеонаблюдение не помогает в предотвращении преступлений.
                                2. И что биодетекторы — это прошлый век.
                                Читать дальше →
                              • Devops в кровавом энтерпрайзе


                                  Вот к такому можно стремиться

                                  У нас больше 350 своих разработчиков ПО и тестировщиков по всей стране, плюс мы часто взаимодействуем с инженерами и разработчиками заказчиков. Чтобы перейти на практическое использование devops, нам нужно было обеспечить не только внедрение методологии, но и приучить любимых российских заказчиков к некоторой базовой культуре. Просто пара диалогов для понимания:
                                  — Почему у нас всё упало?
                                  — Потому что вы откатали это на стенде, всё протестировали, а потом развернули на проде. Вот у вас настройка, которая не попала в инструкции, и жила только в голове старого админа.

                                  Или:
                                  — Почему не запускается по всей стране?
                                  — Потому что у вас несколько десятков разных региональных инсталляций, каждая делалась руками, и на каждой разные конфиги. И ещё в паре случаев инженер ошибся.
                                  — Поправите до завтра? Очень нужно! Только доступ удалённо мы вам не дадим.
                                  — ..! Конечно, у нас есть команда высокооплачиваемых спецов, обожающих ездить на Дальний Восток. Нет проблем.
                                  Читать дальше →
                                • Интеграция — байки



                                    Тебе хана, если ты не влез в бизнес-процесс заказчика, а копаешься только в ИТ-процессе.

                                    Это общее правило почти не знает исключений. Потому что ИТ-структура часто не владеет данными и не знает, зачем они дальше нужны. А когда речь про интеграцию (без которой не обходится ни одно внедрение цифрового инструмента, будь то модный чат-бот или олдскульный CRM) — это нужно очень точно и детально понимать.

                                    Я видел много разных историй: и то, как один малюсенький сервис для работы с факсами после внедрения начал вести себя как вирус и бороться с почтовым сервером и другими сервисами компании (кстати, победил), и то, как сегмент «малый и средний бизнес» не включал в себя средний бизнес (к искреннему удивлению ИТ-отдела), и как люди просто не знали, в чём смысл обрабатываемых данных и зачем они нужны — это часто касается финансов.

                                    Поэтому давайте расскажу пару баек про то, что случается, когда нужно просто взять и соединить несколько ИТ-систем. Делов-то!
                                    Читать дальше →
                                  • Чем отличается проектирование станции метро от проектирования коттеджа



                                      В инженерной части, конечно, всем. Список отличий примерно такой же, как у паровоза и апельсина. А вот в части интерьера — минимально. Разве что нет фасадов, нет заполнения наружных проёмов, много уникальных дверей из нержавейки. До КРОК я работал в проектной команде Инжпроекта из 25 человек по 4 станциям, уже новым, то есть достаточно ужатым в плане бюджета. Расскажу на примере «Румянцево», где я отвечал за интерьер.

                                      У нас в ИТ-компании образовалась команда архитекторов, и поэтому нам часто задают такие вопросы. Постараюсь ответить на этот и ещё пару частых.

                                      Про метро начнём с того, что сейчас все станции делают уникальными. Раньше, ещё в СССР, были так называемые «сороконожки» (их ещё из-за кафеля на жаргоне называли «туалетными станциями») — их запускали по одной, искали оптимальный вид станции. Даже нашли, но позже пришли к тому, что нужно всё же делать станции различающимися.
                                      Читать дальше →
                                    • BIM: как мы строим строителей на стройке

                                        По нашей примерной оценке, основанной на 20-летней практике, на земляных работах можно «потерять» до 50-60 % бюджета. На железобетоне и отделке точно 30 %. На ошибках перезаказа при коллизиях стоимость инженерки увеличивается примерно на 10 %. Именно по этой простой причине, когда «злой заказчик» внедряет BIM-модель здания, со всех сторон начинаются дикие крики и стоны.

                                        BIM-контроль сейчас будет на всех госзаказах по новому нормативу, поэтому крики и стоны будут особенно эпичны.


                                        Вот здесь я вижу трассировку всех систем, могу получить точную смету на каждый узел: и при перемещении или добавлении объекта получу обновления сразу во всех проектных и рабочих документах.

                                        Что такое BIM-модель? Это трёхмерная модель здания, где все системы состыкованы и увязаны в одном едином плане. Поставили розетку в комнате — в общей смете тут же появилась новая розетка и соответствующий метраж кабеля. Погрешность такой модели по материалам — 2 %. На бумаге обычно берут запас 15 %, и излишки этого запаса отчаянно «теряются».

                                        Давайте лучше покажу примеры, чем буду рассказывать.
                                        Читать дальше →
                                      • Что может чат-бот

                                          Сначала мы выделили основные офисные процессы. Про чат-бота мы даже не говорили. Вот, например, заказ командировок. Сейчас я должна написать сотруднику службы деловых поездок в почту: «Я собираюсь в командировку в Сургут 5-го числа на три дня», а он: «Такой-то самолет и такая-то гостиница — всё подходит?», а я: «Да, давай». Дальше он пойдет согласовывать с руководством, забронирует сам билеты, спустя какое-то пришлёт мне подтверждение, что все Ок. Всё то же самое может делать бот.

                                          Или если нужна справка для визы, то бот постучит в шину, шина постучит в кадровую подсистему и заберёт PDF, дальше отправит его на принтер отдела кадров и напишет письмо, что туда нужна печать. Затем уведомит меня, что можно подойти через пару часов. Если нужно оформить пропуск на гостя или забронировать переговорку для встречи, то достаточно поручить боту эту задачу, и он её выполнит.



                                          Теперь давайте покажу пример чуть посложнее.

                                          Читать дальше →
                                        • Байки проект-менеджера


                                            Проект в Новосибирске

                                            У нас сейчас открыли набор менеджеров проектов для разных инженерных задач. Очень часто стажёры спрашивают, каково это — вырасти от внештатного «админа на выезде» до замдиректора департамента. Я расскажу. Сразу предупреждаю: романтики дальше не очень много, а вот жести и тупой повторяющейся работы — очень даже.

                                            В 2006 году мой коллега Алексей, мой бывший староста группы (он сейчас менеджер проектов у нас), подошёл ко мне, студенту-пятикурснику, и сказал:
                                            — Хочешь денег заработать?
                                            Я работал со второго курса и зарабатывал 300–400 рублей в день. Следующая фраза меня просто поразила:
                                            — Есть такой КРОК. Компьютерами занимаются. Оплата пока не самая высокая, 1000 рублей в день. Но работа интересная. Я уже попробовал, платят вовремя.

                                            Я сразу представил, сколько гречки, картошки и макарон у меня будет в конце месяца, и решил, что упускать шанс нельзя.
                                            Читать дальше →