• СХД, которая не устаревает. Никогда

      image

      Поначалу история звучит довольно просто: СХД хорошо работает три года на расширенной гарантии, относительно нормально живёт четвёртый, а на пятый покупается новая вместо устаревшей. Вендоры выжимают из вас деньги повышением стоимости поддержки и всякими платными фичами вроде поддержки VDI. Можно поломать эту схему? Наверное, да.

      Компания вышла на рынок с интригующим предложением: железяка всегда работает, всегда делает это быстро, стоимость поддержки каждый год одна и та же, все фичи доступны сразу. Ну то есть просто взяли коробку и время от времени меняют в ней комплектующие так, что они устаревают примерно со скоростью замены. Раз в три года обновляются контроллеры, есть возможность замены старых дисков на более современные, т. е. занимаемое СХД в стойке место может не только расти, но и уменьшаться, при этом объём и производительность увеличиваются.

      Собственно, первое, что вы видите в стойке — это ручки с названием модели, за которые можно и нужно дёргать контроллеры из массива.

      image

      Делается это без выключения, наживую, и запас производительности такой, чтобы банковские системы не тормозили во время замены. Чтобы так получилось, понадобилось написать собственную файловую систему (точнее, аналог RAID), собрать внутри кластер и сделать ещё пару улучшений, заодно выкидывая оверхед, доставшийся от жёстких дисков.

      Давайте посмотрим, что получилось и как получилось. Начнём с архитектуры.

      Для начала — процедура работы с массивом не предусматривает кнопок питания. Совсем. Не понадобится. Для выключения достаточно просто выдернуть кабели из PDU.

      image
      Читать дальше →
    • Awesome-лист своими руками, или GitHub вместо блокнота


        Привет, Хабр! Наверное, у каждого из нас есть такой файлик, куда мы припрятываем что-то полезное и интересное для себя. Какие-то ссылки на статьи, книги, репозитории, мануалы. Это могут быть закладки в браузере или даже просто открытые вкладки, оставленные на потом. Со временем все это разбухает, ссылки перестают открываться, а большая часть материалов просто устаревает.


        А что если поделиться этой годнотой с сообществом и выложить этот файлик на гитхаб? Тогда ваши труды могут быть полезны еще кому-нибудь, а поддерживать актуальность можно совместно, принимая обновления от желающих через старые добрые PR'ы. Именно для этого предназначен проект Awesome lists. Он входит в ТОП-10 репозиториев гитхаба, обладает 138К звезд, и ссылка на ваши труды может оказаться прямо в его корневом README, что привлечет огромную аудиторию к вашему творчеству. Правда, для этого придется немного постараться. О моем опыте таких стараний хочу поделиться с вами.


        Меня зовут Максим Грамин. В КРОК занимаюсь Java-разработкой и исследованиями в области БД. В этом посте я расскажу, что такое Awesome Lists и как сделать свой настоящий официальный awesome-репо.

        Читать дальше →
        • +31
        • 7.6k
        • 6
      • Как правильно составить ТЗ на администрирование: наши грабли

          Вообще, тема неисчерпаемая. Ковыряется как-то Лёшка (наш инженер) в стойке в ЦОДе повышенной ответственности, где стоит несколько банков. В соседнем ряду наблюдает совершенно дикую картину: парень подошёл к блейду. Выдернул жёсткий диск, что-то записал, ВОТКНУЛ ЕГО НАЗАД, выдернул второй, записал, поставил, выдернул третий. Лёша ему: «Пссс, парень, ты чего?» Он: «Ну так инвентаризация же!» И сразу как-то всё стало понятно.

          Я работаю в департаменте вычислительных систем КРОК, мы поддерживаем всё то, что можно кинуть в стену. То есть сервера, системы хранения данных и прочее дорогое железо в дата-центрах. Ну и то, что на нём — операционки, базовую инфраструктуру. Простейшая базовая услуга — ЗИП, то есть замена комплектующих вовремя. Более сложные — это заменять сисадминов заказчика.

          Самый страшный момент контракта — это составление техзадания. Расскажу про те грабли, которые мы ощупали вместе с клиентами и о том, как их избежать. Ну и приложу пример шаблона ТЗ, который используем мы.
          Читать дальше →
        • Юридические эксперименты в ИТ. Как кастомизировать закон под себя



            Похоже, власти прислушались к жалобам бизнеса на неудобные законы и приняли закон об экспериментальных правовых режимах в сфере цифровых инноваций (Федеральный закон от 31.07.2020 № 258-ФЗ). По сути государство говорит нам: «Вам не нравится действующее регулирование? Окей, придумайте свои законы, которые вас устроят. Мы на время сделаем их обязательными для вас и других желающих и посмотрим, как они работают. Если эксперимент пройдет хорошо, то сделаем из вашей идеи полноценный закон, обязательный для всех».

            Давайте рассмотрим, кому от нового закона станет удобнее и в чем его особенности.

            Поехали!
            Читать дальше →
          • MLOps — Cook book, chapter 1

            • Tutorial


            Всем привет! Я CV-разработчик в КРОК. Уже 3 года мы реализуем проекты в области CV. За это время чего мы только не делали, например: мониторили водителей, чтобы во время движения они не пили, не курили, по телефону не разговаривали, смотрели на дорогу, а не сны или в облака; фиксировали любителей ездить по выделенным полосам и занимать несколько мест на парковке; следили за тем, чтобы работники носили каски, перчатки и т.п.; идентифицировали сотрудника, который хочет пройти на объект; подсчитывали всё, что только можно.


            Я все это к чему?


            В процессе реализации проектов мы набили шишки, много шишек, с частью проблем вы или знакомы, или познакомитесь в будущем.


            Моделируем ситуацию


            Представим, что мы устроились в молодую компанию “N”, деятельность которой связана с ML. Работаем мы над ML (DL, CV) проектом, потом по каким-либо причинам переключаемся на другую работу, в общем делаем перерыв, и возвращаемся к своей или чужой нейроночке.


            1. Наступает момент истины, нужно как-то вспомнить на чем ты остановился, какие гиперпараметры пробовал и, самое главное, к каким результатам они привели.
            Читать дальше →
            • +24
            • 4.4k
            • 4
          • Как научиться XR-разработке и получить оффер за пять месяцев

              Привет, Хабр! XR-разработкой я занимаюсь около семи лет: проделал путь от младшего специалиста до директора бизнес-юнита КРОК Иммерсивные технологии. Моя команда уже более пяти лет создает XR-продукты для промышленности. За это время наш небольшой отдел превратился в целое направление в ИТ-компании, создав проекты для таких гигантов, как Saudi Aramco, «Сибур», «Газпром нефть», «Росатом», «Норникель», «Мособлгаз» и других российских и международных компаний. А в прошлом году наша копилка успешных кейсов пополнилась образовательным проектом в Бахрейне. В этой статье я расскажу, как мы обучили арабских студентов VR и AR-разработке всего за пять месяцев, научили их вести проект заказчика под ключ. Забегая вперед, скажу, что некоторые выпускники даже получили работу по этой специальности.


              Читать дальше →
              • +20
              • 4.3k
              • 1
            • Используем Xtend для прикладной кодогенерации: сеанс чёрной магии с разоблачением

              • Tutorial

              Привет Хабр! Меня зовут Когунь Андрей. В КРОК я руковожу группой разработчиков Java (у нас большая распределённая по всей стране команда). Ещё я провожу встречи московского сообщества Java разработчиков JUG.MSK. Делаю это исключительно в корыстных целях: фотографируюсь там со всеми докладчиками, и однажды открою галерею с самыми интересными людьми в мире Java-разработки. Также помогаю делать конференции для разработчиков: JPoint, Joker и DevOops — в качестве члена программного комитета. Ну и для души, так сказать, преподаю Java-технологии студентам.


              В КРОК мы с коллегами в основном занимаемся заказной разработкой. Одно из наших направлений — так называемые учётные системы. Их надо делать по возможности быстро. Они типовые, различия обычно наблюдаются только в доменной модели. Поэтому мы постоянно боремся за то, чтобы писать меньше бойлерплейт-кода, будь то тривиальные геттеры-сеттеры, конструкторы и т.п. или CRUD-репозитории и контроллеры. Мы для этого активно пользуем кодогенерацию.


              Про неё сейчас и расскажу: покажу как взять кодогенерацию под контроль, чтобы она стала реально полезным инструментом разработчика. Попутно расскажу про технологию Xtend и покажу практические приёмы как с ней можно работать. Покажу как создавать собственные активные аннотации, писать и отлаживать код процессора аннотаций.


              Читать дальше →
              • +39
              • 3.4k
              • 6
            • Коммитите в опенсорсе, работая разработчиком? Разбираемся с правами (привет, nginx)



                Ситуация с правами на код в Российской Федерации довольно интересная: по закону разработчик (физлицо) защищён очень и очень сильно. Нужно как-то весьма прилично косякнуть, чтобы оказаться неправым. А вот работодателю нужно довольно много и кропотливо бегать с бубном и бумагами, чтобы получить права на тот самый код, который пишется на его же зарплату.

                Давайте рассмотрим, что говорят законы о правах на код с обеих сторон:

                • Когда и какие права возникают у вас (как физлица) на код.
                • Как правильно устроена передача имущественных прав на код работодателю.
                • Тимлид, который делал ревью, — он соавтор или кто?
                • Можно ли коммитить в свой pet-project с рабочего компьютера в рабочее время?
                • Какой геморрой предстоит пройти, чтобы правильно использовать код, если вы его заказали?

                И так далее.

                Поехали!
                Читать дальше →
              • Помощник или инспектор: по ком звонит робот?

                  image

                  Привет, Хабр! Я тимлид группы продуктовых инноваций в КРОК. Технарём меня назвать можно с большой натяжкой, но зато я много общаюсь с разработчиками, техническими менеджерами, продажниками. И надеюсь, мы друг друга неплохо понимаем. Мы много работаем со стартапами, помогаем им с масштабированием продаж, в том числе через акселератор. Но сейчас не об этом. Неожиданно случилось так, что нам и многим нашим клиентам пришлось быстро менять свои планы и искать новые формы сотрудничества. Да-да, всё из-за вируса. Расскажу вам, какой инструмент мы придумали, чтобы сделать переход на удалёнку безболезненным и эффективным.

                  Весна 2020. Офлайн под запретом, люди сидят по домам, а работать всё равно нужно. А также – проверять, стимулировать и подбадривать сотрудников. Но даже если ваш босс Многорукий Шива, вряд ли ему хватит конечностей, чтобы держать их на пульсе каждого. Невозможно быть одновременно начальником, помощником, а иногда и психологом для большого коллектива. А почему бы и нет, – решили мы с Infobot и сделали робота-секретаря, робота-мотиватора, робота-трекера! В общем, называйте, как хотите, но это правда всё о нём.
                  Читать дальше →
                  • +26
                  • 2.9k
                  • 8
                • Юридический ликбез: как санкции влияют на покупку софта и железа и какие там подводные камни



                    После первой волны санкций были внесены изменения в закон об информации в части реестра отечественного ПО. Теперь для государственных органов и компаний он является приоритетом для закупки по 44-ФЗ. С недавнего времени аналогичный приоритет предоставляется ПО из стран ЕАЭС, однако есть особенности с недостатком ПО в этих списках, чтобы закрыть все потребности предприятий.

                    Ещё для государственных органов предусмотрены другие подзаконные акты. Так, по вопросу автоматизации государственного контроля действует Приказ Минкомсвязи России от 03.06.2019 N 252, в котором не только подчёркивается приоритет отечественного ПО, но и даже указан опенсорс.

                    Таким образом, государство говорит нам, что на первом месте отечественное и евразийское ПО, затем идёт опенсорс (если, например, идёт речь о разработке информационных систем для госорганов), а уже потом — иностранное ПО.

                    Все эти и другие протекционистские меры вызваны не только желанием поддержать отечественных разработчиков и производителей. Отчасти это реакция на внешнеэкономические санкции. Из-за них образовалась ситуация, когда вендоры продают софт с опаской или не продают вовсе.

                    Вендору выгодно продавать подписку, а покупателю — получить договор на постоянную лицензию с санкциями в форс-мажорах. Примерно то же касается железа, только там речь про обслуживание и обновление прошивок-драйверов. Я бы хотел рассказать о том, как вся эта ситуация влияет на рынок.

                    Начнём мы с вопроса о том, что вообще такое «санкции» и как они работают — и что нужно знать, например, CTO или системному администратору про них.
                    Читать дальше →
                    • +31
                    • 6.3k
                    • 3
                  • Какие ошибки делают руководители на удалёнке

                      Привет, Хабр! Я не разработчик, а менеджер. Меня некоторое время учили управлять людьми, а потом я погрузилась в мрачный мир разработки, где всё идёт не так, как говорят в университете. Сейчас я руковожу практикой управления жизненным циклом программного обеспечения и хочу рассказать несколько, возможно, важных для тимлидов и ПМ'ов вещей, которые касаются перехода на удалёнку. Потому что в наших командах люди было уже начинали так косячить. А потом покажу и расскажу про наш стек автоматизации для удалёнки, и о том, как мы аппрувим релизы из чатов на телефоне одной кнопкой, а не поднимая VPN в защищённый периметр, и это ускорило согласования, и это помогает согласовывать день в день.

                      Первый совет — хватит доставать своих людей!



                      Я знаю, звучит очень глупо, но многие руководители, не видя людей рядом, начинают как-то компенсировать своё желание убедиться, что они работают. Происходят вот такие чаты:


                      Дятел-менеджмент в чистом виде

                      Если стоит задача повысить эффективность команды сейчас и в перспективе — оставьте людей в покое. И установите 15-минутные дейли по утрам. Я уже успела увидеть и общепроектные синхры раз в четыре часа, и дейли по два часа, и впадающих во фрустрацию менеджеров, привыкших договариваться сидя лицом к лицу с кем-то.
                      Читать дальше →
                    • Как мы летали на дронах по мусорным полигонам и искали утечки метана


                        Карта полёта, отмечены точки с концентрацией метана свыше 3 000 ppm*m. И это много!

                        Представьте себе, что у вас есть мусорный полигон, который время от времени дымит и воняет. Связано это с тем, что при гниении органики образуются различные газы. При этом образуется не только метан, но и совсем ядовитые газы, поэтому полигоны ТБО иногда нужно обследовать.

                        Обычно это делается пешим обходом с носимым детектором метана, но на практике это очень сложно, долго и вообще не особо нужно владельцам мусорного полигона.

                        Зато это нужно правительству города, муниципальным властям, области и т. д., где находится полигон или санкционированная свалка, экологам и простым людям, которые хотят дышать чистым воздухом.

                        Услуга автоматизированного замера уровня метана с помощью дронов очень востребована в Европе.

                        Мы, с нашими партнёрами из компании Пергам, провели совместную работу в этом направлении и получили интересный результат.
                        Читать дальше →
                      • ИТ-байки розницы — как это было 12 лет назад



                          В 2005 году в Москве вылетела подстанция, и все в стране внезапно поняли, что нужно делать резервные серверные. Банки делали их в 2006-2007-м, розница — с 2008-го. Почему так поздно? Потому что затраты на ИТ тогда ещё не казались чем-то таким же важным, как сейчас. Я вспоминаю историю, как моего заказчика чуть не уволили за простой в два дня по всей сети и заодно за другие особенности ритейла. Оказалось, многие в ИТ уже не верят, что так было.

                          А так было. Вот вам первая история из серии «да ладно, так не бывает» — про то, как магазин был зарезервирован по аналоговому модему для доступа к Интернету. Просто тогда был только один провайдер с волокном в этом месте, а из альтернатив — спутниковая тарелка или диалап. ЗССС — дорого, поэтому выбрали войс-модем. В один прекрасный момент экскаватор рвёт магистраль «Голден телекома». Они в это время перекладывали свою ВОЛС, поэтому временно не было резерва. Три дня магазин работает по модему. Днём 48 килобит в секунду, ночью 96 килобит в секунду. Как вы видите по скоростям, это был очень хороший Zyxel, он держался даже на шумной линии.
                          Читать дальше →
                        • Какие проекты имеет смысл начинать и что нужно промышленности от ИТ сейчас


                            Одна из главных задач ИТ сейчас в производственном секторе — уменьшить количество аварий.

                            Что сейчас меняется на производствах?


                            Один из самых важных вопросов сейчас — это нулевая смертность. Потери персонала происходят по двум основным причинам: несоблюдение техники безопасности и алкогольные приключения с несоблюдением техники безопасности. Второй важный вопрос — контроль правильности операций и оптимальная загрузка производства.

                            Всё идёт к тому, что через десять лет все сотрудники производств будут «под колпаком». Сейчас уже есть пилоты, но до массового распространения технологий ещё пара лет. Будет интерфейс руководителя производства, подозрительно напоминающий компьютерную игру. Там положение каждого сотрудника, свойства и состояния каждого станка, очередь задач, самочувствие каждого, тип исполняемых операций. Смысл в том, чтобы оцифровать всё и контролировать правильность исполнения процессов. И ещё вспомогательный AI будет оптимизировать задачи сотрудников — уже есть примеры, где работа распределяется по оптимальной загрузке станков и навыкам рабочих, правильно кластеризуется и выстраивается в оптимальной последовательности.
                            Читать дальше →
                          • Примеры дичи из заказов «приходите спасать» (разбор десятка инцидентов с примерами)

                              Иногда бывает так:

                              — Приезжайте, у нас упало. Если сейчас не поднять — покажут по телевизору.

                              И мы едем. Ночью. На другой край страны.


                              Ситуация, когда не повезло: на графике показан резкий рост нагрузки на СУБД. Очень часто это первое, на что смотрят администраторы системы и это первый признак того, что наступила жопа

                              Но чаще речь идёт про какие-то типовые вещи. Например, заказчик столкнулся с низкой производительностью системы документооборота. По понедельникам и вторникам система падала, они перезагружали сервер, и потом всё поднималось. Захлёбывалась база данных. Хотели докупить оборудования (что долго и дорого), позвали нас просчитать смету. Мы им посчитали смету и заодно предложили разобраться, что же именно тормозит. За три-четыре часа локализовали источник проблемы. Выяснили, что это медленные запросы в базу данных и неоптимальные схемы индексирования. Создали недостающие индексы, поковырялись с оптимизатором запросов в Оракле, некоторые проблемы потребовали изменения кода — поменяли условия поиска (без изменения функциональности), заменили часть запросов на использование предрассчитанных представлений. Если бы у них был нормальный человек по БД — могли бы сделать то же и сами. Но вместо нормального человека был аудит базы данных раз в полгода крутыми ораклистами — они выдавали общие рекомендации по настройкам и железу.
                              Читать дальше →
                            • Тестируем умную ключницу (водка, кефир, чужие фотографии)



                                У нас есть умные ключницы, которые хранят и отдают ключ тому, кто:

                                1. Пройдёт идентификацию по распознаванию лица или по личной RFID-карте.
                                2. Дыхнёт в отверстие и окажется трезвым.
                                3. Имеет права на конкретный ключ или ключи из набора.

                                Вокруг них уже появилось много слухов и недопонимания, поэтому спешу развеять основные с помощью тестов. Итак, самое важное:

                                • Можно обмануть алкотестер с помощью клизмы.
                                • Можно взломать её ломом и вытащить нужный ключ с помощью троса и автомобиля (либо проволоки и того же лома).
                                • Она открывается после разных медикаментов и кефира (опьянение считается по выдыхаемым парам спирта, например, после настойки пустырника).
                                • Да, её можно использовать на объектах с перебоями электричества, она имеет аккумулятор и запирается без питания.

                                А теперь — детали.
                                Читать дальше →
                              • Будни дата-центра: неочевидные мелочи за 7 лет эксплуатации. И продолжение про крысу



                                  Сразу скажу: та крыса в привезённом сервере, которую мы пару лет назад отпоили чаем после удара током, скорее всего, сбежала. Потому что мы увидели как-то на обходе её подругу. И сразу решили поставить ультразвуковые отпугиватели.

                                  Теперь вокруг дата-центра проклятая земля: на здание не садятся птицы, и, наверное, сбежали все кроты и черви. Беспокоились, что звук может вызвать выход из строя HDD, но проверили, частоты не те.

                                  Следующая история гораздо веселее. Мы как-то получили железку за пару миллионов рублей в коробке с датчиками наклона, вибрации и влажности. Всё целое. Аккуратно сняли упаковку, а железяка гнутая. Мистика.

                                  Корпус прямо дугой. Красиво так.
                                  Читать дальше →
                                • Как будет работать HPE SimpliVity 380 для VDI: жёсткие нагрузочные тесты

                                    image

                                    Заказчик захотел VDI. Очень присматривался к связке SimpliVity + VDI Citrix Virtual Desktop. Для всех операторов, сотрудников офисов по городам и так далее. Там пять тысяч пользователей только в первой волне миграции, и поэтому они настояли на нагрузочном тестировании. VDI может начать тормозить, может спокойно прилечь — и не всегда это случается из-за проблем с каналом. Мы купили очень мощный пакет тестирования специально для VDI и грузили инфраструктуру, пока она не легла по дискам и по процессору.

                                    Итак, нам понадобятся пластиковая бутылка, софт LoginVSI для навороченных тестов VDI. У нас он с лицензиями на 300 юзеров. Потом взяли железо HPE SimpliVity 380 в набивке, подходящей для задачи максимальной плотности пользователей на один сервер, нарезали виртуальных машин с хорошей переподпиской, поставили на них офисный софт на Win10 и начали тестить.

                                    Поехали!
                                    Читать дальше →
                                  • Документы на здание: маленькие радости автоматизации на примере Тёмной башни

                                      Я хочу рассказать про то, как мы продолжаем убивать бумажный документооборот. Одна из областей, которая сдалась совсем недавно, — это технический документооборот, то есть все бумаги, которые нужны в процессе проектирования, строительства и других стадий жизненного цикла любого объекта. Давайте представим, что вам нужно построить башню. Это примерно то же самое, что строить Тёмную башню, но куда мрачнее по уровню бюрократии.



                                      У такого строительства — даже если это Тёмная башня — есть чёткий (но довольно большой и сложный) процесс. Одни документы перетекают в другие, например, начинается всё с инженерных изысканий, потом появляется эскиз, потом сам проект, разрешения, вот уже сметы, служебные записки с замечаниями про то, что бак нашей башни не так отштукатурили и так далее. И в конце — регламенты и инструкции по эксплуатации.

                                      Итак, башни еще нет, а документооборот уже есть, и он появляется задолго до строительства. Но уже с этапа возникновения идеи башни может использоваться наша система технического документооборота.
                                      Читать дальше →
                                    • BIM: как мы строим строителей на стройке

                                        По нашей примерной оценке, основанной на 20-летней практике, на земляных работах можно «потерять» до 50-60 % бюджета. На железобетоне и отделке точно 30 %. На ошибках перезаказа при коллизиях стоимость инженерки увеличивается примерно на 10 %. Именно по этой простой причине, когда «злой заказчик» внедряет BIM-модель здания, со всех сторон начинаются дикие крики и стоны.

                                        BIM-контроль сейчас будет на всех госзаказах по новому нормативу, поэтому крики и стоны будут особенно эпичны.


                                        Вот здесь я вижу трассировку всех систем, могу получить точную смету на каждый узел: и при перемещении или добавлении объекта получу обновления сразу во всех проектных и рабочих документах.

                                        Что такое BIM-модель? Это трёхмерная модель здания, где все системы состыкованы и увязаны в одном едином плане. Поставили розетку в комнате — в общей смете тут же появилась новая розетка и соответствующий метраж кабеля. Погрешность такой модели по материалам — 2 %. На бумаге обычно берут запас 15 %, и излишки этого запаса отчаянно «теряются».

                                        Давайте лучше покажу примеры, чем буду рассказывать.
                                        Читать дальше →