Инфосистемы Джет jetinfosystems

Скажем сразу: для нас этот проект особенный. Внедрения VDI на 50, 250 и даже 2500 пользователей в нашей практике уже бывали. Но всё меняется, когда речь заходит об инсталляциях, насчитывающих свыше десятка тысяч рабочих мест. Сервис автоматически становится бизнес-критичным, и требования по доступности выходят на первый план.

2 года безвылазной совместной работы с заказчиком, сотни согласований, горы технической документации, масса тестирований на большом количестве разнородного прикладного ПО и периферийного оборудования, огромное количество подводных камней и седых волос…
Но и результат не менее масштабный: VDI позволила модернизировать и объединить ИТ-инфраструктуры сразу трех банков — ВТБ, ВТБ24 и Банка Москвы. А нам теперь, пожалуй, любой VDI по плечу. Подробности — в блоге ВТБ.

В большинстве проектов по внедрению Siebel, так или иначе, приходится сталкиваться с проблемами качества данных. В этой части Oracle предлагает интересное решение – Enterprise Data Quality с возможностью интегрирования в Siebel (что нас собственно и привлекло). В данном материале я вкратце расскажу о самом продукте, его архитектуре, а также покажу, как можно создать простой процесс повышения качества данных.

Коротко о продукте

EDQ ‒ продукт, позволяющий управлять качеством информации. Основой для анализа EDQ могут служить разные источники данных, такие как:

• базы данных (Oracle, Postgres, DB2, MySql и т.д.),
• текстовые файлы,
• XML-файлы,
• MS Office файлы,
• системные файлы и прочее.

В этом посте речь пойдет о тестировании серверного ПО, которое обслуживает огромную сеть банковских терминалов в России и за рубежом. Название банка мы раскрыть не можем, некоторые строчки конфигов скрыты.

Итак, мы занимаемся разработкой данного ПО, используя современный CI/CD подход, чем обеспечивается высокая скорость поставки фич, хотфиксов и релизов в продакшн. В начале года нам была предложена задача обеспечить нагрузочным тестированием разрабатываемое решение и продемонстрировать заказчику способность встраивать в CI/CD любые подзадачи и шаги.

Помимо общих слов, хотелки сводились к следующему: необходимо обеспечить автоматический деплой ПО на нагрузочный стенд, придумать легкий способ генерации данных, внедрить автоматический и полуавтоматический способ запуска тестов, снабдить тесты автоматическим триггером старта и остановки по событию, подключить механику НТ к трекеру задач для короткого репортинга, подключить систему тестирования к доступной системе аналитики НТ, создать возможность “покраски” плохих и хороших релизов для дальнейших действий в workflow (выкатить или отправить репорт). Требования, надо признать, абсолютно адекватные и понятные.

До недавнего времени решение для бизнес-анализа Oracle BI обладало исключительно классической архитектурой, для которой характерны единая платформа с высоким уровнем безопасности данных и централизованное управление правами доступа. Также классический BI позволяет работать со сложными моделями данных, ETL-инструментами и множеством источников данных.

Но в конце 2015 г., с выходом Oracle BI 12c, архитектура данного решения была дополнена функциями систем класса Data Discovery (подробнее о Data Discovery). А именно: был разработан новый компонент визуализации – Data Visualization, в котором не только качественно улучшена визуализация данных, но и появилась функция самообслуживания. Также оптимизированы процессы обработки в оперативной памяти, позволяющие максимально полно использовать ресурсы и анализировать больше локальных данных, данных уровня департамента, корпоративных данных и BigData. А вместе с упрощенным администрированием и оптимизированным процессом обновления новая версия платформы позволяет компаниям существенно улучшить показатели TCO (Total Cost of Ownership) и ROI (Return on Investment) по внедрению, так как снижаются затраты на ИТ и сокращается время на создание новых отчетов.

Об основных возможностях третьего поколения СХД Huawei Oceanstor на Хабре уже рассказывали, а вот о функции доступа к тому «растянутому» между площадками, информации немного. Постараемся закрыть это упущение. Данный материал подготовлен по результатам внедрения у одного из наших заказчиков в банковской среде.

Подробное описание

Основное предназначение HyperMetro – защита от выхода из строя ЦОД, и только затем СХД, дисковой полки и т.д. Функция стала доступна вместе с прошивкой V300R003C00SPC100 в декабре 2015.

Фактически это предоставление единовременного доступа на чтение и запись к логическому тому, имеющему две независимые копии на СХД, которые расположены на разных технологических площадках. Топология решения HyperMetro изображена ниже.

То, что в Java не поддерживается модульность, известно всем. Проблема существует давно, и было немало попыток исправить ситуацию. Этой цели посвящен проект Jigsaw. В 2011 планировалось добавить поддержку модульности в Java 7, в 2014 – в Java 8, наконец, было анонсировано, что в конце июля 2017 выйдет Java 9 с возможностью модуляризации. Но что же делать в ожидании этого прекрасного мига?

OSGi спешит на помощь

Для создания по-настоящему модульной архитектуры на языке Java можно воспользоваться OSGi (Open Services Gateway Initiative) – спецификацией динамической модульной системы и сервисной платформы для Java-приложений (разработчик OSGi Alliance). Она описывает модель разработки ПО, при которой компоненты обладают тремя основными признаками модульного приложения. Речь об инкапсуляции (каждый модуль скрывает свою реализацию от внешнего окружения), слабой связности (модули взаимодействуют только с помощью заранее оговоренных контрактов) и динамичности (компоненты можно замещать на лету, без остановки всего приложения). Основой концепции OSGi являются 2 сущности: наборы (Bundles) и сервисы (Services).

Это история из серии «Записки сервисного инженера». На вопрос ответим чуть позже, а сначала небольшой сказ об одном МАССИВном падении. Недавно в наш Сервисный центр обратился клиент, который решил самостоятельно проапгрейдить массив HDS AMS2000: заменить часть старых дисков на новые большего размера. Со слов заказчика, он вставил новый диск – и один контроллер сломался; вытащил новый диск – и второй контроллер тоже включил аварийную индикацию, а со всех систем пропал доступ к массиву.

9 ноября крупный российский банк зафиксировал атаку на свой основной публичный web-сайт. События совпали по времени с большим количеством политических медийных событий, связанных с подведением итогов выборов президента США.

В этот момент специалисты нашей компании проводили внешний пентест инфраструктуры банка (шел первый день работ). Банк был предупрежден о возможном влиянии проводимых работ на продуктивные системы, поэтому именно с внешним пентестом и были связаны первые предположения о причинах наблюдаемых трудностей в работе web-сайта.

Довольно быстро стало понятно, что это внешняя атака. Специалисты банка начали борьбу за поддержание работоспособности сайта. «Инфосистемы Джет» выслали в помощь специалистам финансовой организации инженера для совместного отражения атаки.

По итогам анализа событий ИБ и журналов web-серверов была зафиксирована следующая хронология событий.

Друзья, наши технологические раскопки на ниве домашне-офисного озеленения вызвали явный интерес с вашей стороны (предыдущая статья Умное цветоводство, или Пусти ИТ-шника в огород… Часть 1). Посему, как и обещали, отвечаем на ваши вопросы.

Но сначала – фото компонентов. Сам микроконтроллер-МОЗГ:


Часы реального времени с автономным питанием:

Этим постом мы открываем цикл материалов, посвященных модулю проверки корректности данных, входящему в состав ETL (или ELT – как его позиционирует ORACLE) продукта Oracle Data Integrator. На наш взгляд, функционал модуля незаслуженно игнорируется в угоду более изысканным и «интеллектуальным» продуктам класса Data Quality. В этой связи у нас есть желание взглянуть на CKM не как на некий атавизм, а как на целостное решение, позволяющее обеспечить базовый контроль над обрабатываемыми данными.

Для этого планируем:

1. рассказать о типах проверок, включенных в стандартный оракловый модуль и о том, какие настройки необходимо выполнить, чтобы их активировать;
2. коснуться особенностей выполнения, возможностей по расширению стандартного модуля, использования подстановочного (substitution) API, который используется для обеспечения универсальности дорабатываемого функционала;
3. на конкретном примере рассмотреть возможности, предоставляемые Oracle Data Integrator Tools, и вариант переноса настроек DEV->PROD с использованием топологии;
4. оценить рабочее место оператора, обрабатывающего ошибки, обнаруженные модулем CKM.

Друзья, сегодня пятница! Самое время вспомнить о делах домашних…И тут пытливый ум ИТшника тоже найдет благодатную почву для оптимизации. Собственно о почве и братьях наших зеленых мы и поговорим.

Недавно у нас в офисе появился необычный, но очень полезный девайс – автополивщик для растений. Настоящая умная система в отдельно взятом цветочном горшке. Первым подопытным стал фикус. И, судя по его упитанности, он остался доволен. ;)

Подробности – в рассказе «зачинщика» сего «безобразия» Михаила Пичугина, ведущего инженера-проектировщика вычислительных комплексов.

В данном материале речь пойдет о широко известной CRM-системе c открытым исходным кодом – SuiteCRM. Открытость системы дает безграничные возможности для кастомизации, и, как пример, будет рассмотрен процесс создания динамически подгружаемых справочников из БД с использованием jQuery библиотеки select2.

Select2 может работать как со статическими наборами вариантов выбора, так и получать данные от внешних источников, имеет широко настраиваемые форматы отображения с использованием картинок и т.д. Формат данных представлен в виде JSON, поэтому наша задача разработать такой EntryPoint, чтобы на выходе получилась нужная структура JSON.

В основе SuiteCRM заложена модель MVC, и все действия предполагают обращение к action контроллера. Бывает, что необходимо отступить от стандартного подхода MVC, так как использование обычного MVC-подхода может быть затруднено или просто не нужно.

При построении High Availability Configuration на базе оборудования RISC-платформ мы выбираем из весьма ограниченного набора кластерного ПО. В первую очередь это вендорские разработки – Oracle Solaris Cluster, PowerHA (IBM), Serviceguard (HP), а также Veritas Cluster Server. Последнее решение по факту является основным предлагаемым на данный момент вариантом построения кластерных конфигураций, причем для разных платформ – Oracle, IBM и т.д.

Однако мы решили не ограничиваться только этими разработками и поискать альтернативное кластерное решение для x86. Так был инициирован внутренний проект по тестированию кластерной конфигурации на базе ПО Pacemaker.

Статья подготовлена Дмитрием Овчаренко, архитектором Департамента прикладных финансовых систем компании «Инфосистемы Джет»

Предвидя проблему

Приступая к разработке прокси-сервиса на Oracle Service Bus, следует принимать во внимание условия использования этого сервиса. Например, если разрабатываемый процесс будет участвовать во множестве популярных операций или использоваться большим числом пользователей. В случае, например, запроса информации для первой страницы после логина пользователя на сайте следует сразу придерживаться соображений оптимального кода с точки зрения производительности.

В процессе написания трансформаций и всех обращений к путям внутри сообщения не поленитесь указать [1] после каждого узла в XPath

$Get_Client_Info_Output/ns1:ListOfContact[1]/ns1:Contact[1]/ns1:rName[1]

Это позволит обрабатывать выражение как обращение к единичным элементам структуры, а не к множественным, как это подразумевается в общем случае.

Данная статья подготовлена Дмитрием Овчаренко, архитектором Департамента прикладных финансовых систем компании «Инфосистемы Джет»

Да будет унификация! Такое решение было принято при проектировании интеграционной архитектуры, связывающей CRM с другими внешними системами посредством шины на Oracle Service Bus. Помимо онлайн-интеграции на основе веб-сервисов, она принимает файлы, поступающие в систему, и вызывает веб-сервисы на стороне CRM, специально разработанные для каждого типа входящих данных.

Файл содержит множество записей, и по каждой требуется выполнить отдельный вызов сервиса на стороне CRM. Обработка файла производится в цикле по записям. На каждый вызов сервиса уходит по 5 секунд – это довольно много, но для выполнения поставленных требований вполне хватало. Процесс обработки вызова веб-сервиса в CRM предварительно проверяет запись на дубль, затем выполняет требуемую бизнес-логику и создает запись в БД.

Но «внезапности» могут возникнуть в непредвиденных моментах «шиномонтажа». На промышленных объемах данных в базе CRM стали появляться дубли. Мы выяснили, что источник может почему-то отправить большой файл повторно (сразу после того, как он будет подхвачен файловым proxy-сервисом и помещен в Stage-папку). Причем отставание между вызовами веб-сервисов, создающих дубли, настолько мало, что в момент второго вызова данные в первом еще не закоммичены, и проверка на стороне CRM не успевает срабатывать.

Приветствуем коллег и читателей. Сегодня предлагаем порассуждать на тему целесообразности аренды ИТ-ресурсов.

Представим себе ситуацию: компания задумалась о том, чтобы внедрить ERP. На месте этих 3 букв может стоять и другая аббревиатура – CRM, CAD, BI, SRM, CMS, EAM, MRM, GIS. С чего все начинается? С определения функциональности и требуемой производительности, причем нужно не только рассчитать ее на текущий момент, но и спрогнозировать перспективное развитие хотя бы на 3 года. Необходимо посмотреть на архитектуру железа, базовое и прикладное программное обеспечение, подумать над тем, как обеспечить RTO/RPO, катастрофоустойчивость, безопасность, привлечь высококвалифицированную проектную команду. Помимо этого, детально проанализировать несколько вариантов решения, предлагаемых производителями. Подумать, во сколько обойдется последующая эксплуатация. И мы еще не сделали самое главное – не убедили инвесторов или владельцев бизнеса в необходимости потратить бюджет именно на эту ИТ-систему.
А что ИТ-директор скажет бизнесу, когда спустя пару лет все поменяется настолько, что нужно будет снова проводить аналогичные мероприятия? Ведь потраченные несколько миллионов уже не вернуть. При этом средства на поддержание решения так или иначе нужно расходовать.

Или другой вариант – ИТ-система нужна компании «еще вчера», а ресурсов под срочные задачи внедрения нет. На проектирование, поставку и монтаж оборудования, внедрение, тестирование решения и его введение в эксплуатацию в совокупности уйдет около полугода, а ждать некогда.

Иногда ИТ-ресурсы необходимы компаниям лишь на определенный срок – полгода, год, после чего они с большой долей вероятности будут висеть на балансе. Безусловно, если в подобных ситуациях идти по классическому пути наращивания инфраструктуры (свой ЦОД/colocation), в будущем это может обернуться существенными проблемами. Есть и другое решение – взять ИТ-ресурсы в аренду.

Всем добрый день. Сегодня нам хотелось бы обсудить технологии и инструменты, обеспечивающие «программную определяемость» сетевой части дата-центров.

В первую очередь при построении SDDC стоит задуматься о технологии макровиртуализации. Она подразумевает под собой рабочий тандем системы управления виртуальными машинами (ВМ), DCIM (Data Center Infrastructure Management) и SNMP-адаптеров (Simple Network Management Protocol). DCIM с помощью адаптеров собирает и агрегирует информацию о состоянии инженерной инфраструктуры дата-центров, наличии свободных площадей, а также места в стойках. Система позволяет получать максимально полную картину того, что происходит в ЦОД компании-провайдера «здесь и сейчас». Если присовокупить к данным DCIM информацию из системы управления ВМ, это позволит определять проблемные точки в ЦОД (превышение пороговых значений температуры, нехватка электропитания и др.) и перемещать в ту или иную физическую зону дата-центра (или в другой дата-центр) нагрузку на процессорные мощности. Компания сможет осуществлять миграцию высоконагруженных виртуальных машин ближе к подходящим элементам инженерной инфраструктуры. И в зонах «накала серверных страстей» будет наиболее холодно.

Таким образом, физические дата-центры провайдера, объединенные технологией макровиртуализации, преобразуются в единую «экосистему», обладающую, помимо всего прочего, повышенной надежностью. Здесь уместна пословица «Веника не сломишь, а прутья по одному все переломаешь»: при невысоком уровне надежности инженерной инфраструктуры отдельных ЦОД все они обеспечивают полное взаимное резервирование.

Проект OpenStack возник по инициативе двух производителей и объединил их продукты – объектное хранилище Rackspace и систему управления гипервизорами NASA. «OpenStack призван помочь организациям предоставлять облачные вычислительные ресурсы, запущенные на стандартном оборудовании», – заявляют вендоры. В данном материале мы попробуем разобраться, так ли это на самом деле.

OpenStack сегодня

Первый релиз OpenStack вышел в октябре 2010 г. Так компания Rackspace стала одним из ближайших конкурентов другого облачного провайдера IaaS – Amazon Web Services (AWS), который в то время сильно терял свои позиции. По сути, OpenStack – копия AWS: многие сервисы и процессы в этих платформах одинаковы и даже совместимы между собой.

IaaS: OpenStack vs. Amazon Web Services

10 вопросов к российскому стандарту ГОСТ Р 53647.3–2010 «Менеджмент непрерывности бизнеса. Часть 3. Руководство по внедрению»

Несколько лет назад я сетовал на то, что в России мало нормативных документов, посвященных теме непрерывности бизнеса. Точнее, я знал о существовании национальных стандартов семейства ГОСТ Р 53647.1–2009 «Менеджмент непрерывности бизнеса. Часть 1. Практическое руководство» и ГОСТ Р 53647.2–2009 «Менеджмент непрерывности бизнеса. Часть 2. Требования». Но время идет, и оказалось, что семейство пополнилось большим количеством документов. Их рассмотрению я хочу посвятить несколько статей.
Итак, предметом рассмотрения в этот раз станет ГОСТ Р 53647.3–2010 «Менеджмент непрерывности бизнеса. Часть 3. Руководство по внедрению». Как и в случае с предыдущими документами, в его основу положен национальный документ Великобритании – BIP 2142:2007 «The Route Map to Business Continuity Management. Meeting the Requirements of BS 25999».
Наверное, как и в любой области, где возможна специализация, рекомендации этого документа будут более понятны и полезны тем, кто уже имеет практический опыт реализации процесса менеджмента непрерывности бизнеса.

Дефекты программного кода

ИТ-индустрия – самая быстро развивающаяся отрасль в истории человечества, опережающая радио, телевидение и телефонию. Динамичность изменений приводит к тому, что современная система образования просто не успевает готовить квалифицированные ИТ-кадры – программистов, архитекторов, аналитиков. Требования к компетенциям таких специалистов растут быстрее, нежели они успевают обучаться. Отсюда – постоянный кадровый голод на этом рынке, как следствие, нередко результаты работы ИТ-команд имеют дефекты. Сегодня уже никого не удивляет, что программные продукты даже самых известных производителей часто бывают несовершенны. Мы принимаем это как данность и работаем с тем ПО, которое нам выдают разработчики. В свою очередь они, как и другие ИТ-специалисты, прилагают все усилия, чтобы недостатков становилось меньше.