Как стать автором
Обновить

«Строим безотказный банк» — инфраструктурный митап ВТБ

Блог компании ВТБ

16 сентября в 18:30 приглашаем на онлайн-митап. Обсудим, как справиться с возрастающей нагрузкой на инфраструктуру, обеспечить доступность банковских сервисов на уровне 99,99% и провести региональную трансформацию инфраструктуры банка по всей стране.

Регистрация

Читать далее
Всего голосов 3: ↑3 и ↓0 +3
Просмотры 5.1K
Комментарии 0

Бесплатная защита от DDoS, 152-ФЗ для серверов и миграционные каникулы

Блог компании Selectel IT-инфраструктура *IT-компании

Привет, Хабр! Главные новости за прошедший месяц: мы получили Акт соответствия выделенных серверов 152-ФЗ, а еще запустили миграционные каникулы и бесплатную защиту от DDoS-атак. 

Читать далее
Всего голосов 17: ↑17 и ↓0 +17
Просмотры 627
Комментарии 2

Перенос истории из CVS/PCVS/VSS/ClearCase/StarTeam/MKS в SVN

Системы управления версиями *
Из песочницы
Доброго времени суток!

Данная статья посвящена одной небольшой задачке – переносу репозитория вместе со всей историей с одной системы управления версиями в другую, а точнее – в SVN. Речь пойдёт об использовании бесплатной утилиты Importer for SVN от Palarion, с помощью которой можно мигрировать с CVS / PCVS / VSS / ClearCase / StarTeam / MKS на SVN, не потеряв при этом журнала изменений кода. В моём случае потребовалось перенести проекты из Borland StarTeam.

Почему было сказано «нет» StarTeam и «да» SVN? Сначала думал пропустить данный абзац во избежание холиваров. Но, пожалуй, без этого статья была бы лишена, скажем так, области определения. В моём случае отказаться от StarTeam вынудил уход человека, его внедрившего и администрировавшего. Пара дней безуспешных попыток заставить работать сервис под другой учётной записью породили мысль о том, что задача восстановления репозиториев из бэкапов станет ещё большим вызовом. Конечно, радиус кривизны рук можно было значительно увеличить спустя какое-то время. Но оно нам надо, спрашивается, когда есть бесплатный, до безобразия лёгкий в установке и поддержке SVN? Тем более что у меня было предостаточно опыта его использования на предыдущих местах работы, а все два с половиной разработчика находятся в одной комнате.

Одно препятствие – жаль было терять историю изменений. Сначала думали залить в SVN текущие версии, а историю смотреть в StarTeam, переведя его предварительно в read-only. Но, как говорится, это не наш метод. И непродолжительный гуглопоиск навёл на выше в суе помянутый Palarion Importer for SVN.

Теперь непосредственно к сути...
Всего голосов 19: ↑16 и ↓3 +13
Просмотры 2.7K
Комментарии 9

Обновления на лету (zero-downtime deployment) вообще и в Ruby on Rails

Блог компании «Cloud Castle» Разработка веб-сайтов *Ruby on Rails *
Сначала разберемся с определениями. Под обновлением на лету мы подразумеваем такое обновление системы, при котором не нарушается штатная ее работа: клиенты работают, посетители ходят и никто не наблюдает ошибок, увеличившегося времени отклика или таблички “УЧЁТ”.

Зачем это нужно? Если вы задаетесь этим вопросом — вам не нужно. Вешайте табличку, садитесь обедать.

Как это делается? Сложно. Почему? Главных причин две:
— вы не можете обновить систему мгновенно и атомарно (то есть ровно между двумя HTTP запросами). При наивном подходе пользователи заметят как минимум долгое время отклика, а то и ошибку, если, к примеру, БД обновлена, а код еще нет;
— состояние и конфигурация системы существуют и на клиенте и на сервере. Примеры: данные в сессии, имена полей формы, адреса в ссылках, состояние в javascript на открытой у пользователя странице.
Читать дальше →
Всего голосов 28: ↑24 и ↓4 +20
Просмотры 9.9K
Комментарии 20

Полное руководство: средства и способы миграции данных в Windows Azure SQL Database

Блог компании Microsoft Microsoft Azure
Перевод
Tutorial
image

В этом документе представлены рекомендации по миграции определений данных (схем) и данных в базу данных SQL Windows Azure. Эти рекомендации предназначены главным образом для однократного переноса с SQL Server в базу данных SQL. Сведения о совместном использовании данных и резервном копировании базы данных SQL см. в статье SQL Data Sync Overview (Обзор синхронизации данных SQL).

Факторы, которые следует учесть при миграции


Microsoft Windows Azure предоставляет несколько вариантов хранения данных. Можно выбрать один или несколько вариантов для использования в проектах.

База данных SQL Windows Azure является технологией SQL Server, предоставляемой в качестве службы на платформе Windows Azure. Облачные базы данных SQL предоставляют множество преимуществ, включая быструю подготовку, эффективную масштабируемость, высокую доступность и сокращение затрат на управление. База данных SQL поддерживает те же средства и методики разработки, которые используются для локальных приложений SQL Server. Поэтому большинство разработчиков сможет легко создавать облачные решения.

Долгосрочная цель использования SQL Server и базы данных SQL — достижение симметричности и четности компонентов и возможностей. Однако в настоящее время при миграции баз данных в базу данных SQL и разработке решений для базы данных SQL необходимо учитывать особенности архитектуры и способов реализации.

Вначале необходимо изучить отличия между базой данных SQL и SQL Server, а также установить график миграции.
Читать дальше →
Всего голосов 23: ↑12 и ↓11 +1
Просмотры 29K
Комментарии 2

Mover.io: сервис для облачных миграций

Amazon Web Services *
image

Сейчас у нас в наличии серьезный ассортимент разнообразных облачных хранилищ. В каких-то Вам предоставляют больше места для ваших данных, в других меньше. Часто бывает что информация распределена между двумя++ различными сервисами. Неплохо было бы иметь удобный инструмент для того, чтобы без особых затрат времени и трафика привести эти удаленные папки в желаемый вид. Я открыл для себя вот этот сервис.
Читать дальше →
Всего голосов 2: ↑2 и ↓0 +2
Просмотры 5.4K
Комментарии 4

Выполняем миграцию файловых серверов из Windows Server 2003 в Windows Server 2012 R2

Блог компании Microsoft
Перевод

Введение


Если у вас есть файловые сервера SMB, запущенные на Windows Server 2003, вы, наверное, уже в курсе, что расширенная поддержка этой ОС завершится 14 июля 2015 года. Более подробно об этом вы можете прочитать здесь.
Если вы все еще используете Windows Server 2003, вы должны начать планировать переход на новую версию прямо сейчас. Простейшим способом мигрировать старые файловые сервера SMB будет использование виртуальной машины, чтобы заменить вашу старую виртуальную машину и перенести данные на новую. Не смотря на то, что такой переход кажется довольно простым, вы должны быть осторожны, т.к. это перемещение данных и требует, по крайней мере непродолжительного, времени простоя.
Я рад, что вы читаете эту статью, так как это означает, что вы предпринимаете шаги, чтобы уйти с ваших старых серверов прежде, чем их поддержка прекратится.

Читать дальше →
Всего голосов 21: ↑18 и ↓3 +15
Просмотры 43K
Комментарии 10

Теория и практика миграции веб-систем на PostgreSQL

Разработка веб-сайтов *PostgreSQL *
Из песочницы
В последние месяцы проблематика миграции работающих систем на open-source решения для хранения данных захватила умы отечественных разработчиков. Особой популярностью в роли целевой платформы пользуется PostgreSQL. Причин тому можно назвать несколько:

  1. Пребывающая у всех на слуху политика импортозамещения, внедряемая правительством;
  2. Популяризация PostgreSQL силами энтузиастов и развитие российского сообщества благодаря таким мероприятиям как PG Day и PGConf;
  3. Расширение функциональных возможностей PostgreSQL, позволяющих разработчикам строить гибкие и «schema-less» приложения, не теряя при этом всех преимуществ СУБД, таких как честные транзакции, отказоустойчивость, возможности масштабирования и др.


Нам удалось убедиться в эффективности PostgreSQL несколько лет назад. Внедрение СУБД позволило ликвидировать серьезный технологический кризис на одном из крупных проектов компании. Подробный рассказ об этой success story состоялся на PG Day’14 Russia, прошедшем в прошлом году в Санкт-Петербурге. С тех пор нам довелось попробовать базу данных для решения широкого спектра проблем.
Читать дальше →
Всего голосов 41: ↑30 и ↓11 +19
Просмотры 25K
Комментарии 16

Что нужно знать при миграции с MySQL на PostgreSQL?

MySQL *PostgreSQL *SQL *
Tutorial
В продолжение статьи о теории и практике миграции хранилищ данных на PostgreSQL, мы поговорим о проблемах, с которыми вы можете столкнуться при переезде с распространенной СУБД MySQL. Дабы не утомлять всех лишней риторикой, сегодняшний рассказ будет более тезисный и проблемно-ориентированный.

Все нижепредставленное является перечнем типовых ошибок дизайна и эксплуатации MySQL, которые могут повлиять на процесс адаптации схемы, переработки кода и переноса данных. Наличие всех этих мелочей в разнообразных коварных сочетаниях является одной из причин, по которой существующие “универсальные” инструменты вряд ли справятся конкретно с вашей базой.

Именно поэтому в предыдущей статье я рекомендовал не тратить время на поиск серебряной пули и написать что-нибудь свое “на коленке”, что действительно работает. Данная статья призвана облегчить написание такого инструмента, указывая на потенциальные изъяны, в наличии которых вы может сравнительно быстро убедиться.

Перейдем к делу.
Читать дальше →
Всего голосов 49: ↑43 и ↓6 +37
Просмотры 36K
Комментарии 56

От Oracle к PostgreSQL – путь длиною в 4 года, доклад Андрея Рынкевича

Блог компании PG Day'17 Russia Администрирование баз данных *Хранение данных *Хранилища данных *DevOps *
2017 год стал значимым событием для PG Day — мы преобразовали наше мероприятие в крупнейшую конференцию, посвященную базам данных.

Мы не изменяем своим традициям и готовим насыщенную и интересную программу, посвященную Посгресу. Тем не менее, общение с коллегами и обратная связь от участников дают однозначно понять, что огромное количество специалистов занимается эксплуатацией нескольких систем для хранения данных, вынужденно или же по собственному решению. Мы не хотим лишать коллег возможности пообщаться друг с другом, обменяться опытом и найти способы решить свои проблемы. Именно поэтому, в 2017 году PG Day делится на 5 параллельных потоков по различным направлениям: PostgreSQL, MySQL, Oracle, MS SQL Server, NoSQL решения и другие бесплатные и коммерческие СУБД.

Не смотря на то, что радикальные изменения в структуре ПГ Дня начались только в этом году, интерес к нашему мероприятию от колег по цеху стал появляться уже значительно раньше. На одном из прошлых PG Day Андрей Рынкевич представил интереснейший доклад От Oracle к PostgreSQL – путь длиною в 4 года, основанный на опыте миграции в компании Phorm, расшифровку которого мы рады представить читателям Хабра.

Читать дальше →
Всего голосов 17: ↑17 и ↓0 +17
Просмотры 11K
Комментарии 8

Работа со сложным софтом: как провести миграцию кассовой программы и не «сломать» магазин

Блог компании Пилот IT-инфраструктура *


Компания «Пилот» за годы существования провела сотни проектов по построению и реорганизации ритейл-инфраструктуры. Одними из самых важных для магазина почти всегда становятся работы по миграции с одной кассовой системы на новую.

Сегодня мы поговорим об особенностях миграции кассового софта, распространенных ошибках, которые допускают компании на этом пути, и посоветуем, на что обратить внимание, чтобы их избежать.
Читать дальше →
Всего голосов 4: ↑4 и ↓0 +4
Просмотры 2.1K
Комментарии 0

Миграция с мэйнфреймов: как убедить руководство?

Блог компании TmaxSoft IT-инфраструктура *Серверная оптимизация *Cobol *Big Data *

Если требуется провести модернизацию построенной на базе мэйнфреймов инфраструктуры, на которой в вашей компании работают унаследованные (legacy) приложения, а руководство компании сомневается в необходимости такой модернизации, то следующие аргументы помогут убедить ваше начальство.
Читать дальше →
Всего голосов 16: ↑8 и ↓8 0
Просмотры 3.8K
Комментарии 7

Из MS SharePoint в Битрикс24: билет в один конец

1С-Битрикс
image

В 2017 году компания Зетта Страхование приняла решение отказаться от Microsoft SharePoint в пользу Битрикс24. Зачем, почему и как — под катом.
Читать дальше →
Всего голосов 15: ↑11 и ↓4 +7
Просмотры 7.7K
Комментарии 25

Migrate API и с чем его едят. На примере миграции форума Drupal 7. Часть 1

PHP *Drupal *
Tutorial
Migrate API и с чем его едят. На примере миграции форума по Drupal 7. Часть 1
Данное руководство является переводом статьи.

Хотелось бы поделиться своим опытом миграции форума с Drupal 7 на Drupal 8, а также рассказать о проблемах, с которым пришлось столкнуться во время этого процесса, а также об инструментах, которые я использовал. Кроме этого я расскажу о подводных камнях, которые встретились при миграции форума и терминов к нему.
Читать дальше →
Всего голосов 16: ↑15 и ↓1 +14
Просмотры 5.5K
Комментарии 7

Миграция данных ElasticSearch без потерь

Open source *NoSQL *Администрирование баз данных *DevOps *


Академическое проектирование хранилища данных рекомендует держать все в нормализованной форме, со связями между. Тогда накат изменений по реляционной математике даст надежное хранилище с поддержкой транзакций. Atomicity, Consistency, Isolation, Durability — вот это все. Иначе говоря, хранилище специально строится для безопасного обновления данных. Но оно вовсе не оптимально для поиска, особенно широким жестом по таблицам и полям. Нужны индексы, много индексов. Объемы разрастаются, запись замедляется. SQL LIKE не индексируется, а JOIN GROUP BY отправляет медитировать в планировщик запросов.

Читать дальше →
Всего голосов 22: ↑19 и ↓3 +16
Просмотры 8.9K
Комментарии 2

Миграция данных в кровавом энтерпрайзе: что анализировать, чтобы не завалить проект

Блог компании HFLabs Анализ и проектирование систем *SQL *Data Mining *Big Data *


Типичный проект системной интеграции для нас выглядит так: у заказчика вагон систем для учета клиентов, задача — собрать клиентские карточки в единую базу. И не только собрать, а еще очистить от дублей и мусора. Чтобы на выходе получились чистые, структурированные, полные карточки клиентов.

Для начинающих поясню, что миграция идет по такой схеме: источники → преобразование данных (отвечает ETL или шина) → приемник.

На одном проекте мы потеряли три месяца просто потому, что сторонняя команда интеграторов не изучала данные в системах-источниках. Самое обидное, что этого можно было избежать.
Читать дальше →
Всего голосов 37: ↑36 и ↓1 +35
Просмотры 12K
Комментарии 26

Как добавить индекс на нагруженной системе 24/7 без простоя?

Блог компании OTUS Microsoft SQL Server *Администрирование баз данных *
Друзья, в конце января у нас стартует новый курс под названием «MS SQL Server разработчик». В преддверии его запуска мы попросили преподавателя курса, Кристину Кучерову, подготовить авторскую статью. Эта статья будет вам полезна, если у вас есть очень популярная таблица на проде с доступом 24/7 и вдруг неожиданно вы поняли, что срочно нужно добавить индекс и ничего не сломать в процессе.

Итак, что же делать? Традиционный способ CREATE INDEX WITH (ONLINE = ON) вам не подходит, потому что, например, вызывает падение системы и сердечный приступ вашего ДБА, все топы пристально следят за response time вашей системы и в случае увеличения оного приходят к вам и вашему ДБА на разговор по поводу завышенных цифр вашей компенсации за труд.

Скрипты и описанные приёмы были использованы на системе с нагрузкой 400К requests per minute, версии SQL Server 2012 и 2016 (Enterprise).

Есть два очень разных подхода создания индекса, которые используются в зависимости от размера таблицы.

Кейс № 1. Маленькая, но очень популярная таблица


Таблица 50 тыс. записей (небольшая), но очень популярная (несколько тысяч обращений в минуту). Вам нужен новый индекс и минимальное время простоя и блокировок на таблице.
В приложении весь доступ к БД только через процедуры.

При ошибке приложение сделает повторную попытку обратится к таблице.


Читать дальше →
Всего голосов 28: ↑27 и ↓1 +26
Просмотры 12K
Комментарии 25

Миграция на Zimbra при помощи imapsync

Блог компании Zextras Системное администрирование *Сетевые технологии *
Recovery mode
Помимо таких долгожданных функций как Иерархическая адресная книга и официальная поддержка Ubuntu 18.10 LTS, релиз Zimbra 8.8.15 принес нам известия о грядущем снятии с поддержки целого ряда утилит, необходимых для миграции с других почтовых систем на Zimbra Collaboration Suite. В частности, поддержка ZCS Migration Wizard for Domino была полностью прекращена, а ZCS Migration Wizard for Exchange теперь будет поддерживать лишь импорт файлов PST из Outlook. Для осуществления полноценной миграции разработчики Zimbra Collaboration Suite предлагают воспользоваться платными онлайн-сервисами, однако далеко не каждое предприятие из соображений безопасности готово предоставить данные своих почтовых ящиков третьим лицам, и далеко не каждое предприятие может позволить себе дополнительные траты, связанные с миграцией на Zimbra. Специально для таких пользователей существует программой imapsync, которая способна обеспечить надежную инкрементальную миграцию с любой почтовой системы на Zimbra.

image
Читать дальше →
Всего голосов 5: ↑3 и ↓2 +1
Просмотры 5.7K
Комментарии 16

Безопасное обновление Zimbra Collaboration Suite

Блог компании Zextras Системное администрирование *Сетевые технологии *
Так уж сложилось, что системные администраторы всегда с недоверием относятся ко всему новому. Буквально все, начиная от новых серверных платформ до обновлений программного обеспечения воспринимается с настороженностью, ровно до тех пор, пока не появится первый практический опыт использования и позитивные отзывы от коллег из других предприятий. Оно и понятно, ведь когда в буквальном смысле головой отвечаешь за работоспособность предприятия и сохранность важной информации, со временем перестаешь доверять даже самому себе, не говоря уже о контрагентах, подчиненных или обычных пользователях.

Недоверие к обновлениям программного обеспечения обусловлено массой неприятных случаев, когда установка свежих патчей приводила к падению производительности, изменениям в пользовательском интерфейсе, отказу информационной системы или, что особенно неприятно, потере данных. Однако и полностью отказаться от обновлений нельзя, в таком случае инфраструктура вашего предприятия может подвергнуться атаке киберпреступников. Достаточно вспомнить нашумевший случай с вирусом WannaCry, когда данные, хранившиеся на миллионах не обновленных до последней версии Windows компьютерах, оказались зашифрованными. Этот инцидент не только стоил рабочего места не одной сотне системных администраторов, но и наглядно показал необходимость выработки новой политики обновления программных продуктов на предприятии, которая бы позволяла сочетать безопасность и скорость их установки. Давайте же в преддверие выхода LTS-релиза Zimbra 8.8.15 посмотрим на то, как можно обновить Zimbra Collabration Suite Open-Source Edition, чтобы гарантированно обеспечить сохранность всех критически важных данных.

image
Читать дальше →
Всего голосов 10: ↑10 и ↓0 +10
Просмотры 2.6K
Комментарии 0

Миграции баз данных с Flyway

Блог компании OTUS Java *Администрирование баз данных *
Перевод
Перевод статьи подготовлен в преддверии старта курса «Разработчик Java».




1. Введение


В этой статье описываются ключевые концепции Flyway и пример использования этого фреймворка для непрерывного изменения схемы базы данных на примере in-memory базы данных H2 с помощью maven-плагина flyway.

Flyway обновляет версии баз данных с помощью миграций. Миграции можно писать на SQL (с синтаксисом, специфичным для конкретной СУБД) или на Java.

Миграции могут быть версионными или повторяющимися. Первые имеют уникальную версию и применяются ровно один раз. У вторых номера версии нет, и они применяются, когда у них изменяется контрольная сумма.

Повторяющиеся миграции в рамках одного запуска всегда применяются после выполнения версионных миграций. Повторяющиеся миграции применяются в порядке их описания. В одной миграции все операции выполняются в рамках одной транзакции базы данных.

В этой статье мы сосредоточим внимание на использовании maven-плагина для миграций базы данных.
Читать дальше →
Всего голосов 6: ↑5 и ↓1 +4
Просмотры 24K
Комментарии 2
1