Pull to refresh

Вебинар «Миграция с зарубежных ИТ-сервисов и дата-центров: этапы, инструменты, кейсы» 31 марта

Reading time 1 min
Views 856
DataLine corporate blog IT Infrastructure *Data storage *Data storages *Cloud services *

За несколько недель в России приостановили работу большое количество зарубежных облачных сервисов. Пользоваться услугами тех, кто еще продолжает сотрудничество с российскими компаниям, непросто из-за сложностей с их оплатой. Многие компании спешно ищут альтернативы в России и планируют миграцию.

Как и куда можно перевезти ИТ-инфраструктуру и сервисы из-за рубежа? Как сделать это быстро и с минимальными простоями для бизнеса? Об этом поговорим на вебинаре 31 марта 2022 года.

Подробности и регистрация
Total votes 12: ↑12 and ↓0 +12
Comments 0

Вебинар DataLine «Миграция базы данных 1С с MS SQL на PostgreSQL» 31 мая

Reading time 1 min
Views 1.1K
DataLine corporate blog PostgreSQL *Database Administration *1C *

Сегодня многие корпоративные пользователи решений 1С задумываются о переходе с MS SQL на PostgreSQL. Как организовать процесс миграции и провести настройку СУБД? Об опыте миграции и эксплуатации решения поговорим на вебинаре 31 мая.

Подробности и регистрация
Total votes 9: ↑9 and ↓0 +9
Comments 0

Приглашаем на клиентскую конференцию Arenadata (26 мая)

Reading time 1 min
Views 169
Arenadata corporate blog IT Infrastructure *Conferences

26 мая наша компания планирует провести клиентскую конференцию, посвящённую обзору новых продуктов Arenadata и обсуждению миграции с западного ПО.

Расскажем о наших новинках и планах, организуем круглый стол с обсуждением рисков миграции: обсудим, с чем столкнулись заказчики, что нужно предусмотреть для успешной реализации таких проектов и другие вопросы. Под конец вечера обещаем фуршет, нетворкинг и общение под приятную музыку.

Приглашаем представителей компаний-заказчиков, для которых миграция с западных СУБД сейчас — «острый» вопрос.

Подробнее о конференции
Total votes 2: ↑2 and ↓0 +2
Comments 0

Миграции БД для .NET

Reading time 2 min
Views 3K
.NET *
Добрый вечер!

Вышла версия 2.0 инструмента для версионной миграции БД - ECM7.MigratorНедавно здесь поднималась тема версионного изменения структуры БД. Среди готовых решений для миграции БД (для .NET-проектов) там упоминался проект ECM7.Migrator, одним из авторов которого я являюсь.

Вчера мы, наконец, отрелизили версию 2.0. Взять новую версию можно на страничке проекта в google code и в галерее пакетов nuget.

Краткий рассказ о миграторе и список изменений новой версии под катом..
Total votes 48: ↑40 and ↓8 +32
Comments 29

Flyway: управление миграциями баз данных

Reading time 6 min
Views 68K
Java *
В этой статье я расскажу об одном из средств обеспечения версионности схем и управления миграциями БД — библиотеке Flyway. С поблемой версионности схемы базы данных рано или поздно приходится сталкиваться разработчикам любого приложения, опирающегося на СУБД. Увы, иногда эта проблема принимается в рассмотрение слишком поздно — например, если вопрос о внесении изменений в структуру базы встаёт, когда приложение уже находится в эксплуатации. Но и на этапе разработки контроль схемы базы данных причиняет не меньше проблем, чем все прочие аспекты версионности приложения: в отсутствие чёткой системы управления миграциями локальная, стендовая и эксплуатационная базы могут быстро «разъехаться», не предоставляя при этом никакой информации относительно своего текущего состояния.

Читать дальше →
Total votes 8: ↑7 and ↓1 +6
Comments 16

Бесшовная миграция MySQL 5.0 -> Percona Server 5.5 с переразбивкой хранилища

Reading time 5 min
Views 18K
«Alawar Entertainment» corporate blog MySQL *
Здравствуйте.

Хочу поделиться опытом миграции боевой базы данных с MySQL 5.0 на Percona Server 5.5 под нагрузкой почти без отрыва от производства.

Опишу вкратце эволюцию нашей базы до текущего состояния


База у нас древняя, пережила несколько апгрейдов MySQL. Начинали с MySQL 3.x. С ростом нагрузки, уже на MySQL 5.0, настроили репликацию и подключили еще один сервер для чтения. Тогда мы это делали стандартными средствами MySQL, без привлечения xtrabackup — полностью блокировали сервер на время создания мастер-дампа и вывешивали на сайтах заглушки.

Затем встала следующая проблема — на томе с данными стало заканчиваться место. Плюс InnoDB-хранилище исторически располагалось в одном файле. Было рассмотрено много вариантов решения. Начиная от размещения базы на iSCSI-томе и заканчивая перетыканием в рейд более емких дисков, расширением на них volume group / logical volume с последующим расширением файловой системы.

В качестве временного варианта решили подключить iSCSI-том из виртуалки под VMWare vCloud (не реклама, честно!). vCloud стоит у нас под боком.
Читать дальше →
Total votes 34: ↑32 and ↓2 +30
Comments 9

Фреймворк Django получит миграции схемы БД

Reading time 2 min
Views 9.8K
«NetAngels» corporate blog Website development *Django *

В официальном блоге Django появилась информация о том, что планируется расширить функционал встроенной ORM миграциями — важным функционалом, который присутствует во многих современных ОРМ-ах, что называется «из коробки», например в рельсовом ActiveRecord или пхпшной Doctrine. Исторически сложилось, что этот функционал отсутствует в Django ORM.
Под катом описание грядущих перемен
Total votes 36: ↑34 and ↓2 +32
Comments 12

Управление миграциями БД с Liquibase

Reading time 6 min
Views 122K
Java *Groovy & Grails *
Tutorial
Translation
Не так давно мы начали внедрять Liquibase в качестве инструмента миграций схемы данных в большинстве наших проектов, новых и уже существующих. Система миграций схемы базы данных Liquibase хороша тем, что позволяет использовать системы контроля версий, VCS, (например, Git) для управления ревизиями базы данных приложения. Говоря более точно, VCS содержит описание изменений, необходимые для миграции схемы базы данных из одной ревизии в другую.

Хотя миграция схемы базы данных кажется довольно простой задачей изначально, задача становится сложнее после того, как появляется желание откатывать изменения схемы без ее создания заново.
Кроме схемы и операций DDL, Liquibase позволяет мигрировать данные приложения, с поддержкой наката изменений данных и их отката.
Читать дальше →
Total votes 6: ↑6 and ↓0 +6
Comments 33

Еще немного о миграциях. Версия для PHP

Reading time 6 min
Views 6.3K
PHP *
Tutorial
Sandbox
Вольно цитируя вступление к соответствующей статье на RailsGuides,
Миграции — это удобный способ управления структурой и изменениями схемы БД.
Конечно, можно вести дела по старинке, оперируя множеством SQL-файлов, или, о ужас!, редактируя куски SQL-кода в одном большом файле, который представляет собой актуальную схему БД.

Однако следить за этими изменениями, начиная с некоторого момента, становится очень сложно, не говоря уже о применении соответствующих изменений на продакшен-машине: тут нужно обладать ловкостью гепарда, силой медведя и мудростью всех восточных мудрецов, вместе взятых, чтобы все сделать правильно и ничего не уронить.
Но как быть, если Вы не обладаете какими-либо из вышеперечисленных качеств? Правильно, нужно систематизировать и автоматизировать процесс, переложив большую часть работы на машину.

Если Вы уже заинтересовались, или все еще не уверены, но перспектива иметь прозрачную историю изменений и возможность с помощью одной-двух консольных команд откатиться на любою версию схемы, звучит заманчиво, прошу под кат.
Читать дальше →
Total votes 13: ↑9 and ↓4 +5
Comments 21

Использование Liquibase без головной боли. 10 советов из опыта реальной разработки

Reading time 5 min
Views 99K
Java *Groovy & Grails *
Tutorial
kdpvLiquibase — это система управления миграциями базы данных. Это вторая статья о Liquibase, на этот раз содержащая советы «боевого» использования системы. Для получения базовых сведений подойдет первая статья-перевод «Управление миграциями БД с Liquibase» (ссылка).

Как и многие инструменты, служащие для облегчения жизни разработчиков программного обеспечения, Liquibase имеет «обратную сторону медали», с которой приходится рано или поздно столкнуться.

Вот 10 вещей, которые в определенный момент работы с Liquibase были для меня открытием.

1. Версионность приложения должна быть отражена в структуре папок миграций


Если вы не будете следовать этому правилу, файлы чейнджлогов быстро украсят папку миграций своим количеством и необычными именами.
На данный момент для себя я выработал оптимальную стратегию именования файлов и папок. Вот она:

/db-migrations
    /v-1.0
        /2013-03-02--01-initial-schema-import.xml
        /2013-03-02--02-core-data.xml
        /2013-03-04--01-notifications.xml
        /changelog-v.1.0-cumulative.xml
    /v-2.0
        ...
        /changelog-v.2.0-cumulative.xml
    /changelog.xml

Подробнее:
Читать дальше →
Total votes 17: ↑17 and ↓0 +17
Comments 9

Что нужно знать при миграции с MySQL на PostgreSQL?

Reading time 8 min
Views 36K
MySQL *PostgreSQL *SQL *
Tutorial
В продолжение статьи о теории и практике миграции хранилищ данных на PostgreSQL, мы поговорим о проблемах, с которыми вы можете столкнуться при переезде с распространенной СУБД MySQL. Дабы не утомлять всех лишней риторикой, сегодняшний рассказ будет более тезисный и проблемно-ориентированный.

Все нижепредставленное является перечнем типовых ошибок дизайна и эксплуатации MySQL, которые могут повлиять на процесс адаптации схемы, переработки кода и переноса данных. Наличие всех этих мелочей в разнообразных коварных сочетаниях является одной из причин, по которой существующие “универсальные” инструменты вряд ли справятся конкретно с вашей базой.

Именно поэтому в предыдущей статье я рекомендовал не тратить время на поиск серебряной пули и написать что-нибудь свое “на коленке”, что действительно работает. Данная статья призвана облегчить написание такого инструмента, указывая на потенциальные изъяны, в наличии которых вы может сравнительно быстро убедиться.

Перейдем к делу.
Читать дальше →
Total votes 49: ↑43 and ↓6 +37
Comments 56

Миграция данных из Oracle в PostgreSQL

Reading time 6 min
Views 40K
CUSTIS corporate blog Oracle *PostgreSQL *
«Ландшафт» СУБД в проектах нашей компании до недавнего времени выглядел так: большую часть составляла Oracle, существенно меньшие — MS SQL и MySQL.

Но, как известно, нет ничего вечного, и недавно к нам поступил запрос о применимости Postgres в одном из наших проектов. К этой СУБД мы присматривались в последние пару лет очень пристально — посещали конференции, meetup’ы, но вот попробовать ее в «боевых» условиях до недавнего времени не доводилось.
Читать дальше →
Total votes 17: ↑17 and ↓0 +17
Comments 16

Пора. Обновление до Oracle Database 12

Reading time 8 min
Views 21K
Oracle corporate blog Oracle *

Почему пора?


Время летит быстро, и для пользователей Oracle Database 11.2, не говоря уже о более ранних версиях, настало время обновления. 31 января 2015 года закончился период Premier Support базы Oracle Database 11.2. Это значит, что если вы, например, запланируете обновление аппаратного сервера, то на нем придется установить новую версию операционной системы, т.к. драйверы для прежней версии уже недоступны, а новая операционная система уже не сертифицирована под версию 11.2.

Читать дальше →
Total votes 15: ↑10 and ↓5 +5
Comments 9

Экстремальная миграция на PostgreSQL: без остановки, потерь и тестирования

Reading time 7 min
Views 25K
ЮMoney corporate blog Payment systems *Oracle *PostgreSQL *Development for e-commerce *


Буквально месяц назад в Яндекс.Деньгах завершился переезд сервиса профилей пользователей с Oracle на PostgreSQL. Так что теперь у нас есть опробованное решение по миграции больших объемов данных без потерь и остановки использующего их сервиса.


Под катом я расскажу подробнее о том, как все происходило, зачем мы выбрали для миграции SymmetricDS и почему без «ручных» усилий все равно не обошлось. Поделюсь также некоторыми наработками по вспомогательному коду для миграции.

Ну и вспомню про набитые шишки, конечно же
Total votes 40: ↑40 and ↓0 +40
Comments 56

От Oracle к PostgreSQL – путь длиною в 4 года, доклад Андрея Рынкевича

Reading time 15 min
Views 11K
PG Day'17 Russia corporate blog Database Administration *Data storage *Data storages *DevOps *
2017 год стал значимым событием для PG Day — мы преобразовали наше мероприятие в крупнейшую конференцию, посвященную базам данных.

Мы не изменяем своим традициям и готовим насыщенную и интересную программу, посвященную Посгресу. Тем не менее, общение с коллегами и обратная связь от участников дают однозначно понять, что огромное количество специалистов занимается эксплуатацией нескольких систем для хранения данных, вынужденно или же по собственному решению. Мы не хотим лишать коллег возможности пообщаться друг с другом, обменяться опытом и найти способы решить свои проблемы. Именно поэтому, в 2017 году PG Day делится на 5 параллельных потоков по различным направлениям: PostgreSQL, MySQL, Oracle, MS SQL Server, NoSQL решения и другие бесплатные и коммерческие СУБД.

Не смотря на то, что радикальные изменения в структуре ПГ Дня начались только в этом году, интерес к нашему мероприятию от колег по цеху стал появляться уже значительно раньше. На одном из прошлых PG Day Андрей Рынкевич представил интереснейший доклад От Oracle к PostgreSQL – путь длиною в 4 года, основанный на опыте миграции в компании Phorm, расшифровку которого мы рады представить читателям Хабра.

Читать дальше →
Total votes 17: ↑17 and ↓0 +17
Comments 8

Полезные скрипты при миграции из Oracle в PostgreSQL

Reading time 13 min
Views 13K
Oracle *PostgreSQL *Programming *Java *
Во время миграции из Oracle в PostgreSQL с помощью ora2pg встал вопрос с несоответствием типов данных между разными базами. По умолчанию не все колонки конвертируется правильно, а отсутствие в Oracle Boolean и вовсе порождает неоднозначность – часть колонок нужно перенести как числа, часть как логические значения. В тоже время hibernate знает все о типах данных и может создать эталонную схему.

Итоговый процесс переноса выглядел следующим образом: создание структуры таблиц через ora2pg, исправление структуры по эталонной схеме, перенос данных, конвертация blob и Boolean, добавление отсутствующих в PostgreSQL функций (nvl, nvl2, regexp_substr), создания оставшейся структуры — индексов, view и прочего.

Под катом накопившиеся за время конвертации sql скрипты для полуавтоматической миграции.
Читать дальше →
Total votes 16: ↑15 and ↓1 +14
Comments 11

Можно ли использовать Tibero вместо Oracle. И нужно ли

Reading time 9 min
Views 9K
Oracle *SQL *
В этой статье я расскажу вам о том, как всерьез задумался об альтернативе Oracle. А как же Postgre, скажете вы? Да, но есть нюансы. Сперва разберемся с вопросом «Почему Oracle?».
Бизнес логика у нас в БД. В книге Oracle для профессионалов Том Кайт пишет
При разработке приложений баз данных я использую очень простую мантру:

если можно, сделай это с помощью одного оператора SQL;
если это нельзя сделать с помощью одного оператора SQL, сделай это в PL/SQL;
если это нельзя сделать в PL/SQL, попытайся использовать хранимую процедуру на языке Java;
если это нельзя сделать в Java, сделай это в виде внешней процедуры на языке C;
если это нельзя реализовать в виде внешней процедуры на языке C, надо серьезно подумать, зачем это вообще делать...
и в проектировании систем я следую этому правилу. Особенно радуют объектные типы в Oracle, с их помощью сложная бизнес логика красиво и удобно реализуется по всем канонам ООП.

Oracle стоит дорого. Купить его и не использовать все, что в нем есть, будет ошибкой.
И еще, всегда есть фактор команды и компетенций. Если у вас команда десять лет разрабатывает все в Oracle, переучиваться на Postgre может быть болезненно.

Oracle стоит дорого. Настолько дорого, что об этом можно написать несколько раз, и не задумываться о необходимости Oracle в новом проекте будет ошибкой.

Уже несколько раз мне попадались публикации про корейский продукт Tibero, якобы создаваемый для замены Oracle. А нынче у них аттракцион невиданной щедрости — лицензии на Standard раздают для разработчиков практически бесплатно, за доллар на сокет. Итак, разбираемся: что на данный момент могут предложить корейцы. С автомобилями ведь у них, уже (почти) получилось!
Читать дальше →
Total votes 26: ↑24 and ↓2 +22
Comments 9

Инструментарий для рефакторинга баз данных: Flyway vs. Liquibase

Reading time 3 min
Views 19K
Haulmont corporate blog Java *Database Administration *
Translation

В этой статье мы поговорим о Flyway и Liquibase — двух наиболее популярных инструментах на основе Java для рефакторинга баз данных. Цель статьи — сравнить эти инструменты и выяснить, какой из них в каких случаях лучше применять.


DB omnibus

Читать дальше →
Total votes 24: ↑21 and ↓3 +18
Comments 13

Поточная конвертация баз Firebird 2.5 в формат ODS12 (Firebird 3.0)

Reading time 5 min
Views 5.4K
Open source *Database Administration *Firebird/Interbase *
У каждой версии Firebird есть собственная версия формата дисковых структур базы данных – O(n)D(isk)S(tructure). До версии 2.5 включительно, движок Firebird мог работать с ODS предыдущих версий, то есть базы от старых версий открывались новой версией и работали в режиме совместимости, но движок Firebird 3.0 работает только с БД в собственной ODS версии 12.0.

Чтобы перейти на 3.0, базу данных от 2.5 необходимо преобразовывать в новый формат через backup/restore. Разумеется, мы предполагаем, что БД была предварительно подготовлена для конвертации — т.е. метаданные и запросы были проверены на совместимость с Firebird 3.0.

Если следовать стандартному подходу, это означает, что нужно произвести бэкап на версии 2.5, затем установить 3.0 и сделать рестор. Такая процедура приемлема, если есть достаточно времени, но при миграции больших баз данных, или при одновременной миграции нескольких десятков БД, когда время поджимает, можно воспользоваться поточной конвертацией, которая на 30-40% быстрее. Как именно это сделать (под Windows и под Linux), читайте под катом.
Читать дальше →
Total votes 9: ↑9 and ↓0 +9
Comments 3

Сравнение и выбор систем миграции данных

Reading time 5 min
Views 5.7K
Cross Technologies corporate blog .NET *Data storage *Development Management *

Сравнение и выбор систем миграции данных




Модель данных в процессе разработки имеет свойство изменяться, и в какой-то момент она перестает соответствовать базе данных. Конечно же, БД можно удалить, и тогда ORM создаст новую версию, которая будет соответствовать модели, но такая процедура приведет к потере существующих данных. Таким образом, функция системы миграции сводится к тому, чтобы в результате изменения схемы синхронизировать ее с моделью данных в приложении без потери существующих данных.

В рамках данной статьи нам хотелось бы рассмотреть различные инструменты для управления миграциями баз данных. Надеемся, этот обзор будет полезен для разработчиков, столкнувшихся с подобным выбором.
Читать дальше →
Total votes 10: ↑8 and ↓2 +6
Comments 7
1