В этой статье мы опишем минимальный набор действий, необходимых для оптимальной установки СУБД Firebird версии 3.0 на новые дистрибутивы Linux. Для примеров выбраны CentOS 8 и Ubuntu 19.

Для «доставки» дистрибутива Firebird на целевую систему, в этом руководстве, выбран вариант загрузки tar.gz архива по ссылке с официального сайта проекта (firebirdsql.org).

Для самых нетерпеливых — сразу в бой:

Firebird является очень популярной открытой СУБД в России, и, несмотря на отсутствие шумных маркетинговых акций, используется в большом количестве ответственных систем, особенно в медицинских и государственных системах автоматизации.

Размер БД и количество активных пользователей в таких системах обычно достаточно большие, поэтому в этой статье я расскажу об опыте оптимизации настроек Firebird и Linux, основываясь на конкретных примерах больших БД Firebird в компаниях БудьЗдоров (Ингосстрах), АльфаЗдрав, и затрону опыт других компаний по оптимизации Firebird+Linux.

Давайте подробнее познакомимся с предметом оптимизации — СУБД Firebird 3.0.5 (с расширениями HQbird), обслуживает БД размером 691Гб (на текущий момент) с ежедневными 1000-1100 пользователями, работает на Linux CentOS 7, сервер — железный HP DL380. Для БД настроена репликация на резервный сервер (вопрос о репликации вне рамок этой статьи).

У каждой версии Firebird есть собственная версия формата дисковых структур базы данных – O(n)D(isk)S(tructure). До версии 2.5 включительно, движок Firebird мог работать с ODS предыдущих версий, то есть базы от старых версий открывались новой версией и работали в режиме совместимости, но движок Firebird 3.0 работает только с БД в собственной ODS версии 12.0.

Чтобы перейти на 3.0, базу данных от 2.5 необходимо преобразовывать в новый формат через backup/restore. Разумеется, мы предполагаем, что БД была предварительно подготовлена для конвертации — т.е. метаданные и запросы были проверены на совместимость с Firebird 3.0.

Если следовать стандартному подходу, это означает, что нужно произвести бэкап на версии 2.5, затем установить 3.0 и сделать рестор. Такая процедура приемлема, если есть достаточно времени, но при миграции больших баз данных, или при одновременной миграции нескольких десятков БД, когда время поджимает, можно воспользоваться поточной конвертацией, которая на 30-40% быстрее. Как именно это сделать (под Windows и под Linux), читайте под катом.

Если вы занимаетесь ИТ-бизнесом, то вас очень сильно достали различные конференции на эту тему. Обязательный иностранер (прыгающий на сцене и произносящий совершеннейшие банальности — которые всегда чуть лучше звучат на английском), унылый представитель вендора с переведенной корповой презентацией, преждевременно растолстевшая девица, втирающая что-то про стартапы, ну, и конечно, всякие маркетологи, оптимизаторы и бизнес-коучи.

ISDEF не такой, потому что он был создан людьми, которые реально работают в ИТ-бизнесе — причем создан был для себя. Изначально ISDEF (официально это некоммерческая организация с офисом в Москве) был закрытым клубом экспортеров ПО (в который попасть можно только по 2 рекомендациям от существующих членов и при одобрении остальных), в котором обсуждались закрытые и часто очень щепетильные вопросы, связанные с экспортом ПО и продвижением на Западе. В последние 2 года был взят курс на большую открытость и привлечение новых членов и, похоже, он стал оправдываться.

Я состою в ISDEF c 2010 года, а первый раз участвовал в конференции в 2006 году, и хотел бы поделиться впечатлениями от последней конференции, которая прошла 21-22 апреля в Казани. Это был так называемый малый, весенний ISDEF, который традиционно проводится вне Москвы — в этот раз было около 120 участников.

Сегодня вышел Firebird 3.0 — шестой основной релиз СУБД Firebird, и он же — самый значительный по масштабу изменений с момента выхода 1-й версии в 2002 году,.
Архитектура Firebird 3.0 была переработана и теперь полностью поддерживает многопоточность с масштабированием до сотен ядер, эффективно поддерживается большое количество RAM. Согласно результатам нагрузочных тестов OLTP, имитирующим интенсивные вставки и изменения, скорость работы в сценариях с сотнями пользователей у Firebird 3.0 по сравнению с 2.5 возросла в ~5 раз.
Помимо масштабирования и производительности, релиз Firebird 3.0 включает в себя возможности шифрование БД, трафика, и более 100 новшеств в области SQL и безопасности — они подробно описаны в release notes и документации по языку SQL (на русском языке).

Самые важные ссылки по Firebird 3:

Официальная версия Firebird 3.0 Release Candidate 1 для Windows и Linux (а также исходники) доступна для скачивания на www.firebirdsql.org.

Список новых функций и возможностей можно найти в Firebird Release Notes (идут в составе архива установщиков Firebird).

Для российских пользователей Firebird "Московская Биржа" и наша компания (IBase/IBSurgeon) приготовили специальный, очень приятный бонус — бета-версию документации по языку Firebird 3.0 (PDF).
Полная версия документации ожидается вместе с релизом Firebird 3.0.
И еще — будет второй релиз-кандидат, ориентировочно через месяц.

Несколько дней назад исходные коды первого релиз-кандидата версии Firebird 3.0 были зафиксированы в репозитории Firebird Project. Обычно проходит несколько недель с момента фиксации исходного кода до выпуска официального инсталлятора, поэтому мы в IBase.ru выпускаем неофициальный инсталлятор,

Изначально эта статья задумывалась только для разработчиков и администраторов СУБД Firebird, но после общения с администраторами других БД выяснилось, что большинство ошибок общие, и на очень похожие грабли наступают буквально все. Если Вы можете что-то добавить к этому списку (пусть даже специфическое для конкретной СУБД), пишите в личную почту или в комментариях.
In English: 12 Common Mistakes while Backing Up Databases

Наша компания занимается инструментами восстановления, резервного копирования, оптимизации и поддержкой СУБД (в основном Firebird, но есть и MSSQL, PostgreSQL, InterBase и др.) и, как результат многочисленных аудитов и ремонтов, накопила коллекцию ошибок, связанных с резервным копированием. Все пункты ниже изложены по мотивам реальных случаев с повреждением баз, потерей и повреждением бэкапов, дисков, сбоями серверов, и прочих «радостей» администраторов БД.

Хотелось бы о них рассказать, чтобы администраторы и разработчики могли поменять свои подходы к управлению бэкапами и предупредить возможные проблемы.

Итак, приступим.

На этой неделе РБК опубликовал список ТОП-500 российских компаний. А буквально вчера, встречаясь с коллегами из ISDEF, я в очередной раз отвечал на вопрос, кто же пользуется Firebird SQL в России, и решил совместить ответ на этот вопрос со списком из ТОП-500.

Судя по ряду пояснений здесь, и обсуждению на форумах, компания Embarcadero Technologies, производитель инструментов разработчиков приложений и баз данных (Delphi, InterBase, DBArtisan и др.), была приобретена компанией Idera, специализирующейся на инструментах для баз данных. Сумма сделки, исходя из доступных данных — 425 миллионов долларов.

Интересно вспомнить, что сама Embarcadero Technologies в 2006-2007 годах была приобретена частным фондом инвестиций и снята с листинга (т.е. она была публичной, торговалась на бирже, а стала закрытой, частной компанией), затем (в 2008-2009) Embarcadero приобрела за 20 миллионов долларов инструменты разработчика CodeGear (Delphi, C++Builder, InterBase) у Borland. И вот через 6 лет продажа за 425, т.е. примерно раза в 4 увеличили стоимость.

Firebird Project и компания IBSurgeon (IBase.ru) приглашают администраторов и разработчиков Firebird SQL, работающих с большими БД, на бесплатный семинар. Семинар пройдет 21 октября 2015 года в Москве. Для участия в семинаре необходимо приглашение — см. ниже.

Краткие темы семинара:

Многие из уважаемых читателей Хабра, интересующихся Firebird, знают, что в прошлом году вышла документация по языку Firebird SQL на русском языке версии 2.5. Создание документации спонсировала Московская Биржа (да-да, та самая, про курс рубля на которой мы слышим каждый день) — как платиновый спонсор и один из крупнейших пользователей Firebird в России, и компания IBSurgeon/IBase, представляющая Firebird в России.

Но на этом работа не закончилась:

24-25 октября 2014 года в Праге прошла международная конференция по СУБД Firebird. Присутствовало 110 участников, 18 докладчиков представили 23 интересных презентации.

Открывали конференцию ведущие разработчики СУБД Firebird Дмитрий Еманов и Влад Хорсун, с докладами о новых возможностях Firebird 3, который готовится к релизу в начале 2015 года, и Firebird 4 (2016). Наиболее важными новостями являются сокращение релизного цикла и фокус на отказоустойчивости и производительности.

Firebird Project рад объявить о доступности русской документации по языку СУБД Firebird — «Руководство по языку SQL СУБД Firebird».

Руководство можно скачать с официального сайта FirebirdSQL.org или с домашней страницы проекта русской документации.

Русская документация СУБД FirebirdSQL появилась благодаря спонсорам — Московской Бирже (платиновый спонсор и один из крупнейших пользователей Firebird) и IBSurgeon/IBase.ru (золотой спонсор).

На этом работа над документацией по Firebird не заканчивается — будут выпускаться исправления и дополнения к документации по Firebird 2.5, в активной работе находятся разделы, посвященные Firebird 3. На будущий год запланирован выпуск «Руководства по эксплуатации СУБД Firebird» (Firebird Operations Guide).

Добрый день всем,

Вышел тут у меня с другом спор — какой % хабражителей зарегистрирован на госуслугах?
Один из нас стоит за более чем 20%, т.к. все-таки самое продвинутое техническое сообщество в Рунете.
Другой — за менее 5%, так как сообщество сообществом, а лень ленью (и другие причины).
Середина — ничья.

PS. Прощу прощения за выбор хаба — может посоветуете что-то более подходящее?

Я хочу рассказать вам историю, которая, скорее всего, случится в 2023 году в калифорнийском офисе разработки одной крупной ИТ-компании FAC***GLE. Я думаю, история поможет посмотреть на реальность, окружающую программистов, с новой точки зрения.

Часть первая. Внутри офиса

Шон, ведущий программист проекта повышения лояльности, удобно полулежал в своем индивидуально настроенном кресле, которое выполняло особую весеннюю программу стимуляции мышечного корсета — Шон намеревался подкачать кубики пресса перед летними каникулами.
Приятное щекотание стимулятора дополнялось звучанием специально подобранной аранжировки Тома Уэйтса, который, как определил мозговой имплантат, максимально соответствовал его потоку сознания и обеспечивал наилучшую производительность.

Усики сканера альфа-активности приятно поглаживали виски и Шон чувствовал, что его, как и всегда, «прет»… О, это ощущение демиурга, когда ты видишь воплощение своих строчек кода в чудесных элементах виртуальной реальности.
Шон не зря был ведущим разработчиком — его показатель количества безошибочных строк в день на 4% превышал средний уровень по корпорации, и это в положительную сторону отражалось на зарплатных чеках и разнообразных бонусах.
Компания исключительно хорошо заботилась о своих программистах, которые, в свою очередь, не жалели сил и энергии на самую качественную разработку.

Прошедшие выборы оставили довольно жуткое впечатление — массовые подмены результатов на уровне избирательный комиссий (http://cifidiol.livejournal.com/1600.html, и других ссылок много)
Надеяться, что ситуация будет как-то исправлена власть предержащими, довольно глупо — про таких людей моя бабушка говорит «Ссы в глаза, скажут — божья роса».
Ничего не делать вроде как тоже стыдно, а ходить на митинги и получать прикладом под ребро от военных, которым очень удачно повысили зарплату в 2-3 раза — лично мне не позволяет ответственность перед семьей и собственным будущим.
В связи с этим возникла идея создания ресурса, который бы контролировал волеизъявление конкретных людей. Каждый голосующий, если он не боится открыто заявить о своей гражданской позиции, в момент перед отправкой бюллетеня в урну делает снимок своего бюллетеня вместе с раскрытым паспортом, и отправляет данные на сервер — через мобильное приложение или через upload, с указанием номера участка, времени голосования, может быть, еще каких-нибудь данных.

Если кто-то следит за телеящиком, то мог заменить знаковое выступление В.В. Путина, в котором он выразил недоумение, куда исчезли 80 миллиардов рублей на развитие «Электронной России» и других госпрограмм по ИТ.

И вот, мы наблюдаем старт нового госпроекта — Национальной Программной Платформы, с очень сильным акцентом на СПО (свободное программное обеспечение. Не всегда — бесплатное, но [обычно] — в исходных кодах). Интересно разобраться, что готовят нам чиновники, ведь «национальная платформа» звучит серьезно и может затронуть всех нас.

Первые истоки (читай — финансы), находятся в небольшом документе "Перечень технологических платформ, предлагаемых для утверждения Правительственной комиссией по высоким технологиям и инновациям", в котором перечислены все технологические платформы, нужные развития Росийской Федерации в инновационном ключе. Их там много, но нас интересует Национальная Программная Платформа.

В "Справка о Перечне технологических платформ..." в пункте 4 перечислены виды ПО, которое будет входить в НПП. Рекомендую посмотреть, но если коротко — там перечислено вообще все, начиная с базового системного ПО:
• Операционные системы
• Компиляторные технологии
• Виртуализация
• Веб-серверы
• Серверы приложений
• СУБД (в т.ч. нереляционные)

до технологий построения электронных государственных решений, систем распознавания образов, защиты мобильного трафика, искусственного интеллекта и т.д. и т.п.
UPDATE — судя по дискуссии, никто список не изучил. А зря — он далеко за рамками операционных систем.

Трое в Серверной, версия 1.0, киберпанковская, финальная. Маленький подарок всем поклонникам сериала ТВС :)
http://троевсерверной.рф/