PostgreSQL *

После летнего перерыва рады объявить о том, что 16-го сентября (вторник) в Москве планируется очередная, сентябрьская встреча всех тех, кто использует, начинает использовать или просто интересуется PostgreSQL. На этот раз мы поговорим о полнотекстовом поиске PostgreSQL, о том, как правильно его настраивать (прежде всего, при работе с русским и английским языками), о всех многочисленных возможностях FTS в PostgreSQL версии 8.3. С докладом-демонстрацией «Возможности полнотекстового поиска PostgreSQL» выступят Фёдор Сигаев (разработчик FTS в PostgreSQL) и Иван Золотухин. А об интересных новых разработках движка полнотекстового поиска и о планах расскажет Олег Бартунов (также разработчик FTS).

Как всегда, вход свободный, но из-за пропускного режима и ограниченного количества мест требуется предварительная регистрация: http://blog.styleru.net/register/.

Чуть больше подробностей доступно на странице http://postgresmen.ru/news/view/113.

Приглашаем всех желающих!

Многим при реализации поиска по сайту приходится делать запрос к базе данных, использующий оператор LIKE или регулярные выражения.
С выходом PostgreSQL 8.3 модуль полнотекстового поиска tsearch2 был встроен в ядро системы (об этом ранее уже писалось на Хабре), и с его помощью можно реализовать поиск по базе данных, который будет более функционален. В принципе, в статье, указанной выше, приведен пример использования этого модуля, но хотелось бы поделиться опытом реализации полнотекстового поиска в реальном проекте.

30 июня мы провели онлайн-сессию «Вопросы к ведущим мировым экспертам PostgreSQL». В течение трёх часов любой желающий мог задать вопрос одному из приглашённых гостей и получить исчерпывающий ответ. В результате было получено более 40 вопросов, ни один из которых не остался без внимания.

Участники: Брюс Момджан (Bruce Momjian) (PGDG, EnterpriseDB), Максим Богук (Rambler, Мастерхост), Фёдор Сигаев (PGDG), Марко Креэн (Marko Kreen) (Skype).

Вот избранные вопросы и ответы:

Вопрос №3

kaikai:
Одна из досадных штук в работе — это отсутствие конструкции «INSERT OR UPDATE». В MySQL можно сделать так: «INSERT INTO users (username, email) VALUES ('Jo', 'jo@email.com') ON DUPLICATE KEY UPDATE email = 'jo@email.com'». Появится ли что-нибудь похожее в PostgreSQL?

Брюс Момджан, лидер сообщества PostgreSQL, эксперт компании EnterpriseDB:
Стандартный (ANSI) способ для таких вещей — это MERGE или UPSERT. Оба способа находятся у нас в TODO-листе и, насколько я знаю, кто-то работает над этой функциональностью для PostgreSQL 8.4, хотя лично я ещё не видел этого патча. Мы, вне всяких сомнений, нуждаемся в таком синтаксисе.

Начался предварительный приём вопросов для Q&A-сессии с ведущими
экспертами PostgreSQL. Начало основного времени: 15:00.

Участники:

* Брюс Момджан (Bruce Momjian), координатор разработки PostgreSQL,
лидер сообщества PostgreSQL, эксперт компании EnterpriseDB.
* Максим Богук, ведущий администратор баз данных компаний Rambler и
Мастерхост, известный специалист по PostgreSQL.
* Фёдор Сигаев, разработчик подсистемы полнотекстового поиска, систем
индексации GiST, GIN и множества дополнительных модулей, один из
основных членов PostgreSQL Global Development Group.
* Олег Бартунов, один из основных членов PostgreSQL Global Development
Group, разработчик подсистемы полнотекстового поиска, систем
индексации GiST, GIN, разработчик многотерабайтных научных баз данных.
* Марко Крин (Marko Kreen), один из основных архитекторов баз данных
компании Skype, разработчик и мантейнер таких проектов как PL/Proxy,
Skytools, PgBouncer и pgcrypto.

Вопросы принимаются в jabber-канале postgresmen@conference.jabber.org
(основной способ) и в skype:postgresmen.

Если вы по каким-либо причинам не можете воспользоваться jabber или
skype, оставляйте вопросы в виде комментариев к этой новости.

Как задавать вопросы:

30 июля компания «Постгресмен» организует онлайн-конференцию «Вопросы к ведущим экспертам PostgreSQL». Любой желающий сможет задать свой вопрос, связанный с внедрением, эксплуатацией, развитием PostgreSQL, всемирно известным экспертам PostgreSQL, ведущим разработчикам и лидерам сообщества PostgreSQL.

Участники конференции:

* Брюс Момджан (Bruce Momjian), координатор разработки PostgreSQL, лидер сообщества PostgreSQL, эксперт компании EnterpriseDB.
* Максим Богук, ведущий администратор баз данных компаний Rambler и Мастерхост, известный специалист по PostgreSQL.
* Фёдор Сигаев, разработчик подсистемы полнотекстового поиска, систем индексации GiST, GIN и множества дополнительных модулей, один из основных членов PostgreSQL Global Development Group.
* Олег Бартунов, один из основных членов PostgreSQL Global Development Group, разработчик подсистемы полнотекстового поиска, систем индексации GiST, GIN, разработчик многотерабайтных научных баз данных.

Начало конференции:

На работе в новом проекте используется СУБД PostgreSQL. Так как до сих пор я работал с MySQL, сейчас приходится изучать и открывать для себя Постгри. Первая проблема, которая меня заинтересовала — замена мускулевского SQL_CALC_FOUND_ROWS. При использовании этой константы в MySQL можно получить количество всех найденных по запросу записей, даже если запрос с limit'ом — это незаменимо при постраничном выводе поисковых результатов, когда используются «тяжелые» запросы.
Сходу готового решения найти не удалось. На форумах просто констатировали, что SQL_CALC_FOUND_ROWS в Постгри нет. Некоторые писали, что надо юзать count(*). И больше никакой информации. Но еще из MySQL мне было известно, что поиск с count()-запросом работает почти в 2 раза медленнее, чем с SQL_CALC_FOUND_ROWS. Я консультировался у тех, кто пользуется PostgreSQL, день мучал google и в результате получил 4 варианта замены SQL_CALC_FOUND_ROWS в PostgreSQL, один из которых вполне приемлимый по скорости.

Компания Yahoo утверждает, что ей удалось побить мировой рекорд, создав самую большую и нагруженную базу данных в мире!

Объём запущенной год назад базы данных достиг 2 петабайт. Система создана для аналитических целей, в ней хранится история поведения веб-пользователей (утверждается, что в месяц сохраняются данные о полумиллиарде пользователей). Помимо прочего, интернет-гигант заявляет, что это не только самая большая БД в мире, но ещё и самая нагруженная — в сутки в ней регистрируются данные о 24 млрд событиях.

13-го мая в Москве состоится вторая встреча Российского PostgreSQL-сообщества!

Мы обсудим проблемы производительности PostgreSQL в web-приложениях (с докладом выступят Николай Самохвалов и Иван Золотухин), пообщаемся в свободной форме. Приглашаются все желающие, участие бесплатное. Количество мест ограничено, поэтому требуется предварительная регистрация: http://blog.styleru.net/register/.

Встреча состоится 13-го мая во вторник, в 19:00 в здании ГУ-ВШЭ на ул. Мясницкая, в клубе «Бизнес в стиле .RU», ауд. 125 (адрес и подробности доступны на сайте после регистрации). На встрече планируется участие ведущего администратора баз данных компании «Рамблер» Максима Богука.

Забавная ошибка обнаружилась в некоторых консольных утилитах постгреса, запрашивающих ввод с клавиатуры.

Так pg_dump, к примеру, вместо ожидаемого запроса пароля и последующего выполнения своих непосредственных обязанностей сразу обругал меня FATAL'ом и сказал, что password authentication failed. Даже не смотря на ключ --password, который в принудительном порядке производит запрос пароля. А т.к. эта же утилита используется pgAdmin'ом, похожее ругательство иногда возникает и там.

Ошибка возникает под виндой и только при наличии папки «dev», находящейся в корне текущего диска.
Это дают о себе знать юниксовые корни постгреса. Они (корни) пытаются работать с терминалом через /dev/tty, которого в винде разумеется нет. Но при наличии папки /dev, утилиты заботливо его создают после первого вызова.

Лечится просто — перед запуском утилиты сотрите файл /dev/tty
оригинал в жж

Встала задача переноса сайта на новый сервер. Из проблем ожидалась несовместимость с PHP5, которая в итоге очень быстро решилась, а сайт все равно не поднимался. Выяснилось, что не отрабатывают простейшие запросы к БД. При ближайшем рассмотрении оказалось, что не происходит автоматическое преобразование типов.

В четверг 14-го февраля вечером в Москве состоится первая долгожданная встреча российского PostgreSQL сообщества! Анонс об этом событии уже опубликован на сайте «Постгресмена», от себя могу добавить только то, что участие в мероприятии бесплатное, для участия требуется предварительная регистрация по адресу http://blog.styleru.net/register/.

Встреча пройдет в свободной форме, на повестке — обсуждение целей создания российского сообщества PostgreSQL и расписания дальнейших встреч, выступление Николая Самохвалова с обзором нашумевших новинок свежей версии 8.3, общение с Олегом Бартуновым, Федором Сигаевым (авторами полнотекстового поиска, ставшего недавно крупнейшим патчем за всю историю PostgreSQL) и другими PostgreSQL-экспертами.

Приходите, будет интересно!

Более 200 разработчиков, более 300 патчей, 15 месяцев напряжённой работы разработчиков и тестировщиков… И вот — новейшая версия лучшей СУБД в мире готова к использованию в промышленных условиях!

4 февраля 2008-го года Глобальная группа разработчиков PostgreSQL (PostgreSQL Global Development Group) анонсировала долгожданный релиз версии 8.3 самой развитой открытой СУБД, факт выхода которой ещё более укрепляет позиции PostgreSQL как и самой производительной СУБД из систем с открытым исходным кодом. Среди новшеств, касающихся производительности, стоит выделить:

Вышла новая версия краткого справочника по работе с PostgreSQL 8.3.

скачать в формате PDF/A4

скачать в формате HTML

---

оригинал материала

Новости Web 2.0, Веб сервисы, Социальные сети, Мэшап, AJAX, Теги

Джош Беркус (Josh Berkus) объявил о выходе PostgreSQL 8.3beta1 (см. официальный Changelog). Более полугода потребовалось разработчикам для того, чтобы завершить работу по обработке патчей (напомним, feature freeze состоялся 1-го апреля 2007 года). Так что самое время рассказать, чем же порадует нас в этом году самая развитая из открытых СУБД в мире.

Я разобью весь список на четыре части. В первой, для многих самой важной, части я перечислю изменения, которые так или иначе касаются производительности. Во второй — приведу список новых возможностей для программистов баз данных, призванных ещё более расширить и без того неслабый набор «фич» PostgreSQL. Третья часть посвящена нововведениям, предназначенным для администраторов баз данных. И, наконец, в конце я упомяну некоторые Open Source проекты, которые являются проектами-спутниками Постгреса (другими словами, имеют свой собственный цикл разработки).

Многие пользователи СУБД PostgreSQL знают, что сервер во время своей работы собирает разнообразную статистику, но не все знают, что ее полезно анализировать и как ее извлекать для этого. В этом небольшом тулките собраны несколько полезных запросов, дающих некоторое представление о том, как использовать это «скрытое знание», которое постоянно копится. Эти запросы можно использовать для мониторинга состояния PostgreSQL (ручного или с помощью плагинов для систем мониторинга вроде Nagios, Cacti или Zabbix), для поиска узких мест в работе сервера и многих других подобных задач. Помните, что это лишь верхушка айсберга; в документации можно найти описания нескольких десятков системных представлений, которые также могут быть полезны администратору PostgreSQL.

В ближайшее время в Москве состоится сразу несколько PostgreSQL-событий.

19 сентября в Москве компания Postgresmen организует 8-часовой семинар «Использование PostgreSQL. Особенности применения PostgreSQL в связке с 1C: Предприятие». Семинар проведут известнейшие специалисты PostgreSQL, члены PostgreSQL Global Development Group, разработчики большого количества популярных расширений PostgreSQL (в том числе патчей PostgreSQL, которые используются в 1C: Предприятие) Олег Бартунов и Фёдор Сигаев.

21 сентября в Москве организаторы конференции Highload-2007 и компания Postgresmen организуют 4-часовой семинар, посвящённый вопросам производительности PostgreSQL. Семинар проведёт один из основателей и действующий член Core Team PostgreSQL Брюс Момджан (Bruce Momjian). Семинар будет проведён на английском языке с синхронным переводом на русский.

24-25 сентября в Москве состоится конференция Highload-2007. С докладами, посвящёнными различным аспектам производительности PostgreSQL, выступят Брюс Момджан (Bruce Momjian) и Фёдор Сигаев.

2 октября в Москве на конференции, посвящённой пятилетию журнала «Системный администратор», с докладом «Что нового в PostgreSQL 8.3?» выступит Николай Самохвалов, технический директор компании Postgresmen.

Подробнее о первом семинаре

Том Лейн (Tom Lane) сообщил, что патч, интегрирующий полнотекстовый поиск (ранее выполненный в виде отдельного модуля, contrib/tsearch2) в ядро PostgreSQL, успешно внесён в CVS. Безусловно, это ключевой момент в сложнейшем процессе принятия патчей для версии 8.3

Компания «Постгресмен» и организаторы конференции Highload-2007 рады сообщить о том, что в конце сентября Москву посетит один из основателей и действующий член Core Team PostgreSQL Брюс Момджан (Bruce Momjian). Брюс выступит с докладом на конференции и проведёт 4-часовой тренинг