Статья мутно-маркетинговая. Кто понял, расскажите, в
чем отличие от известных приемов запихивания атрибутов
в биты ключа, как это делает instagram, например.
Как и многие NOSQL-щики, Костя повторяет чужие очепятки, говоря, что
«мир NoSQL отбросил знаменитую модель Эдгара Кодда и предложил такие парадигмы, как, например, Column Storage — хранение, ориентированное на столбцы, Key-Value Storage, JSON и XML форматы». Каким боком все это относится к NoSQL? Вертикальное хранилище вообще описывалось еще в 70-80 годах.
Я как-то написал на перле скрипт, который форкает детей, каждый из которых напрягает базу запросами и отправляет тайминги родителю, который их агрегирует и выдает на stdout каждые сколько-то запросов. Для тестирования задается пропорции insert:delete:select:vacuum, чтобы как-то моделировать ситуацию. Софтину писал для себя, как-то работает, кто-бы генерализовал ее, цены не было бы :)
Вот как раз специалистов по постгресу довольно много в России, да и выучить достаточно легко — отправить на sql.ru, например :) Я и Федя Сигаев, а недавно появился Саша Коротков (надеюсь, что не бросит), в состоянии решать практически любые задачи на постгресе. Можно спросить Мишу Тюрина из avito.ru насчет производительности постгреса, это реальные 24x7 сервис.
А зачем нужна функция?
Я для тестирования на ноуте заливаю 10 млн записей за несколько минут вот таким образом. Про создание индексов после заливки вам уже написали. Btree использует оптимизацию в этом случае, для лучшей оптимизации увеличьте maintenance_work_mem, скажем до 256MB. Ну и в лог надо глянуть, вдруг там варнинг про checkpoint_segments идет, как вам smagen написал. На самом деле, вам нужно привести полный postgresql.conf, конечно, чтобы мы не гадали. Кстати, опыт тестирования показывает, что случайные данные часто не имеют ничего общего с реальными, так что вам нужно дописать софтину, чтобы она могла проигрывать реальные запросы на реальных данных. create table qq as select point( p.lat, p.long) as p
from (
select (0.5-random())*180 as lat, random()*360 as long
from generate_series(1,10000000)
) as p;
'
Надо бы поиск допилить на предмет специальных «думских» словарей, которые учитывают думский жаргон. PostgreSQL лучше сфинкса для поисковых задач, которые требуют метаданных, например, поиск может работать по-разному для разных ролей.
Кстати, а префиксный поиск ваш апи поддерживает? Скажем, 'каба*'. Какие словари вы используете?
Согласен, что для СПО эта победа пиррова — СПОшное сообщество только и смогло, что освоило 5 млн из 27 млн! Это показывает полную несостоятельность, по-крайней мере, официоза СПО и играет на сторону виндов и прочих. Сейчас правительство вполне может сказать — сначала договоритесь, а потом просите и будет справедливо! Как же это некрасиво так демпинговать! Чему радоваться должен пингвинсофт и К?
HP само прокакало свой рынок, я еще года 3 назад с ними переговоры беседовал насчет постгреса на hpux, но тогда наше местное hp не вышла наверх. Недавно опять с ними говорил про миграцию их клиентов на постгрес, опять тишина.
Я дважды принимал участие в двух тусовках по НПП, в последний раз зарегистрировался с докладом и даже выступил. Но так я и не понял, когда я как разработчик постгреса смогу получить поддержку от государства на создание поддержки 3-го уровня. Справедливости ради хочу упомянуть про две попытки мне помочь — одна от Гнулинукса, которая кончилась в конце-концов предложением писать статьи за гонорары:) и вторая от альтлинкуса, которая пока еще никак не кончилась (ждут результатов конкурсов). И еще, я так и не понял своего места в иерархии НПП и это меня пугает. Я не работаю ни в какой фирме, я работаю в универе и хочу там работать, я не знаю каким образом региональный центр компетенции будет работать со мной. Мне кажется, что цепочка должна быть короткой — система грантов для разработчиков, наподобие GSoC, что позволит вырастить молодежь и внедрить (помочь) их в критически-важные опен-сорсные проекты.
Неделю назад я задавал вопрос в facebook Давиду Яну как раз по этой теме — поддержка древнегреческого языка, на что мне было вежливо сказано, что добавление поддержки нового языка стоит прилично и в данном случае, экономически невыгодно. Монах может научить распознавать одну книгу, а что делать с другой? Отмечу, что гугл индексирует книги на древнегреческом и позволяет искать.
У нас энергии хватило уже на больше чем 10 лет ежедневного перевода, что не совсем легко. А если вы сравните наш перевод и перевод фритоника, то увидите большую разницу. Я не хочу профанации хорошего ресурса, коим является «Астрономическая картинка дня». Это большая болезнь рунета! Я не против энтузиазма, пусть только этот ресурс назовется «Мои комментарии по-поводу сегодняшней картинки дня» и все будет нормально.
Да, так нормально, только четко напишите в информации о блоге, что это ваши дополнения на тему картинки дня. rss мы скорее всего улучшим, сделаем несколько лент и добавим возможность трансляции полного текста для коротких заметок. По обозрению давайте пишите мне на oleg@sai.msu.su и Михаилу Прохорову mike.prokhorov@gmail.com, что мы тут расписались.
Либо это перевод и вы уважаете оригинальный контент, либо это ваш блог на тему апода. Давайте попробуем так — вы готовите недельное/месячное обозрение Апода и публикуете у нас на астронете. Здесь уже вы можете добавлять свой авторский контент и всем будет удобнее. Насчет rss надо подумать.
чем отличие от известных приемов запихивания атрибутов
в биты ключа, как это делает instagram, например.
«мир NoSQL отбросил знаменитую модель Эдгара Кодда и предложил такие парадигмы, как, например, Column Storage — хранение, ориентированное на столбцы, Key-Value Storage, JSON и XML форматы». Каким боком все это относится к NoSQL? Вертикальное хранилище вообще описывалось еще в 70-80 годах.
Я для тестирования на ноуте заливаю 10 млн записей за несколько минут вот таким образом. Про создание индексов после заливки вам уже написали. Btree использует оптимизацию в этом случае, для лучшей оптимизации увеличьте maintenance_work_mem, скажем до 256MB. Ну и в лог надо глянуть, вдруг там варнинг про checkpoint_segments идет, как вам smagen написал. На самом деле, вам нужно привести полный postgresql.conf, конечно, чтобы мы не гадали. Кстати, опыт тестирования показывает, что случайные данные часто не имеют ничего общего с реальными, так что вам нужно дописать софтину, чтобы она могла проигрывать реальные запросы на реальных данных.
create table qq as select point( p.lat, p.long) as p
from (
select (0.5-random())*180 as lat, random()*360 as long
from generate_series(1,10000000)
) as p;
'
Кстати, а префиксный поиск ваш апи поддерживает? Скажем, 'каба*'. Какие словари вы используете?