MongoDB for Developers and DBA

«Финальный экзамен отправлен на проверку...»
Проверка после 20 декабря. Не пиши так! А то я не все доделал и слегка напугался… O_O

Говорят, map/reduce в монге блокирующий. И медленный. Т.е. попытка собрать статистику по нескольким миллионам записей будет не очень приятным сюрпризом. Поправьте, если не так.

Кстати, ещё в копилку к подводным камням: count с условием игнорирует индексы и вообще жутко медленный.

В курсе неоднократно отмечалось, что в MongoDB удобно хранить документы, так, как они используются для вывода.

Немного поправлю. MongoDB является документо ориентированной БД. Т.е. все что мы храним это «документы».

Допустим у вас есть блог, там комментарии. Рядом с комментарием выводится имя автора и email. Удобно в объекте, который хранит комментарий также хранить информацию об авторе. Соответственно если у вас что-то поменяется в этом плане — есть вероятность, что надо будет изменять место хранения данных. В принципе это не совсем уж подводный камень и вероятность такого развития событий мала, но что-то в этом утверждении мне не особо понравилось.

Вообще монго не является реляционной БД, хотя какие-то отношения между объектами можно построить. Часто при построении объектов применяется де нормализация, как в вашем примере. С помощью нее можно добиться большого прироста производительности и удобство хранения, но конечно есть и ограничения. Скорее это подводный камень де нормализации а не монго.

Что касается шардинга:
— после переконфигурации — перемещение данных между шардами запускается автоматически — это точно.
— нельзя обращаться к шардам напрямую, только через mongos
— При решардинге рекомендуется все данные шард разбивать пополам или на части кратные степени 2.

Периодически с моим крайне несовершенным английским некоторые вещи вводили в ступор. Списывался с англичанином, его путало тоже :) Говорит, много американизмов.

Я все ждал, когда же будет такой пост.
Немного моих ощущений от курса:

Я к сожалению не записался сразу на DBA, хотя к 5ой неделе стало интересно, мне было интересно не столько прохождение экзамена, сколько послушать материал который там дают, Как уже сказано выше 21 Января будет стартовать очередной курс DBA, на который я уже записался, но если есть желание просто ознакомится с материалами лекций, добрый человек уже собрал все видео в списки на youtube

Из основных плюсов для меня были:
+ mongo + python в заданиях
+ неплохие лекции, в которых разжевываются большинство тем. Материал на английском, но понимать речь довольно легко, если есть проблемы, автоматический субтитры на 60-70% правильно распознают речь (кроме специфических слов mongo, db etc.)
+ community

— в курсе for Developers не было ни слова о MapReduce
— задания иногда можно перевести по разному. Тут наверное лучше всего характеризует состояние дел фраза из обсуждения одного задания:

— "… agree, and those are the hardest for not-native-english-speakers."
— «Heck I'm a native English speaker and I evaluate the crap out of what each of the statements mean.»

Ну а теперь плюшки, очень хотел поделиться со всеми снипетом для build mongo в SublimeText2, но на пост это никак не тянуло:
Tools -> Build System -> new build system

{
	"selector": "source.js",
	"shell":true,
	"cmd": ["mongo < ${file}"]
}

сохраняем, пользуемся (CTRL+B)
Вроде 3 строчки, но у меня заняло 2 часа чтобы найти как правильно передавать параметры в shell

чем удобно:
+ привычная подсветка кода + multiline
+ результат билда открывается в консоли sublime (ошибки компиляции тоже показываются)
+ не нужно переключаться между редактором и консолью и копипастить
+ синтаксис тот же что и в mongo shell + js

use test;
//очистили базу если там что то было
db.test.drop();
//заполнили ее заново
for(var i=0; i< 100; i++){
      db.test.insert({a: i, b:i, c:i});
}

//query
db.test.find().limit(5).pretty();

— мне пока не удалось сделать mongoimport прямо из скрипта

Сори не в тему. А кто-нибудь знает ресурс который отслеживает все it и около курсы?

Кстати, к минусам (субъективным) могу добавить формат лекций.
На мой взгляд видеоформат — это не то, что нужно для таких вещей.
Нужен текст, по которому можно будет быстро пробежаться глазами.

В некоторых случаях полезно использовать Sparse для экономии памяти,
например, я в одном из проектов использовал поле "{ update:1 }", для маркирования объектов для передачи в другую систему, при обычном индексе и коллекции в 1М объектов, данный индекс весил порядка 250Мб, после переключения его на «Sparse-индекс», вес индекса был всего несколько килобайт, т.к. объектов для синхронизации, всегда, было не много.

Да, отличный курс… Было довольно интересно. Exams еще не делал, просто просмотрел. Никаких сложных моментов там не углядел. Думаю сделаю на выходных…

Для себя из курса вынес понимание, что MongoDB это не СУБД в общем смысле этого слова (а ля MySQL, PostgreSQL или, не приведи господь, Oracle). MongoDB — это storage (а la BerkeleyDB, только намного мощнее). Сами монговцы используют именно это слово… Базой данных MongoDB станет вместе с вашим приложением.

Многое из того, что «взрослые» CУБД делают автоматически вам в приложении придется делать вручную… Но это дает вам очень плотный контроль за производительностью, масштабируемостью и надежностью системы. Возможности кластеризации как у весьма серьезных СУБД. Учитывая объем кодовой базы, это весьма неплохо…

Чтобы эффективно использовать mongodb надо четко продумывать набор коллекций и политику кластеризации на перед… Всегда на этапе проектирования можно оценить динамику роста объема данных в коллекциях, какие коллекции возможно придется шардить и т.д… Соответственно продумать структуры ключей для шардинга и прочая…

Ни одного принципиального ограничения, я в MongoDB не вижу. Индексирование по массивам это весьма специфичная штука, я с трудом представляю где может понадобиться индекс с двумя массивами в ключе. Тем более что вам ничего не мешает сделать два индекса (в каждом по массиву) и в запросах будут автоматически использоваться оба индекса…

Те кто будет пытаться бездумно пересесть на монго с mysql или с postgresql тупо переносить схемы бд на коллекции и считать, что count() в sql и это тотже ...find(...).count() в mongodb будут с вероятностью 80% сильно разочарованы…

Меня как старого db-программера (начинал во времена dBase, Foxbase, Paradox и Clipper. Foxpro тогда не имел отношения к MS. А Oracle тогда еще был корявой и некрасивой поделкой) mongodb радует…

Спасибо за статью!

У меня было время только на DBA курс. Как у Вас впечатление? Стоит на Developers записываться или курса DBA достаточно?

Не совсем понимаю, на какие лекции ушло 3 недели по 8 часов? Я изначально думал, что это 2 дня по 8 часов.

«Capped коллекции (manual)
При создании таких коллекций необходимо указать количество записей, который могут храниться в коллекции.»
Точнее, не количество, а общий объем коллекции.

Финальный экзамен M101 «MongoDB for Developers» сдал на 9/10, осталось доделать в M102 последние вопросы про шардинг :)
Курс классный, без особого напряга за 7 недель получил неслабое представление о MongoDB, при выполнении некоторых HW и заданий финального экзамена частенько обращался к их документации, которая, кстати, написана весьма неплохо.
Сейчас пишу на MongoDB небольшой проектик, just for fun :)