Яндекс.Метрика сегодня это не только система веб-аналитики, но и AppMetrica — система аналитики для приложений. На входе в Метрику мы имеем поток данных — событий, происходящих на сайтах или в приложениях. Наша задача — обработать эти данные и представить их в подходящем для анализа виде.



Но обработка данных — это не проблема. Проблема в том, как и в каком виде сохранять результаты обработки, чтобы с ними можно было удобно работать. В процессе разработки нам приходилось несколько раз полностью менять подход к организации хранения данных. Мы начинали с таблиц MyISAM, использовали LSM-деревья и в конце концов пришли к column-oriented базе данных. В этой статье я хочу рассказать, что нас вынуждало это делать.

Яндекс.Метрика работает с 2008 года — более семи лет. Каждый раз изменение подхода к хранению данных было обусловлено тем, что то или иное решение работало слишком плохо — с недостаточным запасом по производительности, недостаточно надёжно и с большим количеством проблем при эксплуатации, использовало слишком много вычислительных ресурсов, или же просто не позволяло нам реализовать то, что мы хотим.

Представляю вашему вниманию перевод очень ёмкой, и в то же время достаточно краткой (для такого масштаба проблемы) статьи Карла Чео. Я решил, что очень хочу сделать её перевод практически сразу, как только начал читать, и очень рад, что в итоге сделал это.

Для того, чтобы сделать обучение более веселым и интересным, представляю вам перечень важных теорий и концепций информатики, объяснённых с помощью аналогий с минимальным количеством технических деталей. Это будет похоже на очень быстрый курс информатики для всех с целью просто дать вам общее представление об основных концепциях.

Важные замечания:

• Пункты с неуказанным источником написаны мной самостоятельно. Поправьте меня, если вы заметите какие-то неточности. Предложите лучшую аналогию, если это возможно.
• Заголовки ссылаются на соответствующие им статьи в Wikipedia. Пожалуйста, читайте эти статьи для более серьезных и детальных объяснений.
• Аналогии — отличный способ объяснить материал, но они не идеальны. Если вы хотите по-настоящему понять перечисленные концепции, вам следует начать с фундаментальных азов и рассуждать, исходя из них.

Также зацените эту инфографику (вариант на русском), если вы просто начинающий программист.

Используя в повседневной жизни ноутбук, пользователи иногда встречаются с проблемой: «отломалась» клавиша на клавиатуре. Причиной может выступить любой фактор: чистка клавиатуры, использование пылесоса для чистки, шальная кошка (да, даже такое случается), маленький ребенок, интересующийся всем вокруг и случайно сорвавший клавишу, и много другого. Но не все знают, что это маленькую беду достаточно легко исправить.
Я расскажу Вам, как поставить кнопку обратно без потерь.


(осторожно! очень много фотографий)

Необходимо было писать названия городов России в предолжном падеже типа в Москве, в Ростове-на-Дону и т.д. После полуавтоматической обработки списка городов товарищем sofrus появилась таблица, которая содержит два поля с названием города в именительном и предложном падежах. И мы совершенно бескорыстно предлагаем эту таблицу (около 2400 городов) в двух вариантах:

1. CSV
2. MySQL

P.S. Почему хабр так уродует ordered list, для меня загадка.

ОЧЕНЬ ВАЖНЫЙ P.S.
Я не хочу присваивать себе чужие заслуги, поэтому я специально проверил, так как не исключал этого. Карма начала расти у меня, а не у sofrus, если вы считаете нужным поднять за пост карму, то поднимайте ему. Просто у него с компанией NDA подписан и в должностной инструкции нет пометки о том, что он может оценить важность информации. Поэтому я и запостил. Но в появлении этих таблиц нет моей заслуги.

Хочу признаться: уже несколько лет я болею вирусом «МДС». Я не могу слушать никакого другого аудиоконтента, кроме этой передачи.

Ответ на вынесенный в заголовок вопрос мы получим уже через пару дней, когда пройдут все игры очередного этапа Мировой серии покера в Лас-Вегасе. Дело в том, что в этот раз в рамках состязания пройдет игра между канадской программой Polaris и тремя карточными профессионалами Ником Грундзиным (Nick Grundzien), Айджеем Полански (Ijay Palansky) и Мэттом Гавриленко (Matt Hawrilenko). Детище разработчиков из Университет Альберты уже «садилось» за стол с серьезными противниками в прошлом году, однако тот раз оказался для нее неудачным.

Впрочем, удача — это лишь один из факторов, влияющих на исход игры в покер. Выяснить насколько она важна по сравнению с умением всегда делать самые вероятностно-оправданные решения и задумали организаторы турнира.

Турнир будет состоять из нескольких матчей по 500 раздач каждый. Белковые и электронный джентельмены будут играть в семикарточный лимитированный Техас-холдем. Преимущество Polaris, кроме гигафлопсов вычислительной мощи — полное спокойствие и собранность. Впрочем, анализировать поведение оппонента программа не умеет, так что психологический фактор в такой игре сводится на нет.

В общем итоге хочется сказать, что такой покер нам не нужен.

Как-то никто не заметил, что в Рунете окончательно сменился лидер — по аудитории.
Ведомости пишут — вот здесь — что майское исследование TNS Gallup по России снова поставило Mail.ru впереди «Яндекса», но теперь уже по месячной и недельной аудитории. Аналитики самые разные мнения высказывают — например, рекламные агентства говорят, что недельная, дескать, рекламодателям значительно интереснее, так что Mail`y это в плюс, другие — что «Яндекс» будет драться и конкуренция продолжится. Сам «Яндекс» что-то молчит… а Вы что думаете?

Несколько недель? назад прочитал на хабре про интеграцию с google maps. К сожалению не нашел ссылку, но смысл в статье шел о городском сайте на который пользователи могли самостоятельно добавлять объекты на карту. Идея выглядела довольно сексуально, но в комментах автор признался, что писАл этот функционал несколько месяцев((

Данный факт поверг меня в жёсткое уныние(
Анализ скриптов на симпатичных сайтах интегрированных с gmaps, навроде этого
dom показывал внушительные километры кода… И так бы я и продолжал сидеть в депрессии, пока случайно не забрел таки на сайт с хелпом от собственно гугла.

И как выяснилось — вся информация о сроках и объемах этой задачи как минимум саботаж и провокация! Итак, строим карту пользователей на основе сервиса Google maps
Примерно такую:

Многие современные домашние роутеры по сути представляют собой мини-компьютер — у которого разве что нет монитора и мыши/клавиатуры. Впрочем, учитывая назначение этих самых железяк, последнее — вовсе не проблема.

Как правило, в базовой прошивке роутер умеет раздавать интернет на один или несколько LAN-портов, а также обслуживать собственную беспроводную сеть. Более продвинутые модели зачастую включают один или несколько портов USB, куда можно подключить, например, принтер или флэшку с файлами.

Однако всё богатство возможностей этого железа открывается при использовании открытых прошивок. Для новичков — dd-wrt, для более продвинутых — серия open-wrt и прочие wrt-based.
В настоящей статье речь пойдёт о настройке анонимизированной wifi-точки на базе роутера Asus RT-N16 с прошивкой dd-wrt и optware.

Эта статья о том, как можно сделать менеджер закладок используя Google Mail и Google Docs.
При этом Вы их никогда не потеряете (даже удалив из GMail, копия останется в Docs), а добавление нового URL будет происходить в два клика!

Если вы активно используете Linux для администраторских задач, то наверняка заглядываете время от времени в консоль (или живёте в ней). Несмотря на активное вытеснение текстового интерфейса графическим, а тыкать галочки и нажимать на кнопочки всё-таки интуитивнее, что породило целое поколение эникейщиков, консоль была, есть и будет эффективным средством общения с компьютером. Данная статья рассчитана на тех, кто уже как бы знаком с Bash (Bourne-again Shell), самой популярной реализацией командной оболочки. Этот терминал уже много лет используется по умолчанию чуть ли не в каждом дистрибутиве Linux, так что новички даже не догадываются, что бывают и другие оболочки. Bash пронизан мудростью наших UNIX-предков и всячески рекомендуется для освоения. Сейчас вы увидите, что консоль бывает полезна не только для команд вида «sudo /etc/rc.d/network restart» :)

Вот что пишут разработчики:

«В качестве маленького рождественского подарка мы представляем первую бету версии 1.0.0. В эту версию вы можете играть без использования оригинальных файлов из Transport Tycoon Deluxe (конечно, вы можете использовать их, если они вам нравятся больше).

Благодарим всех, кто сделал это возможным.»

Название: Borderlands
Разработчик: Gearbox Software
Издатель: 2K Games
Жанр: Action-shooter от первого лица с элементами RPG

Новый кооперативный экшен Borderlands заслуживает внимания как редкий представитель смешения жанров шутера от первого лица и RPG и как обладатель уникального визуального стиля. Даже если бы за табличкой с названием стояли не амбициозные разработчики из Gearbox Software и маститый издатель 2K Games, то и тогда игра, путь и не столь ожидаемая как, например, Bioshock 2, неизменно бы оказалась под пристальным взглядом публики. В нашем же случае мы имеем дело с самым масштабным на сегодняшний день проектом студии, ранее приложившей руку к популярной серии Brothers in Arms, небезызвестной Halo и культовой Half-Life.

последние несколько лет постоянно, часов по 10-16 в день, слушаю интернет-радио и вот небольшой список очень хороших, на мой взгляд, станций, которые постоянно развиваются и совершенствуются, выбирал те, которые меньше всего надоедают и их можно слушать очень долго:

Я прекрасно понимаю, что сегодня далеко не пятница, но тем не менее, я решился рассказать уважаемому хабрасообществу об одной игре, с которой недавно мне посчастливилось познакомиться.

Игра называется Babo Violent 2.

Все началось с того, что я захотел сделать в Windows 7 мини плейер в панели задач. Я думал, что может быть проще — запустил WMP12 и начал искать в настройках эту самую панельку. К моему удивлению в WMP 12 это панели не оказалось, погуглив немного я выяснил, что в WMP12 эту панель убрали. Я нашел, что возможно сделать даунгрейд WMP12 -> WMP11, однако как я понял в 64-битной Windows 7 эта панелька работать все равно не будет. Однако там же в гугле я наткнулся на ссылку и узнал, что в iTunes 9 есть точно такая же панелька. iTunes у меня уже был установлен и я на радостях его запустил и добавил панель миниплейера на панель задач. Окно iTunes имеет серый цвет и панелька на панели задач также оказалась серой, что на моей черной панели задач смотрелось не очень хорошо:

Наконец-то вышел четвертый Battle Report! К слову сказать изменена моделька SCV :)

Protoss vs Terran @ Lost Temple

За тоссов играет Yeon-Ho Lee, а за теранов David Kim
What a great game!

http://www.youtube.com/watch?v=irhQE9Cfu3Q

http://www.youtube.com/watch?v=a1k752wbmYM

На видео вырезки не объяснимых вещей, которые были засняты камерами NASA. Что правдоподобно, а что нет решать вам…

Уважаемое хабрасообщество!
У меня есть небольшая просьба к вам: не могли бы вы в комментариях отписаться о существовании различных хороших OpenSource-игр, а также игр под линукс (не только бесплатных). Если игры платные, то обязательное наличие демо-версии или видео. Буду очень благодарен. Если вас не затруднит — напишите оценку игры (0-5 баллов).

Вводить в диалоге «Выполнить» (Win+R) или в поисковой строке Пуска (начиная с Vista, работает не для всего). Для домашних версий ОС некоторые оснастки могут отсутствовать.

ncpa.cpl — сетевые подключения. Всегда раздражало, что в Vista нет прямого доступа к сетевым подключениям, а смотреть свойства и включать/выключать сетевые интерфейсы надо. Для Windows 7 это менее актуально — там сеть как-то ближе.

compmgmt.msc — управление компьютером. Я часто захожу туда, чтобы посмотреть что расшарено, как размечены диски, чтобы остановить или перезапустить какой-либо сервис. Там же список устройств подключенных к компьютеру.

secpol.msc — политики безопасности. В WinXP SP2, помню, только там можно было поставить флаг чтобы компьютер мог быть перечислен в любом сетевом окружении. Для Vista более интересен флаг, который позволяет убрать UAC для админов. Если ты под админом, то не нужно постоянно подтверждать каждое свое действие. В Windows 7 по умолчанию настройки таковы, что изменения системных предпочтений не приводит к появлению окна UAC. Что сильно уменьшает желание его отломать =)

control userpasswords2 — хранящиеся в системе пароли. Здесь можно обнулить запомненный пароль. Более интересный вариант — возможность зайти в другую системы под другим аккаунтом. А то зайдешь на расшареное на другом компьютере, потом настройки безопасности перетрясешь — а стучишься по-умолчанию со старыми учетными данными.

msconfig — перечисление запускаемых при старте ОС программ. ИМХО лучше использовать Autoruns от SysInternals, но когда их нет, msconfig тоже может помочь отключить всякую гадость, которая тормозит старт системы.

rundll32.exe sysdm.cpl, EditEnvironmentVariables — переменные окружения. Да, запомнить невозможно. Но один раз введя в диалог выполнить, можно потом вызывать из истории команд.