Привет, Хабр! Мы продолжаем делиться технологической кухней Retail Rocket. В сегодняшней статье мы разберем вопрос выбора БД для хранения больших и часто обновляемых данных.

На самом начальном этапе разработки платформы перед нами возникли следующие задачи:

• Хранить у себя товарные базы магазинов (т.е. сведения о каждом товаре всех подключенных в нашу платформу магазинов с полным обновлением 25 млн. товарных позиций каждые 3 часа).
• Хранить рекомендации для каждого товара (около 100 млн. товаров содержит от 20 и более рекомендуемых товаров для каждого ключа).
• Обеспечение стабильно быстрой выдачи таких данных по запросу.

«Горячая» и часто обсуждаемая сегодня тема оптимизации конверсии привела к безусловной популяризации А/Б-тестирования, как единственного объективного способа узнать правду о работоспособности тех или иных технологий/решений, связанных с увеличением экономической эффективности для онлайн-бизнеса.

За этой популярностью скрывается практически полное отсутствие культуры в организации, проведении и анализе результатов экспериментов. В Retail Rocket мы накопили большую экспертизу в оценке экономической эффективности от систем персонализации в электронной коммерции. За два года был отстроен идеальный процесс проведения A/Б-тестов, которым мы и хотим поделиться в рамках этой статьи.

Очень важно выбрать правильный инструмент для анализа данных. На форумах Kaggle.com, где проводятся международные соревнования по Data Science, часто спрашивают, какой инструмент лучше. Первые строчки популярноcти занимают R и Python. В статье мы расскажем про альтернативный стек технологий анализа данных, сделанный на основе языка программирования Scala и платформы распределенных вычислений Spark.

Как мы пришли к этому? В Retail Rocket мы много занимаемся машинным обучением на очень больших массивах данных. Раньше для разработки прототипов мы использовали связку IPython + Pyhs2 (hive драйвер для Python) + Pandas + Sklearn. В конце лета 2014 года приняли принципиальное решение перейти на Spark, так как эксперименты показали, что мы получим 3-4 кратное повышение производительности на том же парке серверов.

После поста о восстановлении флешек, оказалось, что у многих теперь есть рабочие, бесхозные флешки, которые обязательно нужно задействовать. Почему бы не сделать из них загрузочные флешки с дистрибутивами необходимых ОС? Это может здорово пригодиться при установке/переустановке операционных систем на нетбуки, где отсутствуют приводы оптических носителей. А иногда может даже ускорить процесс установки и сделать его намного тише на компьютере, где привод есть.
Хотя на Хабре уже описывались варианты создания загрузочных флешек, но вариант, который предлагаю я — слишком прост и по своему универсален, чтобы обойти его стороной.

После того как я довольно плотно подсел на иглу виртуального шоппинга передо мной встал вопрос поиска дешевого решения для приема звонков из Американских магазинов.
Естественно можно купить прямой skype номер, но это стоит каких-то, но денег, а так как принимать звонки от магазинов приходится не так часто, то надо было найти решение поэкономичней.

Посреди финансового апокалипсиса, отцы и гуру глобального рынка в самом широком смысле слова, собрались вместе в конференц-зале отеля Hilton, расположенного в Сан-Франциско, для ежегодной встречи Американской Экономической Ассоциации (American Economics Assosiation). Можно представить себе атмосферу подобной встречи, но, как ни странно, человек которого все так ждут не будет говорить о токсических выхлопах, инвестициях или уровне безработицы.

«Я хочу рассказать вам об онлайн-аукционах» — говорит Хал Вариан (Hal Varian), первый на подиуме с микрофоном в руках. Вариану 62 года и он профессор в Школе Бизнеса и Школе Информации при университете Беркли, но сейчас этот человек куда более известен всему миру как главный экономист Google. И аудитория, сидящая перед ним, пришла не для того чтобы слушать об упадке кредитного мира – им всем куда более интересен рецепт приготовления секретного соуса Google.

Вышел джейлбрейк прошивки 3.0 (iPhone 2g, iPhone3g, iPod Touch1g, iPod Touch2g) (здесь троекратное ура!) для Mac (только intel-Mac) и Windows.

UPD: 4е минуты назад в сидии появилась утилита для разлочки 3g (инструкции ниже).

Перед началом всех действий потребуется

1. iTunes 8.2;
2. Оригинальная прошивка 3.0 для iPhone 2g, iPhone 3g (для iPod Touch 1&2 g купить прошивку);
3. redsn0w по ссылкам ниже.

Ссылка на торрент для скачивания программы redsn0w

Mac
Win

Первая статья для нытиков (это те, которые постоянно ноют на хабре: «Ну по-че-мууу, по-че-мууу техника Apple в России в два раза дороже чем в Европе, а-а-а?») и просто здравомыслящих людей, который предпочтут купить качественные джинсы Levi's производства Мексики, сделанные для внутреннего рынка САСШ, за 40$ с доставкой, а не платить русским барыгам 4000р. за польское говно с лэйблом Levi's.

В этой статье вы можете узнать для себя: как оплатить товар в зарубежном интернет-магазине, как доставить товар и какая засада может вас поджидать при прохождении товара через Российскую таможню.

Начнём?

В последнее время появилось много сервисов, предлагающих подключить оплату с помощью SMS на сайте. По сути, они представляют собой своеобразную прослойку между веб-ресуром, оператором мобильной связи и конечным пользователем. Такие компании берут всю техническую сторону дела на себя – владельцу сайта необходимо лишь установить на своей площадке специальный код, который будет обращаться к биллинговой системе при каждой оплате.

Так как футурико обозначила свои правила для ботов, я решил рассказать о небольшом, но удобном пайпе (Yahoo! Pipes), который сделал на днях.
Не знаю как вас, а меня жутко раздражает надпись «читать дальше->» в RSS. Я решил исправить эту проблему (возможно, я вызову праведный гнев футурико, но формально в правилах соответствующих запретов нет).

MediaCoder — универсальный аудио-видео перекодировщик, обладающий огромными возможностями. Поддерживаемы аудио форматы — MP3, Vorbis, AAC, AAC+, AAC+v2, MusePack, Speex, AMR, WMA, RealAudio, FLAC, WavPack, Monkey's Audio, OptimFrog, AAC Lossless, TTA, WAV/PCM, Waveform. Видео кодеры — H.264, XviD, DivX, MPEG 1/2/4, Theora, Flash Video, Dirac, 3ivx, RealVideo, Windows Media Video; Контейнеры — AVI, MPEG/VOB, Matroska, MP4, PMP, RealMedia, ASF, Quicktime, OGM, а также CD, DVD, VCD, SVCD, CUESheet.

Приветствую.

В свете последних разговоров о нехватке квалифицированных кадров в ИТ публикую первую часть своей статьи, написанной еще в конце 2006г. За последнее ситуация сильно не изменилась, поэтому все описанное еще актуально.

Дорогу молодым! Выращиваем собственные кадры в ИТ.

Введение

В последние годы на рынке информационных технологий спрос на квалифицированные кадры серьезно превышает предложение. Это уже давно стало тенденцией: зарплаты все растут и растут, появляются новые рабочие места, а специалистов не хватает. К примеру, в апреле 2005г. средняя зарплата программиста .NET в Москве была около $1200, в январе 2006г. она стала составлять $1600, а сейчас я зачастую вижу вакансии с предложениями зарплаты, превышающей $2000. Если произвести поиск вакансий в Москве для разработчиков на платформе .NET на сайте job.ru с указанной заработной платой от $2500, то можно обнаружить, что ежедневно появляется 12-15 объявлений, удовлетворяющих заданным критериям. В тоже время ИТ-специалисту с низкой квалификаций работу найти гораздо сложнее, и предложение превышает спрос в несколько раз. В этой статье я расскажу, как использовать сложившуюся ситуацию с максимальной выгодой.

На сайте www.makeuseof.com появилась заметочка, именуемая «4 youtube-инструмента, о которых вы, вероятно, ничего не знаете». Это и правда оказалось открытием для меня, поэтому делюсь с вами, и конечно спасибо оригиналу.

Первое место — iDesktop.tv — универсальный солдат YouTube'а, с его помощью можно просматривать видео и сохранять — что часто очень важно! — в самых разных форматах. AVI, MOV, 3GP, MP4, FLV-исходник и даже zip-архив. К интерфейсу нужно немного привыкнуть, стиль его напомнил злостчастный top4top, но к радости на этом сходства заканчиваются. Сервис делает, что обещает и делает хорошо.

Всем привет, 31 января несколько особенный день. И всё потому, что 26 лет назад в этот день я появился на свет. На этой весёлой ноте перейдём к нашей сегодняшней теме.

А конкретно я собираюсь рассказать и показать вам визуальный счётчик посещений и кликов на вашем сайте.

Полезная ссылка на online-редактор для генерации файла .htaccess: тут

Компания Coghead выпустила вторую версию онлайнового инструментария для разработки корпоративных серверных приложений. Система получила новый интерфейс и теперь она работает не на стандартных скриптах Ajax, а на мощном движке Adobe Flex. Именно этим объясняется свежий новый вид, более 50 новых функций и трёхкратный рост производительности. Среди новых фич — поддержка Open ID и новые виджеты, которые можно перетаскивать мышкой.

Перечень кардинальных новшеств на этом не закончен. Отныне система Coghead размещается на машинах Amazon Elastic Compute Cloud (EC2). Соответственно, созданные вами веб-приложения будут работать оттуда.

Благодаря использованию Flex потенциально можно создавать даже офлайновые программы, которые будут работать без наличия доступа в интернет с помощью технологии Adobe AIR. Такая возможность появится примерно в середине 2008 года, заверяют разработчики.

Используя новую версию Аналитику Гугла для сбора статистики по сайту, обнаружил небольшую, но малоприятную ошибку,- в отчётах по ключевым словам с поисковых систем сами ключевые слова выводятся в нечитаемой форме, например, %22%d0%9f%d0%b5%d1%81%d0%b5%d0%bd%d0%ba%d0%b0 вместо «Песенка». Для исправления ситуации можно установить Greasemonkey скрипт, исправляющий кодированные строчки.

Я уверен, что вы хотите увеличить количество RSS подписчиков вашего блога. В этой статье я предлагаю вам 33 способа, для увеличения ваших подписчиков. Итак, давайте найдем новых подписчиков для вашего блога.

1. Только качественная информация. Я не люблю, писать этот совет первым, потому что это совет, который дают все профессиональные блоггеры. Но вот причина, по которой все дают этот совет. Нет никакого смысла подписываться на блог, если вы не предлагаете ничего стоящего для чтения. Вы обязаны дать повод читателю, вернуться. Если повода для возвращения нет, то зачем ему подписываться?

2. Пишите каждый день. Давайте задумаемся о том, почему люди подписываются на блоги. Потому, что они не хотят пропустить следующие посты. Именно поэтому вы должны писать отличные статьи и публиковать их с достаточной частотой, что бы людям казалось, что они могут что-то пропустить. Неплохо писать одну статью в день. Заставьте ваших читателей бояться пропустить одну из ваших статей. (но не забывайте про первый пункт, всегда пишите качественные статьи)

3. Не пишите вне темы. Всегда помните тему вашего блога. Читатели не станут подписываться, если вы все время пишите на разные тематики.

Мэтью Соларс (Matthew Sollars) опубликовал первую порцию списка источников дохода, которые может использовать интернет-медиа. Список составлен по результатам обзора существующих практик СМИ в США и Европе. Упор сделан на инновационные подходы, поэтому в список не включён основной источник – баннерная реклама. Я публикую этот список специально для тех скептиков, которые активно отмахивались и ёрничали в комментариях под моими заметками и переводами о бизнес-моделях для интернет-СМИ, опубликованными ранее. Разумеется, в России реалии иные, тем не менее чужой опыт может оказаться полезным.
UPD Вторую часть статьи «Источники доходов интернет-медиа» можно прочитать здесь.

Этот пост о системах статистики в Одноклассниках. В нем будет рассказано о том, для чего нам нужна статистика, и какие у нас есть системы для работы с ней. В следующих постах детально опишем:

• архитектуру систем;
• основные компоненты систем и алгоритмы;
• нетривиальные проблемы и способы их решения