Магазин работает уже почти пол года — добро пожаловать :)
http://www.digital-mode.ru

Как это все работает.

Фронт-офис — генерирует страницы с группами и товарами, а также позволяет добавить товар в корзину и оформить заказ.
Хранилище картинок — отдает фотографии товаров в нужном размере. Все остальные картинки статические, загружаются с сервера GAE.
Бэк-офис — административная часть, позволяет редактировать товары и группы, просматривать заказы, загружать фотографии для товаров, а также загружать обновления цен, наличия и новые позиции.

Для генерации почти всех страниц используется Django templates.

В целом ничего сложного :)

Проблемы с которыми пришлось столкнутся при разработке.

На текущий момент есть проблемы с загрузкой/выгрузкой большого количества данных. На данный момент использую CSV для загрузки обновлений (цены, товары, наличие). При большом объеме данных превышается тайм-аут 30 сек на выполнение. Кроме этого в GAE ограничение на 30 запросов на запись (put). Соответственно обновлять больше 30 товаров за один проход не получается. Этот момент можно оптимизировать и обновлять данные не поштучно, а сразу пачками т.к. в GAE запись в хранилище может производится целыми массивами.

Выгрузка данных для Яндекс.Маркета занимает почти 10 секунд (200 товаров), 90% времени это генерация HTML.

Также не решена еще проблема с фильтрами и сортировками товаров по характеристикам. Т.к. БД не реляционная, привязать характеристики к товарам тяжело. Как вариант делать для каждого типа товара вручную в коде свой фиксированный набор характеристик, это возможно пока типов товаров не больше десятка.

Преимущества GAE

Отсутствие необходимости покупки/настройки/поддержки собственного сервера.
Автоматическое масштабирование.
Одинаковое время доступа к приложению при разных нагрузках.
Удобство разработки.

Итого

Скорость работы магазина не зависит от количества посетителей.
На данный момент при 500-600 хитов в сутки используется 0,3-0,4 часа процессорного времени из 6,5 бесплатного.

После публикации в комментариях к топику: "Стоит ли вам использовать Google AppEngine?" ссылки на магазин было использовано ресурсов:
— 0,44 часов CPU из 6,5
— 28000 запросов из 1,3 млн
— 210 Мб из 1 Гб исходящего траффика
— 5,59 Гб из 116 Гб получено из API
— 0,22 часа из 62,11 использовано хранилищем
Всего за 12 часов — 700 хитов (180 хостов).

Это микрохаброэффект:

Disclaimer: Эта статья не о том, «какой я умный и какой Гугл тупой». Эта статья о некоторых неочевидных проблемах и особенностях Google AppEngine (GAE), о которых было бы неплохо знать тем, кто хочет начать работать с «империей зла» :-)


Гугл сделал много отличных вещей – поиск, почта без спама… Гугл получает кучу наших приватных данных, но мы продолжаем пользоваться им, потому что оно так классно работает…
Некоторое время в IT-шных кругах поднялось достаточно шума об AppEngine, и я решил попробовать поработать с ним в моём новом проекте.

Я выбрал Python с гугловским framework-ом чтобы получить наилучшую совместимость и скорость. Начал я с тестов производительности, и результаты были…

Про полезность подхода TDD (разработка через тестирование, test driven development) не слышал только ленивый или глухой. Но сегодня мы не будем обсуждать всю его полезность и красоту, а также проблемы и недостатки. Сегодня мы попробуем посмотреть, как разрабатывать unit-тесты для spring приложений. Также мы немного тронем ручное управление транзакциями в unit-тестах.

Каждая новая задача начинается с выбора инструментов, с помощью которых она будет реализована. И от того, насколько верно они выбраны зависит её win или fail. Мне довелось присоединиться к проекту с базовым языком программирования, весьма необычным и редкоиспользуемым. И это отнюдь не мешало его становлению и текущему успешному развитию. О чём это я?

Запустили в разработку некоммерческий сайт для ульяновцев на основе гугловской карты Кафе и рестораны Ульяновска. Придумали и загорелись идеей года полтора назад,

Большинство программистов знают о reflection, которая (она — рефлексия) упрощает добавление динамических возможностей в статические языки, такие как Java/C#. Однако reflection упрекают в том, что вызовы работают очень медленно — до 500 раз медленнее. Все же это можно c легкостью исправить — покажем в этой статье как сделать reflection-вызов таким же быстрым, как и прямой (direct) вызов.

Уже были статьи про основы гита (0, 1, 2), были и статьи про внутреннее устройство репозитория. Сегодня поговорим, как простому смертному работать с гитом на автопилоте и не морочить себе голову.

Во-первых, шорткаты (в порядке убывания популярности):

alias gst='git-status'
alias ga='git-add'
alias gc='git-commit -m'
alias gp='git pull && git push'
alias gull='git pull'
alias gush='git push'
alias gb='git-branch'
alias gco='git-checkout'
alias gd='git-diff'

Во-вторых, отображение текущей ветки в командной строке:

export PS1='`__git_ps1 "%s"` \w \$ '

Выглядит так:

lazy-args-in-futures ~/Work/io/oleganza-io.git $

(Как установить: ericgoodwin.com/2008/4/10/auto-completion-with-git)

Типичный поток работы в одной ветке

Год назад мы с командой решили перейти с SVN на Git. Зачем это было надо — писать не буду, т.к. на эту тему уже и так много написано. А хочу я описать типичные алгоритмы работы, понятные человеку, который долгое время пользовался SVN. Ниже — памятка, написанная для команды год назад, чтобы легче было мигрировать. Надеюсь, кому-нибудь пригодится.

Простой способ защиты от HTTP DDoS — включить syn-cookies и заблокировать подонков. Но что делать если атакует 5к-10к хостов да еще и с динамическими IP? Тут нам на помощь придет frontend-backend архитектура c промежуточным кэшированием! Почему с промежуточным кэшированием? А потому что в моем случае от шквала запросов от frontend'а backend умирал унося за собой систему.

Люди не очень любят регистрироваться. Это же нужно (в общем случае) придумать логин и пароль, зайти в свою почту, дождаться письма, открыть его, перейти по ссылке активации аккаунта, а потом еще этот логин с паролем не забыть. Но ведь уже давно есть способ, с помощью которого все эти шаги не нужны. Более того, не нужно вообще ничего вводить с клавиатуры, 2 щелчка мышью и все, человек зарегистрирован.

За последние 4-года я был инициатором создания 5-ти стартапов. И на собственном опыте испытал все прелести этапа «что-то тут не так, но что?»
Мы создаем сервисы для людей. Кто хочет поспорить на эту тему? Никто? Ну и правильно. Потому что не о чем тут спорить: сегодня именно пользователи диктуют, чему быть, а чему не быть в Интернете.
Главное – уметь слушать и слышать не только и не столько хвалебные речи в адрес своего ресурса, но и критику недовольных.
Скажу больше: «недовольным» пользователям надо создавать особые, «тепличные» условия для самого полного мыслеизъявления. И вот почему.
Как обычно поступают «недовольные» пользователи?
Делюсь совершенно несекретными наработками.
Часть «недовольных» уходит и никогда больше не возвращается на сайт. Часть – отправляется перемывать косточки ресурсу на всех доступных форумах. Несколько самых смелых представителей недовольного «большинства» штурмуют почтовый ящик админа (т.е., например, мой), забрасывая его невнятно сформулированными идеями по улучшению и исправлению…
Результат?
Мозги админа – пухнут, извилины владельца – распрямляются, проект – лихорадит. Но к лучшему практически ничего не меняется.
В какой-то момент я задумался:

Весь последний год о Реформале ничего не писал, хотя, можно сказать, есть повод. Мы выросли и уже совершенно по-взрослому делаем дело, не оглядываясь на многочисленные «дачётотутнето». Продвигающие свои сайты и пинающие чужие знают, о чем я говорю.

Reformal.ru – это сервис обратной связи, который позволяет понять, почему некто ушел с вашего проекта, отписался от рассылки и, к тому же, увел добрую половину пользователей. Подробно прочитать о проекте можно в моём первом топике.

За прошедший год из идеи, которая не давала спать по ночам, Реформал вырос во вполне самостоятельный коммерческий продукт, не только приносящий чувство выполненного перед молодостью долга, но и определённую прибыль.

В свете последних достижений не могу удержаться, чтобы не подвести итоги (читай: похвастаться) и не поделиться статистикой с любопытными (читай: похвастаться много).

Итак.

Мистер Томпкинс — человек уже довольно приличного возраста. Первое знакомство с ним состоялось в далеком 1938 году, когда физик и одессит Георгий Антонович Гамов опубликовал в Британском журнале Discovery серию рассказов о человеке, который в своих снах попадал в альтернативные миры, где значения физических констант радикально отличаются от значений оных в реальном мире, что приводит к совершенно неожиданным результатам. Так Гамов популярно объяснял концепции современной физики неискушенному читателю. Незадачиливым же соней был тот самый Мистер Томпкинс.

Практически 60 лет спустя Том ДеМарко решил поделиться свой безграничной мудростью и в столь же популярной форме преподнести идеи из Peopleware, написанной в соавторстве с Тимоти Листером. Итогом стал "Роман об управлении проектами", в котором наш старый знакомый Мистер Томпкинс похищается сексапильной брюнеткой Лаксой Хулигэн и увозится в загадочную страну Моровию, где ему представляется возможность провести настоящий эксперимент по управлению проектами разработки программного обеспечения…

В конце каждой главы Мистер Томпкинс подводит итоги и записывает свои мысли, которые, по сути, являются аксиомами и постулатами управления проектами по ДеМарко и Листеру. Разумеется, лучше будет прочесть всю книгу в целом — иначе не понять, как эти принципы применяются в «реальной» жизни. Но если времени нет (или же просто хочется освежить память), то вашему вниманию предагается…

Начал писать как комментарий на этот топик, и у самого получился топик, захотелось что бы, увидело, как можно больше народа, а то мало ли в Бразилии — Педро?

Дальше много букв, на тему, а есть ли занятие, кроме, как придумывать что-то новое, и стоит ли это делать? То есть — изобретать велик ?!

Рассуждения написаны, как ответ к топику, переделывать не стал. Кому не нравится — проходите мимо, это личный блог, это блог учись работать, так что не ошибается — только тот, кто ничего не делает, и еще раз, это простые рассуждения написанные от первого лица…

Кому интересно, добро пожаловать, для тех кто умный — до свидания, удачи, и счастья, ведь умного учить -только портить…

Первая часть находится здесь. Там я писал про процесс разработки, главным образом про людей. Эта статья будет посвящена реалиям работы сайта в сети, конкретным цифрам дохода и расхода, упоминаний сайта и посещаемости.

Старт

Итак, проект Холиварс.ру запущен. Запущен удачно, он что называется выстрелил. Это когда вести о проекте сами собой разносятся людьми, которых он впечатлил. После публикации обзоров только на хабре и ещё одном ресурсе, без вложения денег в рекламу — более тысячи упоминаний в блогосфере, десяток упоминаний на новостных сайтах, даже сюжеты по ТВ, отчего у нас волосы выпучились и глаза встали дыбом — по Эксперт-ТВ и в программе Телепорт на МТВ.

Прочитав обзор хабраюзера natuzzi о столь замечательной системе — Я решил попробовать её в деле и подключил к ней один из своих магазинов.

Резюме:

Плюсы:

1. На осваивание и написание API ушло 3-4 часа.
2. Саппорт моментально отвечает, даже в 2 часа ночи.
3. Деньги можно вывести на любую банковскую карту или снять в банкомате Приватбанка (банкоматы есть как в Украине, так и в России)
4. Есть приложение для iPhone с помощью которого можно управлять liqpay счетом
5. Саппорт реализван через siteheart.com (тоже проект Приватбанка) в режиме реального времени. Чат поддерживает заполнение форм, коллективные чаты и выставление рейтинга и комментария после беседы.
6. Платежи с карточек действительно проходят! :)

Java — язык простой. И после года активного использования для Вас не остаётся секретов. Совершенно случайно я обнаружил, что на stackoverfow люди решили поделиться скрытыми возможностями (Hidden Features of Java). Вышло очень занимательно, получился своеобразный рейтинг нетривиальных возможностей, который я далее запротоколирую в вольном переводе на русский.

double brace

С большим отрывом лидирует «double brace», уже обсуждавшийся ранее в статье Эффект «double brace» by zeroed. Подробное описание метода — 
http://www.c2.com/cgi/wiki?DoubleBraceInitialization
несомненно это самое забавное и неочевидное из списка. Однако как уже отмечалось, метод имеет свои минусы в виде анонимного класса на каждое использование этого метода. А также невозможности использования метода equals () для подобных объектов.

Сразу оговорюсь, что пишу сюда, так как раздел «работа» — явно заточен под российских пользователей.

Предыдущие части:
Часть 1. Вступление
Часть 2. Сбор данных

Пришло время поговорить о метриках — тех величинах, которые считает любая система статистики. Начнем с прямых метрик — тех, которые можно посчитать легко и без применения формул.

Пролог

В продолжение опубликованной на выходных статьи.

Компиляторы — пожалуй одна из самых интересных тем системного программирования.
Эта статья не расскажет как написать идеальный, или, хотя бы, работающий компилятор, но она поможет прояснить пару аспектов его работы, при помощи метода топологической сортировки сети.