Беспрецедентные объемы данных заставляют разработчиков и бизнес приглядываться к альтернативам реляционных баз данных, используемым вот уже более тридцати лет. В совокупности все эти технологии известны как «NoSQL базы данных».


Основной проблемой является то, что реляционные базы данных не могут справляться с нагрузками актуальными в наше время (мы говорим о high-load проектах). Есть три конкретные проблемных области:

• горизонтальное масштабирование при больших объемах данных, например как в случае Digg (3 терабайта для зеленых значков, отображаемых, если ваш друг сделал dugg на статье) или Facebook (50 терабайт для поиска по входящим сообщениям) или eBay (2 петабайта в целом)
• производительность каждого отдельного сервера
• не гибкий дизайн логической структуры.

Время от времени у нас в студии возникают ситуации, когда по тем или иным причинам надо закрыть доступ к работающему сайту. К примеру, новый сайт, который только настраивается на сервере, или же на работающем проекте идет обновление функционала.

Естественно вопрос стоит в том, чтобы закрыть доступ для обычных посетителей, а для доверенных людей сайт должен функционировать.

В этой статье мы поговорим о некоторых иногда упускаемых разработчиками аспектах, влияющих на общую производительность веб приложения. В частности рассмотрим как влияет на производительность множественные подключения внешних файлов, наличие «мертвого» кода, акселерация путем кешеров опкода и FastCGI для PHP.

Заметка посвящена не столько возможным методам защиты (о них уже было много написано), сколько обзору небольшого списка для быстрой проверки при подготовке к возможных скачкам посещаемости. Судя по статистике нагрузки на электронные магазины на прошлой неделе (когда начался рождественский сезон продаж на Западе), даже для крупных магазинов время ответа может колебаться на 20%, что же говорить о менее крупных веб-сайтах?

Такую проверку обязательно нужно проводить перед выпусками новых продуктов, а также перед сезоном массовых покупок (для России это время в канун Нового Года и Рождества). Итак, с чего начать?

Привет!

Хочу представить разработанный нами сервис для ведения бухгалтерии индивидуальных предпринимателей, с генерацией всего пакета отчетности, счетов для заказчиков и актов о выполненных работах.

Нашей целью было сделать бухгалтерию доступной для любого человека — поэтому мы сконцентрировались на небольшом сегменте рынка — индивидуальные предприниматели на 6%-ной упрощенке, работающие без кассы. Это позволило сделать сервис очень простым и понятным — без бухгалтерского лексикона, ссылок на нормативные акты и перегрузки ненужной информацией вроде расчета НДС, ЕНВД итд. И, я думаю, у нас это неплохо получилось.

Помнишь ZX-Spectrum, хабрачеловек?

Вот и англичане тоже помнят, да так помнят, что сняли художественный фильм по мотивам великого бума домашних ПК в UK, случившегося в период 1980-1984 г.

Заказ на производство от BBC, анонс в таблоиде The Guardian, премьера 8 октября 2009 г. на канале BBC Four (с охватом аудитории 1.4 млн. зрителей) и последующие одобрительные рецензии (тысячи их), как бы четко намекают нам: «Смотреть немедля!».

Детали этой затейливой и поучительной история первых компьютерных стартапов восьмидесятых годов чуть ниже…

Много было в последнее время топиков о стартапах, организации команд, разработке ПО и некоторых других вещах, неразрывно связанных с софтверным или интернет-бизнесом. В этой статье я хочу рассказать, что сейчас будет вас ждать, пожелай вы открыть свою компанию по продаже программного обеспечения (ПО, далее софта). Ибо пока полноценных топиков на эту тему я не видел.

Зачем нужен этот топик? Чтобы после прочтения можно было однозначно ответить на вопросы «А оно мне надо?», «Стоит ли переводить проект в разряд стартапа (или наоборот)?», «Как заработать на своем труде в России?» и на ряд других более конкретно. И это только касательно России (если все будет хорошо, то выложу аналогичный топик и относительно международного софтверного бизнеса).

Внимание: вся нижеприведенная информация изложена с позиций минимизации затраченного времени (и увеличения надежности мероприятия) и с учетом отсутствия прописки в городе регистрации юр. лица (и отсутствия рабочего офиса).

Продукт и команда

Перед стартом обязательно имейте хотя бы что-нибудь. Что-нибудь, что приносит деньги. Без денежного потока (пусть даже в 10-20 тысяч рублей) затевать все это бессмысленно (далее будет понятно, почему, но первичные расходы на оформление всей волокиты составляют порядка 30к рублей). Естественно, открывать свое юридическое лицо и оформлять бизнес стоит в том случае, если вы собираетесь расти. И не просто расти, а очень сильно расти. Иметь оборот в 20-30 тысяч рублей можно и не имея никакого юридического лица, а при «нелегальном» обороте в районе 100 тысяч уже могут начаться различные проблемы с государством (и красиво оформить это может уже не получиться).

Итак, в самом начале у нас должен быть продукт. В принципе, все равно какой (если речь идет про бизнес, заключающийся в продаже софта и смежных услуг). Если к этому продукту «прилагается» команда, то поднять всю схему будет значительно проще: пока вы будете бегать по инстанциям с пакетами документов, продажи могут сильно просесть, потому что их некому будет обслуживать. Или просядет разработка. Или еше что-нибудь. Но обязательно просядет. Имейте это в виду.

Ладно, вроде у нас есть, что продавать (будь это хоть утилита «Time Machine для Windows»). У нас есть пара человек, которые разделяют ответственность за компанию и готовы работать во имя ее успешности. Что дальше?

Дальше самое интересное.

Введение

Сегодня я расскажу о проектировании высоко-нагруженных отказоустойчивых систем. Акцент будет поставлен практическую разработку и жареные факты, а не на сухую теорию. После прочтения вы не испугаетесь разработки сервиса с миллиардом пользователей, если у вас будет достаточное количество серверов. Тема весьма обширна, но я постараюсь быть кратким и лаконичным.

Сколько раз я уже перечитывал статьи Пола Грэма, столько раз я удивлялся его потрясающему умению открывать глаза на вроде бы обычные вещи. И потрясающей способности интересно описывать окружающий нас мир.

Да, это он в 1998 году продал свою компанию Viaweb интернет-гиганту Yahoo, которая впоследствии назвала этот продукт Yahoo Store. Да, это он основал венчурный фонд Y Combinator. Да, это его журнал BusinessWeek включил в список 25 наиболее влиятельных людей в Сети за 2008.

Хотите читать по-настоящему интересные аналитические статьи? Вам однозначно к Полу. Я настоятельно рекомендую прочитать его заметки. Особенно если вы it-шник. Особенно если вы собираетесь открывать свой бизнес.

Странно, что такое шикарное событие не взбудоражило умы Хабровчан. Эта новость достойна твоего внимания, %username%!

Внимание — видео!



Понравилось? Тогда беги и качай бесплатно прямо сейчас: www.ixedit.com

Речь пойдет о проекте «Рубашка на заказ». О нем на Хабре уже была статья.
Сам бизнес, по сути, оффлайн, но маркетинговая и сервисная его составляющая базируются в Интернете. Проект активно развивается, и я хотел на его примере рассказать о важности постоянного совершенствования и работы на ожидания клиентов. В статье будет больше маркетинговой составляющей, нежели технологической, но на мой взгляд, это не менее интересно.

В этой статье я поделюсь собственным опытом построения веб-сервера, работающего на CentOS 5.3.

Что требовалось:

• Полностью избавиться от Apache. Сервер должен был выдерживать хорошую нагрузку, распределяя статику и динамику.
• Нужна была поддержка последней версии libxml, малейшее различие в версиях делало сайт абсолютно нерабочим.
• Нужен был gzip
• И еще некоторые особенности, о которых я расскажу в самой статье

Вы когда-нибудь задумывались, насколько важна память для человека и конкретно для вас? Что можно достичь, с помощью хорошей памяти? А давайте прикинем прямо сейчас!? Для начала я думаю, стоит вспомнить образование и работу: прочитали книгу за несколько дней и все запомнили, экзамены за вечер на 5, язык программирования за месяц… можно продолжать долго.

Некоторые люди рождаются с феноменальной памятью, а остальные могут память тренировать и достигнуть хоть и не феноменальных результатов, но очень даже приличных, которые позволят достичь очень больших высот, не говоря уже о довольно простых вещах, перечисленных чуть выше… Поэтому моя заметка именно о тренировке памяти обычных людей: сжато и по сути.

PHP один из самых широко используемых языков для создания вебсайтов. PHP фреймворки, такие как Zend, CakePHP, CodeIgniter и т.д и open source классы и библиотеки упростили разработку.
Независимо от того, являетесь ли вы опытным разработчиком или новичком, инструменты, которые вы используете, имеют прямое влияние на вашу продуктивность. Здесь собран список действительно полезных утилит и расширений для PHP разработчиков, которые помогут ускорить разработку, и улучшит итоговое качество кода.

Данная заметка является шпаргалкой для новичков в установке нормально работающего комплекса, описанного в заголовке. Все пункты установки протестированы несколько раз на разных vds, поэтому проблем с нехваткой чего-то быть не должно, как это обычно бывает, когда ставишь что-то по мануалам, надерганных из разных источников. Подробно описания настроек и «тюнинга» в заметке нет, т.к. это всё очень индивидуально и требует понимания что, как и зачем делается, а это невозможно охватить в одной даже очень большой шпоре.

Продуктивность коллектива веб-студии напрямую зависит от удобства среды разработки. У нас сложилась стройная система организации работы с проектами, включающая в себя набор таких неотъемлемых компонентов, как IDE, SCM, PM-система, багтрекер и development-сервер. Этим постом я бы хотел начать цикл статей, посвященных настройке и использованию этих компонентов в нашей студии.

В первой части я расскажу о самом основном — среде разработки (о том, как мы организовали совместный доступ к проектам).

Идеи

1. Среда разработки должна быть единой для всех сайтов.
2. Девелоперы не должны тратить время на настройку каждый своей серверной части.
3. Работает ли над проектом один человек или несколько — контроль версий необходим.
4. Если рабочий каталог (IDE workspace) находится на сервере, то можно поработать и дома, не тратя время на повторную настройку окружения на домашнем десктопе или ноуте.

Практически каждый дизайнер хотя бы раз в своей практике сталкивался со следующей проблемой: вроде бы всё хорошо получилось, но что-то где-то не так, есть ощущение какой-то недоделанности и неряшливости. Кто-то в этом случае привычно махнёт рукой и, надеясь на некомпетентность клиента, выведет недоделанный сайт в Сеть. Кто-то начнёт череду поисков решения проблемы и зайдёт в глубокие дебри бесконечных переделок и доработок. И почти никто не обратится за помощью к специалистам, занимающимся непосредственно данной категорией проблем — к дизайн-аудиторам. А зря. Аудит сайтов в целом лишь относительно недавно стал вызывать интерес в нашей стране, появились специалисты в области юзабилити сайтов, продвижения и раскрутки. А вот непосредственно улучшением внешнего вида занимаются лишь единицы, да и то о них мало кто знает.

Разумеется, в крупных и солидных студиях имеются квалифицированные арт-директоры, которые доведут любой сайт до лоска. Но, во-первых, далеко не всегда и везде есть такой человек. Например, сайт был заказан у фрилансера, который сделал всё хорошо, но допустил с точки зрения профессионального дизайна ряд мелких ошибок и недочётов. А во-вторых, даже после усердной работы высококлассного арт-директора вполне может остаться поле деятельности для дизайн-аудитора с намётанным глазом.

В этой статье я хотел бы на конкретном примере известного западного портала разобрать практические методы визуального улучшения сайта.

ВНИМАНИЕ: в статье имеется большое количество крупных изображений.

Цель:
Дать возможность пользователям комментировать и обсуждать любую страницу в интернете.

Как решаем:
Для работы на клиенте реализуется BHO, расширение для FF и плагин для оперы. При заходе браузером на web-страницу такой плагин делает запрос к серверу, получает информацию о количестве комментариев для данной страницы, а затем и их содержание, и если это количество > 0, выводит эти комментарии на страницу (внизу или сбоку или… как выберет пользователь в настройках плагина), в удобной для пользователя форме (постранично по N на странице или в виде дерева или....) используя все навороты Ajax. Очень круто смотрелась бы плашка как на хабре с количеством комментариев на странице и при нажатии на нее на странице появлялся бы скрытый ранее контент с обсуждением.

Т.е. другими словами плагин модифицирует код выдаваемой браузером страницы, интегрируя в нее мини-форум.

Очевидно, что нагрузка на сервер будет очень значительная, поэтому думать о распределении и балансировке нагрузки на БД нужно сразу. Для выдачи данных реализуется API позволяющий клиенту аутентифицироваться и получать данные по запросу в виде XML или чего-то близкого к plain тексту, а также записывать в БД новые комментарии.

Серверный рантайм взаимодействует с серверами БД, нагрузка на которые распределяется к примеру по первой букве домена, т.е. имеем несколько серверов БД, первый обслуживает домены RU, начинающиеся с A по F, другой с G по L и т.п. Естественно это все очень упрощенно, а на деле такие подгруппы стоит формировать исходя хотя-бы из статистических данных именования доменных имен.

При такой постановке задачи сразу возникает вопрос, как быть со страницами, URL которых уникальный при каждом посещении, например если движок сайт передает ID сессии в URL. Думаю эта проблема большей частью решаема, причем создав базу шаблонов таких URL-ов, используемых в популярных движках форумов и CMS, можно сходу покрыть 90% проблемных URL.

Как то в этой суете и проблемах забылось, что традиционная конференция стартапов DEMO, несмотря на кризис (и просто страхи, не столько кризиса, сколько муть в умах), прошла по расписанию в начале этого года, и, более того, нельзя сказать, что безуспешно. Конечно, проектов было немного меньше, но это вполне объясняется различными факторами. Но пусть меньше, да лучше — думаю, вы согласитесь. Далее я кратко расскажу, какие проекты были представлены и в чем их основная суть. Более детально вы сможете посмотреть на официальном сайте, благо все выступления доступны для просмотра онлайн. Кстати, жизнь то продолжается, и уже идет подготовка к весенней конференции, которая пройдет 21 — 23 сентября в Сан Диего (США), возможно, ваш стартап как раз заслуживает, чтобы туда поехать?

А теперь детальнее о проектах.

Венчурная компания Softline Venture Partners при поддержке Softline IT Academy объявила первый в России конкурс идей в сфере разработки программного обеспечения и интернет-приложений среди молодёжи Dev Generation 2009. Победитель получит от Softline Venture Partners (SVP) инвестиции на реализацию своего проекта в размере $100.000. Информационный партнёр конкурса — сайт Хабрахабр.

На конкурс принимаются уникальные идеи проектов (а также стартапы на стадии прототипа) в сфере разработки программных продуктов и интернет-приложений, без ограничения тематики. К участию приглашаются студенты, аспиранты, а также команды разработчиков, в составе которых есть хотя бы один студент или аспирант из России, СНГ или стран Балтии.

Подать заявку можно здесь.