Pull to refresh

Вебинар «Интернет-магазин в облаке: с 0 до Aliexpress» 22 сентября от Mail.ru Group

VK corporate blog Virtualization *Database Administration *Data storage *


Время летит незаметно: приближаются дни распродаж перед новогодними праздниками. И хорошо бы, чтобы под нагрузкой в эти дни сайты и приложения магазинов работали как часы. Без висяков, таймаутов и ушедших навсегда так-и-не-покупателей.

Для этого гибкостью и производительностью интернет-магазина необходимо заняться не накануне, и даже не за месяц, а ещё раньше. Лучше прямо 22 сентября.

22 сентября мы приглашаем вас принять участие в вебинаре, на котором расскажем, как организовать хостинг в облаке, обеспечив максимальную надежность и производительность вашего сервиса.
Подробнее о вебинаре
Total votes 11: ↑11 and ↓0 +11
Views 842
Comments 0

Intel научилась контролировать «горячие» кубиты, чтобы повысить эффективность квантовых компьютеров

Supercomputers Quantum technologies
imageФото: heather/Flickr

Инженеры Intel совместно с компанией QuTech научились контролировать так называемые «горячие» кубиты. Их температура чуть больше –272,15ºC, что на один градус теплее температуры обычных кубитов.
Читать дальше →
Total votes 9: ↑9 and ↓0 +9
Views 2.8K
Comments 1

Вебинар «Интернет-магазин в облаке: c 0 до Aliexpress. Часть 2» 30 октября от Mail.ru Group

VK corporate blog Virtualization *Database Administration *Data storage *Kubernetes *


Сезонные всплески спроса, хорошая статья на хабре, «черная пятница» — интернет-магазину всегда нужно быть начеку, чтобы лавинообразная нагрузка не застала врасплох и поток заказов был быстро обработан. В первой части вебинара мы рассказали, как быстро запустить свой интернет-магазин «из коробки» или развернуть его на базе инфраструктурных сервисов (IaaS).

30 октября приглашаем вас принять участие в вебинаре «Интернет-магазин в облаке: с 0 до Aliexpress. Часть 2», где мы покажем, как с помощью платформенных сервисов (Kubernetes как сервис, управляемых баз данных, сервиса по работе с большими данными) обеспечить отказоустойчивость и масштабируемость, снизить нагрузку на основные OLTP базы данных ваших приложений, реализовать процесс change data capture, построить ETL/ELT пайплайны, а также реализовать платформу для работы ваших аналитиков. Присоединяйтесь!
Подробнее о вебинаре
Total votes 7: ↑6 and ↓1 +5
Views 770
Comments 3

Презентация Mailion — корпоративной почты нового поколения. Прямая трансляция от МойОфис

МойОфис corporate blog Start-up development Software Presentations

Привет, Хабр! Сегодня, 30 ноября, состоится пресс-конференция МойОфис, в рамках которой мы представим Mailion — корпоративную почту нового поколения для крупных компаний и госучреждений. В 11:30 по Москве начнется прямая трансляция мероприятия, присоединяйтесь!

На пресс-конференции представители компании познакомят вас с возможностями нового продукта и объяснят, чем Mailion отличается от уже существующих решений. Также на мероприятии выступят ведущие аналитики и эксперты отрасли, которые расскажут о трендах рынка корпоративных почтовых систем и результатах нагрузочного тестирования.

Читать далее
Total votes 20: ↑16 and ↓4 +12
Views 1.5K
Comments 0

Ученые показали, почему большие нейросети работают лучше

Machine learning *Research and forecasts in IT Artificial Intelligence

В докладе, представленном в декабре на ведущей конференции NeurIPS, Себастьен Бубек из Microsoft Research и Марк Селлке из Стэнфордского университета показали, что нейросети должны быть намного больше, чтобы избежать некоторых проблем в их работе. 

Читать далее
Total votes 13: ↑10 and ↓3 +7
Views 9.4K
Comments 10

Automattic выбирает HP и AMD для WordPress.com

Lumber room
Barry Abrahamson, работающий на компанию Automattic, раскрывает некоторые технические подробности о новом дата-центре, расположенном в Чикаго. Это один из трех дата-центров, обеспечивающих работоспособность WordPress.com.
Железо, которое в нем установлено:
  • 150 серверов HP DL165 с двумя четырехъядерными AMD 2354 и 2-4 ГБ оперативной памяти
  • 50 серверов HP DL365 с двумя двухъядерными AMD 2218 и 4-16 ГБ оперативной памяти
  • 5 серверов HP DL185 с двумя четырехъядерными AMD 2354 и 4 ГБ оперативной памяти

В сумме это 1440 ядер и что-то между 520 ГБ и 1.4 ТБ оперативной памяти.
Total votes 4: ↑4 and ↓0 +4
Views 221
Comments 2

FathomDB — новый стартап от Y Combinator.

Lumber room
Сегодня стартовал закрытый бета-тест. В данный момент известно достаточно мало подробностей о данном стартапе (например, неизвестно кто за ним стоит), но задумка смотрится весьма интересно. FathomDB предлагает нам «реляционные БД как сервис».
Если по сути, то в данный момент это MySQL на EC2 с различными «плюшками». Следовательно, можно без особых проблем начать использование данного сервиса, или наоборот — прекратить.

Из «плюшек» нам предлагают автоматические бэкапы и мониторинг, а также всякие полезности для анализа производительности (в данный момент, судя по всему, не сильно продвинутые — круговые диаграммы и просмотр самых медленных запросов). На их сайте доступен скринкаст, а также предложение оставить е-мэйл (после чего вам пообещают написать, когда создадут ваш аккаунт).
В дальнейшем, по заявлению разработчиков, планируется поддержка других БД и хостингов.

Что интересно — WebMynd, тоже YC-стартап (очередное гетто? ;), начали использовать FathomDB ещё в прошлом году и неплохо его пиарят :)

В принципе — отличная идея с движением в правильном направлении (хотя это, естественно, не мэйнстримовый продукт).
И, если не ошибаюсь, отказоустойчивые БД на EC2 предлагает как минимум ещё один, более крупный игрок — RightScale.
Total votes 9: ↑7 and ↓2 +5
Views 225
Comments 9

7 стадий развития веб-приложений

Lumber room
Translation
это отредактированный перевод со слайдов презентации тов. John Engates
формат: номер слайда, краткое содержание и (мои редкие каменты)
  1. Этапы становления веб-ресурсов
    автор: John Engates
  2. Регламент:
    • Что мы ждём от веб-приложений
    • Как это бывает
    • Неплохие примеры
    • Вопросы и ответы
Читать дальше →
Total votes 8: ↑6 and ↓2 +4
Views 843
Comments 8

ИТ управление — масштабируемый подход

System administration *
Долго являлся пассивным читателем Хабра, но вот собрался с духом и решил поделиться своим опытом. Надеюсь, мои идеи придут на пользу в повседневной практике админов.

Пару месяцев назад я проводил на работе анализ ИТ инфраструктуры, в ходе которого нужно было установить наиболее слабые места и дать рекомендации к улучшению. Уверен, ситуация с которой я столкнулся известна многим. За несколько лет, компания существенно изменилась и заметно подросла, однако некоторые элементы в используемой ИТ инфраструктуре так и остались неизменными за прошедшие 10 с небольшим лет. В результате, регулярно придумывались различные заплатки и изощрения дабы собрать все воедино, что, очевидно, не добавляло стабильности и эффективности общей системе. Итогом являлся пересмотр общей инфраструктуры и требований бизнес-процессов с целью выбрать новое единое решение. Другими словами – революция, не эволюция.

Читать дальше →
Total votes 43: ↑36 and ↓7 +29
Views 14K
Comments 46

Google App Engine – масштабируемые приложения

Google App Engine *
Google App Engine позволяет легко создавать приложения, надежно работающие даже при большой нагрузке и с большими объемами данных. Но ещё проще создать программного монстра, который будет работать очень медленно или вовсе не работать, постоянно возвращая ошибку HTTP 500.

Как писать быстрые и хорошо масштабируемые приложения – об этом пойдет речь в этой статье.

Все ниже изложенное прежде всего касается приложений, написанных на Java, но большей частью должно быть справедливо и для приложений написанных на языке Python.
Читать дальше →
Total votes 84: ↑69 and ↓15 +54
Views 3.1K
Comments 26

Результаты тестирования масштабируемости облачных сервисов

High performance *
Сайт High Scalability провел тестирование облачных сервисов хранения данных на масштабируемость в зависимости от нагрузки. В качестве тестирования применили распространенный тест TPC-W. Для тестирования нагрузку постепенно увеличивали от 1 пользователя до 9000 одновременно работающих пользователей. В тестировании принимали участие следующие сервисы: полноценная реляционная СУБД SQL Azure, Amazon S3, Amazon RDS, Amazon SimpleDB, Google AppEngine.

Результаты тестирования:

image

Очевидно, что SQL Azure, представляя собой полноценную реляционную БД, показывает отличные результаты. По возможностям+масштабируемости — это однозначно лидер тестирования. Сервис от Google оказался аутсайдером проведенного тестирования.

Первоисточник: highscalability.com/blog/2010/5/26/end-to-end-performance-study-of-cloud-services.html
Total votes 88: ↑52 and ↓36 +16
Views 1.4K
Comments 43

Согласованные в конечном счете (Eventually Consistent)

High performance *Distributed systems *
Translation
В последнее время на хабре чаще стали встречаться обсуждения масштабируемых систем и NoSQL решений. Эта статья, написанная техническим директором Amazon — одна из лучших вводных, на мой взгляд, показывающая, какие проблемы возникают при построении масштабируемых систем, что нужно учесть при выборе инструментария, что имеют ввиду авторы кассандры, говоря про обеспечение AP в кассандре и CP в HBase и многое другое.
Читать дальше →
Total votes 45: ↑43 and ↓2 +41
Views 29K
Comments 11

6 способов убить Ваши сервера — познаем масштабируемость трудным путем

Server optimization *
Translation
Узнать, как отмасштабировать Ваше приложение, не имея при этом никакого опыта, — это очень нелегко. Сейчас есть много сайтов, посвященных этим вопросам, но, к сожалению, не существует решения, которое подходит для всех случаев. Вам по-прежнему необходимо самому находить решения, которые подойдут под Ваши требования. Так же, как и мне.

Несколько лет назад ко мне пришел мой босс и сказал: «У нас есть новый проект для тебя. Это перенос сайта, который уже имеет 1 миллион посетителей в месяц. Тебенеобходимо его перенести и убедиться, что посещаемость может вырасти в будущем без всяких проблем.» Я уже был опытным программистом, но не имел никакого опыта в области масштабируемости. И мне пришлось познавать масштабируемость трудным путем.
Читать дальше →
Total votes 158: ↑148 and ↓10 +138
Views 16K
Comments 73

Поиск и решение проблем масштабируемости на примере многоядерных процессоров Intel Core 2 (часть 1)

High performance *
Translation
Адаптация программного обеспечения для эффективного использования всех доступных процессоров наиболее критична в свете намечающегося многоядерного будущего современной вычислительной техники. Кроме всех прочих препятствий, которые могут быть встречены на этом пути, существуют проблемы, связанные с совместным использованием конечной пропускной способности существующих платформ и процессоров. Правильное использование событий производительности процессора Intel Core2 позволит определить точную причину, останавливающую приложение на пути к полноценному использованию всех доступных в системе ядер.
Читать дальше →
Total votes 61: ↑49 and ↓12 +37
Views 2.8K
Comments 16

Анализ использования циклов процессоров Intel Core 2

High performance *
Translation
При анализе производительности приложений с целью ее повышения, наиболее мощной из доступных является методика детального анализа циклов центрального процессора. Традиционный анализ завершения инструкций вряд ли поможет, когда мы говорим об архитектуре, применяющей переупорядочивание инструкций (Out of Order, OOO), чья основная задача и состоит в том, что бы продолжать исполнять инструкции, пока их завершение невозможно.
Читать дальше →
Total votes 25: ↑19 and ↓6 +13
Views 1.2K
Comments 17

Проблемы с производительностью Git на большом репозитории

Git *
Джошуа Редстоун (Joshua Redstone) пожаловался в листе рассылки Git на некоторые проблемы с производительностью, которые возникли у Facebook на большом репозитории. Они создали синтетический репозиторий и провели тесты.

Тестовый репозиторий
4 млн коммитов, линейная история и около 1,3 млн файлов. Размер папки .git — около 15 ГБ, её упаковали командой repack:

git repack -a -d -f --max-pack-size=10g --depth=100 --window=250

Процесс занял около двух суток на хорошей машине (много памяти, SSD). Размер индексного файла составил 191 МБ.
Читать дальше →
Total votes 62: ↑50 and ↓12 +38
Views 14K
Comments 64

Ресурсы без головной боли

IBM corporate blog
image
*IBM отмечает одни из самых важных проблем IT-инфраструктур современности

Несколько дней назад компания IBM анонсировала начало «новой, упрощенной эры вычислений», связанное с серьезным шагом в работе компании — выпуске PureSystems, решения, которое в самом голубом гиганте называют «экспертной интегрированной системой», созданной для физических и виртуальных элементов корпоративной IT-структуры.

В пресс-релизе, посвященном PureSystems, компания пишет: «Новое семейство систем IBM предлагает альтернативу стандартной вычислительной модели, когда многочисленные и порой избыточные вычислительные мощности поглощают все ресурсы компании, нуждаясь в развертывании, настройке и постоянной поддержке».

Компания даже специально провела исследование на американском и глобальном рынке совместно с Forrester, и выяснила, что около двух третей корпоративных проектов, связанных с использованием многочисленных вычислительных ресурсов, требуют больше времени и средств, чем изначально планируется. Инвестируя огромные средства в IT-инфраструктуру, которая после этого может «съедать» до 70% надбавки к бюджету даже находясь в состоянии простоя, даже у очень успешных компаний может не остаться денег на финансирование новых разработок.
Читать дальше →
Total votes 15: ↑11 and ↓4 +7
Views 6.6K
Comments 1