Как стать автором
Обновить

Вебинар «Интернет-магазин в облаке: с 0 до Aliexpress» 22 сентября от Mail.ru Group

Время на прочтение 2 мин
Количество просмотров 904
Блог компании VK Виртуализация *Администрирование баз данных *Хранение данных *


Время летит незаметно: приближаются дни распродаж перед новогодними праздниками. И хорошо бы, чтобы под нагрузкой в эти дни сайты и приложения магазинов работали как часы. Без висяков, таймаутов и ушедших навсегда так-и-не-покупателей.

Для этого гибкостью и производительностью интернет-магазина необходимо заняться не накануне, и даже не за месяц, а ещё раньше. Лучше прямо 22 сентября.

22 сентября мы приглашаем вас принять участие в вебинаре, на котором расскажем, как организовать хостинг в облаке, обеспечив максимальную надежность и производительность вашего сервиса.
Подробнее о вебинаре
Всего голосов 11: ↑11 и ↓0 +11
Комментарии 0

Intel научилась контролировать «горячие» кубиты, чтобы повысить эффективность квантовых компьютеров

Время на прочтение 2 мин
Количество просмотров 3.1K
Суперкомпьютеры Квантовые технологии
imageФото: heather/Flickr

Инженеры Intel совместно с компанией QuTech научились контролировать так называемые «горячие» кубиты. Их температура чуть больше –272,15ºC, что на один градус теплее температуры обычных кубитов.
Читать дальше →
Всего голосов 9: ↑9 и ↓0 +9
Комментарии 1

Вебинар «Интернет-магазин в облаке: c 0 до Aliexpress. Часть 2» 30 октября от Mail.ru Group

Время на прочтение 2 мин
Количество просмотров 819
Блог компании VK Виртуализация *Администрирование баз данных *Хранение данных *Kubernetes *


Сезонные всплески спроса, хорошая статья на хабре, «черная пятница» — интернет-магазину всегда нужно быть начеку, чтобы лавинообразная нагрузка не застала врасплох и поток заказов был быстро обработан. В первой части вебинара мы рассказали, как быстро запустить свой интернет-магазин «из коробки» или развернуть его на базе инфраструктурных сервисов (IaaS).

30 октября приглашаем вас принять участие в вебинаре «Интернет-магазин в облаке: с 0 до Aliexpress. Часть 2», где мы покажем, как с помощью платформенных сервисов (Kubernetes как сервис, управляемых баз данных, сервиса по работе с большими данными) обеспечить отказоустойчивость и масштабируемость, снизить нагрузку на основные OLTP базы данных ваших приложений, реализовать процесс change data capture, построить ETL/ELT пайплайны, а также реализовать платформу для работы ваших аналитиков. Присоединяйтесь!
Подробнее о вебинаре
Всего голосов 7: ↑6 и ↓1 +5
Комментарии 3

Презентация Mailion — корпоративной почты нового поколения. Прямая трансляция от МойОфис

Время на прочтение 2 мин
Количество просмотров 1.7K
Блог компании МойОфис Развитие стартапа Софт Презентации

Привет, Хабр! Сегодня, 30 ноября, состоится пресс-конференция МойОфис, в рамках которой мы представим Mailion — корпоративную почту нового поколения для крупных компаний и госучреждений. В 11:30 по Москве начнется прямая трансляция мероприятия, присоединяйтесь!

На пресс-конференции представители компании познакомят вас с возможностями нового продукта и объяснят, чем Mailion отличается от уже существующих решений. Также на мероприятии выступят ведущие аналитики и эксперты отрасли, которые расскажут о трендах рынка корпоративных почтовых систем и результатах нагрузочного тестирования.

Читать далее
Всего голосов 20: ↑16 и ↓4 +12
Комментарии 0

Ученые показали, почему большие нейросети работают лучше

Время на прочтение 2 мин
Количество просмотров 9.7K
Машинное обучение *Исследования и прогнозы в IT *Искусственный интеллект

В докладе, представленном в декабре на ведущей конференции NeurIPS, Себастьен Бубек из Microsoft Research и Марк Селлке из Стэнфордского университета показали, что нейросети должны быть намного больше, чтобы избежать некоторых проблем в их работе. 

Читать далее
Всего голосов 13: ↑10 и ↓3 +7
Комментарии 10

В рамках проекта DBOS выпустили распределённую ОС, которая работает поверх СУБД

Время на прочтение 2 мин
Количество просмотров 1.5K
Open source *Администрирование баз данных *Софт

Исследователи из Массачусетского технологического института, Висконсинского и Стэнфордского университетов, университета Карнеги-Меллона и компаний Google и VMware представили проект DBOS (DBMS-oriented Operating System). В рамках него развивают операционную систему для выполнения масштабируемых распределённых приложений. 

Читать далее
Всего голосов 7: ↑7 и ↓0 +7
Комментарии 5

Automattic выбирает HP и AMD для WordPress.com

Время на прочтение 1 мин
Количество просмотров 427
Чулан
Barry Abrahamson, работающий на компанию Automattic, раскрывает некоторые технические подробности о новом дата-центре, расположенном в Чикаго. Это один из трех дата-центров, обеспечивающих работоспособность WordPress.com.
Железо, которое в нем установлено:
  • 150 серверов HP DL165 с двумя четырехъядерными AMD 2354 и 2-4 ГБ оперативной памяти
  • 50 серверов HP DL365 с двумя двухъядерными AMD 2218 и 4-16 ГБ оперативной памяти
  • 5 серверов HP DL185 с двумя четырехъядерными AMD 2354 и 4 ГБ оперативной памяти

В сумме это 1440 ядер и что-то между 520 ГБ и 1.4 ТБ оперативной памяти.
Всего голосов 4: ↑4 и ↓0 +4
Комментарии 2

FathomDB — новый стартап от Y Combinator.

Время на прочтение 1 мин
Количество просмотров 438
Чулан
Сегодня стартовал закрытый бета-тест. В данный момент известно достаточно мало подробностей о данном стартапе (например, неизвестно кто за ним стоит), но задумка смотрится весьма интересно. FathomDB предлагает нам «реляционные БД как сервис».
Если по сути, то в данный момент это MySQL на EC2 с различными «плюшками». Следовательно, можно без особых проблем начать использование данного сервиса, или наоборот — прекратить.

Из «плюшек» нам предлагают автоматические бэкапы и мониторинг, а также всякие полезности для анализа производительности (в данный момент, судя по всему, не сильно продвинутые — круговые диаграммы и просмотр самых медленных запросов). На их сайте доступен скринкаст, а также предложение оставить е-мэйл (после чего вам пообещают написать, когда создадут ваш аккаунт).
В дальнейшем, по заявлению разработчиков, планируется поддержка других БД и хостингов.

Что интересно — WebMynd, тоже YC-стартап (очередное гетто? ;), начали использовать FathomDB ещё в прошлом году и неплохо его пиарят :)

В принципе — отличная идея с движением в правильном направлении (хотя это, естественно, не мэйнстримовый продукт).
И, если не ошибаюсь, отказоустойчивые БД на EC2 предлагает как минимум ещё один, более крупный игрок — RightScale.
Всего голосов 9: ↑7 и ↓2 +5
Комментарии 9

7 стадий развития веб-приложений

Время на прочтение 5 мин
Количество просмотров 1.6K
Чулан
Перевод
это отредактированный перевод со слайдов презентации тов. John Engates
формат: номер слайда, краткое содержание и (мои редкие каменты)
  1. Этапы становления веб-ресурсов
    автор: John Engates
  2. Регламент:
    • Что мы ждём от веб-приложений
    • Как это бывает
    • Неплохие примеры
    • Вопросы и ответы
Читать дальше →
Всего голосов 8: ↑6 и ↓2 +4
Комментарии 8

ИТ управление — масштабируемый подход

Время на прочтение 5 мин
Количество просмотров 15K
Системное администрирование *
Долго являлся пассивным читателем Хабра, но вот собрался с духом и решил поделиться своим опытом. Надеюсь, мои идеи придут на пользу в повседневной практике админов.

Пару месяцев назад я проводил на работе анализ ИТ инфраструктуры, в ходе которого нужно было установить наиболее слабые места и дать рекомендации к улучшению. Уверен, ситуация с которой я столкнулся известна многим. За несколько лет, компания существенно изменилась и заметно подросла, однако некоторые элементы в используемой ИТ инфраструктуре так и остались неизменными за прошедшие 10 с небольшим лет. В результате, регулярно придумывались различные заплатки и изощрения дабы собрать все воедино, что, очевидно, не добавляло стабильности и эффективности общей системе. Итогом являлся пересмотр общей инфраструктуры и требований бизнес-процессов с целью выбрать новое единое решение. Другими словами – революция, не эволюция.

Читать дальше →
Всего голосов 43: ↑36 и ↓7 +29
Комментарии 46

Google App Engine – масштабируемые приложения

Время на прочтение 3 мин
Количество просмотров 3.2K
Google App Engine *
Google App Engine позволяет легко создавать приложения, надежно работающие даже при большой нагрузке и с большими объемами данных. Но ещё проще создать программного монстра, который будет работать очень медленно или вовсе не работать, постоянно возвращая ошибку HTTP 500.

Как писать быстрые и хорошо масштабируемые приложения – об этом пойдет речь в этой статье.

Все ниже изложенное прежде всего касается приложений, написанных на Java, но большей частью должно быть справедливо и для приложений написанных на языке Python.
Читать дальше →
Всего голосов 84: ↑69 и ↓15 +54
Комментарии 26

Результаты тестирования масштабируемости облачных сервисов

Время на прочтение 1 мин
Количество просмотров 1.4K
Высокая производительность *
Сайт High Scalability провел тестирование облачных сервисов хранения данных на масштабируемость в зависимости от нагрузки. В качестве тестирования применили распространенный тест TPC-W. Для тестирования нагрузку постепенно увеличивали от 1 пользователя до 9000 одновременно работающих пользователей. В тестировании принимали участие следующие сервисы: полноценная реляционная СУБД SQL Azure, Amazon S3, Amazon RDS, Amazon SimpleDB, Google AppEngine.

Результаты тестирования:

image

Очевидно, что SQL Azure, представляя собой полноценную реляционную БД, показывает отличные результаты. По возможностям+масштабируемости — это однозначно лидер тестирования. Сервис от Google оказался аутсайдером проведенного тестирования.

Первоисточник: highscalability.com/blog/2010/5/26/end-to-end-performance-study-of-cloud-services.html
Всего голосов 88: ↑52 и ↓36 +16
Комментарии 43

Согласованные в конечном счете (Eventually Consistent)

Время на прочтение 12 мин
Количество просмотров 35K
Высокая производительность *Распределённые системы *
Перевод
В последнее время на хабре чаще стали встречаться обсуждения масштабируемых систем и NoSQL решений. Эта статья, написанная техническим директором Amazon — одна из лучших вводных, на мой взгляд, показывающая, какие проблемы возникают при построении масштабируемых систем, что нужно учесть при выборе инструментария, что имеют ввиду авторы кассандры, говоря про обеспечение AP в кассандре и CP в HBase и многое другое.
Читать дальше →
Всего голосов 45: ↑43 и ↓2 +41
Комментарии 11

6 способов убить Ваши сервера — познаем масштабируемость трудным путем

Время на прочтение 5 мин
Количество просмотров 17K
Серверная оптимизация *
Перевод
Узнать, как отмасштабировать Ваше приложение, не имея при этом никакого опыта, — это очень нелегко. Сейчас есть много сайтов, посвященных этим вопросам, но, к сожалению, не существует решения, которое подходит для всех случаев. Вам по-прежнему необходимо самому находить решения, которые подойдут под Ваши требования. Так же, как и мне.

Несколько лет назад ко мне пришел мой босс и сказал: «У нас есть новый проект для тебя. Это перенос сайта, который уже имеет 1 миллион посетителей в месяц. Тебенеобходимо его перенести и убедиться, что посещаемость может вырасти в будущем без всяких проблем.» Я уже был опытным программистом, но не имел никакого опыта в области масштабируемости. И мне пришлось познавать масштабируемость трудным путем.
Читать дальше →
Всего голосов 158: ↑148 и ↓10 +138
Комментарии 73

Поиск и решение проблем масштабируемости на примере многоядерных процессоров Intel Core 2 (часть 1)

Время на прочтение 7 мин
Количество просмотров 2.9K
Высокая производительность *
Перевод
Адаптация программного обеспечения для эффективного использования всех доступных процессоров наиболее критична в свете намечающегося многоядерного будущего современной вычислительной техники. Кроме всех прочих препятствий, которые могут быть встречены на этом пути, существуют проблемы, связанные с совместным использованием конечной пропускной способности существующих платформ и процессоров. Правильное использование событий производительности процессора Intel Core2 позволит определить точную причину, останавливающую приложение на пути к полноценному использованию всех доступных в системе ядер.
Читать дальше →
Всего голосов 61: ↑49 и ↓12 +37
Комментарии 16

Поиск и решение проблем масштабируемости на примере многоядерных процессоров Intel Core 2 (часть 2)

Время на прочтение 7 мин
Количество просмотров 1.4K
Высокая производительность *
Перевод
Продолжение статьи: часть 1, часть 3, часть 4
Читать дальше →
Всего голосов 64: ↑42 и ↓22 +20
Комментарии 1

Поиск и решение проблем масштабируемости на примере многоядерных процессоров Intel Core 2 (часть 3)

Время на прочтение 7 мин
Количество просмотров 1.4K
Высокая производительность *
Перевод
Продолжение статьи: часть 1, часть 2, часть 4
Читать дальше →
Всего голосов 67: ↑42 и ↓25 +17
Комментарии 0

Поиск и решение проблем масштабируемости на примере многоядерных процессоров Intel Core 2 (часть 4)

Время на прочтение 4 мин
Количество просмотров 1.3K
Высокая производительность *
Перевод
Продолжение статьи: часть 1, часть 2, часть 3
Читать дальше →
Всего голосов 57: ↑33 и ↓24 +9
Комментарии 10

Анализ использования циклов процессоров Intel Core 2

Время на прочтение 3 мин
Количество просмотров 1.3K
Высокая производительность *
Перевод
При анализе производительности приложений с целью ее повышения, наиболее мощной из доступных является методика детального анализа циклов центрального процессора. Традиционный анализ завершения инструкций вряд ли поможет, когда мы говорим об архитектуре, применяющей переупорядочивание инструкций (Out of Order, OOO), чья основная задача и состоит в том, что бы продолжать исполнять инструкции, пока их завершение невозможно.
Читать дальше →
Всего голосов 25: ↑19 и ↓6 +13
Комментарии 17

Проблемы с производительностью Git на большом репозитории

Время на прочтение 2 мин
Количество просмотров 14K
Git *
Джошуа Редстоун (Joshua Redstone) пожаловался в листе рассылки Git на некоторые проблемы с производительностью, которые возникли у Facebook на большом репозитории. Они создали синтетический репозиторий и провели тесты.

Тестовый репозиторий
4 млн коммитов, линейная история и около 1,3 млн файлов. Размер папки .git — около 15 ГБ, её упаковали командой repack:

git repack -a -d -f --max-pack-size=10g --depth=100 --window=250

Процесс занял около двух суток на хорошей машине (много памяти, SSD). Размер индексного файла составил 191 МБ.
Читать дальше →
Всего голосов 62: ↑50 и ↓12 +38
Комментарии 64