Pull to refresh

Свободный доступ к трансляции из «Терминуса», главного зала Highload++ Foundation 2022

Конференции Олега Бунина (Онтико) corporate blog High performance *IT Infrastructure *Conferences IT-companies

13 и 14 мая в Москве, в Крокус-Экспо пройдет конференция Highload++ Foundation 2022. Где вы узнаете максимальные пределы технологий и сверите свои решения с решениями IT-гигантов. Получите реальные кейсы от ТОПовых разработчиков. И вообще максимум пользы — вас ждут тенденции, аналитика и нетворкинг.

И это еще не всё. Главный зал конференции «Терминус» будет в свободной онлайн-трансляции. Вы сможете задать вопросы спикерам во время сессии или в цифровых кулуарах после доклада. А после конференции получите доступ к видеозаписям трансляции.

Читать далее
Total votes 7: ↑7 and ↓0 +7
Views 645
Comments 0

СберТех и Digital Design помогут бизнесу перейти на российское ПО

Digital Design corporate blog IT-companies

В рамках сотрудничества со СберТехом IТ-компания Digital Design предложит клиентам варианты замещения решений иностранных вендоров продуктами цифровой облачной платформы от Сбера Platform V, а также технологии платформы в рамках заказной разработки.

Читать далее
Total votes 1: ↑1 and ↓0 +1
Views 558
Comments 0

На чем работает Digg

Website development *
Главный архитектор Digg.com Джо Стамп (Joe Stump) рассказал в корпоративном блоге о том, как на данный момент устроен и работает крупнейший новостной агрегатор, находящийся на 142 месте по посещаемости в рейтинге Alexa.com.


Читать дальше →
Total votes 77: ↑75 and ↓2 +73
Views 1.1K
Comments 36

Когда нужно много, действительно много серверов

Hewlett Packard Enterprise corporate blog
HP ProLiant SL160z G6 ServerВ 1993 году на рынке впервые появились серверы HP ProLiant, разработанные на основе архитектуры x86. Семейство ProLiant пополнялось новыми линейками по мере того, как росла сфера применения таких устройств. До недавнего времени можно было выбрать: линейку ML – башенные серверы, которые вы как правило покупаете поштучно; DL – стоечные машины для серьезных задач, несколько которых вы покупаете с большим заделом на будущее; и BL – заполнив стойку десятком таких блейдов, вы всегда сможете добавить в нее еще, если запросы возросли.

Но в последние годы BL и их аналоги использовались и в том случае, когда запросы возрастают в десятки и сотни раз – в веб-поисковиках, больших СУБД и научных суперкомпьютерах. И хотя в конструкции этих серверов применяются различные технологии, обеспечивающие уменьшение энергопотребления и компактное размещение внутренних компонентов, тем не менее при эксплуатации комплексов из нескольких тысяч вычислительных узлов даже небольшая экономия мощности и сокращение габаритов на уровне одного сервера давала бы значительный экономический эффект.

Поэтому HP специально разработала линейку HP ProLiant SL6000, в которой вместо стандартного стоечного корпуса применен новый форм-фактор. Наша новая система использует двухюнитовое шасси z6000, в котором несколько серверов обслуживают общие источники питания и вентиляторы. По сравнению с обычными одноюнитовыми серверами энергопотребление сокращается на 28%, а общий вес серверной стойки – на 31%. Подобное решение используется и в шасси BladeSystem для линейки BL, но в z6000 нет общей объединительной панели, за счет чего улучшается воздушное охлаждение внутри шасси.
Читать дальше →
Total votes 36: ↑22 and ↓14 +8
Views 6.4K
Comments 16

Путешествие в мир сервисных корпоративных шин на IBM WebSphere ESB

PNN corporate blog Website development *Java *
Sandbox
imageДанной статьей хочется открыть цикл, посвященный IBM WebSphere ESB (далее — ESB) в разрезе разработки под этот продукт. И, в первую очередь, придется познакомиться поближе с технологиями такого рода.
Enterprise service bus (сервисная шина предприятия) — связующее программное обеспечение, обеспечивающее централизованный и унифицированный событийно-ориентированный обмен сообщениями между различными информационными системами на принципах сервис-ориентированной архитектуры.
Конечно же, можно и без специального ПО (возможно, что-то общее таки придется разработать) строить корпоративную систему основываясь на таком подходе, и то, что в результате получится, называть сервисной шиной. Но в продукте от IBM есть не только уже готовый аппарат для централизованного обмена сообщениями и контроля этого процесса, но и полный набор возможностей для разработки гибких сервис-ориентированных приложений специально под ESB. В итоге, можно выделить следующие возможности и преимущества IBM WebSphere ESB:
  • Порядок и единообразие архитектурных связей
  • Централизованное управление
  • Конфигурация приложений на стороне сервера
  • Реализация технологии Service Component Architecture (SCA) в духе принципов сервис-ориентированной архитектуры
  • Протоколо-независимость разрабатываемого программного кода
  • Широкие возможности конфигурирования шины и приложений
Читать дальше →
Total votes 14: ↑8 and ↓6 +2
Views 40K
Comments 2

Модели акторов 40 лет

LLC Tik-Tok Coach corporate blog Programming *Concurrent computing *
Высоконагруженные системы, построенные по модели акторов – это тренд сегодняшнего времени. Вот далеко неполный перечень статей на хабре, в которых, в той или иной степени, упоминается данная модель или одна из ее реализаций, например,1, 2, 3, 3, 4, 5, 6, 7. Есть хорошая статья в википедии, рассказывающая про акторы. К сожалению, после ее прочтения, у меня осталось много вопросов, ответы на которые я смог найти только в первоисточниках. Результаты этого обзора я и хочу представить Вашему вниманию.
Читать дальше →
Total votes 34: ↑32 and ↓2 +30
Views 20K
Comments 20

HighLoad++ — это блюдо, которое подают высоконагруженным

Конференции Олега Бунина (Онтико) corporate blog High performance *Website development *Big Data *


Пожалуй главным отличием конференции разработчиков высоконагруженных систем HighLoad++ от многих других является отсутствие скрытых целей. За нами не стоит ни одного лица или организации, которая бы навязывала правила игры или занималась хантингом на мероприятии, типа:
  • Крупной компании
  • Толстосума-спонсора
  • Государственных структур

Уже долгие годы HighLoad++ остается событием, которое одни разработчики организуют для других разработчиков.

Девять лет назад мы приняли для себя несколько строгих правил, которым стараемся неукоснительно следовать. Не будем перечислять их все — для этого еще придёт время, назовем лишь основные.
Читать дальше →
Total votes 35: ↑27 and ↓8 +19
Views 20K
Comments 10

Текстовая трансляция HighLoad++ 2016. День первый

Конференции Олега Бунина (Онтико) corporate blog High performance *Website development *MySQL *PostgreSQL *

Трансляция первого дня от 7 ноября окончена. 8 ноября в 09:45 Мск продолжение видео на странице спецпроекта и текстовой трансляции в новом посте и на странице спецпроекта.

Сегодня в этом посте весь день будет вестись текстовая трансляция конференции HighLoad++ 2016, проходящей в Сколково 7 и 8 ноября. HighLoad++ — это более 200 экспертов высочайшего класса с докладами о высоконагруженных сервисах, проблемах работы с ними и вопросах администрирования. Более 15 залов, плотный график, честный и полезный опыт спикеров — HighLoad++ умеет собирать крутые темы, задавать тон дискуссии и всё на одном дыхании.

Если вы хотите смотреть видео из главного зала и включения из мобильной студии Хабрахабра, то вам на страницу спецпроекта. Если почитать онлайн и поообщаться в кооментариях — под кат.


Читать дальше →
Total votes 31: ↑29 and ↓2 +27
Views 9.9K
Comments 11

Балансировка нагрузки и отказоустойчивость в «Одноклассниках»

High performance *Website development *
Мы продолжаем посты с расшифровками выступлений на конференции HighLoad++, которая проходила в подмосковном Сколково 7—8 ноября 2016 года.

Здравствуйте, меня зовут Никита Духовный, и я работаю ведущим системным администратором в проекте «Одноклассники».

На данный момент инфраструктура «Одноклассников» располагается более чем на 11 тысячах физических серверов. Они расположены в 3-х основных дата-центрах в Москве. Также у нас есть точки присутствия CDN. По последним данным в час пик мы отдаем нашим пользователям свыше 1 терабита трафика в секунду.

В отделе системного администрирования мы разрабатываем и развиваем системы автоматизации. Мы занимаемся многими исследовательскими задачами. Мы помогаем разработчикам запускать новые проекты.

Сегодня мы поговорим о балансировке нагрузки и отказоустойчивости на примере нашей социальной сети.
Total votes 26: ↑24 and ↓2 +22
Views 29K
Comments 20

Почему большие БД работают не как хочется, или про несбыточные мечты SQL-запросов

ЮMoney corporate blog Server optimization *Database Administration *Data storages *DevOps *

image


В команде эксплуатации подумали, что наш опыт с Microsoft SQL в нагруженной среде больше нельзя скрывать, и потому родилась эта статья. В ней я расскажу о нюансах работы с этой СУБД из практики.


Microsoft SQL Server давно нашел свое место в семействе продуктов Яндекс.Денег и успешно решает задачу сбора разрозненной информации обо всех операциях из множества отдельных сервисов. Без такой сборки воедино нельзя было бы отследить платеж, собрать статистику или решить проблему.


Все сказанное далее будет полезно администраторам крупных БД – тем, кто заботится о быстрой и точной работе аналитики Microsoft SQL Server 2012-2014.


Если информация окажется вам полезной и интересной — обязательно дайте знать в комментариях, чтобы автор не расслаблялся.

Итак, чем занимается MS SQL в Яндекс.Деньгах
Total votes 21: ↑21 and ↓0 +21
Views 24K
Comments 24

Новый курс «Проектирование высоконагруженных систем» в Технополисе

VK corporate blog Java *System Analysis and Design *

image


Технополис — образовательный проект, запущенный «Одноклассниками» (Mail.Ru) совместно с Санкт-Петербургским политехническим университетом Петра Великого. В рамках проекта студенты политеха изучают проектирование, разработку, внедрение и поддержку высоконагруженных Java-приложений. Преподаватели проекта — программисты, системные администраторы, дата-майнеры и другие специалисты из команды «Одноклассников».

Читать дальше →
Total votes 17: ↑17 and ↓0 +17
Views 6.5K
Comments 2

Как мы переписали архитектуру Яндекс.Погоды и сделали глобальный прогноз на картах

Яндекс corporate blog High performance *WebGL *Machine learning *

Привет, Хабр!


Как говорится, по традиции раз в год мы в Яндекс.Погоде выкатываем что-нибудь новенькое. Сначала это был Метеум – традиционный прогноз погоды с помощью машинного обучения, затем наукастинг – краткосрочный прогноз осадков на основе метеорологических радаров и нейронных сетей. В этом посте я расскажу вам о том, как мы сделали глобальный прогноз погоды и построили на его основе красивые погодные карты.



Сперва пару слов про продукт. Погодные карты — способ узнавать погоду, очень популярный на западе и пока что не очень популярный в России. Причиной тому является, собственно, сама погода. Из-за особенностей климата наиболее населенные регионы нашей страны не подвержены внезапным погодным катаклизмам (и это хорошо). Поэтому интерес к погоде у жителей этих регионов скорее бытовой. Так, людям в центральной России важно знать, например, какая погода будет в Москве в выходные или что в четверг в Питере будет дождь. Такую информацию проще всего узнать из таблицы, в которой будет дата, время и набор погодных параметров.

Читать дальше →
Total votes 108: ↑107 and ↓1 +106
Views 30K
Comments 92

Как прогнозировать спрос и автоматизировать закупки с помощью machine learning: кейс Ozon

Ozon Tech corporate blog High performance *Big Data *Machine learning *E-commerce management *
image
В интернет магазине Ozon есть примерно всё: холодильники, детское питание, ноутбуки за 100 тысяч и т.д. Значит, все это есть и на складах компании — и чем дольше товары там лежат, тем дороже обходятся компании. Чтобы выяснить, сколько и чего людям захочется заказать, а Ozon нужно будет закупить, мы использовали machine learning.
Читать дальше →
Total votes 42: ↑39 and ↓3 +36
Views 30K
Comments 21

Векторные представления товаров, или еще одно применение модели Word2Vec

Ozon Tech corporate blog Development for e-commerce *Machine learning *
image

Каждый день полтора миллиона людей ищут на Ozon самые разные товары, и к каждому из них сервис должен подбирать похожие (если пылесос все-таки нужен помощней) или сопутствующие (если к поющему динозавру нужны батарейки). Когда видов товаров тоже много, решить задачу помогает модель Word2Vec. Разбираемся, как она работает и как создавать векторные представления для произвольных объектов.

Читать дальше →
Total votes 35: ↑35 and ↓0 +35
Views 12K
Comments 7

Построение кластера PostgreSQL высокой доступности с использованием Patroni, etcd, HAProxy

System administration *PostgreSQL *Server Administration *
Sandbox

Так уж вышло, что на момент постановки задачи я не обладал достаточной степенью опытности, чтобы разработать и запустить это решение в одиночку. И тогда я начал гуглить.


Не знаю, в чем загвоздка, но уже в который раз я сталкиваюсь с тем, что даже если делать все пошагово как в туториале, подготовить такой же enviroment как у автора, то все равно никогда ничего не работает. Понятия не имею, в чем тут дело, но когда я столкнулся с этим в очередной раз, я решил — а напишу-ка я свой туториал, когда все получится. Тот, который точно будет работать.

Читать дальше →
Total votes 13: ↑13 and ↓0 +13
Views 31K
Comments 9

Почему может понадобиться полусинхронная репликация?

OTUS corporate blog High performance *Website development *Industrial Programming *Distributed systems *
Всем привет. На связи Владислав Родин. В настоящее время я преподаю на портале OTUS курсы, посвященные архитектуре ПО и архитектуре ПО, подверженного высокой нагрузке. В преддверии старта нового потока курса «Архитектор высоких нагрузок» я решил написать небольшой авторский материал, которым хочу поделиться с вами.




Введение


Из-за того, что на HDD может выполняться лишь порядка 400-700 операций в секунду (что несравнимо с типичными rps'ами, приходящимися на высоконагруженную систему), классическая дисковая база данных является узким горлышком архитектуры. Поэтому необходимо уделить отдельное внимание паттернам масштабирования данного хранилища.

На текущий момент имеются 2 паттерна масштабирования базы: репликация и шардирование. Шардирование позволяет масштабировать операцию записи, и, как следствие, снижать rps на запись, приходящийся на один сервер вашего кластера. Репликация позволяет делать тоже самое, но с операциями чтения. Именно этому паттерну и посвящена данная статья.
Читать дальше →
Total votes 15: ↑13 and ↓2 +11
Views 3.8K
Comments 5

Как Netflix поддерживает надежность сервиса: ограничение нагрузки на основе приоритетов

OTUS corporate blog High performance *Server Administration *
Translation

Застрять в пробке — нет ничего хуже для любого водителя в мире. Движение замедляется до скорости черепахи, зачастую из-за какой-то ерунды или вообще без причины. Мы, инженеры из Netflix, постоянно ищем способы улучшения управления трафиком — в нашем случае сетевым, — но представим на минуту, что мы управляем уличным движением. Что если бы мы знали, насколько важно проехать тому или иному водителю, и могли бы выборочно обеспечивать движение отдельных машин, вместо того, чтобы заставлять ждать всех?

Сотрудники технических подразделений Netflix стремятся сделать так, чтобы сервис Netflix работал всегда, когда он вам нужен. И все же, еще совсем недавно (буквально в прошлом году) в наших системах регулярно возникали «пробки». У нас были автоматические выключатели, но не было прогрессивного способа ограничения нагрузки. Задавшись целью улучшить опыт наших подписчиков, мы внедрили прогрессивное ограничение нагрузки на основе приоритизации запросов.

В приведенной ниже анимации демонстрируется работа интерфейса Netflix, используемого зрителями, когда серверные системы регулируют трафик с учетом приоритета. Запросы с низким приоритетом отбрасываются, но воспроизведение идет без перебоев, поэтому зрители могут наслаждаться любимым сериалом. Давайте разберемся, как мы смогли этого добиться.

Читать далее
Total votes 9: ↑8 and ↓1 +7
Views 3.1K
Comments 0

Оцените шансы хакнуть криптообменник и получите книжку с кабанчиком в подарок

ГК ЛАНИТ corporate blog High performance *Information Security *Programming *Reading room
Разрабатываете софт под высокую нагрузку? Готовитесь к техническому интервью по System Design? Считаете, что криптообменники зажрались и пора бы их уже потрясти? Интересует, что такое надежность, производительность и масштабируемость, и какие метрики нужно использовать для их оценки? Хотите разобраться, какие типы баз данных использовать и для каких задач? Что такое Map Reduce? Что такое потоки событий и при чем тут Apache Kafka?

Тогда вам стоит почитать книгу «с кабанчиком» Мартина Клеппмана и оценить, какие ваши шансы хакнуть криптообменник с помощью теста (лучший получит от меня книгу в подарок с доставкой в любое место, куда доставляет Озон). 

Итак, в 2014 году из криптообменника Poloniex были украдены 12,3% BTC. Хакер нашел уязвимость в коде, реализующем снятие денег со счета... 

Читать дальше →
Total votes 56: ↑56 and ↓0 +56
Views 7.6K
Comments 8

Приходи, общайся и слушай. Выходи из внутреннего бега

Конференции Олега Бунина (Онтико) corporate blog High performance *Conferences The future is here Interview

Как считает Евгений Россинский, СТО должен быть одновременно и стратегом в настоящем, и мечтателем, смотрящим в будущее. Стратег должен очень хорошо понимать, где находится сейчас — «чтобы что-то улучшить, надо сначала померить и найти метрику качества». А мечтатель должен любить свое дело, чтобы заряжать людей вокруг и двигать дело вперед. 

Такой же стиль у него в Программном комитете HighLoad++ — находить интересных спикеров и животрепещущие темы, чтобы показать их широкой аудитории и продвинуть в будущее. Накануне конференции мы встретились с Евгением, чтобы расспросить о докладах и спикерах HighLoad++ Весна 2021. Что было бы интересно, а что — просто обязательно надо идти и слушать, если вы разработчик высоконагруженных систем.

Читать далее
Total votes 8: ↑7 and ↓1 +6
Views 1.5K
Comments 1

Спикер без имени и финтех без вундервафли. Рассказываем о HighLoad++

Конференции Олега Бунина (Онтико) corporate blog IT Standards *Conferences The future is here Interview

Хабр — то самое место, в котором иметь смысл обсудить самые интересные тренды в HighLoad. Чему сегодня уделяют внимание  разработчики высоконагруженных систем, и какие темы могут быть им интересны в ближайшем будущем, можно увидеть в этой статье. Чего нам ждать от нынешнего года и почему стоит прийти на конференцию HighLoad++ Весна 2021 лично, мы поговорили в интервью с куратором секций Финтех и Архитектура Евгением Кузовлевым.

В программном комитете конференции он всего несколько месяцев, поэтому вы получите свежий взгляд на ведущуюся подготовку, сюрпризы и плюшки для участников, а также ответ на два главных вопроса: зачем приходить оффлайн, и чего ждать, если предполагается лишь онлайн-участие?

Читать далее
Total votes 19: ↑18 and ↓1 +17
Views 1.7K
Comments 0
1