Как стать автором
Обновить

Свободный доступ к трансляции из «Терминуса», главного зала Highload++ Foundation 2022

Время на прочтение 1 мин
Количество просмотров 663
Блог компании Конференции Олега Бунина (Онтико) Высокая производительность *IT-инфраструктура *Конференции IT-компании

13 и 14 мая в Москве, в Крокус-Экспо пройдет конференция Highload++ Foundation 2022. Где вы узнаете максимальные пределы технологий и сверите свои решения с решениями IT-гигантов. Получите реальные кейсы от ТОПовых разработчиков. И вообще максимум пользы — вас ждут тенденции, аналитика и нетворкинг.

И это еще не всё. Главный зал конференции «Терминус» будет в свободной онлайн-трансляции. Вы сможете задать вопросы спикерам во время сессии или в цифровых кулуарах после доклада. А после конференции получите доступ к видеозаписям трансляции.

Читать далее
Всего голосов 7: ↑7 и ↓0 +7
Комментарии 0

СберТех и Digital Design помогут бизнесу перейти на российское ПО

Время на прочтение 2 мин
Количество просмотров 562
Блог компании Digital Design IT-компании

В рамках сотрудничества со СберТехом IТ-компания Digital Design предложит клиентам варианты замещения решений иностранных вендоров продуктами цифровой облачной платформы от Сбера Platform V, а также технологии платформы в рамках заказной разработки.

Читать далее
Всего голосов 1: ↑1 и ↓0 +1
Комментарии 0

ИТМО и Яндекс открыли онлайн-магистратуру для разработчиков

Время на прочтение 2 мин
Количество просмотров 1K
Блог компании ИТМО Программирование *Учебный процесс в IT

ИТМО и Яндекс открывают набор на магистерскую программу, посвящённую разработке высоконагруженных систем. Обучение проходит полностью онлайн.

Магистратура подготовит мидл-разработчиков, фулстек-девелоперов и тимлидов, которые смогут проектировать и реализовывать сложные программные системы. С первого семестра магистратура погрузит в программную инженерию и даст опыт разработки. Лучшие студенты получат стипендии и возможность попасть на работу в Яндекс. 

Программа подойдёт начинающим разработчикам и выпускникам профильных вузов. Большую часть времени магистранты под руководством экспертов Яндекса будут заниматься учебными проектами и разбирать реальные IT-продукты. Для студентов с опытом работы предусмотрен ускоренный трек - в таком случае они смогут пройти магистратуру всего за один год 

Студенты с опытом работы смогут окончить магистратуру за год, засчитав дисциплины, прослушанные в бакалавриате или на онлайн-платформах.

Среди модулей магистратуры «Программное обеспечение высоконагруженных систем» — алгоритмы и структуры данных, компьютерные сети, базы данных, современное промышленное программирование на Python, Java, C++ и Golang. Проанализировав 12 млн вакансий для разработчиков в 2022 году, эксперты назвали эти языки программирования самыми востребованными в мире. 

Читать далее
Всего голосов 4: ↑3 и ↓1 +2
Комментарии 0

На чем работает Digg

Время на прочтение 2 мин
Количество просмотров 1.1K
Разработка веб-сайтов *
Главный архитектор Digg.com Джо Стамп (Joe Stump) рассказал в корпоративном блоге о том, как на данный момент устроен и работает крупнейший новостной агрегатор, находящийся на 142 месте по посещаемости в рейтинге Alexa.com.


Читать дальше →
Всего голосов 77: ↑75 и ↓2 +73
Комментарии 36

Когда нужно много, действительно много серверов

Время на прочтение 2 мин
Количество просмотров 6.5K
Блог компании Hewlett Packard Enterprise
HP ProLiant SL160z G6 ServerВ 1993 году на рынке впервые появились серверы HP ProLiant, разработанные на основе архитектуры x86. Семейство ProLiant пополнялось новыми линейками по мере того, как росла сфера применения таких устройств. До недавнего времени можно было выбрать: линейку ML – башенные серверы, которые вы как правило покупаете поштучно; DL – стоечные машины для серьезных задач, несколько которых вы покупаете с большим заделом на будущее; и BL – заполнив стойку десятком таких блейдов, вы всегда сможете добавить в нее еще, если запросы возросли.

Но в последние годы BL и их аналоги использовались и в том случае, когда запросы возрастают в десятки и сотни раз – в веб-поисковиках, больших СУБД и научных суперкомпьютерах. И хотя в конструкции этих серверов применяются различные технологии, обеспечивающие уменьшение энергопотребления и компактное размещение внутренних компонентов, тем не менее при эксплуатации комплексов из нескольких тысяч вычислительных узлов даже небольшая экономия мощности и сокращение габаритов на уровне одного сервера давала бы значительный экономический эффект.

Поэтому HP специально разработала линейку HP ProLiant SL6000, в которой вместо стандартного стоечного корпуса применен новый форм-фактор. Наша новая система использует двухюнитовое шасси z6000, в котором несколько серверов обслуживают общие источники питания и вентиляторы. По сравнению с обычными одноюнитовыми серверами энергопотребление сокращается на 28%, а общий вес серверной стойки – на 31%. Подобное решение используется и в шасси BladeSystem для линейки BL, но в z6000 нет общей объединительной панели, за счет чего улучшается воздушное охлаждение внутри шасси.
Читать дальше →
Всего голосов 36: ↑22 и ↓14 +8
Комментарии 16

Путешествие в мир сервисных корпоративных шин на IBM WebSphere ESB

Время на прочтение 7 мин
Количество просмотров 40K
Блог компании PNN Разработка веб-сайтов *Java *
Из песочницы
imageДанной статьей хочется открыть цикл, посвященный IBM WebSphere ESB (далее — ESB) в разрезе разработки под этот продукт. И, в первую очередь, придется познакомиться поближе с технологиями такого рода.
Enterprise service bus (сервисная шина предприятия) — связующее программное обеспечение, обеспечивающее централизованный и унифицированный событийно-ориентированный обмен сообщениями между различными информационными системами на принципах сервис-ориентированной архитектуры.
Конечно же, можно и без специального ПО (возможно, что-то общее таки придется разработать) строить корпоративную систему основываясь на таком подходе, и то, что в результате получится, называть сервисной шиной. Но в продукте от IBM есть не только уже готовый аппарат для централизованного обмена сообщениями и контроля этого процесса, но и полный набор возможностей для разработки гибких сервис-ориентированных приложений специально под ESB. В итоге, можно выделить следующие возможности и преимущества IBM WebSphere ESB:
  • Порядок и единообразие архитектурных связей
  • Централизованное управление
  • Конфигурация приложений на стороне сервера
  • Реализация технологии Service Component Architecture (SCA) в духе принципов сервис-ориентированной архитектуры
  • Протоколо-независимость разрабатываемого программного кода
  • Широкие возможности конфигурирования шины и приложений
Читать дальше →
Всего голосов 14: ↑8 и ↓6 +2
Комментарии 2

Модели акторов 40 лет

Время на прочтение 9 мин
Количество просмотров 20K
Блог компании LLC Tik-Tok Coach Программирование *Параллельное программирование *
Высоконагруженные системы, построенные по модели акторов – это тренд сегодняшнего времени. Вот далеко неполный перечень статей на хабре, в которых, в той или иной степени, упоминается данная модель или одна из ее реализаций, например,1, 2, 3, 3, 4, 5, 6, 7. Есть хорошая статья в википедии, рассказывающая про акторы. К сожалению, после ее прочтения, у меня осталось много вопросов, ответы на которые я смог найти только в первоисточниках. Результаты этого обзора я и хочу представить Вашему вниманию.
Читать дальше →
Всего голосов 34: ↑32 и ↓2 +30
Комментарии 20

HighLoad++ — это блюдо, которое подают высоконагруженным

Время на прочтение 6 мин
Количество просмотров 20K
Блог компании Конференции Олега Бунина (Онтико) Высокая производительность *Разработка веб-сайтов *Big Data *


Пожалуй главным отличием конференции разработчиков высоконагруженных систем HighLoad++ от многих других является отсутствие скрытых целей. За нами не стоит ни одного лица или организации, которая бы навязывала правила игры или занималась хантингом на мероприятии, типа:
  • Крупной компании
  • Толстосума-спонсора
  • Государственных структур

Уже долгие годы HighLoad++ остается событием, которое одни разработчики организуют для других разработчиков.

Девять лет назад мы приняли для себя несколько строгих правил, которым стараемся неукоснительно следовать. Не будем перечислять их все — для этого еще придёт время, назовем лишь основные.
Читать дальше →
Всего голосов 35: ↑27 и ↓8 +19
Комментарии 10

Текстовая трансляция HighLoad++ 2016. День первый

Время на прочтение 1 мин
Количество просмотров 9.9K
Блог компании Конференции Олега Бунина (Онтико) Высокая производительность *Разработка веб-сайтов *MySQL *PostgreSQL *

Трансляция первого дня от 7 ноября окончена. 8 ноября в 09:45 Мск продолжение видео на странице спецпроекта и текстовой трансляции в новом посте и на странице спецпроекта.

Сегодня в этом посте весь день будет вестись текстовая трансляция конференции HighLoad++ 2016, проходящей в Сколково 7 и 8 ноября. HighLoad++ — это более 200 экспертов высочайшего класса с докладами о высоконагруженных сервисах, проблемах работы с ними и вопросах администрирования. Более 15 залов, плотный график, честный и полезный опыт спикеров — HighLoad++ умеет собирать крутые темы, задавать тон дискуссии и всё на одном дыхании.

Если вы хотите смотреть видео из главного зала и включения из мобильной студии Хабрахабра, то вам на страницу спецпроекта. Если почитать онлайн и поообщаться в кооментариях — под кат.


Читать дальше →
Всего голосов 31: ↑29 и ↓2 +27
Комментарии 11

Балансировка нагрузки и отказоустойчивость в «Одноклассниках»

Время на прочтение 11 мин
Количество просмотров 29K
Высокая производительность *Разработка веб-сайтов *
Мы продолжаем посты с расшифровками выступлений на конференции HighLoad++, которая проходила в подмосковном Сколково 7—8 ноября 2016 года.

Здравствуйте, меня зовут Никита Духовный, и я работаю ведущим системным администратором в проекте «Одноклассники».

На данный момент инфраструктура «Одноклассников» располагается более чем на 11 тысячах физических серверов. Они расположены в 3-х основных дата-центрах в Москве. Также у нас есть точки присутствия CDN. По последним данным в час пик мы отдаем нашим пользователям свыше 1 терабита трафика в секунду.

В отделе системного администрирования мы разрабатываем и развиваем системы автоматизации. Мы занимаемся многими исследовательскими задачами. Мы помогаем разработчикам запускать новые проекты.

Сегодня мы поговорим о балансировке нагрузки и отказоустойчивости на примере нашей социальной сети.
Всего голосов 26: ↑24 и ↓2 +22
Комментарии 20

Почему большие БД работают не как хочется, или про несбыточные мечты SQL-запросов

Время на прочтение 11 мин
Количество просмотров 24K
Блог компании ЮMoney Серверная оптимизация *Администрирование баз данных *Хранилища данных *DevOps *

image


В команде эксплуатации подумали, что наш опыт с Microsoft SQL в нагруженной среде больше нельзя скрывать, и потому родилась эта статья. В ней я расскажу о нюансах работы с этой СУБД из практики.


Microsoft SQL Server давно нашел свое место в семействе продуктов Яндекс.Денег и успешно решает задачу сбора разрозненной информации обо всех операциях из множества отдельных сервисов. Без такой сборки воедино нельзя было бы отследить платеж, собрать статистику или решить проблему.


Все сказанное далее будет полезно администраторам крупных БД – тем, кто заботится о быстрой и точной работе аналитики Microsoft SQL Server 2012-2014.


Если информация окажется вам полезной и интересной — обязательно дайте знать в комментариях, чтобы автор не расслаблялся.

Итак, чем занимается MS SQL в Яндекс.Деньгах
Всего голосов 21: ↑21 и ↓0 +21
Комментарии 24

Новый курс «Проектирование высоконагруженных систем» в Технополисе

Время на прочтение 3 мин
Количество просмотров 6.5K
Блог компании VK Java *Анализ и проектирование систем *

image


Технополис — образовательный проект, запущенный «Одноклассниками» (Mail.Ru) совместно с Санкт-Петербургским политехническим университетом Петра Великого. В рамках проекта студенты политеха изучают проектирование, разработку, внедрение и поддержку высоконагруженных Java-приложений. Преподаватели проекта — программисты, системные администраторы, дата-майнеры и другие специалисты из команды «Одноклассников».

Читать дальше →
Всего голосов 17: ↑17 и ↓0 +17
Комментарии 2

Как мы переписали архитектуру Яндекс.Погоды и сделали глобальный прогноз на картах

Время на прочтение 10 мин
Количество просмотров 30K
Блог компании Яндекс Высокая производительность *WebGL *Машинное обучение *

Привет, Хабр!


Как говорится, по традиции раз в год мы в Яндекс.Погоде выкатываем что-нибудь новенькое. Сначала это был Метеум – традиционный прогноз погоды с помощью машинного обучения, затем наукастинг – краткосрочный прогноз осадков на основе метеорологических радаров и нейронных сетей. В этом посте я расскажу вам о том, как мы сделали глобальный прогноз погоды и построили на его основе красивые погодные карты.



Сперва пару слов про продукт. Погодные карты — способ узнавать погоду, очень популярный на западе и пока что не очень популярный в России. Причиной тому является, собственно, сама погода. Из-за особенностей климата наиболее населенные регионы нашей страны не подвержены внезапным погодным катаклизмам (и это хорошо). Поэтому интерес к погоде у жителей этих регионов скорее бытовой. Так, людям в центральной России важно знать, например, какая погода будет в Москве в выходные или что в четверг в Питере будет дождь. Такую информацию проще всего узнать из таблицы, в которой будет дата, время и набор погодных параметров.

Читать дальше →
Всего голосов 108: ↑107 и ↓1 +106
Комментарии 92

Как прогнозировать спрос и автоматизировать закупки с помощью machine learning: кейс Ozon

Время на прочтение 13 мин
Количество просмотров 30K
Блог компании Ozon Tech Высокая производительность *Big Data *Машинное обучение *Управление e-commerce *
image
В интернет магазине Ozon есть примерно всё: холодильники, детское питание, ноутбуки за 100 тысяч и т.д. Значит, все это есть и на складах компании — и чем дольше товары там лежат, тем дороже обходятся компании. Чтобы выяснить, сколько и чего людям захочется заказать, а Ozon нужно будет закупить, мы использовали machine learning.
Читать дальше →
Всего голосов 42: ↑39 и ↓3 +36
Комментарии 21

Векторные представления товаров, или еще одно применение модели Word2Vec

Время на прочтение 6 мин
Количество просмотров 12K
Блог компании Ozon Tech Разработка под e-commerce *Машинное обучение *
image

Каждый день полтора миллиона людей ищут на Ozon самые разные товары, и к каждому из них сервис должен подбирать похожие (если пылесос все-таки нужен помощней) или сопутствующие (если к поющему динозавру нужны батарейки). Когда видов товаров тоже много, решить задачу помогает модель Word2Vec. Разбираемся, как она работает и как создавать векторные представления для произвольных объектов.

Читать дальше →
Всего голосов 35: ↑35 и ↓0 +35
Комментарии 7

Построение кластера PostgreSQL высокой доступности с использованием Patroni, etcd, HAProxy

Время на прочтение 6 мин
Количество просмотров 33K
Системное администрирование *PostgreSQL *Серверное администрирование *
Из песочницы

Так уж вышло, что на момент постановки задачи я не обладал достаточной степенью опытности, чтобы разработать и запустить это решение в одиночку. И тогда я начал гуглить.


Не знаю, в чем загвоздка, но уже в который раз я сталкиваюсь с тем, что даже если делать все пошагово как в туториале, подготовить такой же enviroment как у автора, то все равно никогда ничего не работает. Понятия не имею, в чем тут дело, но когда я столкнулся с этим в очередной раз, я решил — а напишу-ка я свой туториал, когда все получится. Тот, который точно будет работать.

Читать дальше →
Всего голосов 13: ↑13 и ↓0 +13
Комментарии 9

Почему может понадобиться полусинхронная репликация?

Время на прочтение 5 мин
Количество просмотров 3.9K
Блог компании OTUS Высокая производительность *Разработка веб-сайтов *Промышленное программирование *Распределённые системы *
Всем привет. На связи Владислав Родин. В настоящее время я преподаю на портале OTUS курсы, посвященные архитектуре ПО и архитектуре ПО, подверженного высокой нагрузке. В преддверии старта нового потока курса «Архитектор высоких нагрузок» я решил написать небольшой авторский материал, которым хочу поделиться с вами.




Введение


Из-за того, что на HDD может выполняться лишь порядка 400-700 операций в секунду (что несравнимо с типичными rps'ами, приходящимися на высоконагруженную систему), классическая дисковая база данных является узким горлышком архитектуры. Поэтому необходимо уделить отдельное внимание паттернам масштабирования данного хранилища.

На текущий момент имеются 2 паттерна масштабирования базы: репликация и шардирование. Шардирование позволяет масштабировать операцию записи, и, как следствие, снижать rps на запись, приходящийся на один сервер вашего кластера. Репликация позволяет делать тоже самое, но с операциями чтения. Именно этому паттерну и посвящена данная статья.
Читать дальше →
Всего голосов 15: ↑13 и ↓2 +11
Комментарии 5

Как Netflix поддерживает надежность сервиса: ограничение нагрузки на основе приоритетов

Время на прочтение 8 мин
Количество просмотров 3.1K
Блог компании OTUS Высокая производительность *Серверное администрирование *
Перевод

Застрять в пробке — нет ничего хуже для любого водителя в мире. Движение замедляется до скорости черепахи, зачастую из-за какой-то ерунды или вообще без причины. Мы, инженеры из Netflix, постоянно ищем способы улучшения управления трафиком — в нашем случае сетевым, — но представим на минуту, что мы управляем уличным движением. Что если бы мы знали, насколько важно проехать тому или иному водителю, и могли бы выборочно обеспечивать движение отдельных машин, вместо того, чтобы заставлять ждать всех?

Сотрудники технических подразделений Netflix стремятся сделать так, чтобы сервис Netflix работал всегда, когда он вам нужен. И все же, еще совсем недавно (буквально в прошлом году) в наших системах регулярно возникали «пробки». У нас были автоматические выключатели, но не было прогрессивного способа ограничения нагрузки. Задавшись целью улучшить опыт наших подписчиков, мы внедрили прогрессивное ограничение нагрузки на основе приоритизации запросов.

В приведенной ниже анимации демонстрируется работа интерфейса Netflix, используемого зрителями, когда серверные системы регулируют трафик с учетом приоритета. Запросы с низким приоритетом отбрасываются, но воспроизведение идет без перебоев, поэтому зрители могут наслаждаться любимым сериалом. Давайте разберемся, как мы смогли этого добиться.

Читать далее
Всего голосов 9: ↑8 и ↓1 +7
Комментарии 0

Оцените шансы хакнуть криптообменник и получите книжку с кабанчиком в подарок

Время на прочтение 4 мин
Количество просмотров 7.6K
Блог компании ГК ЛАНИТ Высокая производительность *Информационная безопасность *Программирование *Читальный зал
Разрабатываете софт под высокую нагрузку? Готовитесь к техническому интервью по System Design? Считаете, что криптообменники зажрались и пора бы их уже потрясти? Интересует, что такое надежность, производительность и масштабируемость, и какие метрики нужно использовать для их оценки? Хотите разобраться, какие типы баз данных использовать и для каких задач? Что такое Map Reduce? Что такое потоки событий и при чем тут Apache Kafka?

Тогда вам стоит почитать книгу «с кабанчиком» Мартина Клеппмана и оценить, какие ваши шансы хакнуть криптообменник с помощью теста (лучший получит от меня книгу в подарок с доставкой в любое место, куда доставляет Озон). 

Итак, в 2014 году из криптообменника Poloniex были украдены 12,3% BTC. Хакер нашел уязвимость в коде, реализующем снятие денег со счета... 

Читать дальше →
Всего голосов 56: ↑56 и ↓0 +56
Комментарии 8

Приходи, общайся и слушай. Выходи из внутреннего бега

Время на прочтение 8 мин
Количество просмотров 1.5K
Блог компании Конференции Олега Бунина (Онтико) Высокая производительность *Конференции Будущее здесь Интервью

Как считает Евгений Россинский, СТО должен быть одновременно и стратегом в настоящем, и мечтателем, смотрящим в будущее. Стратег должен очень хорошо понимать, где находится сейчас — «чтобы что-то улучшить, надо сначала померить и найти метрику качества». А мечтатель должен любить свое дело, чтобы заряжать людей вокруг и двигать дело вперед. 

Такой же стиль у него в Программном комитете HighLoad++ — находить интересных спикеров и животрепещущие темы, чтобы показать их широкой аудитории и продвинуть в будущее. Накануне конференции мы встретились с Евгением, чтобы расспросить о докладах и спикерах HighLoad++ Весна 2021. Что было бы интересно, а что — просто обязательно надо идти и слушать, если вы разработчик высоконагруженных систем.

Читать далее
Всего голосов 8: ↑7 и ↓1 +6
Комментарии 1
1