Search
Write a publication
Pull to refresh
115
0
Влад Ефименко @Doctor_IT

Главный редактор

Send message

Объединяй коммутаторы и властвуй — сравниваем Stack и MLAG

Reading time6 min
Views36K

Привет, Хабр! Недавно мы опубликовали статью про сетевое резервирование в дата-центрах Selectel. Увидели, что текст вам понравился и написали продолжение.

По мотивам выступления Кирилла Малеванова, технического директора Selectel,
рассказываем о технологиях физического резервирования коммутаторов. Что такое Stack и MLAG, как они помогают в L2-резервировании и какую технологию выбрать.
Читать дальше →

Сетевое резервирование в дата-центрах: решаем задачку про двух велосипедистов

Reading time8 min
Views16K

Среди клиентов Selectel — социальные сети, интернет-издания, системы электронных платежей и другие компании. Их сервисы нуждаются в бесперебойной работе, которая достигается резервированием всех систем дата-центра. За время существования компании мы накопили опыт резервирования, который позволяет давать гарантии клиентам, и сейчас хотим им поделиться.

На вебинаре Selectel Network Academy эксперты компании рассказали о практиках L2- и L3-резервирования в дата-центрах Selectel. Подробнее о них — под катом.
Читать дальше →

Сети для самых маленьких. Часть одиннадцатая. MPLS L3VPN

Reading time42 min
Views298K
В прошлый раз мы не оставили камня на камне при разборе MPLS. И это, пожалуй, хорошо.

Но до сих пор только призрачно прорисовывается применение его в реальной жизни. И это плохо.

Этой статьёй начнём исправлять ситуацию. Вообще же читателя ждёт череда из трёх статей: L3VPN, L2VPN, Traffic Engineering, где мы постараемся в полной мере рассказать, для чего нужен MPLS на практике.

Итак, linkmeup — уже больше не аутсорсинг по поддержке хоть и крупной, но единственной компании, мы — провайдер. Можно даже сказать федеральный провайдер, потому что наша оптика ведёт во все концы страны. И наши многочисленные клиенты хотят уже не только высокоскоростной доступ в Интернет, они хотят VPN.
Сегодня разберёмся, что придётся сделать на нашей сети (на которой уже меж тем настроен MPLS), чтобы удовлетворить эти необузданные аппетиты.

SDSM11-L3VPN
Читать дальше →

Командное «ретро» в Майнкрафт: 10 из 10, не рекомендую

Reading time9 min
Views15K

История о том, как я, iOS-разработчик, решил провести рабочую встречу в игре, как готовился и что из этого получилось. В ней не будет заумных мыслей, полезной пользы и многозначительных выводов. Она лишь о том, что рутину можно сделать весёлой, что взрослые ведут себя как дети и что даже когда ты всё предусмотрел — ты не всё предусмотрел.

Рассказ в картинках

Как мы впервые делали инженерный «хакатон» и что из этого вышло

Reading time6 min
Views4.7K

Привет, Хабр! Не так давно, у себя в блоге мы анонсировали студенческий инженерный «хакатон» YADRO SoC Design Challenge по проектированию современных микропроцессоров на базе архитектуры RISC-V. Теперь будет логично поделиться подробным рассказом, как это было. Спойлер: первый блин не комом, а кое в чём мероприятие даже приятно удивило. Детали читайте под катом.

Приятного чтения!

Тест на доверчивость: зачем мы отправляем фишинг-сообщения сотрудникам

Reading time8 min
Views11K

Сотрудник компании, который не соблюдает или не знает правил информационной безопасности, — потенциальное слабое звено для злоумышленников. По данным «Ростелеком-Солар», 75% кибератак начинаются с фишинга.

Мы в Selectel нашли способ повышения грамотности сотрудников в сфере ИБ в виде боевых учений. Делимся профилактическими кейсами, где мстительный Георгий собирает данные о сотрудниках, притворяясь LAZZON, а финансовый директор рассылает письма с ложного домена.

Дисклеймер: используемые названия предприятий LAZZON и «Пенькофф» вымышлены, любые совпадения с реальными компаниями случайны.

Читать дальше →

Anonymous покушаются на бургеры. DDoS-2022: ждать ли новые серии атак

Reading time7 min
Views5.4K

Со второй половины февраля 2022 года в рунете начались волнения. Причиной послужили серии кибератак, из-за которых пострадали государственные организации, банки, интернет-ресурсы СМИ, сервисы дистанционного образования и другие компании.

На Хабре и других порталах опубликованы десятки новостей о DDoS-атаках за февраль, март и апрель. Показатели DDoS-атак рекордные и заслуживают внимания. 

В этой статье мы постарались прояснить ситуацию с помощью данных систем безопасности Selectel, провайдеров security-сервисов и СМИ. За цифрами приглашаем под кат.

Читать дальше →

Реставрация 100-летнего фильма с помощью ИИ

Reading time5 min
Views27K

Генеральный директор проекта neuro.love Денис Ширяев поделился удачными практиками и алгоритмами для восстановления и улучшения качества старых фильмов. Для самостоятельных экспериментов требуются базовые знания Abode Premiere или After Effects, но результат того стоит. Подробности — под катом.

Читать далее

Где работать в ИТ в 2022: Selectel

Reading time20 min
Views22K

Наша рубрика «Где работать в ИТ» — это интервью с интересными айти-компаниями, в которых они делятся подробностями о процессах своей работы. Представители индустрии отвечают на вопросы о найме, условиях, командах и технологиях. 

В этом выпуске мы расскажем вам о компании Selectel — провайдере облачной инфраструктуры и услуг дата-центров. 

Читать далее

Объясняем на пальцах принцип действия оптимизаторов для нейронных сетей: основные алгоритмы, и зачем они нужны

Reading time10 min
Views28K

Оптимизаторы — важный компонент архитектуры нейронных сетей. Они играют важную роль в процессе тренировки нейронных сетей, помогая им делать всё более точные прогнозы. Специально к старту нового потока расширенного курса по машинному и глубокому обучению, делимся с вами простым описанием основных методик, используемых оптимизаторами градиентного спуска, такими как SGD, Momentum, RMSProp, Adam и др. 

Читать далее

Объемные планеты в 2D через шейдер

Reading time7 min
Views58K
А помните, как вы просили меня про шейдеры написать? Помните? Нет? А вот я помню и даже написал. Милости просим, поговорим о прекрасном.

Сегодня я поведу речь о том, как я делал объемные вращающиеся планеты для нашей игры blast-off. Тоесть они, конечно, совершенно плоские, всего пара треугольников, но выглядят как объемные.



Заинтересовало? Прошу под кат. Картинок прилично.
Читать дальше →

Скорость звука: каков ее предел?

Reading time10 min
Views25K


Одна из основных задач какой-либо точной науки заключается в измерении и объяснении тех или иных процессов, а также их участников. За многие годы исследований, расчетов и споров научное сообщество пришло к пониманию того, что существуют определенные ограничения в некоторых явлениях. К примеру, скорость света в вакууме равна 299 792 458 м/с. Согласно специальной теории относительности, ничто не может двигаться быстрее. Другими словами, мы имеем верхний скоростной лимит для света. Однако такой лимит для скорости звука пока не был установлен. Ученые из Лондонского университета королевы Марии (Англия, Великобритания) провели расчеты, результатом которых стало открытие верхнего предела скорости звука. Что стало основой расчетов, каковы их результаты, и в каких областях можно применить новообретенные знания? Ответы на эти вопросы мы найдем в докладе ученых. Поехали.
Читать дальше →

Основы линейной регрессии

Reading time13 min
Views209K
Здравствуй, Хабр!

Цель этой статьи — рассказать о линейной регрессии, а именно собрать и показать формулировки и интерпретации задачи регрессии с точки зрения математического анализа, статистики, линейной алгебры и теории вероятностей. Хотя в учебниках эта тема изложена строго и исчерпывающе, ещё одна научно-популярная статья не помешает.

! Осторожно, трафик! В статье присутствует заметное число изображений для иллюстраций, часть в формате gif.
Читать дальше →

Основы фотографии: выдержка, диафрагма, ГРИП, светочувствительность

Reading time6 min
Views412K

Введение


Часто люди приобретают цифровые зеркальные камеры в погоне за качеством снимков, но при этом не имеют представления о технических моментах съемки. В основном это касается тех, кто до зеркалки держал в руках исключительно компактные фотоаппараты и пользовался автоматическими режимами (которые, к слову, весьма продвинутые в современных камерах).

В результате у кого-то возникает разочарование в камере и фотографии в целом, а другие проявляют терпение и пытаются освоить премудрости фотографии, чтобы раскрыть весь потенциал камеры с полноценным (или почти полноценным) сенсором.

Изначально я планировал написать одну статью, но по ходу дела понял, что объем получается слишком большой и решил разбить ее на несколько частей. В этой главе рассмотрю такие понятия как выдержка, диафрагма, ГРИП и светочувствительность, как эти параметры влияют на результат съемки. На очереди статья про типы и параметры объективов, работу со вспышками и советы по съемке в различных условиях.
Читать дальше →

Воссоздаем Minecraft-подобную генерацию мира на Python

Reading time11 min
Views29K

Minecraft, самая продаваемая игра в мире, наиболее известная своими пикселизированными блоками и бесконечными мирами, содержит потрясающий процедурный генератор ландшафта — с пещерами, водоёмами, и даже различными биомами.

Процедурная генерация является важной частью компьютерной графики — она используется в основном в играх и в фильмах. Она помогает создавать случайные структуры, не вызывающие ощущения «машинного» стиля.

Также процедурная генерация играет важную роль в машинном обучении. Она позволяет генерировать такие данные, которые сложно собрать. Обучение моделей машинного обучения требует огромных датасетов, которые может быть затруднительно собирать и подготавливать. Генерацию данных процедурным образом можно легко адаптировать к требуемому типу данных.

В детстве мне нравилось играть в Minecraft, и мне всегда было интересно, как эта игра генерирует бесконечные миры. В данной я статье я попытаюсь воссоздать это на Python.

Прим. переводчика. Осторожно, в статье много иллюстраций (в том числе анимированных)

Читать далее

Шпаргалка по сортировке для Data Science

Reading time11 min
Views26K
image

Сортировка данных является основной задачей для ученых и инженеров по обработке данных. Пользователи Python могут выбирать наиболее удобную из ряда библиотек со встроенными, оптимизированными опциями сортировки. Некоторые даже работают параллельно с GPU. На удивление, некоторые методы сортировки не используют указанные типы алгоритмов, а другие работают совсем не так, как ожидалось.

Выбор библиотеки и типа алгоритма сортировки не всегда прост, а нововведения меняются в быстром темпе. На данный момент документация Pandas не соответствует коду (хотя лично мое PR-обновление сортировочных опций было самым последним).

В этой статье я разъясню вам, что к чему, дам пару советов, которые помогут с разобраться с методами, и поделюсь результатами теста скорости.

UPD 17 июля 2019: В результаты оценки теста скорости теперь входят реализации GPU PyTorch и TensorFlow. TensorFlow также включает в себя результаты CPU как при tensorflow==2.0.0-beta1, так и при tensorflow-gpu==2.0.0-beta1. Интересные наблюдения: графический процессор PyTorch буквально летает, а GPU TensorFlow оказался медленнее CPU TensorFlow.

Контекст


Базовых алгоритмов сортировки существует множество. Одни из них имеют высокую производительность и занимают меньше места, другие хорошо работают с большим числом данных. Для некоторых алгоритмов важно взаимное расположение элементов данных. На диаграмме в начале статьи можно увидеть ситуацию по времени и объему для самых распространенных алгоритмов.
Читать дальше →

Сэмплирование и точность вычислений

Reading time6 min
Views17K

Ряд моих коллег сталкиваются с проблемой, что для расчета какой-то метрики, например, коэффициента конверсии, приходится кверить всю базу данных. Или нужно провести детальное исследование по каждому клиенту, где клиентов миллионы. Такого рода квери могут работать довольно долго, даже в специально сделанных для этого хранилищах. Не очень-то прикольно ждать по 5-15-40 минут, пока считается простая метрика, чтобы выяснить, что тебе нужно посчитать что-то другое или добавить что-то еще.


Одним из решений этой проблемы является сэмплирование: мы не пытаемся вычислить нашу метрику на всем массиве данных, а берем подмножество, которое репрезентативно представляет нам нужные метрики. Это сэмпл может быть в 1000 раз меньше нашего массива данных, но при этом достаточно хорошо показывать нужные нам цифры.


В этой статье я решил продемонстрировать, как размеры выборки сэмплирования влияют на ошибку конечной метрики.

Читать дальше →

Методы имитационного моделирования вероятностных распределений на языке программирования Python

Reading time5 min
Views23K
В данной статье рассмотрим методы имитационного моделирования на основе теории систем массового обслуживания, в которых широко используются элементы математической статистики и теории вероятностей. Целью данной статьи является разработка методов, которые можно использовать для создания моделей, в основе которых фигурируют вероятностные распределения и элементы массового обслуживая.

Прежде, чем приступить к разработке методов, определим ключевые подходы, которые мы будем использовать в процессе: генерация случайных величин, вероятностные распределения, а также некоторые элементы теории вероятностей и математической статистики. В результатах опытов увидим экспериментальную демонстрацию поведения вероятностных распределений и имитации случайных процессов. Всё это и даст нам инструментальную основу для создания различных имитационных моделей, в которых фигурируют вероятностные распределения.

Все методы моделирования данного исследования представлены на программном языке Python. Этот язык является распространённым инструментов в сфере научных исследований и сфере обучения.

В дальнейших этапах исследования, которые будут представлены в будущих статьях, перейдём к более сложным экспериментам: рассмотрим вероятностные распределения, которые не вошли рамки данной статьи, рассмотрим имитационное моделирования систем и сетей массового обслуживания, и также продемонстрируем программирование подобных моделей с использованием параллельных вычислений.
Читать дальше →

Зачем нужен алгоритм Хо-Кашьяпа?

Reading time4 min
Views19K
Недавно на Хабре появилась публикация про алгоритм Хо-Кашьяпа (Ho-Kashyap procedure, он же — алгоритм НСКО, наименьшей среднеквадратичной ошибки). Мне она показалась не очень понятной и я решил разобраться в теме сам. Выяснилось, что в русскоязычном интернете тема не очень хорошо разобрана, поэтому я решил оформить статью по итогам поисков.

Несмотря на бум нейросетей в машинном обучении, алгоритмы линейной классификации остаются гораздо более простыми в использовании и интерпретации. Но при этом иногда вовсе не хочется пользоваться сколько-нибудь продвинутыми методами, вроде метода опорных векторов или логистической регрессии и возникает искушение загнать все данные в одну большую линейную МНК-регрессию, тем более её прекрасно умеет строить даже MS Excel.

Проблема такого подхода в том, что даже если входные данные линейно разделимы, то получившийся классификатор может их не разделять. Например, для набора точек X = [(6, 9), (5, 7), (5, 9), (10, 1)], y = [1, 1, -1, -1] получим разделяющую прямую (0.15x_1 - 0.43x_2 + 3.21) = 0 (пример позаимствован из (1)):

Latex


Встаёт вопрос — можно ли как-то избавиться от этой особенности поведения?
Под катом немного теории и код на python

Алгоритм НСКО (алгоритм Хо-Кашьяпа)

Reading time1 min
Views12K
Зачастую, во время работы с нейронными сетями, перед нами встает задача в построении линейных решающих функций (ЛРФ) для разделения классов, содержащих наши образы.


Рисунок 1. двумерный случай

Один из методов, позволяющих решить нашу проблему, это алгоритм наименьшей среднеквадратичной ошибки (НСКО алгоритм).

Интерес данный алгоритм представляет не только в том, что он помогает построить необходимые нам ЛРФ, а в том, что при возникновении ситуации, когда классы линейно неразделимы, мы можем построить ЛРФ, где ошибка неправильной классификации стремится к минимуму.
Читать дальше →

Information

Rating
9,538-th
Location
Санкт-Петербург, Санкт-Петербург и область, Россия
Works in
Date of birth
Registered
Activity