Обновить
0
Kirill Saleev@kusaleevread⁠-⁠only

Архитектор инфраструктурных решений

Отправить сообщение

Как мы внедрили свою модель хранения данных — highly Normalized hybrid Model. Доклад Яндекса

Время на прочтение27 мин
Охват и читатели54K
Общепринятый и проверенный временем подход к построению Data Warehouse (DWH) — это схема «Звезда» или «Снежинка». Такой подход каноничен, фундаментален, вотрфоллен и совсем не отвечает той гибкости, к которой призывает Agile. Чтобы сделать структуру DWH гибкой, существуют современные подходы к проектированию: Data Vault и Anchor modeling — похожие и разные одновременно. Задавшись вопросом, какую из двух методологий выбрать, мы в Яндекс Go пришли к неожиданному ответу: выбирать надо не между подходами, а лучшее из двух подходов.

Темы доклада, который вместе со мной прочитал Николай Гребенщиков:
— DV и AM: в чем разница и где точки соприкосновения
— Гибридный подход к построению хранилища
— Сильные и слабые стороны этого подхода
— Примеры кода
— Дальнейший вектор развития hNhM

— Меня зовут Евгений Ермаков, я руководитель Data Warehouse в Яндекс Go.
Читать дальше →

Техники обратной связи для тимлида: разбор с примерами

Время на прочтение7 мин
Охват и читатели54K

Кажется, что сложного - прийти к сотруднику и дать ему обратную связь. Мы же десятки раз преодолевали то, на чем стопорятся они. Можем увидеть, что человек движется не в ту сторону или закопался в задаче. Направить в нужное русло. Подкинуть вариантов, как еще расти в компании. Повысить мотивацию, наконец.

Но на практике, мы не всегда умеем. Боимся испортить отношения с теми, кто круто перформит, но не очень софтскилловый. Возможно, как-то выдали критику и она сработала не в ту сторону. Я изучил порядка 30 моделей, выбрал самые, на мой взгляд, понятные - о них и пойдет речь. 

Читать далее

Реализация архитектуры безопасности с нулевым доверием: вторая редакция

Время на прочтение10 мин
Охват и читатели16K

Источник

В начале 2020 года Национальный институт стандартов и технологий США (NIST) опубликовал черновик второй редакции документа, в котором рассматриваются основные логические компоненты архитектуры с нулевым доверием (Zero Trust Architecture, ZTA).

Нулевое доверие (Zero Trust) относится к развивающемуся набору парадигм сетевой безопасности, в основе которых лежит принцип «никому ничего не доверяй». В отличии от классических подходов, уделяющих больше внимания защите периметра, модель Zero Trust акцентируется на безопасности ресурсов, а не сегментов сети предприятия.

Сегодня изучим модель усиления кибербезопасности, построенную на принципах архитектуры с нулевым доверием, оценим риски ее использования и познакомимся с некоторыми популярными сценариями развертывания.
Читать дальше →

Полезные консольные Linux утилиты

Время на прочтение13 мин
Охват и читатели152K

В этой подборке представлены полезные малоизвестные консольные Linux утилиты. В списке не представлены Pentest утилиты, так как у них есть своя подборка.


Осторожно много скриншотов. Добавил до ката утилиту binenv.


binenv — cамая интересная утилита для установки новых популярных программ в linux, но которых нет в пакетном менеджере.

Читать дальше →

Почему работать в консоли настолько приятно? Так задумано отцами-основателями Unix

Время на прочтение8 мин
Охват и читатели59K

Кен Томпсон и Деннис Ритчи

Unix. Легендарная операционная система оказала огромное влияние на разработку программного обеспечения и всю информатику в целом. Из неё выросли целые семейства Unix-подобных ОС, которыми все мы пользуемся.

Язык программирования Си, Ричард Столлман и GNU, движение Open Source, Линус Торвальдс с ядром Linux, маки, айфоны и Android. Почти всё в системном программировании 21 века можно отследить до истоков — до Unix.

Unix — это фундаментальная база. Но что же в ней такого особенного? Есть один секрет. Точнее, два.
Читать дальше →

Использование Redis в инфраструктурных микросервисах

Время на прочтение7 мин
Охват и читатели20K
В 2019 году я писал о том, как создать хранилище событий, основанное на Redis. Я рассказывал о том, что потоки Redis хорошо подходят для организации хранения событий, так как они позволяют хранить события с использованием иммутабельного механизма, напоминающего журнал транзакций, поддерживающего только присоединение новых данных к уже имеющимся, но не изменение существующих данных. Теперь же, используя обновлённое приложение OrderShop, речь о котором шла в вышеупомянутом материале, я хочу продемонстрировать пример использования Redis для организации работы очереди событий, продолжая рассказывать о возможностях применения Redis Enterprise, выходящих за пределы кеширования.


Читать дальше →

Как мы используем Confluence для разработки требований к продукту

Время на прочтение6 мин
Охват и читатели60K


В статье описаны наши подходы к использованию Confluence в качестве инструмента для работы с требованиями к продукту. Не претендуем на универсальность, но, возможно, эти подходы будут полезны для решения ваших задач, которые не обязательно связанны с процессами разработки требований (ведение пользовательской документации, описание внутренних регламентов работы отдела, организация базы знаний и пр).
Читать дальше →

Всё о проекте «Спутниковый интернет Starlink». Часть 24. Лазерные Каналы -2

Время на прочтение4 мин
Охват и читатели11K
Предлагаю ознакомиться с ранее размещенными материалами по проекту Starlink (SL):
Часть 20. Внутреннее устройство терминала SL Часть 21. SL и проблемы поляризаци Часть 22. Проблемы электромагнитной совместимости c другими спутниками. Часть 23. Промежуточные итоги аукциона RDOF

Состоявшийся в январе 2021 года пуск миссии Transporter-1 принес весьма интересную информацию: новые более подробные фото ИСЗ Starlink и их новой модификации с оборудованием Межспутникового лазерного канала связи ака InterSatellite Link

Вид всей укладки 5 спутников в стопке

Читать дальше →

Над Млечным Путём возвышаются огромные пузыри размером с галактику

Время на прочтение4 мин
Охват и читатели20K

Десятилетия астрономы спорили о том, является ли пятно на фотографиях космоса близко расположенным объектом небольшого размера, или чем-то огромным и далёким. Новая рентгеновская карта звёздного неба поддерживает второй вариант.




На этой рентгеновской карте [кликабельно] чётко видны огромные пузыри, идущие вверх и вниз от диска Млечного Пути. Скорее всего, их породила сверхмассивная чёрная дыра в центре Галактики.

Когда Питер Предель, астрофизик из немецкого Института внеземной физики Общества Макса Планка, впервые обратил внимание на новую карту самых горячих объектов Вселенной, он сразу же распознал на ней последствия галактической катастрофы. Ярко-жёлтое облако вздымалось на десятки тысяч световых лет в одну сторону от плоского диска Млечного Пути, а его чуть более бледный двойник отражением простирался в противоположную сторону.

Структура была настолько очевидной, что её вроде бы излишне было подробно описывать в письменном виде. «Однако журнал Nature не принял бы от нас публикацию в виде одной картинки, а редактор не сказал бы что-то вроде ’Ага, вижу’, — сказал Предель. — Поэтому нам пришлось провести кое-какой анализ».
Читать дальше →

«Пространство» — научно-фантастический сериал, определяющий десятилетие

Время на прочтение6 мин
Охват и читатели91K

На днях завершился пятый (предпоследний) сезон «Пространство» — лучшего, на мой взгляд, современного фантастического сериала на телевидении. Который в свою очередь основан на великолепном одноименном книжном цикле Джеймса Кори. К финалу сезона Escapist Magazine выпустил любопытную статью об актуальности «Пространства» для современного мира. Ниже — перевод этого материала, который показался мне весьма любопытным. Предупреждаю, в тексте содержатся небольшие спойлеры из книг и сериала.

Читать далее

Почему электрон непременно должен упасть на ядро?

Время на прочтение13 мин
Охват и читатели29K

На "Постнауке" недавно вышел объемистый и красочный гид по квантовой механике. Наверное, самый замечательный момент заключается в том, что интервью брались у разноплановых специалистов, а вопросы частично пересекались, что дает возможность посмотреть на тему с разных позиций.

Как всегда, во время исторического экскурса упоминался кризис классической физики начала двадцатого века, и одним из примеров была модель атома Эрнеста Резерфорда. Планетарная модель, так легко понимаемая и принимаемая в школьные годы, оказывается содержит в себе фатальный изъян. Оценим, как долго протянет планета-электрон в атоме водорода и попробуем его спасти аппаратом теории волны-пилота, касательно которой в последнее время наблюдается взрывной рост количества публикаций.

Читать далее

10 удивительно полезных базовых функций Python

Время на прочтение7 мин
Охват и читатели41K
image

Те, кто работает с Python, знают, что этот язык хорош благодаря своей обширной экосистеме. Можно даже сказать, что язык программирования не выделялся бы ничем особенным, если бы не его замечательные пакеты, которые добавляют новые функции к основным.

В качестве примера можно привести NumPy. Инструменты работы с матрицами хороши и в базовом Python, но использование NumPy улучшает все во много раз. Кроме того, у этого языка есть несколько крутых возможностей, которые делают его еще более функциональным. Используя эти возможности, вы можете уменьшить количество зависимостей, освободить время и упростить сам процесс разработки. Давайте посмотрим, что это за возможности.
Читать дальше →

Неужели нельзя обойтись без кафок и рэббитов, когда принимаешь 10 000 ивентов в секунду

Время на прочтение7 мин
Охват и читатели31K

Однажды я вел вебинар про то, как принимать 10 000 ивентов в секунду. Показал картинку, зрители увидели сиреневый слой, и началось: «Ребят, а зачем нам все эти кафки и рэббиты, неужели без них не обойтись»? Мы и ответили: «Зачем-зачем, чтобы пройти собес!»

Очень смешно, но давайте я все-таки объясню.

 

Читать далее

Что вас на самом деле ждёт на курсе про алгоритмы в Яндекс.Практикуме

Время на прочтение10 мин
Охват и читатели27K
Первая версия нашего курса «Алгоритмы для разработчиков» вышла не самой удачной и вызывала у некоторых студентов большие вопросы. Обратную связь мы иногда получали довольно эмоциональную, но часто справедливую. Та версия курса, которая предлагается студентам сейчас, — это издание дополненное и исправленное, с учётом всей критики за последний квартал. Что самое важное, в создании курса нам активно помогают выпускники, прошедшие его первую версию и набившие шишек самостоятельно. Спасибо всем участникам коммьюнити и авторам, которые контрибьютили в эту тему.

В этом посте мы разберем наши ошибки при создании первой версии курса, поговорим о том, чему мы научились (вдруг вам тоже пригодится), а также расскажем, что из себя представляет новая версия, для кого вообще этот курс и кому не надо на него идти.



Итак, начнём с главного. Первую версию делали специалисты по алгоритмам для мидлов с уже какими-то знаниями. И это был основной фейл.
Читать дальше →

Хранение данных в Docker

Время на прочтение7 мин
Охват и читатели135K


Важная характеристика Docker-контейнеров — эфемерность. В любой момент контейнер может рестартовать: завершиться и вновь запуститься из образа. При этом все накопленные в нём данные будут потеряны. Но как в таком случае запускать в Docker приложения, которые должны сохранять информацию о своём состоянии? Для этого есть несколько инструментов.


В этой статье рассмотрим docker volumes, bind mount и tmpfs, дадим советы по их использованию, проведём небольшую практику.

Читать дальше →

Понимание LDAP-протокола, иерархии данных и компонентов записей

Время на прочтение13 мин
Охват и читатели343K

Введение


LDAP, или Lightweight Directory Access Protocol, является открытым протоколом, используемым для хранения и получения данных из каталога с иерархической структурой. Обычно используемый для хранения информации об организации, ее активах и пользователях, LDAP является гибким решением для определения любого типа сущностей и их свойств.


Big Tree

Для многих пользователей LDAP может показаться сложным для понимания, поскольку он опирается на своеобразную терминологию, имеет иногда необычные сокращения, и часто используется как компонент более крупной системы, состоящей из взаимодействующих частей. В этом тексте мы познакомим вас с некоторыми основами LDAP, чтобы у вас была хорошая основа для работы с технологией.

Читать дальше →

Основы Bash-скриптинга для непрограммистов

Время на прочтение8 мин
Охват и читатели34K

Статья рассчитана на тех, кто не имеет или имеет мало опыта работы с командной строкой Unix/Linux, но желает научиться с ней эффективно взаимодействовать и разрабатывать скрипты для выполнения своих задач. Приведенные примеры справедливы для выполнения в командной оболочке bash операционной системы Ubuntu/Debian, но могут быть использованы и в других оболочках и ОС с учетом их специфики.

Читать далее

Новый подход к просмотру логов

Время на прочтение7 мин
Охват и читатели39K

Одно время, приходилось много работать с логами. Они могли быть большими и находиться на разных серверах. Требовалось не найти что-то конкретное, а понять почему система ведёт себя не так как надо. По некоторым причинам, лог-агрегатора не было.

Хотелось иметь просмотрщик логов, позволяющий, в любой момент, открыть любой файл, без скачивания на локальную машину, как команда less в linux консоли. Но при этом, должна быть удобная подсветка текста, как в IDE, и фильтрация событий по различным параметрам. Фильтрация и поиск должны работать по событиям в логе, а не по строкам, как grep, это важно когда есть многострочные записи, например ошибки со стектрейсами. Так же должна быть возможность просматривать записи сразу из нескольких файлов на одной странице, смёржив их по таймстемпу, даже если файлы находятся на разных нодах.

Читать далее

Изучение data science c нуля: этапы и вехи

Время на прочтение9 мин
Охват и читатели92K

В соответствии с концепцией спирального подхода к обучению, о которой писал ранее, привожу поэтапный план освоения data science. План составлен так, чтобы каждый этап делал учащегося в той или иной степени лучше подготовленным к выполнению реальных задач. Такой подход вдохновлен идеологией Agile в том смысле, что сколько бы времени вы не уделили обучению и в какой бы момент не остановились - у вас будет наиболее востребованный набор знаний, из возможных к освоению за такое время.

Читать далее

10 шагов к YAML-дзену

Время на прочтение8 мин
Охват и читатели88K
Мы все любим Ansible, но Ansible – это YAML. Для конфигурационных файлов существует масса форматов: списки значений, пары «параметр-значение», INI-файлы, YAML, JSON, XML и множество других. Однако по нескольким причинам из всех них YAML часто считается особенно трудным. В частности, несмотря на его освежающий минимализм и впечатляющие возможности для работы с иерархическими значениями, синтаксис YAML может раздражать своим Python-образными подходом к отступам.



Если вас бесит YAML, вы можете – и должны! – предпринять 10 следующих шагов, чтобы снизить свое раздражение до приемлемого уровня и полюбить YAML. Как и положено настоящему списку, наша десятка советов будет нумероваться с нуля, медитацию и духовные практики добавляем по желанию ;-)
Читать дальше: 10 шагов к YAML-дзену

Информация

В рейтинге
Не участвует
Откуда
Москва, Москва и Московская обл., Россия
Работает в
Дата рождения
Зарегистрирован
Активность

Специализация

Архитектор программного обеспечения