Pull to refresh
18
Karma
0
Rating
Владислав Строчков @vlstrochkov

Email-маркетолог, PR-менеджер

  • Followers 35
  • Following 7

Как дебажить запросы, используя только Spark UI

OTUS corporate blog Big Data *DevOps *Hadoop *Data Engineering *
Translation

В этой статье я попытаюсь продемонстрировать, как дебажить задачу Spark, используя только Spark UI. Я запущу несколько задач Spark и покажу, как Spark UI отражает выполнение задачи. Также я поделюсь с вами несколькими советами и хитростями.

Читать далее
Total votes 9: ↑8 and ↓1 +7
Views 2.4K
Comments 1

Web Security by Bugbounty

OTUS corporate blog Information Security *Web services testing *

Идея заключается в следующем — подготовить лабораторный стенд для изучения уязвимостей, находящихся в данном топе. О том, как запустить и найти пример приложения с уязвимостью, можно почитать вот здесь. Задания будут решены до момента использования уязвимости, которая заложена в приложение, последний шаг оставим за читателями.

Читать далее
Total votes 8: ↑8 and ↓0 +8
Views 2.5K
Comments 0

Мониторинг Kubernetes с помощью Prometheus и Thanos

OTUS corporate blog Database Administration *Microsoft Azure DevOps *Kubernetes *
Translation

Поздравляем! Вам удалось убедить ваше начальство в миграции приложений на микросервисную архитектуру с использованием контейнеров и Kubernetes.

Вы очень довольны и все идет по плану. Вы создаете свой первый кластер Kubernetes (у всех основных облачных провайдеров: Azure, AWS и GCP, — есть простые решения для провиженинга управляемого или неуправляемого Kubernetes), разрабатываете первое контейнерное приложение и развертываете его в кластере. Это было легко, не так ли?

Через некоторое время вы понимаете, что все становится немного сложнее: вам нужно развернуть в кластере несколько приложений, поэтому вам нужен Ingress Controller. Далее вы хотите мониторить нагрузку, поэтому вы начинаете искать решения для этого и, к счастью, находите Prometheus. Разворачиваете его, добавляете Grafana и все!

Позже вы начинаете задаваться вопросом: "Почему Prometheus работает только с одной репликой"? Что произойдет в случае рестарта контейнера? Что будет при простом обновлении версии? Как долго Prometheus может хранить метрики? Что если кластер развалится? Нужен ли еще один кластер для HA и DR? Как мне получить единое представление метрик со всех серверов Prometheus

Что ж, продолжайте читать, умные люди уже разобрались с этими вопросами.

Читать далее
Total votes 15: ↑11 and ↓4 +7
Views 5.5K
Comments 2

Магия Ensemble Learning

OTUS corporate blog Big Data *Data Engineering *
Translation

Привет, Хабр! Приглашаем Data Engineer'ов и специалистов по Machine Learning на бесплатный Demo-урок «Вывод ML моделей в промышленную среду на примере онлайн-рекомендаций». А также мы публикуем статью Luca Monno — Head of Financial Analytics at CDP SpA.

Одним из наиболее полезных и простых методов машинного обучения является Ensemble Learning. Ensemble Learning – это метод, лежащий в основе XGBoost, Бэггинга, Случайного Леса и многих других алгоритмов.

На Towards Data Science есть много классных статей, но я выбрал две истории (первая и вторая), которые мне больше всего понравились. Так зачем же писать еще одну статью про EL? Потому что я хочу показать вам, как это работает на простом примере, который дал мне понять, что здесь нет никакого волшебства.

Читать далее
Total votes 10: ↑10 and ↓0 +10
Views 2.1K
Comments 0

Барьеры и журналируемые файловые системы

OTUS corporate blog Configuring Linux *System administration *Development for Linux *
Translation

Всем отличных выходных! Приглашаем на бесплатный Demo-урок «Конфигурирование web-сервера (Apache, Nginx, балансировка Nginx)», который проведёт Андрей Буранов — специалист по UNIX-системам в компании Mail.Ru Group. А также публикуем статью Jonathan Corbet — Executive Editor в LWN.net.

Журналируемые файловые системы обещают освободить системных администраторов от проблем с повреждением диска при сбоях системы. Даже без запуска проверки целостности файловой системы. Хотя в реальности, конечно, все немного сложнее. И как показывает недавнее обсуждение, может, даже более запутанно, чем многие из нас думают, поскольку обеспечение целостности журналируемых файловых систем влияет на производительность.

Читать далее
Total votes 15: ↑13 and ↓2 +11
Views 3.9K
Comments 4

Чеклисты в помощь QA

OTUS corporate blog IT systems testing *Web services testing *

Всем привет! Меня зовут Анастасия Шарикова, я руковожу отделом тестирования в Bookmate и веду телеграм канал Yet another QA

Сегодня речь пойдет о чек-листах — отличном универсальном инструменте, который может помочь в повседневных задачах QA специалистам любых уровней. Обратимся к теории и вспомним, что есть и особый вид тестирования, который их использует:

Читать далее
Total votes 13: ↑11 and ↓2 +9
Views 25K
Comments 0

Восемь интересных возможностей PostgreSQL, о которых вы, возможно, не знали

OTUS corporate blog PostgreSQL *SQL *Database Administration *
Translation

Привет, Хабр! Приглашаем на бесплатный Demo-урок «Параллельный кластер CockroachDB», который пройдёт в рамках курса «PostgreSQL». Также публикуем перевод статьи Тома Брауна — Principal Systems Engineer at EnterpriseDB.

В этой статье рассмотрим несколько полезных советов по работе с PostgreSQL: ссылка на всю строку целиком, сравнение нескольких столбцов, общие табличные выражения, пользовательские параметры конфигурации, сравнение логических значений без "равно", изменение типа столбца без лишних затрат, информация о секции, в которой находится строка, таблицы — это типы.

Читать далее
Total votes 42: ↑39 and ↓3 +36
Views 17K
Comments 8

Flame-графики: «огонь» из всех движков

OTUS corporate blog IT systems testing *Java *Web services testing *
Translation

Всем снова привет! Приглашаем на онлайн-встречу с Василием Кудрявцевым (директором департамента обеспечения качества в АО «РТЛабс»), которая пройдёт в рамках курса «Нагрузочное тестирование». И публикуем перевод статьи Michael Hunger — software developer and editor of Neo4j Developer Blog and GRANDstack!

Стандартные профайлеры Java используют либо инструментарий байткода, либо сэмплинг (рассматривая трассировки стека через короткие промежутки времени), чтобы определить, где было потрачено время. В обоих подходах есть свои недостатки и странности. Понимание результатов работы таких профайлеров само по себе искусство и требует большого опыта.

Читать далее
Total votes 9: ↑8 and ↓1 +7
Views 2.3K
Comments 9

Почему интернационализация и локализация имеют значение

OTUS corporate blog Python *
Translation

Хабр, отличного всем времени суток! Скоро в OTUS стартует курс «Python Web-Developer»: мы приглашаем на бесплатный Demo-урок «Паттерны Page Controller и Front Controller: реализация в Django» и публикуем перевод статьи Nicolle Cysneiros — Full Stack Developer (Labcodes).

Согласно всегда правдивой информации на Википедии, в мире насчитывается около 360 миллионов носителей английского языка. Мы, как разработчики, настолько привыкли писать код и документацию на английском языке, что не осознаем, что это число – это всего. 4,67% населения всего мира. Единый язык общения между разработчиками – это, конечно, хорошо, но это не значит, что пользователь должен чувствовать дискомфорт при использовании вашего продукта.

Прочитать
Total votes 9: ↑9 and ↓0 +9
Views 1.8K
Comments 1

Курс «Промышленный ML на больших данных» — что это, для кого и каких навыков требует?

OTUS corporate blog Big Data *Data Engineering *

Привет Хабр. Приглашаем на бесплатный Demo-урок «Современные большие данные, анализ и оптимизация производительности распределенных приложений». А также в этой статье решили рассказать, как складывается ситуация на рынке специалистов Data Science и конкретно в Big Data и что вас ждет на курсе по промышленному машинному обучению.

Читать далее
Total votes 8: ↑8 and ↓0 +8
Views 1.3K
Comments 0

Руткиты на основе BIOS. Часть 2

OTUS corporate blog Information Security *Reverse engineering *
Translation


Привет, Хабровчане!
В конце августа в OTUS запускается 2 мощных курса по обратной разработке кода (реверс-инжиниринг). Смотрите запись трансляции Дня Открытых дверей, где Артур Пакулов (Ex-вирусный аналитик в Kaspersky Lab.) рассказывает подробнее о программах, особенностях онлайн-формата, навыках, компетенциях и перспективах, которые ждут выпускников после обучения. А также приглашаем вас принять участие в бесплатных открытых уроках: «Анализ буткита» и «Анализ банковского трояна».

Внедрение кода в BIOS


Код для доказательства концепции от Сакко и Ортега, который был протестирован ранее, было очень хрупким, и его функции не были теми действиями, которые должен выполнять руткит. Первым шагом в разработке нового руткита была разработка надежного метода, позволяющего BIOS выполнять дополнительный код.

Читать дальше →
Total votes 10: ↑10 and ↓0 +10
Views 4.2K
Comments 2

Руткиты на основе BIOS. Часть 1

OTUS corporate blog Information Security *Reverse engineering *
Translation


Привет, Хабровчане!
В конце августа в OTUS запускается 2 мощных курса по обратной разработке кода (реверс-инжиниринг). В связи с этим приглашаем вас на День Открытых дверей, где Артур Пакулов (Ex-вирусный аналитик в Kaspersky Lab.) расскажет подробнее о программах, особенностях онлайн-формата, навыках, компетенциях и перспективах, которые ждут выпускников после обучения. А также приглашаем вас принять участие в бесплатных открытых уроках: «Анализ буткита» и «Анализ банковского трояна».



Предпосылки


Все описанное здесь основано на проекте, который я завершил в начале 2011 года, спустя аж несколько лет после его начала. Принимая участие в CanSecWest в 2009 году, Анибал Сакко и Альфредо Ортега из Core Security провели презентацию «Persistent BIOS Infection», где продемонстрировали, как можно пропатчить BIOS, чтобы совершить некоторые неприятные/удивительные вещи. Можете ознакомится с их докладом здесь. На то время это действительно впечатляло, но мне так и не выпал шанс попробовать это на практике. Год спустя мне нужно было подготовить групповой проект для учебы, поэтому я решил вернуться к взлому BIOS и самостоятельно реализовать что-нибудь из этого.

Читать дальше →
Total votes 18: ↑17 and ↓1 +16
Views 7.1K
Comments 3

Минимизируем наложение лейблов в интерактивных визуализациях

OTUS corporate blog Big Data *Machine learning *
Translation

Перевод статьи подготовлен в преддверии старта курса «Промышленный ML на больших данных». Интересно развиваться в данном направлении? Смотрите записи трансляций бесплатных онлайн-мероприятий: «День Открытых Дверей», «Вывод ML моделей в промышленную среду на примере онлайн-рекомендаций».






Визуализация новых случаев заражения COVID-19 по дням для каждого штата США без алгоритма позиционирования лейблов


Одной из наиболее сложноконтролируемых областей при визуализации данных в реальном времени является расположение лейблов. В огромном количестве визуализаций я старался вообще избегать большого количества лейблов, чтобы они не накладывались друг на друга, но в последний раз выйти из ситуации таким способом не получилось.


Моя визуализация 91-DIVOC пандемии COVID-19 позволяет пользователям получить самые последние данные о коронавирусе из Университета Джонса Хопкинса с помощью интерактивной визуализации, построенной на библиотеке d3.js. Поскольку визуализация использует данные, которые обновляются несколько раз в день, а пользователи имеют возможность изучать данные и создавать более миллиона различных визуализаций, все должно рендериться программно.

Читать дальше →
Total votes 6: ↑6 and ↓0 +6
Views 879
Comments 0

Новые Property Wrappers в SwiftUI

OTUS corporate blog Development for iOS *Swift *
Translation

Привет, Хабровчане! В конце августа в OTUS стартует новая группа профессионального базового курса «Разработчик iOS». Как всегда делимся полезным переводом и приглашаем на бесплатные онлайн-мероприятия: «День Открытых Дверей» и «Быстрый старт в IOS-разработку».





WWDC20 привнес в SwiftUI много новых функций, о которых на протяжении следующих недель я собираюсь рассказывать вам в своем блоге. Начать же сегодня я хочу с главных дополнений к потокам данных SwiftUI в виде новых оберток свойств (Property Wrappers) @StateObject, @AppStorage, @SceneStorage и @ScaledMetric.

Читать дальше →
Total votes 3: ↑3 and ↓0 +3
Views 2.1K
Comments 0

Регрессионная спираль смерти

OTUS corporate blog JavaScript *Web services testing *
Translation

Перевод статьи подготовлен в преддверии старта курса «Автоматизация тестирования на JavaScript»





История, которая может показаться вам до боли знакомой:


Вы работаете QA в небольшой команде разработчиков; сегодня утро четверга второй недели вашего двухнедельного спринта. У вашей команды еще несколько историй (story) в разработке, которые должны быть утверждены к утру пятницы, чтобы быть готовыми к демонстрации днем. Ваши планы на вечер четверга начинают таять на ваших глазах.

Читать дальше →
Total votes 13: ↑11 and ↓2 +9
Views 4.5K
Comments 3

Docker Compose: от разработки до продакшена

OTUS corporate blog Configuring Linux *DevOps *
Translation

Перевод транскрипции подкаста подготовлен в преддверии старта курса «Администратор Linux»





Docker Compose — это удивительный инструмент для создания рабочего
окружения для стека, используемого в вашем приложении. Он позволяет вам определять
каждый компонент вашего приложения, следуя четкому и простому синтаксису в YAML-
файлах
.

Читать дальше →
Total votes 16: ↑13 and ↓3 +10
Views 11K
Comments 12

PHP Internals News Эпизод #38: предзагрузка и WeakMaps

OTUS corporate blog PHP *
Translation

Перевод транскрипции подкаста подготовлен в преддверии старта курса «Backend-разработчик на PHP»





Описание


В этом эпизоде «PHP Internals News» я беседую с Никитой Поповым (Twitter, GitHub, Сайт) о проблемах предзагрузки PHP 7.4 и его RFC WeakMaps.

Читать дальше →
Total votes 14: ↑11 and ↓3 +8
Views 1.5K
Comments 0

Устанавливаем балансировщик нагрузки HAProxy на CentOS

OTUS corporate blog Configuring Linux *System administration *Server optimization *Server Administration *
Translation
Tutorial

Перевод статьи подготовлен в преддверии старта курса «Администратор Linux. Виртуализация и кластеризация»





Балансировка нагрузки — это распространенное решение для горизонтального масштабирования веб-приложений по нескольким хостам с предоставлением пользователям единой точки доступа к сервису. HAProxy является одной из самых популярных программ для балансировки нагрузки с открытым исходным кодом, которая также обеспечивает высокую доступность и функциональность проксирования.


HAProxy стремится оптимизировать использование ресурсов, максимизировать пропускную способность, минимизировать время отклика и избежать перегрузки каждого отдельно взятого ресурса. Она может быть установлена на множестве дистрибутивов Linux, таких как CentOS 8, на котором мы остановимся в этом руководстве, а также в системах Debian 8 и Ubuntu 16.

Читать дальше →
Total votes 20: ↑11 and ↓9 +2
Views 19K
Comments 4

CRLF-инъекции и HTTP Response Splitting

OTUS corporate blog Information Security *Website development *
Translation

Привет, Хабровчане! В преддверии старта занятий в ближайшей группе профессионального курса «Безопасность веб-приложений», мы подготовили для вас еще один полезный перевод.





Что такое CRLF?


Когда браузер отправляет запрос веб-серверу, тот отправляет ответ, который содержит заголовки HTTP-ответа и сам контент сайта, то есть тело ответа. HTTP-заголовки и HTML-ответ (содержимое сайта) разделяются определенной комбинацией специальных символов, а именно возвратом каретки (carriage return) и подачей строки (line feed). Сокращается это как CRLF.


Веб-сервер использует CRLF, чтобы понять, где начинается новый HTTP-заголовок и заканчивается старый. Также CRLF может сообщить веб-приложению или пользователю, что новая строка начинается в файле или в блоке текста. Символы CRLF – это стандартное сообщение HTTP/1.1, поэтому оно используется любым типом веб-сервера, включая Apache, Microsoft IIS и другие.

Читать дальше →
Total votes 12: ↑9 and ↓3 +6
Views 6K
Comments 3

Прозрачные процессы тестирования на удалёнке

OTUS corporate blog IT systems testing *Web services testing *Remote work

Публикуем статью Анастасии Шариковой — QA Lead в Bookmate и преподавателя профессионального курса «QA Lead», с программой которого мы приглашаем вас ознакомиться!



Также приглашаем на бесплатный пробный открытый урок «Тестовое покрытие по Бейзеру», где Анастасия Асеева-Нгуен (эксперт по инженерным практикам в Tinkoff Group) рассмотрит основные подходы для построения тестовой модели, расскажет, что такое test coverage и code coverage, покажет способы подсчета тестового покрытия, а также подробно раскроет темы: цикломатическая сложность, использование статических анализаторов для расчета тестового покрытия, диаграммы для подсчета тестового покрытия.




Всем привет!


Меня зовут Анастасия Шарикова, я руковожу отделом тестирования в Bookmate и веду Telegram-канал Yet another QA.


В последнее время все больше компаний переводят свои команды тестирования на удаленную работу, и, скорее всего, после карантина многие так и останутся работать на дому. Бесспорно, в этом есть и свои плюсы, но есть и довольно большое количество сложностей, с которыми придется столкнуться как руководителям, так и самим сотрудникам. Поговорим сегодня о них и о некоторых способах, которые могут улучшить положение.

Читать дальше →
Total votes 11: ↑9 and ↓2 +7
Views 2.6K
Comments 0

Information

Rating
Does not participate
Location
Москва, Москва и Московская обл., Россия
Works in
Date of birth
Registered
Activity