Как стать автором
Обновить
18
Карма
0
Рейтинг
Владислав Строчков @vlstrochkov

CRM/Email-маркетолог

Как дебажить запросы, используя только Spark UI

Время прочтения 8 мин
Просмотры 4.1K
Блог компании OTUS Big Data *DevOps *Hadoop *Data Engineering *
Перевод

В этой статье я попытаюсь продемонстрировать, как дебажить задачу Spark, используя только Spark UI. Я запущу несколько задач Spark и покажу, как Spark UI отражает выполнение задачи. Также я поделюсь с вами несколькими советами и хитростями.

Читать далее
Всего голосов 9: ↑8 и ↓1 +7
Комментарии 1

Web Security by Bugbounty

Время прочтения 5 мин
Просмотры 3.4K
Блог компании OTUS Информационная безопасность *Тестирование веб-сервисов *

Идея заключается в следующем — подготовить лабораторный стенд для изучения уязвимостей, находящихся в данном топе. О том, как запустить и найти пример приложения с уязвимостью, можно почитать вот здесь. Задания будут решены до момента использования уязвимости, которая заложена в приложение, последний шаг оставим за читателями.

Читать далее
Всего голосов 8: ↑8 и ↓0 +8
Комментарии 0

Мониторинг Kubernetes с помощью Prometheus и Thanos

Время прочтения 7 мин
Просмотры 8.2K
Блог компании OTUS Администрирование баз данных *Microsoft Azure *DevOps *Kubernetes *
Перевод

Поздравляем! Вам удалось убедить ваше начальство в миграции приложений на микросервисную архитектуру с использованием контейнеров и Kubernetes.

Вы очень довольны и все идет по плану. Вы создаете свой первый кластер Kubernetes (у всех основных облачных провайдеров: Azure, AWS и GCP, — есть простые решения для провиженинга управляемого или неуправляемого Kubernetes), разрабатываете первое контейнерное приложение и развертываете его в кластере. Это было легко, не так ли?

Через некоторое время вы понимаете, что все становится немного сложнее: вам нужно развернуть в кластере несколько приложений, поэтому вам нужен Ingress Controller. Далее вы хотите мониторить нагрузку, поэтому вы начинаете искать решения для этого и, к счастью, находите Prometheus. Разворачиваете его, добавляете Grafana и все!

Позже вы начинаете задаваться вопросом: "Почему Prometheus работает только с одной репликой"? Что произойдет в случае рестарта контейнера? Что будет при простом обновлении версии? Как долго Prometheus может хранить метрики? Что если кластер развалится? Нужен ли еще один кластер для HA и DR? Как мне получить единое представление метрик со всех серверов Prometheus

Что ж, продолжайте читать, умные люди уже разобрались с этими вопросами.

Читать далее
Всего голосов 15: ↑11 и ↓4 +7
Комментарии 2

Магия Ensemble Learning

Время прочтения 4 мин
Просмотры 3K
Блог компании OTUS Big Data *Data Engineering *
Перевод

Привет, Хабр! Приглашаем Data Engineer'ов и специалистов по Machine Learning на бесплатный Demo-урок «Вывод ML моделей в промышленную среду на примере онлайн-рекомендаций». А также мы публикуем статью Luca Monno — Head of Financial Analytics at CDP SpA.

Одним из наиболее полезных и простых методов машинного обучения является Ensemble Learning. Ensemble Learning – это метод, лежащий в основе XGBoost, Бэггинга, Случайного Леса и многих других алгоритмов.

На Towards Data Science есть много классных статей, но я выбрал две истории (первая и вторая), которые мне больше всего понравились. Так зачем же писать еще одну статью про EL? Потому что я хочу показать вам, как это работает на простом примере, который дал мне понять, что здесь нет никакого волшебства.

Читать далее
Всего голосов 10: ↑10 и ↓0 +10
Комментарии 0

Барьеры и журналируемые файловые системы

Время прочтения 4 мин
Просмотры 5.1K
Блог компании OTUS Настройка Linux *Системное администрирование *Разработка под Linux *
Перевод

Всем отличных выходных! Приглашаем на бесплатный Demo-урок «Конфигурирование web-сервера (Apache, Nginx, балансировка Nginx)», который проведёт Андрей Буранов — специалист по UNIX-системам в компании Mail.Ru Group. А также публикуем статью Jonathan Corbet — Executive Editor в LWN.net.

Журналируемые файловые системы обещают освободить системных администраторов от проблем с повреждением диска при сбоях системы. Даже без запуска проверки целостности файловой системы. Хотя в реальности, конечно, все немного сложнее. И как показывает недавнее обсуждение, может, даже более запутанно, чем многие из нас думают, поскольку обеспечение целостности журналируемых файловых систем влияет на производительность.

Читать далее
Всего голосов 15: ↑13 и ↓2 +11
Комментарии 4

Чеклисты в помощь QA

Время прочтения 5 мин
Просмотры 55K
Блог компании OTUS Тестирование IT-систем *Тестирование веб-сервисов *

Всем привет! Меня зовут Анастасия Шарикова, я руковожу отделом тестирования в Bookmate и веду телеграм канал Yet another QA

Сегодня речь пойдет о чек-листах — отличном универсальном инструменте, который может помочь в повседневных задачах QA специалистам любых уровней. Обратимся к теории и вспомним, что есть и особый вид тестирования, который их использует:

Читать далее
Всего голосов 13: ↑11 и ↓2 +9
Комментарии 0

Восемь интересных возможностей PostgreSQL, о которых вы, возможно, не знали

Время прочтения 8 мин
Просмотры 22K
Блог компании OTUS PostgreSQL *SQL *Администрирование баз данных *
Перевод

Привет, Хабр! Приглашаем на бесплатный Demo-урок «Параллельный кластер CockroachDB», который пройдёт в рамках курса «PostgreSQL». Также публикуем перевод статьи Тома Брауна — Principal Systems Engineer at EnterpriseDB.

В этой статье рассмотрим несколько полезных советов по работе с PostgreSQL: ссылка на всю строку целиком, сравнение нескольких столбцов, общие табличные выражения, пользовательские параметры конфигурации, сравнение логических значений без "равно", изменение типа столбца без лишних затрат, информация о секции, в которой находится строка, таблицы — это типы.

Читать далее
Всего голосов 42: ↑39 и ↓3 +36
Комментарии 8

Flame-графики: «огонь» из всех движков

Время прочтения 3 мин
Просмотры 4.1K
Блог компании OTUS Тестирование IT-систем *Java *Тестирование веб-сервисов *
Перевод

Всем снова привет! Приглашаем на онлайн-встречу с Василием Кудрявцевым (директором департамента обеспечения качества в АО «РТЛабс»), которая пройдёт в рамках курса «Нагрузочное тестирование». И публикуем перевод статьи Michael Hunger — software developer and editor of Neo4j Developer Blog and GRANDstack!

Стандартные профайлеры Java используют либо инструментарий байткода, либо сэмплинг (рассматривая трассировки стека через короткие промежутки времени), чтобы определить, где было потрачено время. В обоих подходах есть свои недостатки и странности. Понимание результатов работы таких профайлеров само по себе искусство и требует большого опыта.

Читать далее
Всего голосов 9: ↑8 и ↓1 +7
Комментарии 9

Почему интернационализация и локализация имеют значение

Время прочтения 8 мин
Просмотры 3.2K
Блог компании OTUS Python *
Перевод

Хабр, отличного всем времени суток! Скоро в OTUS стартует курс «Python Web-Developer»: мы приглашаем на бесплатный Demo-урок «Паттерны Page Controller и Front Controller: реализация в Django» и публикуем перевод статьи Nicolle Cysneiros — Full Stack Developer (Labcodes).

Согласно всегда правдивой информации на Википедии, в мире насчитывается около 360 миллионов носителей английского языка. Мы, как разработчики, настолько привыкли писать код и документацию на английском языке, что не осознаем, что это число – это всего. 4,67% населения всего мира. Единый язык общения между разработчиками – это, конечно, хорошо, но это не значит, что пользователь должен чувствовать дискомфорт при использовании вашего продукта.

Прочитать
Всего голосов 9: ↑9 и ↓0 +9
Комментарии 1

Курс «Промышленный ML на больших данных» — что это, для кого и каких навыков требует?

Время прочтения 4 мин
Просмотры 1.9K
Блог компании OTUS Big Data *Data Engineering *

Привет Хабр. Приглашаем на бесплатный Demo-урок «Современные большие данные, анализ и оптимизация производительности распределенных приложений». А также в этой статье решили рассказать, как складывается ситуация на рынке специалистов Data Science и конкретно в Big Data и что вас ждет на курсе по промышленному машинному обучению.

Читать далее
Всего голосов 8: ↑8 и ↓0 +8
Комментарии 0

Руткиты на основе BIOS. Часть 2

Время прочтения 6 мин
Просмотры 4.7K
Блог компании OTUS Информационная безопасность *Реверс-инжиниринг *
Перевод


Привет, Хабровчане!
В конце августа в OTUS запускается 2 мощных курса по обратной разработке кода (реверс-инжиниринг). Смотрите запись трансляции Дня Открытых дверей, где Артур Пакулов (Ex-вирусный аналитик в Kaspersky Lab.) рассказывает подробнее о программах, особенностях онлайн-формата, навыках, компетенциях и перспективах, которые ждут выпускников после обучения. А также приглашаем вас принять участие в бесплатных открытых уроках: «Анализ буткита» и «Анализ банковского трояна».

Внедрение кода в BIOS


Код для доказательства концепции от Сакко и Ортега, который был протестирован ранее, было очень хрупким, и его функции не были теми действиями, которые должен выполнять руткит. Первым шагом в разработке нового руткита была разработка надежного метода, позволяющего BIOS выполнять дополнительный код.

Читать дальше →
Всего голосов 10: ↑10 и ↓0 +10
Комментарии 2

Руткиты на основе BIOS. Часть 1

Время прочтения 8 мин
Просмотры 8K
Блог компании OTUS Информационная безопасность *Реверс-инжиниринг *
Перевод


Привет, Хабровчане!
В конце августа в OTUS запускается 2 мощных курса по обратной разработке кода (реверс-инжиниринг). В связи с этим приглашаем вас на День Открытых дверей, где Артур Пакулов (Ex-вирусный аналитик в Kaspersky Lab.) расскажет подробнее о программах, особенностях онлайн-формата, навыках, компетенциях и перспективах, которые ждут выпускников после обучения. А также приглашаем вас принять участие в бесплатных открытых уроках: «Анализ буткита» и «Анализ банковского трояна».



Предпосылки


Все описанное здесь основано на проекте, который я завершил в начале 2011 года, спустя аж несколько лет после его начала. Принимая участие в CanSecWest в 2009 году, Анибал Сакко и Альфредо Ортега из Core Security провели презентацию «Persistent BIOS Infection», где продемонстрировали, как можно пропатчить BIOS, чтобы совершить некоторые неприятные/удивительные вещи. Можете ознакомится с их докладом здесь. На то время это действительно впечатляло, но мне так и не выпал шанс попробовать это на практике. Год спустя мне нужно было подготовить групповой проект для учебы, поэтому я решил вернуться к взлому BIOS и самостоятельно реализовать что-нибудь из этого.

Читать дальше →
Всего голосов 18: ↑17 и ↓1 +16
Комментарии 3

Минимизируем наложение лейблов в интерактивных визуализациях

Время прочтения 4 мин
Просмотры 1.1K
Блог компании OTUS Big Data *Машинное обучение *
Перевод

Перевод статьи подготовлен в преддверии старта курса «Промышленный ML на больших данных». Интересно развиваться в данном направлении? Смотрите записи трансляций бесплатных онлайн-мероприятий: «День Открытых Дверей», «Вывод ML моделей в промышленную среду на примере онлайн-рекомендаций».






Визуализация новых случаев заражения COVID-19 по дням для каждого штата США без алгоритма позиционирования лейблов


Одной из наиболее сложноконтролируемых областей при визуализации данных в реальном времени является расположение лейблов. В огромном количестве визуализаций я старался вообще избегать большого количества лейблов, чтобы они не накладывались друг на друга, но в последний раз выйти из ситуации таким способом не получилось.


Моя визуализация 91-DIVOC пандемии COVID-19 позволяет пользователям получить самые последние данные о коронавирусе из Университета Джонса Хопкинса с помощью интерактивной визуализации, построенной на библиотеке d3.js. Поскольку визуализация использует данные, которые обновляются несколько раз в день, а пользователи имеют возможность изучать данные и создавать более миллиона различных визуализаций, все должно рендериться программно.

Читать дальше →
Всего голосов 6: ↑6 и ↓0 +6
Комментарии 0

Новые Property Wrappers в SwiftUI

Время прочтения 4 мин
Просмотры 2.8K
Блог компании OTUS Разработка под iOS *Swift *
Перевод

Привет, Хабровчане! В конце августа в OTUS стартует новая группа профессионального базового курса «Разработчик iOS». Как всегда делимся полезным переводом и приглашаем на бесплатные онлайн-мероприятия: «День Открытых Дверей» и «Быстрый старт в IOS-разработку».





WWDC20 привнес в SwiftUI много новых функций, о которых на протяжении следующих недель я собираюсь рассказывать вам в своем блоге. Начать же сегодня я хочу с главных дополнений к потокам данных SwiftUI в виде новых оберток свойств (Property Wrappers) @StateObject, @AppStorage, @SceneStorage и @ScaledMetric.

Читать дальше →
Всего голосов 3: ↑3 и ↓0 +3
Комментарии 0

Регрессионная спираль смерти

Время прочтения 11 мин
Просмотры 5.9K
Блог компании OTUS JavaScript *Тестирование веб-сервисов *
Перевод

Перевод статьи подготовлен в преддверии старта курса «Автоматизация тестирования на JavaScript»





История, которая может показаться вам до боли знакомой:


Вы работаете QA в небольшой команде разработчиков; сегодня утро четверга второй недели вашего двухнедельного спринта. У вашей команды еще несколько историй (story) в разработке, которые должны быть утверждены к утру пятницы, чтобы быть готовыми к демонстрации днем. Ваши планы на вечер четверга начинают таять на ваших глазах.

Читать дальше →
Всего голосов 13: ↑11 и ↓2 +9
Комментарии 3

Docker Compose: от разработки до продакшена

Время прочтения 5 мин
Просмотры 16K
Блог компании OTUS Настройка Linux *DevOps *
Перевод

Перевод транскрипции подкаста подготовлен в преддверии старта курса «Администратор Linux»





Docker Compose — это удивительный инструмент для создания рабочего
окружения для стека, используемого в вашем приложении. Он позволяет вам определять
каждый компонент вашего приложения, следуя четкому и простому синтаксису в YAML-
файлах
.

Читать дальше →
Всего голосов 16: ↑13 и ↓3 +10
Комментарии 12

PHP Internals News Эпизод #38: предзагрузка и WeakMaps

Время прочтения 9 мин
Просмотры 1.7K
Блог компании OTUS PHP *
Перевод

Перевод транскрипции подкаста подготовлен в преддверии старта курса «Backend-разработчик на PHP»





Описание


В этом эпизоде «PHP Internals News» я беседую с Никитой Поповым (Twitter, GitHub, Сайт) о проблемах предзагрузки PHP 7.4 и его RFC WeakMaps.

Читать дальше →
Всего голосов 14: ↑11 и ↓3 +8
Комментарии 0

Устанавливаем балансировщик нагрузки HAProxy на CentOS

Время прочтения 8 мин
Просмотры 42K
Блог компании OTUS Настройка Linux *Системное администрирование *Серверная оптимизация *Серверное администрирование *
Туториал
Перевод

Перевод статьи подготовлен в преддверии старта курса «Администратор Linux. Виртуализация и кластеризация»





Балансировка нагрузки — это распространенное решение для горизонтального масштабирования веб-приложений по нескольким хостам с предоставлением пользователям единой точки доступа к сервису. HAProxy является одной из самых популярных программ для балансировки нагрузки с открытым исходным кодом, которая также обеспечивает высокую доступность и функциональность проксирования.


HAProxy стремится оптимизировать использование ресурсов, максимизировать пропускную способность, минимизировать время отклика и избежать перегрузки каждого отдельно взятого ресурса. Она может быть установлена на множестве дистрибутивов Linux, таких как CentOS 8, на котором мы остановимся в этом руководстве, а также в системах Debian 8 и Ubuntu 16.

Читать дальше →
Всего голосов 20: ↑11 и ↓9 +2
Комментарии 4

CRLF-инъекции и HTTP Response Splitting

Время прочтения 4 мин
Просмотры 11K
Блог компании OTUS Информационная безопасность *Разработка веб-сайтов *
Перевод

Привет, Хабровчане! В преддверии старта занятий в ближайшей группе профессионального курса «Безопасность веб-приложений», мы подготовили для вас еще один полезный перевод.





Что такое CRLF?


Когда браузер отправляет запрос веб-серверу, тот отправляет ответ, который содержит заголовки HTTP-ответа и сам контент сайта, то есть тело ответа. HTTP-заголовки и HTML-ответ (содержимое сайта) разделяются определенной комбинацией специальных символов, а именно возвратом каретки (carriage return) и подачей строки (line feed). Сокращается это как CRLF.


Веб-сервер использует CRLF, чтобы понять, где начинается новый HTTP-заголовок и заканчивается старый. Также CRLF может сообщить веб-приложению или пользователю, что новая строка начинается в файле или в блоке текста. Символы CRLF – это стандартное сообщение HTTP/1.1, поэтому оно используется любым типом веб-сервера, включая Apache, Microsoft IIS и другие.

Читать дальше →
Всего голосов 12: ↑9 и ↓3 +6
Комментарии 3

Прозрачные процессы тестирования на удалёнке

Время прочтения 4 мин
Просмотры 3.1K
Блог компании OTUS Тестирование IT-систем *Тестирование веб-сервисов *Удалённая работа

Публикуем статью Анастасии Шариковой — QA Lead в Bookmate и преподавателя профессионального курса «QA Lead», с программой которого мы приглашаем вас ознакомиться!



Также приглашаем на бесплатный пробный открытый урок «Тестовое покрытие по Бейзеру», где Анастасия Асеева-Нгуен (эксперт по инженерным практикам в Tinkoff Group) рассмотрит основные подходы для построения тестовой модели, расскажет, что такое test coverage и code coverage, покажет способы подсчета тестового покрытия, а также подробно раскроет темы: цикломатическая сложность, использование статических анализаторов для расчета тестового покрытия, диаграммы для подсчета тестового покрытия.




Всем привет!


Меня зовут Анастасия Шарикова, я руковожу отделом тестирования в Bookmate и веду Telegram-канал Yet another QA.


В последнее время все больше компаний переводят свои команды тестирования на удаленную работу, и, скорее всего, после карантина многие так и останутся работать на дому. Бесспорно, в этом есть и свои плюсы, но есть и довольно большое количество сложностей, с которыми придется столкнуться как руководителям, так и самим сотрудникам. Поговорим сегодня о них и о некоторых способах, которые могут улучшить положение.

Читать дальше →
Всего голосов 11: ↑9 и ↓2 +7
Комментарии 0

Информация

В рейтинге
Не участвует
Откуда
Москва, Москва и Московская обл., Россия
Дата рождения
Зарегистрирован
Активность