Как стать автором
Обновить
5
0
Александр @Kettariecz

Системный инженер

Отправить сообщение

Мониторинг черных ящиков и котов в мешке через eBPF

Уровень сложностиСредний
Время на прочтение11 мин
Количество просмотров4.1K

Привет! Меня зовут Петр Бобров, в QIWI я отвечаю за отказоустойчивость, расскажу немного историй про сторонних вендоров, у всех они разные. У нас есть карточный процессинг, потому что мы банк, у нас банковская лицензия, проводим много платежей. Еще можно черными ящиками считать и базы данных: кто знает, как там работает Oracle, кто знает, как работает Linux внутри? Думаю, очень немного людей разбирается в этом, как оно работает на низком уровне. 

Мониторить такие вещи достаточно проблематично, особенно, если нужно соответствовать стандарту PCI/DSS, который запрещает выкладывать логи приложений в общий доступ, потому что там потенциально хранятся определенные карточные данные в открытом виде, а в софте отсутствуют какие-то вменяемые интерфейсы, которые тебе могут посылать данные в твои системы мониторинга. В общем, проблем достаточно много, даже бывает такое, что говорили: «Не лезьте со своими SQL-запросами в нашу базу, вы портите нам производительность». Ситуация удручающая, так что мы захотели как-то это поправить. 

Сейчас я покажу пример самописного мониторинга, который я сам мог сделать своим ограниченным интеллектуальным ресурсом. В этом примере мне хочется сфокусироваться на (не)сложности его реализации, а не на содержательном компоненте постановки задачи, хотя мне он тоже был довольно интересен.

Читать далее
Всего голосов 20: ↑19 и ↓1+24
Комментарии1

Модели прогнозирования продаж в «Магните»: Легенда об Ансамбле

Время на прочтение22 мин
Количество просмотров9.4K

Привет, Хабр! Легендарная команда прогнозирования промо сети магазинов «Магнит» снова в эфире. Ранее мы успели рассказать о целях и задачах, которые мы решаем: «Магнитная аномалия: как предсказать продажи промо в ритейле», а также поделиться основными трудностями, с которыми приходится сталкиваться в нашем опасном бизнесе: «Божественная комедия», или Девять кругов прогнозирования промо в «Магните».

Сегодня подробнее расскажем о типах и особенностях используемых нами моделей прогнозирования продаж.

Читать далее
Всего голосов 11: ↑9 и ↓2+7
Комментарии27

Из Excel в JSON. Универсальные методы для формирования тела запроса из Excel книги для API тестов (Java)

Время на прочтение11 мин
Количество просмотров14K

Недавно нужно было написать API автотесты - запросы Post с большим количеством параметров в теле, в том числе вложенные JSON объекты, массивы , массивы JSON объектов. Многие параметры не обязательные, а значит - большое количество наборов тестовых данных.

Дано: Датапровайдер - для многократного запуска тестов, тестовые данные в таблице Excel.

Что бы сформировать тело первого запроса пришлось создать несколько классов, через сеттеры присваивать значения переменным в классе и из базового класса формировать JSON, который и использовался как тело запроса. И вдруг оказалось, что все написанное никак не получится переиспользовать для других эндпоинтов. Тогда и решил написать метод, который будет превращать таблицу Excel в JSON объект без всяких там классов и правок в коде. Нужно только придерживаться некоторых правил при составлении таблицы.

Итак! Для получения данных из таблицы использовал, как обычно, Fillo. Название столбца будет ключом, значения в столбце, собственно, значениями ключа в запросе. Строка таблицы - один набор тестовых данных.

Читать далее
Всего голосов 5: ↑4 и ↓1+6
Комментарии5

Shodan: границы дозволенного или где кончается белая шляпа хакера

Время на прочтение4 мин
Количество просмотров6.9K

О поисковике Shodan немало написано, в том числе на Хабре (здесь, здесь, здесь и еще вот здесь)

Вопросы о том, легально ли использование Shodanа или в каких случаях оно является легальным/нелегальным встречаются в Сети достаточно часто (см., например, тут или тут -  в последнем случае так и остался без ответа очень интересный вопрос о легальности подключения через Shodan к незащищенному серверу).  И зачастую на них нельзя найти действительно обоснованного и четкого ответа, что делать можно, а чего нельзя.

В этой статье мы попытаемся сформировать принципы легальности/нелегальности использования Shodan, общие для большинства юрисдикций.

Читать далее
Всего голосов 11: ↑9 и ↓2+17
Комментарии6

Крепление для ноутбука на монитор (сзади)

Время на прочтение3 мин
Количество просмотров58K
В стандартные VESA пазы которые есть почти у всех мониторов. Несложно. Надежно. Красиво.
С картинками и чертежами.



Читать дальше →
Всего голосов 232: ↑211 и ↓21+190
Комментарии194

Интересные факты про некоторые старые игровые картриджи

Время на прочтение6 мин
Количество просмотров27K

Небольшая подборка известных мне фактов про картриджи от ретро-консолей. Про те случаи, когда они были чем-то большим, чем хранилище байтов.

Читать далее
Всего голосов 32: ↑31 и ↓1+45
Комментарии67

Как я веду Zettelkasten в Notion уже год: стартовый набор и полезные трюки

Время на прочтение8 мин
Количество просмотров176K

Zettelkasten — крутой метод хранения идей и знаний — сейчас на слуху, его уже обсуждали на Хабре. Я веду такой в Notion уже год, потому что Notion лучше всех воплощает три главных принципа Zettelkasten: взаимосвязанность, категоризацию, актуальность. Метод улучшил качество моего обучения и исследований, и без него как-то уже не так. 

Я почитал русскоязычные и англоязычные ресурсы и не нашел ни нормального шаблона для Notion, ни объяснения как реализовать главные преимущества метода Zettelkasten. Под катом и то, и другое. 

UPD: На текущий момент, статья безбожно устарела, потому что за еще один год я набрался опыта, помогая другим людям организовать их Цеттели и наблюдая за чужим опытом. А еще Notion выпустил несколько фич, заточенных именно под Цеттель. И теперь мне совестно, как новички страдают, разбираясь в теме после меня.

Эту статью можно почитать для понимания основ, но актуальные источники информации тут:

  • У меня в Психотронке можно следить за подготовкой обновленной версии, ну и написать мне за помощью. А можете не следить: версия 2.0 выйдет на Хабре.
  • В русскоязычном сообществе Zettelkasten в Телеграме сидят люди, которые хорошо разбираются в теме. Мы обожаем помогать новичкам.

Дисклеймер: ни Notion, ни автор метода мне за статью не платили.
Читать дальше →
Всего голосов 49: ↑49 и ↓0+49
Комментарии88

Полный цикл создания устройства и работа с фабриками в Китае

Время на прочтение11 мин
Количество просмотров23K
Меня зовут Андрей Холодный. Весь мой опыт связан с телекомом: я работал практически во всех крупных провайдерах связи и даже руководил своим стартапом. На моих проектах регулярно возникали задачи разработки и выбора поставщиков роутеров и ТВ-приставок. С конца 2018 года я применяю этот опыт в Яндексе: руковожу командой, которая координирует разработку и производство устройств с Алисой.



Под катом — конспект моего недавнего доклада. В нем два больших блока: про этапы разработки устройства и про общение с фабриками в Китае. Надеюсь, конспект будет полезен тем, кто начинает думать о производстве собственных устройств.
Читать дальше →
Всего голосов 36: ↑33 и ↓3+42
Комментарии17

API Тиньков.Инвестиции. Первые шаги

Время на прочтение5 мин
Количество просмотров154K
Практически с первых дней я стал клиентом Тиньков.Инвестиции.

И с этого же момента меня терзают смутные сомнения — отражает ли личный кабинет объективную реальность?

Дело в том, что я покупаю ценные бумаги, номинированные в долларах, но в ЛК цены всех активов отображаются в долларах, а итоговая стоимость портфеля в рублях.

И мне непонятно, это доллар вырос или я такой результативный инвестор?

А как же комиссии, налоги и прочие дивиденды?

Вот бы взять все мои сделки и расписать по ФИФО, как в складском учете… А сверху положить полученные дивиденды, а потом вычесть налоги.

Вот тогда я и увижу понятный мне результат.

Оказалось, у Тинькова есть API, которое позволяет писать торговых роботов (мне это совсем не интересно), а также загружать данные по своему портфелю и операциям.

У этого API есть официальное описание, но мне не все было понятно, пришлось разбираться.
Результаты этих разборок представляю вашему вниманию.

Полезные ссылки:

Описание API
Еще описание
Читать дальше →
Всего голосов 15: ↑13 и ↓2+19
Комментарии64

Пожары и Стратегия

Время на прочтение5 мин
Количество просмотров2.2K

Есть одна идея, которую я часто рассказывал инженерам в последнее время, и я думаю, что она заслуживает более широкой аудитории.


Когда вы занимаетесь инженерной работой, у вас есть разные виды задач. Некоторые задачи — аварии или тактическая работа. Мы часто называем это "тушением пожаров", особенно когда работа связана с срочной починкой или ее нужно выполнить незамедлительно.


Другие задачи — стратегические. Вы собрали со своих пользователей информацию, что им нужно/они хотят, вы разработали решение, и теперь вы реализуете его — методично и систематически.


Важно понимать, каким видом работы вы занимаетесь в данный момент, и думать о
ней соответственно.


Пожары


Когда вы тушите пожар, ваша цель — потушить пожар. Вы хотите совершить минимальные необходимые усилия, чтобы уничтожить огонь и вернуться к долгосрочной стратегической работе. Вы не хотите строить большие сложные системы, которые останутся жить навечно, просто чтобы потушить пожар. Во время аварии вы делаете наколеночные, костыльные, "quick and dirty" решения. Это не значит, что вы должны делать плохую работу. Но вы не должны строить долгоживущую, высокоэффективную систему для тушения этого конкретного пожара.

Читать дальше →
Всего голосов 6: ↑4 и ↓2+4
Комментарии5

Темная Вселенная. Часть 2

Время на прочтение10 мин
Количество просмотров25K
И вновь доброго времени суток! Данная статья является продолжением ранее опубликованной статьи о нашей «темной» Вселенной. В данной части мы продолжим рассмотрение различных интересных особенностей в космологии, над объяснением которых бьются множество ученых.

В целом я постарался сделать так, чтобы части получились независимые друг от друга, так что если вы не читали первую часть, то каких-то проблем с пониманием не должно возникнуть.

Отрицательная масса


После публикации первой части возникло много вопросов по поводу такой характеристики «темной жидкости» как отрицательная масса. Поэтому я решил остановиться на данной теме подробнее.
Читать дальше →
Всего голосов 72: ↑72 и ↓0+72
Комментарии125

Конференция DEFCON 27. Взламываем полицию. Часть 1

Время на прочтение11 мин
Количество просмотров6.8K
Брифинг выступления:

Билл Сверинджен (hevnsnt) уже несколько десятилетий является членом хакерского сообщества, что довольно странно, поскольку его профиль в Twitter указывает, что ему всего 23 года. По словам Билла, всю свою жизнь он посвятил пониманию того, как устроены вещи, и направил накопленные знания на то, чтобы пользоваться техническими преимуществами нашего мира любым возможным способом. Его интересы всегда были сосредоточены на взломе «железа», поэтому Билл любит разрабатывать простые для повторения проекты с использованием широко распространенных недорогих вычислительных платформ, таких как Arduino и RaspberryPi.



Официально Билл, обладая более чем 15-летним практическим опытом в области информационной безопасности, разрабатывает стратегии защиты критически важной деловой инфраструктуры от современных киберугроз. Кибербезопасность — его страсть, и Билл владеет большим опытом создания, развития и управления командами корпоративного класса, которые служат для обеспечения реагирования на инциденты, работают в цифровой криминалистике, в оценке уязвимостей, тестировании на проникновение и обеспечивают соблюдение политики безопасности в крупных корпорациях (Fortune 150).

Билл Сверинджен занимает пост старшего директора отдела киберзащиты компании CenturyLink (Монро, Луизиана), третьей по величине телекоммуникационной компании в США и признанного лидера на рынке интернет-услуг, облачной инфраструктуры и ИТ-решений для корпоративных клиентов и правительства США.
Всего голосов 16: ↑13 и ↓3+14
Комментарии1

Как Project Infer от Facebook помогает искать баги в мобильных приложениях перед деплоем

Время на прочтение4 мин
Количество просмотров4K


Несколько дней назад команда инженеров Facebook отличилась — ее удостоили награды Most Influential POPL Paper Award. В среде специалистов по машинному обучению это весьма почетно. Награду вручили за работу Compositional Shape Analysis by Means of Bi-abduction, которая раскрывает нюансы Project Infer. Сам проект предназначен для обнаружения и ликвидации багов в коде мобильного приложения перед его деплоем.

Баги в программном обеспечении для мобильных устройств обходятся очень дорого как разработчикам, так и пользователям. Что касается первых, то обнаружение проблемы в уже размещенном в каталогах приложении — ночной кошмар для любого специалиста. Конечно, софт тестируется, работу программ проверяют по определенным шаблонам. Но чаще разработчики не могут предусмотреть всего, и баги в приложении обнаруживаются уже после деплоя.
Читать дальше →
Всего голосов 32: ↑30 и ↓2+28
Комментарии2

Где учатся аналитики?

Время на прочтение4 мин
Количество просмотров10K

В начале лета в Контуре закончился курс по продуктовой аналитике. Мы проводили его уже второй раз. Студенты успешно защитили выпускные проекты и прошли стажировку в компании. Юлия Закс, руководитель всех наших аналитиков и организатор курса, рассказала, как обучение прошло в этом году, чему научились курсанты и когда стартует следующий курс. А еще — с каких факультетов к нам приходят лучшие аналитики :).



Кадр из фильма «Игры разума» реж. Рон Ховард

Читать дальше →
Всего голосов 15: ↑13 и ↓2+11
Комментарии0

Назови мне свою зарплату, и я скажу кто ты

Время на прочтение6 мин
Количество просмотров151K
Эта статья родилась в качестве ответа на вот эту вот статью. А именно на вот этот пункт:
«Правило Лебедева» — никто внутри компании не должен знать, сколько получает другой. Не соблюдает ваш зам — увольняйте; не соблюдает профессионал — увольняйте; вы сами обмолвились — с этого момента работать у вас никто не будет, получать зарплату будут, а работать — нет. Будут выполнять письменно сказанное, но буквально понятое. Если профессионал получает много — это хорошо. Если об этом знают другие, они исследуют, а не говно ли он как человек.
Читать дальше →
Всего голосов 233: ↑205 и ↓28+177
Комментарии748

Вы работаете не в том месте (если у вас офис открытого типа)

Время на прочтение6 мин
Количество просмотров48K

Что такое физическое пространство?


На последней работе всё самое лучшее я сделал дома. Я активно пытался избегать офиса насколько возможно. Дома у меня два стола и полный контроль над окружением. Альтернатива — отвлечения и помехи.


Мой домашний офис — крепость производительности

Когда я заходил в офис, окружение изменялось. Здесь постоянно всё отвлекало: другие сотрудники, лающие собаки (отмечу: маленькие собачонки не в счёт), импровизированные совещания и празднование дней рождения. Было очень сложно перейти в состояние потока и невероятно легко выйти из него. Среди всех мест, где я мог бы работать, стол в офисе, наверное, был худшим вариантом.

Когда я нахожусь в переполненном пространстве, мои мысли тоже переполняются. Я чувствую подавленность стимулами и неспособность их избежать. Для сравнения, когда есть пространство (ментальное и физическое), я способен разобраться и понять свои мысли и ментальные предпосылки. Качество мышления значительно возрастает.

Я осознал, что ненавижу офисы открытого типа.
Читать дальше →
Всего голосов 61: ↑58 и ↓3+55
Комментарии206

Чатбот, который «как Siri, только круче» на наивном Байесовском классификаторе

Время на прочтение4 мин
Количество просмотров17K
Всем, привет! Не секрет, что в последнее время в мире происходит резкий всплеск активности, по поводу исследования такой темы, как искусственный интеллект. Вот и меня это явление не обошло стороной.

Предыстория


Всё началось, когда в самолёте я посмотрел типичную, на первый взгляд американскую комедию – «Почему, он?» (англ. Why him? 2016). Там, у одного из ключевых персонажей в доме был установлен голосовой помощник, который нескромно позиционировал себя «как Siri, только круче». К слову бот из фильма умел не только вызывающе разговаривать с гостями, иногда ругаясь матом, но также контролировать весь дом и прилегающую территорию – от центрального отопления до смыва унитаза. После просмотра фильма, мне пришла идея реализовать что-то подобное и я начал писать код.
Читать дальше →
Всего голосов 25: ↑23 и ↓2+21
Комментарии13

Как у нас устроено A/Б-тестирование. Лекция Яндекса

Время на прочтение12 мин
Количество просмотров45K
A/Б-тестирование на сервисах Яндекса проводится постоянно. «Раскатить на такую-то долю аудитории» и посмотреть на реакцию людей — настолько стандартная практика, что ни у кого в команде не возникает вопроса, зачем это нужно. А чтобы не было проблем с самим тестированием, у нас есть специальная инфраструктура для экспериментов. Подробности рассказывают разработчики Сергей Мыц и Данил Валгушев.


Сергей:
— Я попробую упрощенно описать задачу A/Б-тестирования. Есть абстрактная система с пользователями, в нее мы вносим какие-то изменения, и нужно уметь измерять в ней пользу. Пока все просто, но слишком абстрактно. Пример. Есть веб-сервис по сравнению пары фотографий котов. Пользователь должен выбрать наиболее понравившуюся фотографию. При этом он может выбрать не только левый или правый снимок, но и «против всех». Значит, мы подобрали картинки не очень хорошо. Наша задача — обоснованно улучшать сервис, доказывая это цифрами.
Всего голосов 51: ↑50 и ↓1+49
Комментарии2

Внедряем безопасность в процесс разработки крупного проекта

Время на прочтение21 мин
Количество просмотров21K



В данной статье нам хотелось бы поделиться своим опытом внедрения нашей команды пентестеров в цикл разработки большого проекта «МойОфис». Найти материал подобной тематики с реальными кейсами на русском языке практически невозможно. Всем, кого интересует модные направления пентестов, теория, практика, методики, тулзы и реально найденные уязвимости в контексте безопасной разработки, — добро пожаловать под кат. Статья изобилует полезными ссылками на теоретические и практические материалы. Но давайте по порядку.

Читать дальше →
Всего голосов 46: ↑43 и ↓3+40
Комментарии6

Red Team: командное взаимодействие при проведении тестирования на проникновение

Время на прочтение4 мин
Количество просмотров37K


В данной статье будет рассмотрено командное взаимодействие, инструментарий и методологии проведения Red Team операций. Операции Red Team позволяют максимально натуралистично имитировать атаку группы профессиональных внешних нарушителей для выявления уязвимостей инфраструктуры.
Читать дальше →
Всего голосов 33: ↑32 и ↓1+31
Комментарии2

Информация

В рейтинге
Не участвует
Откуда
Екатеринбург, Свердловская обл., Россия
Дата рождения
Зарегистрирован
Активность

Специализация

Systems Analyst, Software Architect
Lead
SQL
ArchiMate
Business modeling
AnyLogic
Project management
People management
Development management
Building a team
Development of tech specifications
Organization of business processes