Pull to refresh
0
Send message

Как обнаружить и устранить мультиколлинеарность с помощью Statsmodels в Питоне

Level of difficultyEasy
Reading time4 min
Views4.7K

Привет, Хабр!

Мультиколлинеарность возникает, когда в модели множественной регрессии одна из независимых переменных может быть линейно предсказана с помощью других независимых переменных с высокой степенью точности. Это явление приводит к тому, что расчетные коэффициенты регрессии становятся нестабильными и их значения могут сильно изменяться в зависимости от включения или исключения других переменных в модель.

Высокая мультиколлинеарность может привести к значительному изменению коэффициентов при незначительных изменениях в данных или спецификации модели. Это усложняет интерпретацию коэффициентов, поскольку они могут значительно изменяться от одного анализа к другому.

Когда переменные сильно коррелированы, стандартные ошибки оценок коэффициентов увеличиваются. Это ведет к увеличению p-значений, что может ошибочно привести к заключению о том, что переменные не имеют значимого влияния на зависимую переменную, хотя на самом деле это не так.

В статье рассмотрим как обнаружить и устранить мультиколлинеарность с помощью Statsmodels в Питоне.

Читать далее
Total votes 5: ↑4 and ↓1+7
Comments0

Начало работы с Junos PyEZ

Reading time8 min
Views10K
Сейчас очень популярна тема сетевой автоматизации. Одним из инструментов такой автоматизации в мире Juniper является библиотека PyEZ, разрабатываемая командой Джереми Шульмана (Jeremy Schulman). PyEZ — это микро-фреймворк для удаленного управления и автоматизации устройств Juniper, написанный на языке Python. Основным преимуществом PyEZ является его простота и нацеленность на аудиторию сетевых инженеров, а не программистов.

Некоторые возможности PyEZ:
  • Сбор «фактов», таких как серийный номер, версия ОС и т.д.
  • Извлечение оперативной (аналог команд show) информации
  • Извлечение конфигурации
  • Изменение конфигурации

В этой статье я бы хотел остановиться на возможности извлечения оперативной информации на примере коммутатора EX4200.
Читать дальше →
Total votes 10: ↑10 and ↓0+10
Comments0

Реверсинг прошивок микроконтроллеров

Reading time4 min
Views5.1K

Сегодня мы поговорим о реверс инжиниринге, но не о реверсе софта, а о реверсинге железа. Как следует из термина, реверс-инжиниринг (обратная разработка) - это процесс разборки спроектированного продукта или устройства на его элементарные инженерные компоненты. Мотивация для такого действия может быть различной: от конкурентного анализа и выявления нарушений патентных прав до восстановления дизайна проекта, исходный код которого утерян. Тем не менее, все они включают в себя необходимость или желание понять, как был создан продукт или устройство. Слово “как” здесь используется в самом широком смысле, включая вопросы о том, “что было использовано для его создания”, “где находится каждый элемент”, “когда происходят определенные события” и т.д.

Реверс-инжиниринг в мире электроники может принимать самые разные формы: от программного обеспечения до аппаратного обеспечения, от "черного ящика" до интрузивного использования. Реверс-инжиниринг аппаратного обеспечения может быть таким же простым, как разборка изделия для идентификации внутренних компонентов и схем платы, или таким же сложным, как извлечение полупроводниковых схем и тестирование на месте.

Читать далее
Total votes 34: ↑11 and ↓23-8
Comments15

Чтение на выходные: «Искусство быть невидимым. Как сохранить приватность в эпоху Big Data» Кевина Митника

Level of difficultyEasy
Reading time4 min
Views3.9K

Спойлер к проблеме из сегодняшнего заголовка: «Никак». Об этом мы и поговорим.

Кевин Митник — специалист по компьютерной безопасности. Тот самый человек, который способен научить сохранять конфиденциальность в интернете настолько, насколько это возможно. В свое время как хакер совершил ряд преступлений в сети, отсидел и вышел на свободу, поэтому почитать его будет особенно интересно.

Читать далее
Total votes 9: ↑7 and ↓2+7
Comments9

Путеводитель по Docker. От основ контейнеризации до создания собственного докера

Reading time10 min
Views27K

Добрый день! Сегодня мы поговорим о контейнеризации, а именно о наиболее популярной на данный момент технологии её реализации - Docker. Также вашему вниманию будут представлены уязвимости при реализации данной технологии.

Читать далее
Total votes 16: ↑7 and ↓9+1
Comments3

Как айтишник Liebherr в Голландии чинил

Level of difficultyMedium
Reading time5 min
Views16K
image

В каждой стране есть свои особенности национального бытия, которые у иммигрантов могут вызывать непонимание. В Голландии такой особенностью для нас оказалась местная архитектура. Нет, не та что про фронтоны и антаблементы, в этом плане тут всё ок, а практическая её часть — размеры и планировки жилья, особенно съёмного. В паре слов эти инженерные решения можно описать как «узко, неудобно и жить негде». Довольно типичным явлением для арендной квартиры, счастливыми съёмщиками коей мы оказались, является миниатюрный подстольный холодильник без морозильного отделения. Местные, как правило, заполняют его пивом в жестянках (хотя как правильно назвать жестянку из алюминия?) и отлично проводят свободное время перед большим экраном с футболом. А нам, ишь ты, подавай хозяйство-домоводство… дичь какая-то, да и только. Учитывая дефицит пространства и трудности потенциального перевоза на другое место жительства (привет-привет Нидерландским лестницам), мы долго не решались купить себе нормальный холодильник. Но вот явился нам на барахолке Он — старенький и местами ржавенький Liebherr GP1466, низкая морозильная камера. При цене `всего лишь` 160 евро по неизвестным причинам это показалось мне супер-предложением. Наверное просто показалось, понял я потом. В своё оправдание могу сказать только две вещи. Во-первых, его габариты были одновременно минимально разумными с точки зрения практической полезности и максимальными в смысле возможности поднять по той самой лестнице. Во-вторых, на родине у нас Liebherr 30 лет работал, и ещё будет работать.
Читать дальше →
Total votes 64: ↑57 and ↓7+71
Comments36

Самое понятное объяснение парадокса близнецов

Level of difficultyMedium
Reading time5 min
Views49K

В комментариях к моей предыдущей статье и в комментариях к ролику было много вопросов и некорректных замечаний по поводу парадокса близнецов. Как оказалось, мое объяснение оказалось не настолько понятным, как я надеялся, поэтому в этой статье я решил максимально наглядно, подробно и последовательно объяснить парадокс близнецов и ответить на некоторые другие вопросы.

Кратко напомню суть парадокса

Берем двух близнецов, сажаем их на маленькую легкую планету (легкую, чтобы не учитывать влияние гравитации), одного оставляем неподвижным, а второго запускаем на ракете полетать и вернуться обратно. При их встрече оказывается, что летавший близнец постарел меньше, чем неподвижный.
Парадокс заключается в том, что неочевидно почему именно у летавшего время текло медленнее. Ведь, вроде бы, ситуация симметричная: в системе отсчета летавшего он был неподвижен, а планета с неподвижным близнецом полетала и вернулась, и это у них должно было натикать меньше времени.

Парадокс близнецов очень важен, т.к. это самый наглядный способ увидеть, что релятивистский эффект замедления времени не просто математический артефакт специальной теории относительности или иллюзия, а вполне реальное физическое явление.

Попросим бегущего кота четыре секунды (по его часам) бежать вправо со скоростью 75% скорости света, потом развернуться и прибежать с той же скоростью назад.
Вот визуализация на диаграмме.

Читать далее
Total votes 85: ↑81 and ↓4+98
Comments408

Простой способ создания самодельных витражей с помощью ЧПУ-станка

Level of difficultyMedium
Reading time13 min
Views12K
Картинка Vecstock, Freepik

Сегодня поговорим о такой интересной технике оформления стёкол, как витраж, а также попробуем прикинуть, как нам создать его минимальными усилиями!
Читать дальше →
Total votes 51: ↑50 and ↓1+73
Comments65

Как передать информацию в ICMP-пакетах и не привлечь внимания санитаров

Reading time8 min
Views27K

Источник: polymerh.

На Хабре достаточно статей про передачу данных через протокол ICMP. Чего говорить, шесть лет назад я сам писал про стеганографию в IP-пакетах и «пингах». Но кажется, самое время вернуться к этой теме и предложить неочевидные методы.

Если вам кажется, что тема передачи данных в ICMP уже исчерпана и я не смогу вас удивить, то предлагаю извлечь данные из дампа сетевого трафика до прочтения статьи. То, что будет дальше, может ввести в недоумение.
Читать дальше →
Total votes 98: ↑97 and ↓1+126
Comments28

ТОП бесплатных OSINT-инструментов по версии T.Hunter в 2024-м году

Reading time6 min
Views13K

Всем привет! Публикуем подборку лучших бесплатных OSINT-инструментов по версии T.Hunter в 2024-м году. В ней и уже знакомые сервисы и софт, сохранившие свои позиции с прошлых лет, и новые инструменты, которые будут полезны любому специалисту по OSINT.

Кроме того, в статье нашлось место и альтернативам софту, доступ к которому россиянам теперь закрыт. От старого-доброго Архивариус 3000 до Arkham Intelligence, перспективных отечественных разработок и наших собственных решений. За подробностями добро пожаловать под кат!

Читать далее
Total votes 5: ↑5 and ↓0+7
Comments1

Инструменты, уязвимости и атаки на беспроводные технологии. Злой двойник и плата глушилка

Reading time7 min
Views6.7K

Снова рады приветствовать дорогих читателей! Продолжаем рубрику статей "Без про-v-ода" в которой мы обозреваем для вас различные инструменты, уязвимости и атаки на беспроводные технологии или протоколы. Wi-Fi технология стала неотъемлемой частью нашей повседневной жизни. Мы используем беспроводные сети для доступа в интернет, обмена данными, стриминга видео и музыки, и многих других целей. Однако, с увеличением популярности Wi‑Fi сетей, также возрастает и риск для безопасности информации, передаваемой по этим сетям. В этой статье будет задействован мощный инструмент который поможет нам оценить уровень безопасности Wi‑Fi сетей и выявить потенциальные уязвимости и плата для тестирования на безопасность Wi‑Fi сетей.

Дисклеймер: Все данные, предоставленные в данной статье, взяты из открытых источников, не призывают к действию и являются только лишь данными для ознакомления, и изучения механизмов используемых технологий.

Читать далее
Total votes 7: ↑5 and ↓2+3
Comments0

Фен и нижний подогрев. Снятие/установка BGA без реболлинга

Reading time5 min
Views9.1K

Приветствую, Хабр!

В статье хочу показать процесс снятия чипов в BGA корпусе и установки на новую плату не перекатывая шарики. Опишу некоторые нюансы, которые позволяют осуществлять данную операцию более или менее безболезненно.

Читать далее
Total votes 46: ↑45 and ↓1+68
Comments28

Поговорим о зеркалировании трафика с помощью VxLAN

Reading time6 min
Views5.1K

Анализ сетевого трафика является важной задачей, решение которой требуется различным специалистам. Так, специалистам по информационной безопасности необходимо анализировать трафик на наличие подозрительных пакетов, вирусного трафика, сканирования портов, перебора паролей и т. п. Также безопасникам может потребоваться анализировать исходящий трафик на наличие конфиденциальных данных, например, в случае, если в организации используется режим коммерческой тайны. Ну а кроме этого, трафик в автоматическом режиме анализируют системы обнаружения/предотвращения вторжений.

Сетевикам необходимо анализировать трафик для выявления различных аномалий: полуоткрытых соединений, ретрансмитов, потерь пакетов.

Читать далее
Total votes 8: ↑7 and ↓1+10
Comments4

Портативное прототипирование электроники

Level of difficultyMedium
Reading time7 min
Views8.7K

Если при разработке электроники вы часто сталкиваетесь с задачей собрать в кучу россыпь модулей и проводов на столе, чтобы иметь возможность производить отладку в другом месте, эта статья для вас.

Читать далее
Total votes 42: ↑41 and ↓1+58
Comments28

Радиоэфир без регистрации и СМС

Level of difficultyEasy
Reading time23 min
Views35K

Пост для тех, кто любит радиосвязь, но не радиолюбитель с позывным

Меня всегда привлекали рации. В детстве в девяностых покупка для меня была недоступной, а радиокружок, который я посещал, был совсем другого уровня. Мы паяли платы уровня мультивибратора, симулятора звука шарика от пинг-понга и канарейки. Поэтому единственной доступной нам удалённой связью во дворе была размотанная проволока из трансформатора со спичечными коробочками на концах в качестве микрофона и динамика (пластиковые стаканчики тогда ещё не получили распространение, были только гранёные). Работало метров на 30.

В старшем возрасте я понял, что могу позволить завалить себя радейками и время от времени покупал различные недорогие модели, которые выбирал лишь по цене и внешнему виду. Но на удивление связать серенькие радиостанции с фиолетовыми или чёрными не получалось, даже если выбрать один и тот же номер канала. Пришлось разбираться, и всё оказалось куда сложнее, чем просто выбрать переключателем номер канала и нажать кнопку PTT (Push-To-Talk). Ну и осложнилось всё задачей не получить по шапке за эфир на частотах, где не следует этого делать. Для прояснения ситуации для начинающих и создан этот пост.
Читать дальше →
Total votes 93: ↑91 and ↓2+120
Comments106

Несколько самодельных стеклодувных приспособлений и инструментов. Текущее дооснащение домашней мастерской

Level of difficultyEasy
Reading time8 min
Views3.2K

В стеклодувном деле уйма мелкого ручного специфического инструмента. Однако нет нужды обзаводиться сразу всем арсеналом – львиная его доля имеет простые недорогие варианты исполнения, отработанные стеклодувами прошлого и без труда изготовляемые по месту, перед основной работой и по мере необходимости. Кое в чём легко узнаются хрестоматийные примеры из учебников, кое-что может быть простейшей одноразовой проволочной державкой. Напомню – речь идёт о хоббийных работах в условиях деревенской домашней мастерской.
Читать дальше →
Total votes 65: ↑65 and ↓0+77
Comments39

Как я собрал красивое ведро для гидропоники

Level of difficultyEasy
Reading time10 min
Views29K

Несколько лет назад я писал пост о том, как вырастить на гидропонике крайне острый Trinidad Scorpion CARDI. Он, при его живительных 1.2 миллионах единиц Сковилла, на неподготовленных перцеедов производит впечатление эквивалентное облизыванию паяльника.

Пока Монстр плодоносил и радовал в течение нескольких лет, я продумывал более удобный вариант гидропонной установки, который было бы не стыдно показывать в приличном интерьере гостям. Классический вариант “юного гидропониста” из канализационных труб, алюминиевого скотча и вороха булькающих трубочек был с негодованием забракован женой. Я разработал и протестировал несколько прототипов с 3D-печатными элементами, но потом проект был поставлен на паузу.

Окончательно доделать его получилось после того, как внезапно выяснилось, что коллеги тоже фанаты острого. Мы собрались в нашей виртуальной “курилке”, запилили проект со всеми положенными milestone в Asana и начали тестировать. Садитесь поудобнее, сегодня будет лонгрид-оффтопик, про то, как толпа DevOPS из WiseOPS пилила совместный хобби проект для украшения офиса. Да, мы заняты не только работой) А еще я поделюсь подробной инструкцией и файлами для 3D-печати.

Сегодня расскажу про то, как правильно утопить растение, спроектировать прототип и выйти в релиз, даже если твои тестеры очень сильные люди.

Читать далее
Total votes 110: ↑109 and ↓1+132
Comments166

Эволюция Traffic Engineering-2. От основ PCEP к новому взгляду на РСЕСС

Level of difficultyHard
Reading time15 min
Views993

Traffic Engineering помогает нам решать проблемы оценки и оптимизации производительности IP‑сетей, но при этом требует недюжинного понимания сетевых технологий и протоколов, которые используются в больших сетях. В прошлый раз мы остановились на магии работы PCE-контроллера и затронули Stateless и Stateful PCE. Как здесь не вспомнить комикс от Go Chronicles, посвящённый Stateful.

Конечно, на самом деле PCE-контроллер общается не так, а с использованием PCEP — Path Computation Element Communication Protocol, который описан в RFC 5440. Так что самое время начать с него вторую часть нашей истории про Traffic Engineering. 

Читать далее
Total votes 5: ↑5 and ↓0+5
Comments0

Народный измеритель ёмкости батареек BatteryTest

Level of difficultyEasy
Reading time6 min
Views30K
Я разработал дешёвый, точный и максимально простой в использовании прибор, с помощью которого можно измерить ёмкость практически любой батарейки (от микроскопических батареек для слуховых аппаратов до крупных батарей). Повторить мой прибор может любой желающий.



Читать дальше →
Total votes 213: ↑213 and ↓0+232
Comments52

«Экструдер» филамента для 3D-принтера своими Оч.Умелыми ручками. Безэкструдерное получение нитей

Level of difficultyMedium
Reading time7 min
Views5.5K

Небольшая предыстория

В первой моей статье мне в панамку не напихали и вы, уважаемое сообщество, приняли её достаточно благосклонно, а значит, если хочется сделать доброе дело - никакие преграды и разрушения не остановят)))). Кроме того я получил обратную связь, в том числе через личные сообщения, в которых получилось обсудить многие важные вопросы, за что отдельное спасибо.

Как Вы могли сделать вывод из первой моей статьи я представляю гремучую смесь инженера-текстильщика-химика-полимерщика-... пытающегося чуток "в науку".

Эксперименты не останавливаются. Построенный прототип периодически выдает "на гора" минусы реализации, но это лишь результат дендро-фекального способа конструирования на коленке и сознательного игнорирования некоторых важных конструкторских постулатов... Тем не менее уже сейчас можно смело сказать, что принцип действия показывает хорошие и нужные результаты и используя мой опыт и выявленные ошибки можно самостоятельно всё воплотить в жизнь.

Еще на этапе создания прототипа, разработки технологии я задавался вопросом "Кому это надо в повседневной жизни?". Один из ответов последовал от моего друга и товарища, которому нужен был филамент для принтера.

Кратко изучив вопрос стало понятно, что вопрос актуален по прозаичным коммерческим причинам (средняя цена мотка филамента в 1000 руб. против 80 руб. за гранулят как-то не гуманно), в связи с чем предпринимаются многочисленные попытки создать различного типа экструдеры.

Поэтому, если не идет речь о коммерческом использовании конструкции, пожалуйста - WTFPL.

Читать далее
Total votes 14: ↑14 and ↓0+16
Comments17

Information

Rating
Does not participate
Registered
Activity