Pull to refresh
-2
Karma
0
Rating
Александр Судникович @Sudno

Пользователь

Парсим мемы в питоне: как обойти серверную блокировку

Open Data Science corporate blog Python *Programming *Data Mining *Open data *
Tutorial

Новогодние праздники — прекрасный повод попрокрастинировать в уютной домашней обстановке и вспомнить дорогие сердцу мемы из 2k17, уходящие навсегда, как совесть Electronic Arts.



Однако даже обильно сдобренная салатами совесть иногда просыпалась и требовала хоть немного взять себя в руки и заняться полезной деятельностью. Поэтому мы совместили приятное с полезным и на примере любимых мемов посмотрели, как можно спарсить себе небольшую базу
данных, попутно обходя всевозможные блокировки, ловушки и ограничения, расставленные сервером на нашем пути. Всех заинтересованных любезно приглашаем под кат.

Читать дальше →
Total votes 76: ↑70 and ↓6 +64
Views 91K
Comments 42

Web Scraping с помощью python

Python *Data Mining *

Введение


Недавно заглянув на КиноПоиск, я обнаружила, что за долгие годы успела оставить более 1000 оценок и подумала, что было бы интересно поисследовать эти данные подробнее: менялись ли мои вкусы в кино с течением времени? есть ли годовая/недельная сезонность в активности? коррелируют ли мои оценки с рейтингом КиноПоиска, IMDb или кинокритиков?
Но прежде чем анализировать и строить красивые графики, нужно получить данные. К сожалению, многие сервисы (и КиноПоиск не исключение) не имеют публичного API, так что, приходится засучить рукава и парсить html-страницы. Именно о том, как скачать и распарсить web-cайт, я и хочу рассказать в этой статье.
В первую очередь статья предназначена для тех, кто всегда хотел разобраться с Web Scrapping, но не доходили руки или не знал с чего начать.

Off-topic: к слову, Новый Кинопоиск под капотом использует запросы, которые возвращают данные об оценках в виде JSON, так что, задача могла быть решена и другим путем.
Читать дальше →
Total votes 40: ↑31 and ↓9 +22
Views 511K
Comments 48

У меня нулевая текучка

Personnel Management *Reading room
🔥 Technotext 2020
Однажды на заводе, где я работал ИТ-директором, готовили отчетность к какому-то очередному мероприятию. Надо было рассчитать и предоставить показатели по выданному перечню, среди них затесалась текучесть кадров. И тут оказалось, что у меня она равна нулю.

Из руководителей я был такой один, тем самым привлек к себе внимание. Ну и сам удивился – оказывается, когда от тебя не уходят сотрудники, это странно и необычно.

В сумме я работал руководителем лет 7-10 (точно не знаю, какие периоды сюда включать), но нулевая текучка сохранилась. Никто никогда от меня не уходил, никого никогда я не выгонял. Только набирал.

Нулевая текучка, как показатель, никогда не была моей самоцелью. Но я стараюсь делать так, чтобы вложенные в людей усилия не пропадали даром. Сейчас расскажу примерно, как я руковожу так, что люди не уходят – вдруг что полезное для себя найдете. На полноту раскрытия темы не претендую, т.к. основываюсь только на личном опыте. Вполне возможно, что я всё делаю неправильно.
Читать дальше →
Total votes 317: ↑283 and ↓34 +249
Views 177K
Comments 534

Скрипт настройки Windows 10

System administration *PowerShell *
Tutorial
Sandbox

image
Давно хотел поделиться своим скриптом по автоматизации настройки Windows 10 (на данный момент актуальная версия 19041), да все руки не доходили. Возможно, он будет кому-то полезен целиком или только его части. Конечно, будет проблематично описать все пункты настройки, но постараюсь выделить самое важное.

Если кому-то интересно, то добро пожаловать под кат.

Читать дальше →
Total votes 88: ↑77 and ↓11 +66
Views 157K
Comments 297

Жизнь внутри черной дыры

Popular science Physics Astronomy
Знаю, что здесь это якобы не приветствуется, но делаю кросс-пост отсюда по прямой просьбе автора — Горькавого Николая Николаевича. Есть некоторый шанс, что их идея перевернёт современную науку. И лучше прочитать о ней в оригинале, чем в пересказе рен-тв или ленты.ру.

image

Для тех, кто не следил за темой. Рассмотрим две вращающихся друг вокруг друга чёрных дыры, допустим, массами 15 и 20 единиц (масс Солнца). Рано или поздно они сольются в одну черную дыру, но её масса будет не 35 единиц, а, скажем, всего 30. Остальные 5 улетят в виде гравитационных волн. Именно эту энергию улавливает гравитационный телескоп LIGO.

Суть идеи Горькавого и Василькова в следующем. Допустим, вы наблюдатель, сидите в своём кресле и чувствуете притяжение 35 единиц массы делить на квадрат расстояния. И тут бац — буквально за секунду их масса уменьшается до 30 единиц. Для вас, в силу принципа относительности, это будет неотличимо от ситуации, когда вас отбросило в обратном направлении с силой в 5 единиц, делить на квадрат расстояния. То есть, неотличимо от антигравитации.

Читать дальше →
Total votes 91: ↑86 and ↓5 +81
Views 112K
Comments 588

Что будет, если объединить фоторедактор и нейросеть

Popular science Software Artificial Intelligence

Пример работы нейронного фоторедактора Neural Photo Editor. По центру — оригинальное изображение. Красными и синими квадратами показаны области скрытого пространства, сгенерированного после обучения нейросети. Ими можно манипулировать и напрямую (как обычно это делается) и косвенно, посредством «контекстной кисти»

Вы думаете, что «Фотошоп» творит чудеса в искажении реальности? Да, он может бесследно удалить человека с фотографии или нарастить волосы на голове, как у Илона Маска, с помощью «контекстной кисти». Но это и рядом не стоит с тем, на что способна нейросеть, если разрешить ей редактирование с контекстным анализом. Это совершенно другая реальность. Нейросеть способна заставить человека на фотографии улыбаться, придать вашей девушке черты Анджелины Джоли и так далее. Возможности безграничны.
Читать дальше →
Total votes 33: ↑29 and ↓4 +25
Views 21K
Comments 12

Восстановление расфокусированных и смазанных изображений. Практика

Algorithms *Image processing *
Не так давно я опубликовал на хабре первую часть статьи по восстановлению расфокусированных и смазанных изображений, где описывалась теоретическая часть. Эта тема, судя по комментариям, вызвала немало интереса и я решил продолжить это направление и показать вам какие же проблемы появляются при практической реализации казалось бы простых формул.

В дополнение к этому я написал демонстрационную программу, в которой реализованы основные алгоритмы по устранению расфокусировки и смаза. Программа выложена на GitHub вместе с исходниками и дистрибутивами.

Ниже показан результат обработки реального размытого изображения (не с синтетическим размытием). Исходное изображение было получено камерой Canon 500D с объективом EF 85mm/1.8. Фокусировка была выставлена вручную, чтобы получить размытие. Как видно, текст совершенно не читается, лишь угадывается диалоговое окно Windows 7.



И вот результат обработки:



Практически весь текст читается достаточно хорошо, хотя и появились некоторые характерные искажения.

Под катом подробное описание проблем деконволюции, способов их решения, а также множество примеров и сравнений. Осторожно, много картинок!
Читать дальше →
Total votes 459: ↑456 and ↓3 +453
Views 327K
Comments 141

Не читайте тексты про западные стартапы

Unwired Devices LLC corporate blog Crowdsourcing Electronics for beginners
Привет, Гиктаймс!

Не думал, что вообще буду сюда писать тексты такой специфической тематики, но свежий пост ФРИИ — «С чего начинается hardware-стартап: Команда и прототип» — меня зацепил. Дело в том, что центральная часть текста там посвящена тому, как правильно раздавать направо и налево доли в вашем стартапе — от основателей до рядовых сотрудников, причём последним предлагается раздавать минимальные доли почти по конец первой сотни нанятых вами работников.

Проблема в том, что в России такое не просто крайне затруднительно чисто технически — я даже не уверен, что вообще возможно, в России сама попытка реализации такой схемы эффективно похоронит ваш стартап, причём самым глупым образом.

Подробно причины этого описаны в законе 14-ФЗ («Об обществах с ограниченной ответственностью», то есть базовый закон по данной теме), который любому человеку, в принципе задумывающемуся о каком-либо стартапе, стоит прочитать хотя бы по диагонали, чтобы в общих чертах представлять себе, как работает и регулируется ООО в России.

Я сознательно говорю именно про ООО, потому что примерно 100 из 100 стартапов в России — это ООО. Теоретически, вы можете зарегистрировать стартап как непубличное АО и избавиться от описанных ниже проблем, но немедленно влететь в другие: например, если в ООО любые решения о судьбе общества вы можете подтверждать просто подписями всех соучредителей, то в АО требуется проведение полноценного собрания с присутствием нотариуса, заверяющего все принятые решения.

Итак, ООО — что делать с долями и инвестициями стартапу, живущему в России.

Читать дальше →
Total votes 73: ↑63 and ↓10 +53
Views 28K
Comments 132

Спросите Итана #4: Странные астрономические карты

Popular science Astronautics
Translation
image

У меня есть экзистенциальная карта, по всей поверхности которой написано «Вы здесь».
Стивен Райт


Читатель спрашивает:

Карты космического микроволнового фонового излучения выглядят как плоский овал. Как это соотносится с видом неба, которое представляет собой сферу? Например, карта Земли может быть либо искажена, чтобы показать нам мир в двух измерениях, либо порезана на ломтики. На какую часть неба мы смотрим, смотря на карту КМФИ? Она искажена? А если это только часть неба – не пропущена ли какая-либо важная информация?

Он говорит о подобных картинках:
image

Сложно поверить, но тут действительно зашифровано всё небо.
Читать дальше →
Total votes 30: ↑28 and ↓2 +26
Views 15K
Comments 4

Microsoft заставит пользователей обновлять Windows 10

ESET NOD32 corporate blog
Вчера компания Microsoft объявила дату выхода Windows 10 — 29 июля 2015. Также вчера пользователи Windows 7 & 8/8.1 смогли наблюдать у себя в области обновлений значок запущенного процесса GWX (Get Windows X). Файлы GWX располагаются в директории C:\Windows\System32\GWX и будут присутствовать там только в случае установленного обновления KB3035583. Этот процесс предлагал пользователям «зарезервировать» свою копию Windows 10 для своевременного обновления. В дальнейшем, GWX будет использоваться для обновления до Windows 10.



Ранее мы писали, что для домашних пользователей Windows 10, Microsoft будет доставлять обновления сразу же как только они будут доступны, отказываясь таким образом от менее безопасной модели patch tuesday, при которой все выпускаемые обновления должны были ждать одного дня. Теперь стало известно, что для домашних пользователей обновления будут устанавливаться автоматически после скачивания и пользователь не сможет запретить или отложить их установку.
Читать дальше →
Total votes 28: ↑27 and ↓1 +26
Views 165K
Comments 72

Тульпа — карманная шизофрения для гиков или реальный воображаемый друг

DIY
Tutorial
Скажите, вы бы хотели иметь друга? Любого человека или другое существо, которое будет вашим самым лучшим другом, обладая той внешностью, которая вам нравится, и тем характером который вам необходим, которое не надо будет делить с ее или его друзьями, родителями, собачкой, игрушками или учебой.
А секретаря, который всегда с вами, имеет прямой доступ к вашей памяти, напомнит, подскажет, и подаст нужную идею, напарника для мозгового штурма?
Тогда добро пожаловать под кат.



Тульпа — это стабильная самовнушенная осознанная визуализация, способная к самостоятельным мыслям и действиям, обладающая собственным сознанием. Что характерно, создается она совершенно осознанно, путем целенаправленных действий в течении долгого времени, и позволяет задавать начальный характер и форму по вашему усмотрению.
Это ты сейчас с кем разговаривал? Расшифруй определение.
Total votes 161: ↑83 and ↓78 +5
Views 1.4M
Comments 562

Онлайн, оффлайн и мобильные планетарии

Popular science Astronautics Astronomy


Технологии не стоят на месте — появляются новые проекты, выходят новые версии существующих программ. А с развитием веб-технологий появилось множество онлайн-планетариев и карт Солнечной системы и ближних окрестностей. Предлагаю вашему вниманию небольшой обзор онлайн-ресурсов и программ, которые нужно устанавливать на локальную машину. И пара слов про мобильные планетарии для Android.
Читать дальше →
Total votes 24: ↑24 and ↓0 +24
Views 30K
Comments 27

Что делать, если «кина не будет» или как обойти блокировку сайта провайдером

Copyright
Настал мой законный выходной и, выбрав время для просмотра фильма (люблю я старую классику), я занялся его поиском. Зайшел на один из привычных для меня сайтов, и наткнулся на такую вот блокировку данного ресурса.

блокировка

«Вот те раз!» — подумал я. Ни в одном реестре запрещенных сайтов данный ресурс не присутствовал и, с чего билайн его заблокировал — непонятно. Естественно после таких вот «заявочек» в голову полезли страшные мысли: «а что если завтра любимого „кина“ не будет!». Данные мысли тут же подвигли меня начать искать способы борьбы с данной ситуацией, и написать, для тех кому будет интересно, маленький обзор нескольких решений по обходу блокировки сайтов. (под катом скрины)
Читать дальше →
Total votes 120: ↑96 and ↓24 +72
Views 1.5M
Comments 87

Вы и ваша работа *

GTD *
Translation
Длинный материал. Время чтения – около 40 минут.

image

Доктор Ричард Хэмминг, профессор морской школы Монтерея в штате Калифорния и отставной учёный Bell Labs, прочёл 7 марта 1986 года очень интересную и стимулирующую лекцию «Вы и ваши исследования» переполненной аудитории примерно из 200 сотрудников и гостей Bellcore на семинаре в серии коллоквиумов в Bell Communications Research. Эта лекция описывает наблюдения Хэмминга в части вопроса «Почему так мало учёных делают значительный вклад в науку и так многие оказываются в долгосрочной перспективе забыты?». В течение своей более чем сорокалетней карьеры, тридцать лет которой прошли в Bell Laboratories, он сделал ряд прямых наблюдений, задавал учёным очень острые вопросы о том, что, как, откуда, почему они делали и что они делали, изучал жизни великих учёных и великие достижения, и вёл интроспекцию и изучал теории креативности. Эта лекция о том, что он узнал о свойствах отдельных учёных, их способностях, чертах, привычках работы, мироощущении и философии.
Читать дальше →
Total votes 239: ↑229 and ↓10 +219
Views 804K
Comments 127

Обфускация JavaScript

JavaScript *
В статье собраны всем известные методы и предельно извращенные. Эту статью я решил написать после недавнего прочтения поста в блоге Badass JavaScript и решил её дополнить своими находками.

Первый способ


Он всем известен — обфускация минимизаторами такими как JS Packer, JSmin, YUI Compressor, Closure compiler или можно просто пугуглить «JavaScript Obfuscator» и найдется ещё сто штук разных обфускаторов.
Они превращают существующий код
function MyClass(){
    this.foo = function(argument1, argument2){
        var addedArgs = parseInt(argument1)+parseInt(argument2);
        return addedArgs;
    }
    var anonymousInnerFunction = function(){
        // do stuff here!
    }
}

В какой-то такой вид:
function MyClass(){this.foo=function(c,b){var d=parseInt(c)+parseInt(b);return d};var a=function(){}};

Или такой:
var _0xd799=["\x66\x6F\x6F"];function MyClass(){this[_0xd799[0]]=function (_0xefcax2,_0xefcax3){var _0xefcax4=parseInt(_0xefcax2)+parseInt(_0xefcax3);return _0xefcax4;} ;var _0xefcax5=function (){} ;} ;

Или вот такой:
eval(function(p,a,c,k,e,d){e=function(c){return c};if(!''.replace(/^/,String)){while(c--){d[c]=k[c]||c}k=[function(e){return d[e]}];e=function(){return'\\w+'};c=1};while(c--){if(k[c]){p=p.replace(new RegExp('\\b'+e(c)+'\\b','g'),k[c])}}return p}('4 0="3 5!";9 2(1){6(1+"\\7"+0)}2("8");',10,10,'a|msg|MsgBox|Hello|var|World|alert|n|OK|function'.split('|'),0,{}))

Но ничего не стоит его восстановить с помощью jsbeautifier.org либо просто убрать eval и получить исходный код, многое потеряем, но смысл кода восстановим. Ну и с первого взгляда мы видим, что перед нами JavaScript.

Все это были цветочки под катом жесткие методы обфускации.
Читать дальше →
Total votes 171: ↑165 and ↓6 +159
Views 188K
Comments 85

Астрономы обнаружили в Малом Магеллановом Облаке звёздный объект, ранее считавшийся гипотетическим

Popular science Astronautics Physics
С помощью 6,5-метровых оптических телескопов обсерватории Лас-Кампас в Чили астрономы обнаружили красный супергигант HV 2112, спектр которого сильно отличается от типичного для звёзд этого класса. Лучше всего он соответствует спектру предсказанной в 1977 году астрофизиками Кипом Торном и Анной Житков экзотической двойной системы. Объект Торна-Житков представляет собой тесную двойную систему из красного супергиганта и нейтронной звезды. Необычность этого объекта в том, что нейтронная звезда в этой системе в результате торможения о внешние слои супергиганта теряет скорость и по спиральной траектории стремительно проваливается внутрь него. Благодаря огромной температуре и силе тяжести у поверхности нейтронной звезды, окружающее её вещество супергиганта вступает в необычные термоядерные реакции, порождая избыточное количество лития и относительно тяжёлых элементов, таких как рубидий и молибден.

image
Читать дальше →
Total votes 78: ↑72 and ↓6 +66
Views 76K
Comments 29

Видео с МКС в HD качестве в режиме реального времени: High Definition Earth Viewing

Video equipment Astronautics


Не знаю, почему, но новость о том, что с МКС начали трансляцию в HD-качестве, прошла как-то мимо Хабра. А ведь это — новый эксперимент, который стартовал еще 30 апреля этого года.

В рамках проекта установлено несколько весьма качественных HD видеокамер, направленных на Землю. Камеры, насколько можно понять, находятся снаружи МКС, на обшивке, но заключены в корпус с контролируемым давлением, и температурой.

Читать дальше →
Total votes 71: ↑68 and ↓3 +65
Views 133K
Comments 63

Айтишник на отдыхе: добавим немного астрономии?

Astronautics Astronomy

Стремительно приближается лето и сопутствующие ему выезды на природу. Посиделки затягиваются заполночь, и над головой появляются звезды. Но, как правило, зведное небо таинственно и непонятно — астрономию в школах не преподают толком, наверное, уже с конца 80-х, да и кто помнит, чему его учили в школе, если это не использовалось в жизни постоянно? А в небе хватает интересного, особенно если потратить чуть-чуть времени на астрономическое обеспечение выезда на природу.
Читать дальше →
Total votes 107: ↑104 and ↓3 +101
Views 125K
Comments 80

О патриотизме и реализме

Astronautics
О сегодняшней российской космонавтике в русскоязычном интернете имеется два мнения: “мы в космосе первые” и “мы в космосе последние”.

Souyz

С “последними” всё достаточно ясно: если не интересоваться космонавтикой, а поверхностный взгляд формировать из просмотра популярных СМИ, то перед глазами встают картины взрывающихся ракет и коррупционные скандалы. К примеру, прошлогоднее падение “Протона” затмило, в информационном поле, остальные три десятка успешных запусков. То же самое касается и раздувания новостей о коррупции в Роскосмосе. Она, конечно, есть, но, несмотря на нее, отрасль работает и развивается, хоть и не так быстро как хотелось бы.

Сегодня я хотел поговорить о “мы впереди планеты всей”. Вполне объективные показатели: лидирующие положение на мировом рынке космических запусков, стабильно надежное обеспечение пилотируемой программы МКС, экспорт ракетных двигателей, ракет и разгонных блоков, позволяют России находиться в списке ведущих мировых космических держав. Но те, кому известны эти факты, ударяются в обратную крайность — полагают, что Роскосмос занимает верхнюю ступеньку космического пьедестала.
Читать дальше →
Total votes 280: ↑262 and ↓18 +244
Views 208K
Comments 222

Как начать майнить для начинающих

Cryptocurrencies
Tutorial
Sandbox
Идея и название статьи подсказано юзером Xao в комментарии к недавнему посту Что делать с Bitcoin нам, обычным людям, а также многочисленными вопросами на Тостере. Эта инструкция поможет начать майнинг на обыкновенных компьютерах и ноутбуках под управлением ОС Windows или Linux в составе пула совместной генерации криптовалюты.

Как верно заметил dzzh
Смысла нет сейчас биткоин майнить. Какие-то мелкие монетки генерировать и через биржи в биткоин выводить — еще да.

Поэтому начать майнинг придется с выбора криптовалюты. Данная инструкция состоит из 5 простых шагов:
  1. Выбор форка
  2. Выбор пула
  3. Выбор майнера
  4. Запуск майнинга
  5. Вывод на свой кошелек

Читать дальше →
Total votes 44: ↑18 and ↓26 -8
Views 656K
Comments 32

Information

Rating
Does not participate
Location
Москва, Москва и Московская обл., Россия
Date of birth
Registered
Activity