Pull to refresh
3
Karma
0.2
Rating
Сергей Шевчук @opckSheff

Пользователь

  • Followers 6
  • Following 7
  • Posts
  • Comments

Как спарсить любой сайт?

JavaScript *Data Mining *Big Data *Open data *Web services testing *
Tutorial

Меня зовут Даниил Охлопков, и я расскажу про свой подход к написанию скриптов, извлекающих данные из интернета: с чего начать, куда смотреть и что использовать.

Написав тонну парсеров, я придумал алгоритм действий, который не только минимизирует затраченное время на разработку, но и увеличивает их живучесть, робастность и масштабируемость.

Узнать как
Total votes 54: ↑45 and ↓9 +36
Views 15K
Comments 58

Сам себе Гутенберг. Делаем параллельные книги

Open source *Python *Machine learning *Learning languages Natural Language Processing *
Tutorial

Lingtrain parallel books


Если вам нравится изучать языки (или вы их преподаете), то вы наверняка сталкивались с таким способом освоения языка как параллельное чтение. Он помогает погрузиться в контекст, увеличивает лексикон и позволяет получить удовольствие от обучения. Читать тексты в оригинале параллельно с русскоязычными, на мой взгляд, стоит, когда уже освоены азы грамматики и фонетики, так что учебники и преподавателей никто не отменял. Но когда дело все же доходит до чтения, то хочется подобрать что-то по своему вкусу, либо что-то уже знакомое или любимое, а это часто невозможно, потому что такого варианта параллельной книги никто не выпускал. А если вы учите не английский язык, а условный японский или венгерский, то трудно найти вообще хоть какой-то интересный материал с параллельным переводом.


Сегодня мы сделаем решительный шаг в сторону исправления этой ситуации.


Из чего делаем


На входе у нас будут два текстовых файла с оригинальным текстом и его переводом. Для примера возьмем книгу "Убить пересмешника" Харпер Ли на русском и английском языках.


Начало документов выглядит так (отрывки приведены в таком виде, в котором они были найдены в сети):

Выровнять пересмешника
Total votes 106: ↑106 and ↓0 +106
Views 17K
Comments 56

Ни дня без спорта: перепрограммируем китайский пульсометр

Programming microcontrollers *Gadgets DIY
Sandbox
— Слушайте, а какой пульс должен быть во время пробежки?
— Ну не знаю – ударов 150.
— Да? А чего у меня 840?
— 840 в минуту?!
— А что, надо было в минуту считать что ли?
— А ты как считал?
— Ну, просто считал, пока не сбился… Так, ладно, я пошел пересчитывать.
(х/ф «День выборов»)

Почти точно про китайский пульсометр. Как говорится, если хочешь сделать что-то хорошо, то сделай это сам. И если устройство работает не так, как от него требуется, то возможно его получится улучшить?

Приступим
Total votes 38: ↑38 and ↓0 +38
Views 12K
Comments 38

Flipper Zero — пацанский мультитул-тамагочи для пентестера

Flipper Devices Inc. corporate blog Information Security *Wireless technologies *Manufacture and development of electronics *
Flipper Zero — Multi-tool Device for Hackers

Flipper Zero — проект карманного мультитула на основе Raspberry Pi Zero для пентеста IoT и беспроводных систем контроля доступа, который я разрабатываю с друзьями. А еще это тамагочи, в котором живет кибер-дельфин.

Он будет уметь:

  • Работать в диапазоне 433 MHz — для исследования радиопультов, датчиков, электронных замков и реле.
  • NFC — читать/записывать и эмулировать карты ISO-14443.
  • 125 kHz RFID — читать/записывать и эмулировать низкочастотные карты.
  • iButton ключи — читать/записывать и эмулировать контактные ключи, работающие по протоколу 1-Wire.
  • Wi-Fi — для проверки защищенности беспроводных сетей. Адаптер поддерживает инъекции пакетов и мониторный режим.
  • Bluetooth — поддерживается пакет bluez для Linux
  • Режим Bad USB — может подключаться как USB-slave и эмулировать клавиатуру, ethernet-адаптер и другие устройства, для инъекции кода или сетевого пентеста.
  • Тамагочи! — микроконтроллер с низким энергопотреблением работает, когда основная система выключена.

Я с волнением представляю свой самый амбициозный проект, идею которого я вынашивал много лет. Это попытка объединить все часто необходимые инструменты для физического пентеста в одно устройство, при этом добавив ему личность, чтобы он был милым до усрачки.
В данный момент проект находится на стадии R&D и утверждения функционала, и я приглашаю всех поучаствовать в обсуждении функций или даже принять участие в разработке. Под катом подробное описание проекта.
Читать дальше →
Total votes 237: ↑234 and ↓3 +231
Views 142K
Comments 160

Манипуляция сознанием. Почему так просто?

Brain


Иногда это является полной неожиданностью и даже потрясает — то, как близкие по мироощущению люди, близкие по возрасту, образованию, окружению, фильмам, которые смотрели, книгам, которые читали, могут по-разному интерпретировать одни и те же события. На основе одних и тех же источников информации, обладая хорошими IQ, непредвзято, они приходят ровно к противоположным выводам.

Очевидно, что как минимум кто-то в этой ситуации находится в состоянии иллюзии.
Как так получается, что ни хорошее образование, ни доступность информации, ни развитая способность логически мыслить не защищают нас от концептуальных ошибок в восприятии и интерпретации, как получается так, что мы не распознаем манипуляцию и ложь? Споры, наблюдения и размышления в конце концов привели меня к образу мыслей, изложенному в этой статье.

Здесь приведено 14 распространенных манипуляций. Анализируя свою жизнь, я могу сказать, что ощущал в разное время воздействия каждой из них, а некоторые методы «промывки мозгов» по отношению ко мне были по-настоящему эффективны. Думаю, это всем хорошо знакомые атаки. Я упорядочил их в некий список и попытался описать механизмы и причины, почему они, несмотря на тривиальность, являются довольно эффективными.

Я не рассматриваю элементарные воздействия такие, как подкуп, шантаж и запугивание. В этой статье меня интересуют лишь атаки, заставляющие нас жить в иллюзии.

В конце статьи я также попытаюсь дать ответ на вопрос, почему ложь может легко обмануть наш интеллект и, более того, использовать его себе на благо, почему наше образование и доступность информации не помогают нам.

Это не статья по психологии и не статья по философии, хотя бы потому, что в этой статье не будет приведено ни одной ссылки.
Читать дальше →
Total votes 114: ↑96 and ↓18 +78
Views 110K
Comments 485

Telegram. Безлимитный сетевой диск. Бесплатный

VDS.SH / DEDIC.SH corporate blog Python *Data storage *Cloud services Lifehacks for geeks
Привет, Хабр.

Наверняка многие об этом задумывались, возможно у кого то эта идея лежит в TODO. У меня она пролежала примерно год, но таки удалось ее реализовать в виде работающего прототипа.

TgCloud:


  • Виртуальная файловая система с открытым исходным г****кодом.
  • На локальном диске — только метаданные: имена, размер, структура папок и т.д.
  • Данные хранятся в Telegram и загружаются только при работе с файлом
  • Размер и тип файлов не ограничен, можно использовать с любой ОС

Подробности реализации и ссылка на репозиторий под катом.
Читать дальше →
Total votes 211: ↑175 and ↓36 +139
Views 163K
Comments 231

Довольно вычурные «Начала» Евклида в TeX-е

LaTeX *


«какая-то странная антикварная х██ня, написанная ирландским кулибиным в 1847 ну, хорошо, что и такая бывает, конечно» Миша Вербицкий

В 16-м году мне на глаза попались «Начала» Евклида в интерпретации Оливера Бирна. Фишка этой книги в том, что вместо буквенных обозначений навроде «треугольник ABC» там прямо в текст помещаются миниатюры частей построения, то есть, например, картинка с соответствующим треугольником. Насколько сделать такую книгу, как можно представить, было адовой работой в середине XIX века, настолько же легко, с правильными инструментами, это должно бы быть теперь. И, в общем, решил я в этом убедиться наверняка.
Читать дальше →
Total votes 136: ↑136 and ↓0 +136
Views 15K
Comments 47

Штормгласс – кристаллы предсказатели

Popular science DIY Chemistry
Tutorial
Однажды мне в журнале «ЮТ для умелых рук» №1, 1989 г. попалась статья с названием «Загадочная ампула», рассказывающая о необычном старинном метеорологическом приборе – штормглассе (stormglass, camphor glass, weatcher glass, склянка Фицроя, штормовая склянка), изготовил прибор по предложенной рецептуре, стал изучать дальше, некоторыми сведениями и своим опытом, в основном практического плана, далее и поделюсь.

Есть информация, что штормгласс использовался уже в XVIII веке, но самое известное упоминание связано с Робертом Фицроем, капитаном судна Бигль, на котором путешествовал Чарльз Дарвин, ему же (Р. Фицрою) часто ошибочно приписывают изобретение прибора. Классический штормгласс представляет собой герметичный вытянутый стеклянный сосуд, заполненный почти доверху прозрачной жидкостью с бесцветными кристаллами разнообразной формы. По изменению внешнего вида, положению и высоте этих кристаллов полагается судить о погоде на следующие часы и дни. В своё время его применяли совместно с барометром, а в настоящее время штормгласс рассматривается больше, как необычное украшение для интерьеров, многие современные исследователи пришли к мнению, что основную свою функцию прибор не выполняет, но исследования и споры вокруг него всё ещё ведутся. Даже если штормгласс и не реагирует ни на что кроме температуры, всё равно это интересная и красивая вещь, которая вполне может выполнять роль украшения. Можно, конечно, купить готовый, в сети довольно много предложений (особенно на eBay и AliExpress), но в таком случае отсутствует информация о том, как и из чего прибор был изготовлен, а также удовольствие от вещи, сделанной своими руками.

Читать дальше →
Total votes 69: ↑64 and ↓5 +59
Views 21K
Comments 53

Паровые турбины: как горячий пар превращается в электричество

Toshiba corporate blog Popular science Energy and batteries Ecology


Учёные до сих пор бьются над поиском самых эффективных способов по выработке тока — прогресс устремился от гальванических элементов к первым динамо-машинам, паровым, атомным, а теперь солнечным, ветряным и водородным электростанциям. В наше время самым массовым и удобным способом получения электричества остаётся генератор, приводимый в действие паровой турбиной.

Паровые турбины были изобретены задолго до того, как человек понял природу электричества. В этом посте мы упрощённо расскажем об устройстве и работе паровой турбины, а заодно вспомним, как древнегреческий учёный опередил своё время на пятнадцать веков, как произошёл переворот в деле турбиностроения и почему Toshiba считает, что тридцатиметровую турбину надо изготавливать с точностью до 0,005 мм.
Читать дальше →
Total votes 91: ↑88 and ↓3 +85
Views 78K
Comments 193

Цивилизация Пружин, 1/5

Popular science Astronautics Physics
### Часть 1. Золотое «Ку»

Лет в шесть мне попался в руки дедовский справочник[50] по грузовым автомобилям середины 20-го века. Добротный, напечатанный на гладкой плотной бумаге раритет. Единственное, что вообще осталось на память от деда после распада страны, войн и переездов.



В справочнике содержалось множество интересных ТТХ, так что слово «грузоподъёмность» стало мне знакомо с раннего детства. И когда отец на прогулке упомянул, что любой грузовик весит столько же, сколько увозит сам, я это запомнил. Запомнил и, много позже, заинтересовался.

Отец был прав. Для грузовиков 60-х годов это правило выполняется с довольно удивительной точностью:

Читать дальше →
Total votes 237: ↑230 and ↓7 +223
Views 85K
Comments 264

Математическая модель игры Доббль

Game development *Mathematics *Logic games

Уровни сложности чтения


  • Я слишком молод, чтобы думать


    • Введение и правила игры
    • Как они это делают?
    • Матрица инцидентности для игры Доббль
    • Каких двух карточек не хватает в комплекте игры?
    • Почему в игре на 2 карточки меньше максимально возможного количества?
    • Благодарности

  • Сделай мне умно


    • Введение и правила игры
    • Как они это делают?
    • При чём тут карточки?
    • Проективные плоскости малых порядков
    • Матрица инцидентности для игры Доббль
    • Каких двух карточек не хватает в комплекте игры?
    • Почему в игре на 2 карточки меньше максимально возможного количества?
    • Благодарности

  • Кошмар


    • Введение и правила игры
    • Как они это делают?
    • Конечная геометрия для грудничков
    • При чём тут карточки?
    • Проективные плоскости малых порядков
    • Как построить проективную плоскость?
    • Матрица инцидентности для игры Доббль
    • Каких двух карточек не хватает в комплекте игры?
    • Почему в игре на 2 карточки меньше максимально возможного количества?
    • Благодарности


Введение и правила игры


Несколько лет назад я купил игру Доббль (Dobble, оригинальное название “Spot It!”). Это очень простая, быстрая и весёлая игра, которую я считаю одной из лучших настольных игр вообще.

Читать дальше →
Total votes 110: ↑110 and ↓0 +110
Views 30K
Comments 23

256 строчек голого C++: пишем трассировщик лучей с нуля за несколько часов

Programming *C++ *Working with 3D-graphics *Game development *Mathematics *
Tutorial
Публикую очередную главу из моего курса лекций по компьютерной графике (вот тут можно читать оригинал на русском, хотя английская версия новее). На сей раз тема разговора — отрисовка сцен при помощи трассировки лучей. Как обычно, я стараюсь избегать сторонних библиотек, так как это заставляет студентов заглянуть под капот.

Подобных проектов в интернете уже море, но практически все они показывают законченные программы, в которых разобраться крайне непросто. Вот, например, очень известная программа рендеринга, влезающая на визитку. Очень впечатляющий результат, однако разобраться в этом коде очень непросто. Моей целью является не показать как я могу, а детально рассказать, как подобное воспроизвести. Более того, мне кажется, что конкретно эта лекция полезна даже не столь как учебный материал по комьпютерной графике, но скорее как пособие по программированию. Я последовательно покажу, как прийти к конечному результату, начиная с самого нуля: как разложить сложную задачу на элементарно решаемые этапы.

Внимание: просто рассматривать мой код, равно как и просто читать эту статью с чашкой чая в руке, смысла не имеет. Эта статья рассчитана на то, что вы возьмётесь за клавиатуру и напишете ваш собственный движок. Он наверняка будет лучше моего. Ну или просто смените язык программирования!

Итак, сегодня я покажу, как отрисовывать подобные картинки:


Читать дальше →
Total votes 241: ↑241 and ↓0 +241
Views 114K
Comments 124

Жизнь во Флаконе

Website development *Data visualization Cloud services Lifehacks for geeks
Я работаю в коммерческой организации, но всегда считал, что бизнес должен делать что-то полезное для мира. Конечно, можно сказать, что продукты бизнеса – это и есть польза, но как-то язык не поворачивается.

Всегда хотелось сделать чего-то для людей – обычных, не связанных с компанией, не клиентов, даже потенциальных. Что-то полезное, помогающее сделать жизнь лучше.

Ну вот, сделали. Испытали на себе, убедились в полезности, выкладываем на всеобщее обозрение и всеобщее пользование. Бесплатно, разумеется. Сервис по управлению собственной жизнью.
Читать дальше →
Total votes 39: ↑34 and ↓5 +29
Views 18K
Comments 66

Экскурсия на подстанцию 220/110/20

Energy and batteries
Прежде чем электричество с электростанции попадает к нам в розетку, его напряжение сначала увеличивают до сотен тысяч вольт, а потом обратно понижают до 220В. Делают такие преобразования на трансформаторных подстанциях.

Самая главная характеристика подстанции — уровни напряжения по верхней и нижней стороне. То что написано в заголовке как раз и означает что на верхней стороне 220 тысяч вольт, а на нижнем два уровня напряжения 110 и 20 кВ. То есть по сути это две подстанции на одной территории. А в нашей розетке согласно классификации энергетиков 0,4кВ, это потому. что между фазами 400 вольт (раньше было 380 но стандарты давно поменялись).
Читать дальше →
Total votes 82: ↑78 and ↓4 +74
Views 37K
Comments 145

Решение цветных японских кроссвордов со скоростью света

Programming *Algorithms *

Японские кроссворды (также нонограммы) — логические головоломки, в которых зашифровано пиксельное изображение. Разгадывать кроссворд нужно с помощью чисел, расположенных слева от строк и сверху от столбцов.


Размер кроссвордов может доходить до 150x150. Игрок с помощью специальных логических приемов вычисляет цвет каждой клетки. Решение может занять как пару минут на кроссвордах для начинающих, так и десятки часов на сложных головоломках.


Хороший алгоритм может решить задачу намного быстрее. В тексте описано, как с помощью наиболее подходящих алгоритмов (которые вообще приводят к решению), а также их оптимизаций и использования особенностей C++ (которые уменьшают время работы в несколько десятков раз) написать решение, работающее почти мгновенно.


Читать дальше →
Total votes 92: ↑90 and ↓2 +88
Views 48K
Comments 20

Анимация персонажей в Blender 3D — это просто

Open source *Game development *


Мир open source не стоит на месте и постоянно развивается. Про Blender 3D написано уже много статей, но помимо Blender, существует еще много полезных и бесплатных программ. Одна из них, это MakeHuman. На Хабре упоминания о ней имеются, но какой либо информации по ней нет. Предлагаю вам заглянуть под кат и посмотреть, что анимация персонажей в связке MakeHuman+Blender3D, это действительно просто. Осторожно, много картинок.
Посмотрим...
Total votes 65: ↑64 and ↓1 +63
Views 145K
Comments 11

Рекуррентное соотношение Мюллера: проблемы с округлением чисел с плавающей точкой

Programming *
Translation
Некоторое время назад я натолкнулся на упражнение, которое выглядит не так уж и сложно:

Пусть последовательность xn определена так:

посчитайте x30.

Это не так уж и трудно закодировать, возможно реализовав xi как рекурсивную функцию. С обычными числами с плавающей запятой двойной точности, по мере увеличения i, результат красиво сходится к 100. Супер!

К сожалению, 100 даже близко не является правильным ответом. На самом деле последовательность сходится к 5.
Читать дальше →
Total votes 60: ↑59 and ↓1 +58
Views 35K
Comments 116

Четыре стакана без формул

Physics
Sandbox
По следам «четырёх стаканов» или нужно ли знание точных математических формул физических процессов, или достаточно базовых знаний и логики рассуждений.
«Образование – это то, что остается, когда все выученное забыто»
Макс фон Лауэ, Беррес Фредерик Скиннер, Джордж Галифакс и, возможно, кто-то ещё.

Не только вся разумная человеческая жизнь (ключевое слово – разумная), но и жизнь вообще стремится к оптимизации процессов жизнедеятельности. Заметьте, не к минимизации, а к оптимизации, т.е. к повышению т.н. условного КПД процесса. Т.е. достижению результата с минимальными усилиями.

Начав читать статью «Задача про четыре стакана», ожидал общих рассуждений и появления формул в общем виде чисто для иллюстрации и наглядности. Однако, автор решил быть пунктуально строг. Да, он рассмотрел задачу и решил её довольно красиво. Однако, возник вопрос, можно ли её решить верно, не прибегая к конкретным формулам описания физического процесса? Решить, так сказать, на пальцах? Давайте попробуем. Итак (повторю исходные, вводные данные) имеем две пары одинаковых стаканов, в каждой из которых один стакан наполнен «холодной» водой, другой – «горячей».

Суть эксперимента: смешиваем воду из первой пары и ждём 10 минут. Смешиваем воду из второй пары стаканов. Замеряем температуру обоих смесей воды. В какой смеси температура будет выше/ниже или она будет одинакова?



Что главное в такого рода задачах-загадках? Главное – фраза «при всех прочих равных условиях».
Читать дальше →
Total votes 20: ↑15 and ↓5 +10
Views 14K
Comments 9

Компьютер маленького человечка

Programming *
Tutorial
Все мы знаем машину Тьюринга и машину Поста. Это абстрактные вычислительные машины, придуманные математиками для теории алгоритмов. Компьютер маленького человечка (Little man computer) — модель компьютера, предназначенная для обучения тому, как устроен и работает компьютер. Эта модель была предложена профессором Стюартом Мэдником в 1965 году и успешно используется для обучения студентов начальных курсов как в области программирования, так и конструирования компьютеров.

Что делает этот человечек ?
Total votes 35: ↑33 and ↓2 +31
Views 35K
Comments 20

Детальный анализ Хабрахабра с помощью языка Wolfram Language (Mathematica)

Wolfram Research corporate blog Programming *Algorithms *Data visualization

Скачать пост в виде документа Mathematica, который содержит весь код использованный в статье, вместе с дополнительными файлами, можно здесь.

Анализ социальных сетей и всевозможных медиа-ресурсов является сейчас довольно популярным направлением и тем удивительнее для меня было обнаружить, что на Хабрахабре, по сути, нет статей, которые содержали бы анализ большого количества информации (постов, ключевых слов, комментариев и пр.), накопленного на нем за довольно большой период работы.

Надеюсь, что этот пост сможет заинтересовать многих участников Хабрахабра. Я буду рад предложениям и идеям возможных дальнейших направлений развития этого поста, а также любым замечаниям и рекомендациям.

В посте будут рассматриваться статьи, относящиеся к хабам, всего в анализе участвовало 62000 статей из 264 хабов. Статьи, написанные только для корпоративных блогов компаний в посте не рассматривались, а также не рассматривались посты, не попавшие в группу «интересные».

Ввиду того, что база данных, построенная в посте, формировалась за некоторое время до публикации, а именно 26 апреля 2015 г., посты, опубликованные на Хабрахабре после этой даты (а также, возможно, новые хабы) в данном посте не рассматривались.
Читать дальше →
Total votes 158: ↑150 and ↓8 +142
Views 52K
Comments 61

Information

Rating
1,920-th
Location
Орск, Оренбургская обл., Россия
Registered
Activity