Инструменты web scraping (парсинг) разработаны для извлечения, сбора любой открытой информации с веб-сайтов. Эти ресурсы нужны тогда, когда необходимо быстро получить и сохранить в структурированном виде любые данные из интернета. Парсинг сайтов – это новый метод ввода данных, который не требует повторного ввода или копипастинга.

Такого рода программное обеспечение ищет информацию под контролем пользователя или автоматически, выбирая новые или обновленные данные и сохраняя их в таком виде, чтобы у пользователя был к ним быстрый доступ. Например, используя парсинг можно собрать информацию о продуктах и их стоимости на сайте Amazon. Ниже рассмотрим варианты использования веб-инструментов извлечения данных и десятку лучших сервисов, которые помогут собрать информацию, без необходимости написания специальных программных кодов. Инструменты парсинга могут применяться с разными целями и в различных сценариях, рассмотрим наиболее распространенные случаи использования, которые могут вам пригодиться. И дадим правовую оценку парсинга в России.

Часть 1. Линейные структуры

Массив

Когда вам нужен один объект, вы создаёте один объект. Когда нужно несколько объектов, тогда есть несколько вариантов на выбор. Я видел, как многие новички в коде пишут что-то типа такого:

// Таблица рекордов
int score1 = 0;
int score2 = 0;
int score3 = 0;
int score4 = 0;
int score5 = 0;

Это даёт нам значение пяти рекордов. Этот способ неплохо работает, пока вам не потребуется пятьдесят или сто объектов. Вместо создания отдельных объектов можно использовать массив.

// Таблица рекордов
const int NUM_HIGH_SCORES = 5;
int highScore[NUM_HIGH_SCORES] = {0};

Будет создан буфер из 5 элементов, вот такой:



Заметьте, что индекс массива начинается с нуля. Если в массиве пять элементов, то они будут иметь индексы от нуля до четырёх.

Ведущий нейробиолог Мэтью Уокер – о том, почему недосыпание увеличивает риск рака, инфаркта и болезни Альцгеймера, и что с этим можно сделать



Мэтью Уокер научился бояться вопроса «Чем занимаетесь?» На вечеринках он знаменует конец приятного вечера; после этого его новые знакомые начинают цепляться к нему, как плющ. В самолёте он обычно означает, что в то время, как все остальные смотрят фильмы или читают остросюжетные романы, он оказывается в центре многочасовой встречи интересующихся его работой пассажиров и работников авиакомпании. «Я уже начал врать, – говорит он. – Серьёзно. Я говорю людям, что дрессирую дельфинов. Так лучше для всех».

Уокер — сомнолог. Точнее, он директор Центра исследований человеческого сна в Калифорнийском университете в Беркли, исследовательского института, цель которого – возможно, недостижимая – понять весь спектр способов влияния сна на нас, с рождения до смерти, в болезни и в здравии. Неудивительно, что люди начинают с ним советоваться. Размытию границы между работой и отдыхом способствует ещё и то, что мало кто не испытывает волнений по поводу собственного сна. Но большинство людей, разглядывая круги под глазами, не знают и половины всего – и, возможно, именно поэтому он перестал рассказывать незнакомцам о своей работе. Когда Уокер рассказывает про сон, он не может, конечно же, ограничиться банальностями типа ромашкового чая и тёплой ванны. Он убеждён, что у нас вовсю идёт «катастрофическая эпидемия потери сна», последствия которой гораздо хуже, чем кто-либо может представить. И эта ситуация, по его мнению, сможет измениться только после вмешательства властей.

Рекорд по нахождению без сна составляет 11 дней. Человек, который его поставил, прошёл через звуковые и зрительные галлюцинации, думал, что он чернокожий баскетболист, и путал дорожные знаки с людьми. Эксперимент позапрошлого века на щенках показал, что они способны прожить без сна не более 5 дней — в несколько раз меньше, чем без еды. Отсутствие сна лишает нас способности мыслить трезво и влияет на здоровье. При этом многие сознательно лишают себя отдыха, работая по ночам. В мире наблюдается «эпидемия недосыпа».

Давайте поговорим о том, почему мы перестали спать и чем нам грозит стремление заработать больше денег, постоянно работая.

Глаз управляется мозгом через систему нервов. То, что происходит на нижних уровнях нашей психики (рефлекторно) определяет, как будет двигаться глаз. Но сигналы могут поступать от разных слоёв с разным приоритетом: например, когда вы сидите за компьютером, действуют три приоритета: «режим пристального наблюдения» (с точки зрения биологии, вы охотитесь, и моргать нельзя), «режим обычного увлажнения глаза» и «режим очистки поля зрения».

Основная программа психики — охота. Потому, когда вы фокусируетесь на одном расстоянии от глаза, включается очень древний механизм, обеспечивающий непрерывность зрительного потока. Он важнее увлажнения глаза, поэтому глаз сохнет — но на охоте это некритично. Когда становится дискомфортно, зрение ухудшается, и срабатывает «рефлекс очистки», то есть другой участок мозга посылает команду на смаргивание, чтобы не стало хуже видно.

Таким образом, вы моргаете по другой причине, не так, как в обычной жизни — и это получается куда реже.

Ниже я хочу рассказать о довольно общих, но не всегда очевидных вещах для моих пациентов. И также о том, откуда берутся разные рекомендации. Я окулист, сегодня попробую рассказать об иннервации глаза и слёзозамещении. В исследовательском направлении мы работаем с глазами в реанимации, при тяжёлых системных заболеваниях организма (в том числе у детей), плюс я просто принимаю как врач.

Недавно мы писали о забавных, хитрых и странных примерах на JavaScript. Теперь пришла очередь Python. У Python, высокоуровневого и интерпретируемого языка, много удобных свойств. Но иногда результат работы некоторых кусков кода на первый взгляд выглядит неочевидным.

Ниже — забавный проект, в котором собраны примеры неожиданного поведения в Python с обсуждением того, что происходит под капотом. Часть примеров не относятся к категории настоящих WTF?!, но зато они демонстрируют интересные особенности языка, которых вы можете захотеть избегать. Я думаю, это хороший способ изучить внутреннюю работу Python, и надеюсь, вам будет интересно.

Если вы уже опытный программист на Python, то многие примеры могут быть вам знакомы и даже вызовут ностальгию по тем случаям, когда вы ломали над ними голову :)

Это принципы разработки ПО, взятые из книги Clean Code Роберта Мартина и адаптированные для PHP. Это руководство не по стилям программирования, а по созданию читабельного, многократно используемого и пригодного для рефакторинга кода на PHP.

Не каждый из этих принципов должен строго соблюдаться, и ещё с меньшим количеством все будут согласны. Это лишь рекомендации, не более, но все они кодифицированы в многолетнем коллективном опыте автора Clean Code.

Статья вдохновлена clean-code-javascript.

Первые симптомы — ухудшение зрения вблизи. Объекты при близком рассмотрении расплываются. Женщина с трудом справляется с маникюром. Мужчина едет на рыбалку и там понимает, что червяка он насаживает с трудом. А при этом дальнее зрения как бы не изменилось. Традиционно это состояние называют «болезнью коротких рук» — вроде и зрение хорошее, а вот длины рук не хватает для четкости вблизи. Это у тех, кому за 40.

Это — пресбиопия. С возрастом зрение человека в плане легкости фокусировки на разные расстояния ухудшается. Точные причины такой «амортизации» зрительного аппарата ещё исследуются: известно, например, что этот механизм работает только у высших приматов. У собак и кошек пресбиопии нет, у обезьян есть. Кстати, отчасти поэтому пресбиопию сложно изучать: для исследования динамической рефракции (аккомодации) нужен живой объект.

Хрусталик уплотняется и становится менее эластичным, страдает связочный аппарат, мышцы теряют способность действовать как раньше – возникает пресбиопия. До недавнего времени единственно верной признавалась теория аккомодации немецкого врача Гельмгольца, выдвинутая еще в 19 веке, которая затрагивает только хрусталик и его связочный аппарат, но более свежие исследования говорят, что участвуют все структуры глаза – роговица, стекловидное тело и даже сетчатка. Итог пресбиопии — утрата возможности аккомодировать, то есть способности рассматривать объекты на разные расстояния без дополнительной коррекции.

Количество диагнозов синдрома сухого глаза по миру растёт вместе с развитием технологий. Основные факторы: ухудшение атмосферного воздуха, в частности, близ промзон, кондиционированный воздух, побочные эффекты многих лекарственных средств, излучение светодиодов (особенно сверхъярких по синей части спектра, в т. ч. AMOLED-экранов и подобных).

Признаки заболевания: зуд, покраснение, усталость, сухость в области глаз и век. Причина— нарушение слёзопродукции.

Если выявить синдром на ранней стадии, когда обычная поликлиника ещё не ставит его как диагноз, можно избежать целого моря проблем. Давайте начнём с короткой таблицы, позволяющей понять, касается это вас или стоит пройти мимо.

С недавнего времени пользователям Visa QIWI Кошелька доступны новые методы API. Под катом: что это за API, зачем мы его открыли и почему стоит начать им пользоваться уже сейчас.

Пакет программ Microsoft Office — это не только фактический стандарт офисного ПО, но и весьма сложная и многофункциональная среда, позволяющая создавать решения, предназначенные прежде всего для применения возможностей Microsoft Office и автоматизации рутинных действий пользователя при работе с документами. Эта программная платформа, называемая Объектной Моделью Microsoft Office (Microsoft Office Object Model), или же Автоматизацией Microsoft Office (Microsoft Office Automation) основана на Объектной Модели COM и содержит обширный набор классов, предоставляющих доступ практически к любому элементу или действию, доступному пользователю при работе с Microsoft Office через графический интерфейс.


Объектная модель Microsoft Word (частично)

Ниже – прямое сравнение видов коррекции (операций) с удобной сводкой по возможным осложнениям и применимости, плюс море других вопросов от профессиональных параноиков: от «что будет, если махнуть головой во время операции» до «а отдадут ли мне ткань, которую вынули из моего глаза» и «что будет в старости с моим зрением».

– Что лучше: очки, линзы или лазерная коррекция?

Если вас полностью устраивают очки – сохраняйте спокойствие, коррекцию делать не нужно. Однако, если вы никогда не пробовали линзы, то стоит попробовать поносить их пару недель, чтобы понять, как мир будет выглядеть после коррекции. В 10-летней перспективе контактные линзы (даже однодневные) существенно опаснее коррекции по обратимым и необратимым побочным эффектам и осложнениям. Поэтому я рекомендую их только для ознакомления с дивным новым миром.

– Я решил остановиться на очках, но боюсь, что мне в лицо откроется подушка автомобиля и они станут контактными линзами. Что делать?

По моему хирургическому опыту, современные подушки безопасности не травмируют очкариков. Глаза и лицо обычно повреждаются осколками лобового стекла. Если вы беспокоитесь о сохранности очков, то подумайте про современные, с поликарбонатными линзами. Они невероятно прочные: на краш-тестах по ним машина ездит.

Если вы видите плохо и не надеваете очки, то вы теряете часть информации об окружающем мире и при этом создаёте дополнительную нагрузку на зрительный аппарат. Есть проблема – нужна оптическая коррекция. А испортить глаза очками можно, как один из наших коллег из клиники в г. Марбурге – он уснул в стеклянных очках за компьютером дома, упал лицом на клавиатуру, и осколок стекла вошёл в хрусталик. В итоге сначала заменили хрусталик, потом через год понадобилась трансплантация.

Привет, Хаброжители! Мы издали книгу, составленную на основе одноименного онлайнового руководства и содержащую наработки многочисленных профессионалов и энтузиастов, знающих, что такое Python и чего вы от него хотите.

Это руководство не предназначено для того, чтобы обучить вас языку Python (мы приведем ссылки на множество хороших ресурсов, которые помогут вам в этом), оно скорее представляет собой (безапелляционное) руководство от специалиста, где рассматриваются популярные инструменты и лучшие практики нашего сообщества. Аудитория этой книги разнообразна — от новичков до программистов Python среднего уровня, которые либо хотели бы внести свой вклад в развитие программного обеспечения (ПО) с открытым исходным кодом, либо начинают карьеру или создают компанию и собираются писать на Python (однако для рядовых пользователей Python также будут полезными часть I и глава 5).

Взаимодействие человека с компьютером во многом опирается на графические элементы интерфейса, и цвет играет в этом процессе не последнюю роль. Как однажды сказал Pierre Bonnard: «Цвет не просто делает дизайн приятным для глаз, но и подкрепляет его».

Проектируя новый продукт, дизайнеры часто затрудняются с составлением цветовой гаммы, так как существует неограниченное число возможных сочетаний. В этой статье мы рассмотрим восемь основных правил, которые могут помочь вам с выбором.

Заголовок обязывает перейти непосредственно к программному коду… Но, думаю, все же необходима вводная часть. А зачем, собственно, это нужно?

Эффективные действия на бирже связаны с тщательным анализом происходящего на рынке. Что кроется за динамикой цифр, котировок?

Данная заметка предназначен тем, у кого при попытке открыть Excel-файл выдается сообщение об ошибке вида:


В моем случае с такой ошибкой открывался xlsx-файл (далее 1.xlsx), восстановленный с помощью R-Saver после вирусной атаки, подобной «Petya».

Известная как минимум с 19 века задача коммивояжера имеет множество способов решения и неоднократно описана. Ее оптимизационная версия является NP-трудной, поэтому оптимальное решение можно получить либо полным перебором, либо оптимизированным полным перебором — методом ветвей и границ.

Пытаясь запрограммировать алгоритм Литтла (частный случай метода ветвей и границ), я понял, что в рунете крайне трудно найти его правильное описание понятным языком и разобранную программную реализацию. Однако имеющиеся в изобилии описания обманчиво правдоподобны на данных малого размера и с трудом проверяются без визуализации.

Многие сейчас замечают, что Россия в смысле широты применения безналичных платежей превзошла даже технологичную Америку и Европу. У них не так просто переслать деньги с карты на карту, как у нас. Но, к счастью, этим летом и там начал работать сервис трансграничных переводов с карты на карту PaySend.

Для тех, кто еще случайно не знаком с PaySend: это удобный, простой в использовании онлайн-сервис переводов с карты на карту из России по бывшим республикам СССР (в т. ч. Украину!) и Европе, а также ИЗ Европы. География коридоров постоянно расширяется: недавно появилась опция отправки денег с любой американской платежной карты на любую карту мира (в т.ч. — российскую и мексиканскую!). Что особенно важно для тех, кто практикует регулярные «перебросы» денег с карты на карту по миру: комиссия фиксированная и не зависит от суммы перевода. Она составляет 49 рублей для переводов из России, 1,5 евро для переводов из Европы и 2 доллара для переводов из США.

Первая часть статьи была опубликована тут.

Как читать и редактировать Excel файлы при помощи openpyxl


ПЕРЕВОД
Оригинал статьи — www.datacamp.com/community/tutorials/python-excel-tutorial
Автор — Karlijn Willems

Эта библиотека пригодится, если вы хотите читать и редактировать файлы .xlsx, xlsm, xltx и xltm.

Установите openpyxl using pip. Общие рекомендации по установке этой библиотеки — сделать это в виртуальной среде Python без системных библиотек. Вы можете использовать виртуальную среду для создания изолированных сред Python: она создает папку, содержащую все необходимые файлы, для использования библиотек, которые потребуются для Python.

Перейдите в директорию, в которой находится ваш проект, и повторно активируйте виртуальную среду venv. Затем перейдите к установке openpyxl с помощью pip, чтобы убедиться, что вы можете читать и записывать с ним файлы:

На хабре нет ни одной статьи о поиске компонент сильной связности. Однако это интересная задача, имеющая приложения в самых разных сферах: системах рекомендаций, математической логике и, неожиданно, экологии. Ниже формулировка задачи и решение — алгоритм Косарайю.