Search
Write a publication
Pull to refresh
-8
0
Send message

Четыре проекта с веб-скрейпингом, которые позволят упростить себе жизнь

Reading time5 min
Views25K
image

Подумайте обо всех тех вещах, которые вы делаете в течение дня. Возможно, вы читаете новости, отправляете электронные письма, находите самые выгодные цены на товары или ищете работу онлайн. Большинство этих задач можно автоматизировать при помощи веб-скрейпинга, поэтому вместо того, чтобы вы тратили часы на изучение веб-сайтов, компьютер может сделать это за вас в течение пары минут.

Веб-скрейпинг — это процесс извлечения данных с веб-сайта. Для изучения веб-скрейпинга достаточно пройти туториал о принципах работы таких библиотек Python, как Beautiful Soup, Selenium или Scrapy; однако если вы не будете применять на практике все изученные концепции, то время окажется потраченным впустую.

Именно поэтому стоит попробовать создавать проекты с веб-скрейпингом, которые не только помогут вам освоить теорию веб-скрейпинга, но и позволять разработать ботов. автоматизирующих повседневные задачи.

В этой статье я перечислю проекты, которые автоматизируют четыре задачи, ежедневно выполняемые многими людьми. Проекты изложены по возрастанию сложности, от начальных до продвинутых.
Читать дальше →

Про установку и использование LineageOS 16, F-Droid

Reading time127 min
Views327K
Предлагаю вашему вниманию инструкцию как оптимально (по моему мнению) перейти на свободное программное обеспечение при использовании смартфона на примере операционной системы LineageOS (далее сокращённо LOS) и приложений из F-Droid.

Я думаю, что это статья будет вам интересна, даже если вы не можете установить себе LOS, так как в данной статье также рассмотрены стандартные настройки Android, настройки и методика использования полезных приложений, магазин приложений F-Droid, разрешения Android, которые нельзя ограничить и другие, возможно полезные для вас нюансы.
Читать дальше →

Советы по организации идеальных видеозвонков

Reading time14 min
Views9.3K
Я трачу много времени на видеозвонки. Компания Wave, где я работаю, распределена географически, поэтому в основном мы с коллегами общаемся именно так. Однако общение по видео кажется не таким естественным, как личное, поскольку:

  • Большинство людей используют низкокачественные микрофоны и веб-камеры, из-за чего плохо выглядят и звучат.
  • Между вашим высказыванием и тем моментом, когда его слышит ваш собеседник, существует задержка – из-за этого тяжело говорить по очереди.
  • Если использовать наушники, свой голос будет плохо слышно.
  • Эхоподавление не даёт вам говорить в тот момент, когда говорит кто-то другой. В итоге разговор идёт не так гладко.

Я задумался о том, насколько видеозвонки были бы приятнее, если бы мне удалось исправить все эти проблемы. Поэтому я потратил неоправданно много времени на возню с гаджетами и программами. В данной статье я подытожу всё, чему я научился. По-моему, эти рекомендации не пропали даром: беседуя с друзьями, оборудование у которых не хуже моего, я не уставал даже после четырёх часов.

Памятка/шпаргалка по SQL

Reading time29 min
Views1.2M

Доброго времени суток, друзья!


Изучение настоящей шпаргалки не сделает вас мастером SQL, но позволит получить общее представление об этом языке программирования и возможностях, которые он предоставляет. Рассматриваемые в шпаргалке возможности являются общими для всех или большинства диалектов SQL.

Читать дальше →

Углекислый газ на МКС

Reading time13 min
Views61K
В октябре на МКС была установлена новая (принципиально) система регенерации воздуха, которая повысит замкнутость воздушного цикла вдвое.

Реактор Сабатье, вид сверху и снизу

Однако если с технологическим прогрессом все будет хорошо, то этот вариант просуществует недолго, — и нас ждет откат к системе предыдущего типа. А вот если прогресс будет буксовать, то новая система станет золотым стандартом на десятилетия.
Почему все так перепуталось?

Наглядно о том, как работает NumPy

Reading time8 min
Views44K

Есть тексты, похожие на вино или динамит: с годами они не стареют, а напротив приобретают вес и значимость. Сегодня, к старту флагманского курса о Data Science, мы решили поделиться переводом визуального учебного руководства о NumPy 2019 года, прочитав которое даже не слишком близкий к математике человек поймёт, как работает эта библиотека Python. Если вы не хотите долго объяснять NumPy, но делать это всё равно приходится, положите статью в закладки и она сэкономит ваше время.

Читать далее

Реактор БРЕСТ-300 и замкнутый цикл в ядерной энергетике

Reading time12 min
Views83K


«В Северске началась новая эра атомной энергетики. На площадке Сибирского химкомбината 8 июня стартовало строительство первого в мире энергоблока четвертого поколения с быстрым реактором естественной безопасности БРЕСТ-ОД‑300.»

Довольно претенциозно, не правда ли? Тем не менее за этими словами, написанными на страницах официального печатного органа Росатома – газеты «Страна РОСАТОМ» – кроется действительно во многом революционной проект с непростой судьбой и наконец-то появившемся светом в конце тоннеля.

Давайте же разберёмся, что же на самом деле представляют собой этот инновационный реактор и пресловутый замкнутый цикл.
Читать дальше →

Освобождаем свои данные из корпоративного рабства. Концепция личного хранилища

Reading time7 min
Views33K

Автор программы Mathematica Стивен Вольфрам около 40 лет ведёт цифровой лог многих аспектов профессиональной и личной жизни

Сейчас практически всем стала понятна сущность некоторых интернет-корпораций, которые стремятся получить от людей как можно больше личных данных — и заработать на этом. Они предлагают бесплатный хостинг, бесплатные мессенджеры, бесплатную почту — лишь бы люди отдали свои файлы, фотографии, письма, личные сообщения. Наши данные приносят огромные деньги, а люди стали продуктом. Поэтому техногиганты Google и Facebook — самые крупные корпорации в истории человечества. Это неудивительно, ведь в их распоряжении миллиарды единиц бесплатного «сырья», то есть «пользователей» (кстати, этим словом users называют людей только в двух областях: наркоиндустрии и индустрии программного обеспечения).

Настало время положить этому конец. И вернуть данные под свой контроль. В этом суть концепции личных хранилищ данных (personal data services или personal data store, PDS).
Читать дальше →

Майкл Бьюрри, предсказавший кризис 2008 года, предсказывает еще больший хлопок

Reading time2 min
Views61K
image


— Бьюрри, что происходит?
— Всё просто. Мы наблюдаем величайший пузырь всех времен и народов. Во всём.


Кризис 2008 года я не помню. Я был нищим студентом и поэтому разрыв между мной и обеспеченными людьми сокращался, и по относительности движения, казалось, что я богател.

Потом был прекрасный фильм «Игра на понижение» с бэтмэном (Кристиан Бейл) в главной роли, только бэтмэн был в шортах и зарабатывал на шортах. И с барабанными палочками в руках.

«Бэтмэн» доказал всему миру, что его расчеты по поводу приближающегося трындеца 2008 года верны. Майкл Бьюрри тогда работал управляющим хедж-фонда Scion Capital и в 2005 году застраховал около миллиарда долларов своих клиентов через кредитный дефолтный своп. Через три года, в 2008, когда запахло жаренным, Бэтмэн заработал вкладчикам (хотя они хотели его засудить) своего фонда $700 млн (489.34%) и лично себе положил в карман $100 миллонов.

Сейчас Бьюрри всполошился вновь. То, что было «тогда», говорит Бьюрри, это цветочки по сравнению с тем, что произойдет вот-вот.

Мы стоим на пороге кризиса «Фальшивой науки»

Reading time9 min
Views55K


Журналы все чаще отзывают научные статьи, потому что оказывается, что написаны они не теми, кем заявлено. Необходимо выработать более эффективные способы решения проблемы, в противном случае мы рискуем полностью утерять общественное доверие к науке.
Читать дальше →

К вопросу о запланированном устаревании

Reading time7 min
Views44K

Я хочу поговорить с вами об одной из вещей, которые принято ругать. Эдакая священная корова, только наоборот — с коровой обращаются уважительно, принято так, даже если она гадит в реку, откуда вы пьете, а вот с "коровой наоборот" все иначе: "гоните ее, насмехайтесь над ней". Зашла речь — выдайте пинок, это социально одобряемое поведение.

Я хочу поговорить с вами о запланированном устаревании.

Read more

Секты: кто на них зарабатывает, как вербуют сторонников и как защитить своих близких

Reading time22 min
Views38K

А теперь Господь хочет, чтобы вы вышли на эту сцену и положили один доллар в этот ящик

Согласно просочившимся налоговым документам, Международная Церковь Саентологии и Церковь Духовной Технологии в США в 2012 году имели совокупные активы в 1.7 миллиарда долларов в дополнение к годовым доходам, оцениваемым в 200 миллионов долларов в год. И это только в США — существует еще Международная ассоциации саентологов.

Процент самоубийств и смертей из-за отказа принимать помощь медиков среди саентологов просто зашкаливает: на сайте посвященном жертвам саентологии сообщается о 165 задокументированных смертях, из которых 90 — это самоубийства, убийства, аварии и другие формы насилильственной смерти (при нормальном показателе случаев насильственной смерти в 6.5% в США, риск умереть от насильственной смерти у саентологов возрастает в 8 раз). 

Почему люди вступают в такие организации и почему несут им деньги? 

В этом лонгриде мы попытались разобраться, как работают секты: чем они отличаются от обычной религии, кто находится в группе риска для вербовки (чаще всего это одинокие люди), как устроен процесс вербовки и что делать, если завербовали вашего близкого. Как бонус поделимся личной историей выхода из секты одного из читателей Хабра. 

Другие громкие случаи, освещенные СМИ: чем опасны секты


В 1978 году в общине секты «Храм народов» под названием Джонстаун 909 человек, среди которых было более 200 детей, совершили массовое религиозное самоубийство. 
Читать дальше →

17 интересных (и забавных) API для вашего проекта

Reading time7 min
Views140K


В этой статье я собрал несколько интересных сервисов с API, многие из которых вы можете использовать как основу для вашего приложения. Другие же отлично подходят как уникальные фичи, которые помогут разнообразить опыт использования вашей программы.

Читать дальше →

Быстрое обнаружение Covid-19 на рентгеновских снимках с помощью Raspberry Pi

Reading time7 min
Views6.1K

Системы обнаружения Covid-19 на рентгеновских снимках выдают быстрые результаты, в частности информацию о том, насколько серьёзно лёгкие поражены вирусом Covid-19. Традиционные системы обнаружения Covid-19 обладают тем недостатком, что для формирования отчётов им требуется довольно длительное время, в то время как инфицированный человек нуждается в немедленной помощи. Кроме того, после каждого использования всех подобных систем обнаружения вируса часть деталей приходится утилизировать, что в некоторых случаях может приводить к их дефициту. К старту курса о машинном и глубоком обучении мы перевели статью о том, как эта проблема решается при помощи Raspberry Pi, кроме того, материал знакомит читателей с онлайн-платформой EDGE Impulse.

Читать далее

Термоядерный синтез все реальнее: MAST, EAST и ITER, дейтерий-тритиевые эксперименты и другие достижения

Reading time5 min
Views64K

Термоядерные реакторы существуют десятки лет, но управляемая термоядерная реакция все это время оставалась недостижимой. Она постоянно находилась в ближайшем будущем, ученые говорили: «Через 10 лет, скорее всего, мы достигнем успеха». Но проходило десять лет, и ничего не менялось — по-прежнему публиковались научно-популярные статьи, где говорилось все о том же сроке в 10 лет.

Сейчас, насколько можно судить, мнiогое изменилось — разработчики термоядерных установок достигли действительно заметных успехов. Речь идет как о новых реакторах, так и об уже существующих. В целом, вероятность того, что управляемый термоядерный синтез станет реальностью в течение ближайших нескольких лет, достаточно высокая. Давайте оценим успехи ученых последних лет и посмотрим, что там планируется.
Читать дальше →

Автоматизация или смерть: как управлять тысячами единиц игрового контента с помощью гугл-таблиц

Reading time14 min
Views14K

Несколько лет назад в нашем онлайн-шутере столкнулись с немного абсурдной проблемой: контента стало так много, что мы уже не могли с ним работать вручную. Сотни единиц оружия, карт, механик, гаджетов и много чего еще — все нужно балансировать между собой, иначе геймплей развалится на части. Можно нанять больше людей, но лучше прибегнуть к алгоритмам, формулам и автоматизации.

Звучит сложно, но на деле хватило обычных гугл-таблиц. Ну, как обычных — с тысячами строк и формулами, которые не помещаются на экран монитора. Пришлось немного повозиться с их организацией, зато теперь всей игрой мы управляем из нескольких документов.

Под катом на примерах расскажу, как автоматизировать работу с контентом, если в проекте его уже свыше тысячи единиц, как внедрить новые механики и фичи, не ломая при этом баланс и игровой опыт, и даже, как избавить QA-отдел и программистов от лишней работы.

Читать далее

Почему стриминговая индустрия скоро достигнет оценки в 184 миллиарда долларов

Reading time8 min
Views5.9K

Популярность стриминга в последнее время медленно, но верно увеличивается.

Наверняка ваши коллеги, одноклассники или однокурсники рассказывали о своих любимых стримерах или о том, сколько времени они проводят за просмотром стримов.

За последние 12 месяцев многие известные инфлюэнсеры, игроки и авторы контента (например, Логан Пол) набрали миллионы подписчиков на таких стриминговых платформах, как Твич.

И за это же время было установлено несколько рекордов по количеству зрителей (речь идет о сотнях тысяч).

Большинство тех, кто не знаком со стримингом, думают, что это только про игры.

Пару лет назад, возможно, так оно и было — но сегодня всё совершенно иначе.

Да, большая часть стримов в мире по-прежнему связана с играми, но актуальными и обсуждаемыми стали и многие другие темы.

Читать далее

Как мы достигли 1 млн скачиваний с нулевым бюджетом

Reading time7 min
Views8.4K

Десять советов по бесплатному продвижению от автора приложения "Avocation", которое достигло отметки в миллион скачиваний на 441-й день после выхода.

Начиная этот проект австрийский студент Дэвид Йох совершенно ничего не знал о маркетинге и ASO, но за прошедшее время многому научился. У молодого человека не было возможности тратить деньги на платные каналы по привлечению пользователей, поэтому он искал пути естественного роста аудитории.

В этой статье Дэвид поделится десятью методами, которые он бы порекомендовал тем, кто хочет увеличить число скачиваний своего приложения, но ограничен в бюджете.

Читать далее

Нехорошее Кароси. Как не умереть от переработок?

Reading time7 min
Views19K


Говорят, на свете существует несколько вещей, которые исподволь убивают представителей вида homo sapiens — это никотин, алкоголь… и переработки. Действительно, пословицу «от работы кони дохнут» наши мудрые предки придумали неспроста: от работы может двинуть кони и человек разумный, особенно, если этой самой работы у него слишком много. Японцы даже придумали для этого специальный термин — «кароси», который означает смерть от чрезмерно высоких профессиональных нагрузок. И это явление в стране Восходящего солнца — отнюдь не редкое.
Читать дальше →

Что варится в пекулярных звездах

Reading time8 min
Views15K

Однажды сэр Артур Эддингтон, считающийся основателем теоретической астрофизики, заявил, что «ничего нет более простого, чем звезда». Действительно, при всей грандиозности большинство звезд – это почти однородные и очень стабильные объекты. Звезда главной последовательности в течение миллионов, миллиардов или, возможно, даже триллионов лет перерабатывает запасы водорода, постепенно сдвигаясь в красную часть спектра, а в конце пути, как правило, превращаясь в белый карлик. При этом о триллионах лет сейчас можно говорить лишь гипотетически, но красные и оранжевые карлики действительно могут просуществовать так долго, тогда как голубые сверхгиганты выгорают за миллионы лет. Например, возраст Спики (альфа Девы) составляет около 12,5 миллионов лет.

Читать далее

Information

Rating
Does not participate
Registered
Activity