Pull to refresh
2
0
Send message

Полезные советы для парсинга данных веб-сайтов

Level of difficultyMedium
Reading time10 min
Views4.9K

В одной из предыдущих статей мы узнали, что такое парсинг, и изучили примеры получения данных с HTML-страниц с помощью Python. 

В этой инструкции продолжаем продвигаться в этом направлении и предлагаем советы, использование которых поможет автоматизировано извлекать данные из большинства существующих сайтов.

Предупреждаем, что получение данных автоматизированным путем может быть запрещено условиями использования сайтов. Мы не поощряем нарушения этих условий, правил, указанных в файле robots.txt или иных правовых норм. Используйте представленные методы только в рамках разрешенных сценариев, соблюдая политику владельцев ресурсов. 

Читать далее

«Ты не видишь всей картины!»

Level of difficultyEasy
Reading time7 min
Views6.1K

Вам доводилось слышать или говорить эту фразу? Ну, ту что в названии поста.

Само ее существование вызывает у меня вопросы. Но еще больше вопросов у меня к тем, кто считает, что эта фраза бывает уместна. Или, более того, используют её для подчеркивания неосведомленности собеседника.

Читать далее

Я зову их, а они не идут. Как развивать новые связи, когда меняешь профессию, страну и, во многом, жизнь

Level of difficultyEasy
Reading time4 min
Views11K

Тему нетворкинга так заездили, что она редко вызывает что‑то, кроме раздражения. Кого‑то бесит сам термин, кого‑то — процесс, кто‑то вообще не понимает, зачем тратить силы на новые связи.

Можно ли обойтись коллегами и знакомыми, которые прилагались неделимыми пакетами к учёбам и работам? Безусловно, если ваша жизнь, по счастью, предсказуема.

Умение быстро менять окружение, найти людей, которые знают людей, — это навык, востребованный валидольными периодами больших перемен.

Читать далее

Телефонное мошенничество: как это работает

Level of difficultyEasy
Reading time14 min
Views5.2K

Привет, Хабр! В недавно выпущенном Центробанком «Портрете пострадавшего» видно, что телефонное мошенничество до сих пор является лидером антирейтинга кибератак. Мы, Big Data T2, долго думали, как бы нам написать такую статью, которая оказалось бы полезной и интересной не только умным айтишникам (которых невозможно довольно сложно обмануть), но и простым людям, любимым абонентам, о которых мы всячески заботимся. А потому решили написать лонгрид, где будет минимум злых зверей ROC-AUC’ов - о которых мы с удовольствием поговорим в комментах - но будет максимум, как мы надеемся, актуальной, интересной и полезной для каждого из нас информации. Ведь разве есть тут такие, у кого за последний год не заканчивался срок действия SIM-карты или не было необходимости продлить полис ОМС?

В эфире Андрей Тузлуков и Максим Пластинин – почётные BA и DS из команды Антифрода. А ниже – некоторое количество собак, которых нам удалось съесть на этом деле за последний год.

Нужно перейти по подозрительной ссылке

Зависимость от трейдинга: как миллионы людей теряют годы и состояния на торговле

Reading time15 min
Views18K

Вокруг меня собралось много людей, которые уделяют время торговле на бирже. Кто-то торгует криптой, кто-то акциями, а кто-то валютой. Кто-то называет себя инвестором, кто-то – трейдером. Я часто вижу как случайные прохожие в разных городах и странах смотрят на телефоне или ноутбуке в биржевой терминал. А по ночам иногда сам пишу аналитический софт или софт для бэктестинга. До текущего момента писал. Всех этих людей объединяет наличие веры и заблуждений о рынке.

Читать далее

Уголовный кодекс vs Блиновская и Митрошина, а также вебкамщицы со стволами против криптоворов

Reading time11 min
Views15K

Самые интересные новости финансов и технологий в России и мире за неделю: инфоблогерок учат платить налоги, Минцифры хочет собрать базу геолокации мобил, производство чипов для ИИ переезжает в Штаты, американских куриц теперь можно взять в аренду, выведены трансгенные шерстяные мамонтомыши, роботов научили кунг-фу и мемным числам, а также создание крипторезерва в США.

Читать далее

Я мучился с Git, поэтому создал про него игру

Level of difficultyMedium
Reading time8 min
Views22K

Прошло два года...


… с тех пор, как я разработал и выпустил Git-Sim — бесплатный опенсорсный инструмент для визуализации команд Git непосредственно в репозиториях пользователя.

Самым важным выводом для меня стало то, что существует достаточно большой спрос на визуальных помощников в кодинге.

Через несколько недель после релиза я задумался… Визуализация и симуляция вывода команд Git при помощи удобных диаграмм — это, конечно, здорово, но стало понятно, что они помогают только тем, кто уже в той или иной степени знакомы с Git.
Читать дальше →

Глупо покупать технику последней модели, если старая работает хорошо. И можно собрать ПК из комплектующих

Level of difficultyEasy
Reading time6 min
Views31K

С появлением новой модели смартфона или процессора реклама подталкивает нас к апгрейду. Некоторые считают, что обладать последней версией гаджета — это круто. Но если подумать, то большей глупости сложно себе представить. Ведь тот же самый смартфон или CPU кардинально подешевеет с выходом следующей модели. Это как с новым автомобилем, который дешевеет на 10% в момент выезда из салона. Поэтому стратегически грамотнее приобрести CPU или смартфон после официального выхода, по гораздо меньшей цене. Процессор не станет хуже, если купить его через год или два. Он работает на той же скорости. И желанный смартфон не изменится за эти годы.

Если ещё подумать, то новые гаджеты и компьютеры вообще нет смысла покупать, когда старые нормально работают.
Читать дальше →

DeepSeek на железе за 45к

Reading time3 min
Views23K

Джарвис — мечта многих гиков. Однако будем объективны: мы реально все ближе к его появлению. Я бы не очень хотел, чтобы все мои запросы передавались на серверы OpenAI, DeepSeek, Anthropic и других компаний. Ну и ещё с лета начал свою домашнюю рубрику — ЭЭЭЭКСПЕРИМЕНТЫ на домашнем сервере.

Я хотел собрать домашнюю станцию с полностью самостоятельной, self-hosted LLM моделью и настроить всё под себя. Однако я не знал, какой мощности сервер нужен, чтобы получить адекватную работоспособность. Практически не найти в сети нужные тесты, бенчмарки и эксперименты, так что, немного погрустив, нашел в шкафу свой старый добрый Intel NUC и понял — он и будет моим тестовым стендом!

Читать далее

AFFiNE — Obsidian здорового человека

Reading time5 min
Views31K

9 сентября — это был последний день, когда мы могли еще нормально использовать Notion. Объективно, я что тогда, что сейчас так и не нашел инструмента лучше, удобнее, гибче и ПРОЩЕ, чем Notion. Да, он во всем был лучше как для жизни, так и для работы.

В конце концов, о его уходе анонсировали еще в конце августа, и я до сих пор помню статью «Obsidian — Notion свободного человека», после которой я, как и, думаю, многие другие, пытались пересесть. Однако у меня так и не вышло это, как бы я ни пытался — всегда слишком много сложностей и деталей. Так вот, эта история про поиск альтернативы.

Читать далее

Бизнес в России — это гомерически смешно

Reading time12 min
Views35K
image
Первая тестовая стойка дома, до заезда в ЦОД. Уже после сборки я понял, что держать 35 миллионов рублей в квартире — так себе идея

Когда вы внутри, это, конечно, тяжко, печально и всё такое, но снаружи это всегда смешно.

Мы строим крупное российское облако, наверное, одними из последних в этой стране в ближайшие несколько лет. Потому что начали без заёмных средств до ставки 21% и ещё когда можно было более-менее внятно пройти бюрократию на лицензию.

Про ад с бюрократией я писал вот здесь.

В этом посте, кстати, было про Ростелеком, речь про Даталайн, который им стал в процессе нашего заезда:

Дальше выбор ЦОДа. Один из партнёрских ЦОДов, где мы размещаемся в Москве, — это Ростелеком. Первую стойку нам выделили в моменте: мы направили запрос, нам сказали: «В этом ЦОДе нет, но встаньте вот сюда» и прислали коммерческое предложение на следующий день. Это заняло буквально два письма туда-обратно и пару звонков. А вот предложение на последнюю стойку менеджер отправлял нам уже месяц. Возможно, согласовывал внутри.

Так вот. Через пару часов после публикации мне написал менеджер из Ростелекома и попросил отредактировать материал, чтобы не порочить деловую репутацию компании. Ну и мы согласились, потому что ничего принципиального для нас в этой истории не было и мы в целом больше за дружбу.

Знаете, в эти игры можно играть вдвоём.

Я попросил в ответ прислать проект правок, то есть предложить итоговые формулировки. Я абсолютно точно знал, что будет дальше — ведь отдельный человек в системе не может взять на себя такую ответственность.

И да, они собрали внутри себя совещание и сутки думали, что же именно нужно поменять. Мы до сих пор бы обменивались официальными письмами и шли бы им навстречу, если бы не решили оттуда уехать.

Второй случай связан с тем, что мы только спустя полгода после открытия офиса смогли провести туда интернет.
Читать дальше →

Почему производство умирает: ошибка в расчетах, которую делают все

Reading time9 min
Views23K

В статье решил разобрать проблему расчета себестоимости. Оказалось, что иногда при хорошем обороте прибыль может не расти, а выгодные товары приносить убытки. Расскажу на примере моего производства.

Читать далее

GTD: Как довести дела до завершения и не сойти с ума

Reading time6 min
Views6.2K

Привет, дорогой друг!

В данной статье хочу поделиться своим опытом внедрения GTD для выстраивания рутины. Начну с самого душного — определения:

GTD (Getting Things Done) — метод повышения личной эффективности, который придумал Дэвид Аллен, гуру продуктивности и антипод прокрастинации. Уже больше 20 лет он учит топ-менеджеров всяких крутых компаний (например, Ford Foundation и New York Life) не утонуть в хаосе задач. В общем, GTD — это палочка-выручалочка для нашего мозга: помогает собраться с мыслями, разложить их по полочкам и сделать то, что откладывал последний год (как я откладывала свой блог).

Зачем это нужно?

Когда-то в моей голове был настоящий бардак, в котором небрежно валялись интересные идеи, бытовые задачи, страхи, что забыла вовремя внести тот или иной платеж и тревоги за рабочие задачи. В периоды авралов даже тараканы в моей голове уходили нервно покурить в сторонку и не возвращались. Стресс был моим спутником, хотя, конечно, такого спутника себе я явно не хотела. В какой-то момент мне пришлось собрать всех своих тараканов (включая беглецов) на совет мыслей, чтобы найти систему, которая могла бы служить мне в качестве опоры и помогала справляться со следующими задачами:

Читать далее

Финский — мой официальный фейл. Но почему?

Reading time9 min
Views21K

Привет, Хабр! Меня зовут Саша Потапова, я бегло говорю на английском, испанском, французском и считала бы себя полиглотом, если бы не одно «но» — финский, который стал моим фейлом. Причем я усердно его учила, а способности к языкам у меня несколько выше среднего. Так что сегодня поделюсь своим опытом изучения финского, расскажу о его особенностях (господи, сколько их!) и причинах своего поражения.

Читать далее

Загадочные проблемы браузинга: почему некоторые сайты не грузятся в Chrome?

Level of difficultyEasy
Reading time4 min
Views27K

Меня зовут Эрик, я инженер технической поддержки в компании Shortcut. Недавно я столкнулся с интересным тикетом: пользователи жаловались, что некоторые сайты не открываются в Google Chrome, но при этом прекрасно работают в других браузерах.

Кажется, что если сайт работает в одном браузере, он должен работать и в другом. Но это не всегда так. Иногда Chrome упорно отказывается загружать страницы, которые спокойно открываются в Firefox или Edge. Недавно я столкнулся с таким случаем в работе и хочу рассказать, как я разобралися с проблемой.

Читать далее

Именно эти умения и навыки делают меня аналитиком

Level of difficultyMedium
Reading time7 min
Views13K

4 000 часов в роли системного аналитика или обзор навыков, умений и личных качеств, которые превращают человека в аналитика.

Читать далее

Как стать умнее? На самом деле это просто

Level of difficultyEasy
Reading time5 min
Views30K

Итак, вы хотите стать умным? В большинстве стран мира вам скажут, что для этого нужно: 11 лет школы + 4 года университета + 6 лет докторантуры и аспирантуры. Правда с интеллектом это имеет мало общего.

Читать далее

Управляем питанием компьютера кнопкой вызова от старого лифта

Level of difficultyMedium
Reading time8 min
Views18K
Приветствую всех!
Однажды увидел я на просторах ролик, как кто-то подключил лифтовой вызывной пост вместо обычной кнопки включения компьютера. И вот как-то раз я снова вспомнил про это, отчего мне сразу захотелось сделать что-то подобное. Но, раз уж делать, то куда технологичнее. Сделаем такую кнопку, не требующую вскрытия корпуса и подключения напрямую к контактам на материнке. Можно ли это реализовать? Как оказалось, это несколько сложнее, чем я думал…



Итак, в сегодняшней статье сделаем аналог той штуки, который можно будет подключить к любому компьютеру. Заодно разберёмся, как это будет работать, поговорим про USB HID и все его нюансы, посмотрим на начинку лифтовых кнопок разных лет и наконец добавим на рабочий стол артефакт из подъезда двухтысячных.
Читать дальше →

Lookupper: как игровой оверлей помогает изучать языки

Level of difficultyEasy
Reading time4 min
Views7K

Изучение иностранных языков — это как освоение сложной игры. Вроде бы правила понятны, но как только сталкиваешься с реальным использованием, всё кажется сложнее, чем на бумаге. Нужно постоянно переключаться между теорией и практикой, запоминать слова, разбирать грамматику. Кто-то пробует традиционные курсы, кто-то заваливает себя учебниками, а кто-то — погружается в языковую среду. Последний способ считается самым эффективным, но далеко не у всех есть возможность поехать за границу, чтобы учиться через живое общение.

Так возникла идея Lookupper. Если мы не можем оказаться в англоязычной среде, почему бы не создать её вокруг себя, прямо в тех местах, где мы уже проводим время? В играх, фильмах, в браузере — везде, где язык используется в естественном виде, а не в заученных фразах из учебников.

Читать далее

За что безопасники будут гореть в аду?

Level of difficultyEasy
Reading time4 min
Views47K

Для привлечения внимания расскажу историю. Уже много лет живу далеко за пределами нашей всеми любимой родины. И на днях, понадобилось мне войти в старую почту gmail... Логин и пароль надежно сохранены. Однако Google не торопится впускать нас в собственную почту.
— Нам кажется что это не вы, подтвердите что это вы. Введите номер телефона когда-то использовавшийся при регистрации.
Что ж, и это можно. Ввожу номер.
— Увы, мы не можем отправить СМС на этот номер. Хотите завести другой аккаунт?

И еще пара историй...
1
23 ...

Information

Rating
Does not participate
Registered
Activity