Пользователь

Profile Posts 12 Comments 1.5K Bookmarks 181

Создаём личный «Архив интернета»

FirstVDS corporate blog Hosting Search engines *Software Data storaging

Как показала история, сеть из миллиардов связанных между собой документов — очень хрупкая и эфемерная система. Странички живут недолго. Если нашли интересную страницу, сайт или видео — нельзя просто сделать закладку и надеяться, что контент по ссылке останется доступен в будущем. Не останется. Информация исчезнет, ссылки изменятся, домены сменят владельцев, статьи на Хабре спрячут в черновики. У каждой страницы свой срок жизни. Ничто не вечно под луной, и ничего с этим не поделать.

К счастью, у нас есть инструменты, чтобы сохранить информацию на десятилетия. Свой персональный архив, полностью под контролем, со всеми сайтами и актуальными страницами. Отсюда никто ничего не удалит без вашего ведома, никогда.

Читать дальше →

+39

9.1K

ohld 22 September at 13:40

Как спарсить любой сайт?

JavaScript *Data Mining *Big Data *Open data *Web services testing *

Tutorial

Меня зовут Даниил Охлопков, и я расскажу про свой подход к написанию скриптов, извлекающих данные из интернета: с чего начать, куда смотреть и что использовать.

Написав тонну парсеров, я придумал алгоритм действий, который не только минимизирует затраченное время на разработку, но и увеличивает их живучесть, робастность и масштабируемость.

Узнать как

+60

40K

krasnov_v_i 20 September at 14:00

Python микросервисы с Kafka без боли

Python *API *Data Engineering *

Sandbox

В этой статье я бы хотел поделиться способом написания асинхронных микросервисов на Python, в основе которых библиотека Faust. А в качестве брокера сообщений Kafka. Ну и немного мониторинга с Prometheus и Grafana.

+23

8.8K

Bright_Translate 29 August at 17:00

Переносим философию Unix в 21 век

RUVDS.com corporate blog Configuring Linux *System administration **nix *Server Administration *

Translation

Один из основных принципов философии Unix заключается в создании таких программ, каждая из которых эффективно выполняет всего одну задачу, и связывании этих программ в конвейер. Подобный подход отлично зарекомендовал себя за десятилетия существования системы.

В статье же речь пойдет о том, чего ощутимо не хватает современным системам Linux с точки зрения этой философии, а также будет предложено решение связанных с этим проблем.

Читать дальше →

+125

20K

S_ILya 7 July at 15:00

Интервью с создателем SQLite (часть 2): Android 2005, хвала Кнуту, 100% тестовое покрытие, собственная CVS

Маклауд corporate blog Database Administration *SQLite *History of IT Interview

Translation

«… я раньше думал, что могу писать программы без ошибок»

Это вторая часть интервью. Первую часть можно прочитать здесь.

Адам: Привет и добро пожаловать в CoRecursive. Я Адам Гордон Белл. В каждом эпизоде CoRecursive кто-то делится увлекательной историей создания собственного программного обеспечения.

Что произойдет, если сайд-проект, который вы делали по фану, вдруг станет популярным во всём мире? Как вы будете монетизировать его? Будете ли вы уделять ему всё своё время? Будете ли вы париться на счёт его обслуживания или просто оставите сервера включёнными и соберёте для них шкаф? Мой специальный гость Ричард Хипп — разработчик SQLite — продолжает отвечать на эти и многие другие вопросы.

Во второй части интервью вы узнаете:

почему Ричард считает себя причастным к провалу Motorola и Nokia;
к каким проблемам привело масштабирование СУБД SQLite;
сколько тест-кейсов нужно, чтобы обеспечить ей 100-процентное покрытие;
о том, как Ричард добавил покрывающие индексы в SQLite;
почему и как Ричард разрабатывает собственную систему контроля версий;
какой совет он может дать младшим коллегам.

Читать дальше →

+49

9.7K

dashadarling 6 July at 13:15

Дебаг-панель для тестирования рекламных интеграций

FUNCORP corporate blog Development of mobile applications *Mobile applications testing *Display advertising Contextual advertising

Алоха, Хабр! Тестирование рекламных интеграций — довольно трудоёмкий процесс, который сложно автоматизировать, так как мы работаем со сторонними SDK и практически не можем их контролировать. Но для сокращения времени мы разработали и внедрили рекламную дебаг-панель, о плюсах и минусах которой расскажу в этой статье.

+26

1.9K

owlofmacloud 30 May at 15:00

Уютный VPS-сервер для маленьких проектов: как настроить

Маклауд corporate blog Configuring Linux *Server Administration *

Мне всегда хотелось иметь в сети личное пространство. Место, где все было бы устроено как мне удобно. Наилучшим решением мне виделся недорогой VPS, который я мог бы обустраивать в соответствии со своими потребностями. Долго я не мог подступиться к решению этой задачи, но как-то незаметно подобрался набор инструментов, который позволил организовать именно такую программную среду, как мне хотелось.

Если вам тоже хочется создать в сети свое личное пространство, но вы не знаете, с чего начать, или вам просто интересны такие замечательные программные продукты как Docker, Portainer, Traefik – добро пожаловать под кат.

Введение

Признаться честно, я не очень люблю командную строку. То есть, мне нравится сама идея легкого минималистичного универсального интерфейса, практически не требующего ресурсов, но черное окно с мигающим курсором вызывает у меня фрустрацию и чувство беспомощности. И я даже знаю откуда это у меня.

Читать дальше →

+32

20K

alizar 18 May at 11:30

Практическое руководство по анонимности в онлайне

VDSina.ru corporate blog Information Security *Cryptography *Software Cryptocurrencies

Направленная антенна для удалённого доступа к публичному Wi-Fi

Обеспечить собственную безопасность (анонимность) в онлайне — тяжкий труд, требующий массивного объёма знаний. Даже лучшие профессионалы не всегда справляются.

Но это возможно.

Предупреждение. Для усвоения информации в полном объёме требуется несколько недель.

Читать дальше →

+97

99K

118

owlofmacloud 10 May at 16:08

1 CPU 1 Гб – а я хочу мониторинг, как у больших дядей

Маклауд corporate blog Configuring Linux *JavaScript *Server Administration *Lifehacks for geeks

Я обожаю читать на хабре статьи про то, как устроены системы больших интернет-компаний. Кластеры SQL-серверов, монг и редисов. Тут у нас кластер ELK собирает трейсинг, там – сборка логов, здесь балансер выдает входящим запросам traceID и можно отслеживать, как запрос ходит по всем нашим микросервисам. Класс. Но, допустим, у вас совсем маленький проект и вы можете себе позволить лишь VPS минимальной конфигурации. Реально ли на ней сделать мониторинг не хуже, чем у больших проектов? Я решил – надо попробовать.

Читать дальше →

+78

41K

MagisterLudi 4 May at 14:27

Базовая структура HTML-документа с объяснением каждой строчки

Маклауд corporate blog Web design *Website development *HTML *Studying in IT

Translation

<!DOCTYPE html>
<html lang="en" class="no-js">
<head>
  <meta charset="UTF-8">
  <meta name="viewport" content="width=device-width">

  <title>Unique page title - My Site</title>

  <script type="module">
    document.documentElement.classList.remove('no-js');
    document.documentElement.classList.add('js');
  </script>

  <link rel="stylesheet" href="/assets/css/styles.css">
  <link rel="stylesheet" href="/assets/css/print.css" media="print">

  <meta name="description" content="Page description">
  <meta property="og:title" content="Unique page title - My Site">
  <meta property="og:description" content="Page description">
  <meta property="og:image" content="https://www.mywebsite.com/image.jpg">
  <meta property="og:image:alt" content="Image description">
  <meta property="og:locale" content="en_GB">
  <meta property="og:type" content="website">
  <meta name="twitter:card" content="summary_large_image">
  <meta property="og:url" content="https://www.mywebsite.com/page">
  <link rel="canonical" href="https://www.mywebsite.com/page">

  <link rel="icon" href="/favicon.ico">
  <link rel="icon" href="/favicon.svg" type="image/svg+xml">
  <link rel="apple-touch-icon" href="/apple-touch-icon.png">
  <link rel="manifest" href="/my.webmanifest">
  <meta name="theme-color" content="#FF00FF">
</head>

<body>
  <!-- Content -->
  <script src="/assets/js/xy-polyfill.js" nomodule></script>
  <script src="/assets/js/script.js" type="module"></script>
</body>
</html>

Под катом — разбор каждой строчки

Читать дальше →

+34

33K

chemtech 18 April at 09:00

Полезные консольные Linux утилиты

*nix *

В этой подборке представлены полезные малоизвестные консольные Linux утилиты. В списке не представлены Pentest утилиты, так как у них есть своя подборка.

Осторожно много скриншотов. Добавил до ката утилиту binenv.

binenv — cамая интересная утилита для установки новых популярных программ в linux, но которых нет в пакетном менеджере.

Читать дальше →

+110

61K

110

alizar 6 April at 11:45

Бесплатные сервисы для разработчиков — огромный список

Маклауд corporate blog Website development *Open source *Development Management *Software

Бесплатное хранилище артефактов PackageCloud

Удивительно, но в интернете сотни сервисов, которыми разработчик может пользоваться совершенно бесплатно. «Бесконечное» время (пока компания не обанкротится или не изменит условия), без рекламы, пробного периода и других подводных камней.

Недавно мы обсуждали эту тему в статье «Боль разработчика: “Никогда не давайте пользователям бесплатный тариф”». Речь шла о том, что на самом деле бесплатный план вовсе не бесплатен — приходится тратить массу времени и усилий на поддержку этих тарифов.

Но для некоторых бесплатный тариф — единственный способ завлечь новых клиентов. Это просто замечательно с точки зрения самих пользователей. Ведь перед нами десятки бесплатных хостингов, API, CMS, CDN, сервисов обработки данных, поисковых движков, репозиториев, инструментов проверки кода и других. Бесплатный тариф идеален для опенсорс-разработчиков, любительских и некоммерческих проектов, маленьких стартапов. Ни за что не надо платить.

Читать дальше →

+71

36K

ru_vds 22 March at 12:07

14 полезных инструментов, ускоряющих и упрощающих веб-разработку

RUVDS.com corporate blog Website development *

Translation

Я занимаюсь разработкой сайтов уже много лет и не верю в то, что если буду держать в секрете используемые мной инструменты, это даст мне серьёзное преимущество на рынке труда.

Мне известно, что создание сайтов может быть тяжёлым и нудным занятием, но правильный подбор вспомогательных программ способен сильно облегчить жизнь веб-разработчику.

Здесь я расскажу о 14 инструментах, которые помогают мне в решении моих рабочих задач.

Читать дальше →

+23

30K

nalgeon 17 March at 12:32

SQLite — не игрушка

Programming *SQL *SQLite *

Рассказываю, почему SQLite отлично подойдет вам в повседневной работе. И неважно, разработчик вы, аналитик, тестировщик, админ или продакт-менеджер.

+235

58K

ruvds 16 March at 16:38

Sourcetrail: инструмент, чтобы разобраться в чужом коде и не выстрелить себе в голову

RUVDS.com corporate blog Programming *Industrial Programming *Lifehacks for geeks

I regret to report that I've just recently looked again at my programs for prime factors and tic-tac-toe, and they are entirely free of any sort of comments or documentation.
^{— Donald E. Knuth}

Каждый программист не раз сталкивался с ситуацией, когда приходится читать чужой код не имея представления для чего нужна та или иная функция, класс и как оно вообще все взаимосвязано.

Такое случается даже со своими программами и скриптами, написанными на write-only ЯП.

Разработчики, имеющие дар работать с таким кодом высоко ценятся в коллективе.

Такое чудо-лабиринты из кода бывают, когда исходный код имеет:

Непоследовательный стиль разработки
Чересчур сложную и запутанную структуру программы
Очевидные логические ошибки или упущения
Запущенность

Надо понимать, что существует большое отличие между живым рабочим кодом и неким учебно образовательным. В первом случае на процесс разработки может влиять целый ряд технических, коммерческих и даже бытовых причин. Под их воздействием даже самый строгий и элегантный дизайн ПО может превратиться в спагетти. Основные причины таких метаморфозов знакомы многим программистам.

Читать дальше →

+47

9.7K

pokamest_nikak 11 March at 17:32

Никогда такого не было и вот опять. Почему нужно использовать self-hosted VPN. Релиз Amnezia

Amnezia VPN corporate blog Information Security *Open source *Legislation in IT

Вот и пришло время для релиза VPN-клиента, родившегося благодаря хакатону DemHack, и выращенного при поддержке РосКомСвободы, PrivacyAccelerator и Теплицы социальных технологий.

Спустя полгода с того момента, как идея была впервые озвучена, мы презентуем готовый продукт — бесплатный опенсорсный клиент для self-hosted VPN, с помощью которого вы сможете установить VPN на свой сервер в несколько кликов.

Вместо скучной технической статьи о том, что вот оно: что-то сделали, что-то не успели, что-то пересмотрели, которую можно сократить до нескольких абзацев сути, я решил написать о своих размышлениях, о том, что вообще происходит, о бешеных принтерах, о развитии Интернета, в контексте его приватности, анонимности и блокировок.

Читать дальше →

+126

58K

161

polnd 26 February at 18:30

Настройка собственного почтового сервера

Spamming and anti-spamming Domain names administrating *Server Administration *DNS *

Tutorial

Зачем нужен собственный почтовый сервер можно почитать в оригинальной статье. А поскольку на "habr" обретает надежду всяк сюда входящий, то далее пошаговая инструкция как сделать все настройки, чтобы почтовый сервер функционировал правильно: мог достучаться до любого адресата и сообщения не помечались как спам.

+26

40K

122

tmat 24 February at 18:08

Всё, о чём должен знать разработчик Телеграм-ботов

Instant Messaging *API *

Вы вряд ли найдете в интернете что-то про разработку ботов, кроме документаций к библиотекам, историй "как я создал такого-то бота" и туториалов вроде "как создать бота, который будет говорить hello world". При этом многие неочевидные моменты просто нигде не описаны.

Как вообще устроены боты? Как они взаимодействуют с пользователями? Что с их помощью можно реализовать, а что нельзя?

Подробный гайд о том, как работать с ботами — под катом.

+127

102K

A114n 8 February at 11:15

Скромное обаяние конспирологии

Reading room Popular science

Эта статья написана для тех, кто получает комментарии вида «давайте без теорий заговора» или «это всё конспирология» в ответ на важные вопросы. Она поможет им как набор аргументов против подобных обвинений. Также она может быть полезна людям, которые стесняются прямо высказывать своё мнение, потому что их мнение противоречит официальному. Возможно, эта статья будет интересна и для некоторых людей, всегда поддерживающих общепринятый взгляд на вещи.

Читать дальше →

+13

28K

338

DmitryI 16 February at 10:01

Парад идей на рынке образовательных технологий

ГК ЛАНИТ corporate blog Studying in IT Education abroad IT career Business Models

Иногда хочется бросить все, чем ты занимаешься, и просто заработать много денег… при этом не нарушая закон. Если у вас есть идеи, как это сделать — поделитесь. Лично я ставлю на стартап в сфере EdTech. В этом посте я объясню почему и расскажу о нескольких интересных идеях на рынке образования, которые можно попробовать превратить в прибыльные компании. Я активно занимался вопросами образования более 17 лет, пройдя путь от инструктора до директора учебного центра «Сетевая Академия ЛАНИТ». Тем не менее, я не претендую на полноту обзора, поскольку в EdTech чуть ли не каждый день появляется что-то новое.

Источник

Читать дальше →

+32

3.1K

2 3 ...

8 9

Создаём личный «Архив интернета»

Как спарсить любой сайт?

Python микросервисы с Kafka без боли

Переносим философию Unix в 21 век

Интервью с создателем SQLite (часть 2): Android 2005, хвала Кнуту, 100% тестовое покрытие, собственная CVS

Дебаг-панель для тестирования рекламных интеграций

Уютный VPS-сервер для маленьких проектов: как настроить

Введение

Практическое руководство по анонимности в онлайне

1 CPU 1 Гб – а я хочу мониторинг, как у больших дядей

Базовая структура HTML-документа с объяснением каждой строчки

Полезные консольные Linux утилиты

Бесплатные сервисы для разработчиков — огромный список

14 полезных инструментов, ускоряющих и упрощающих веб-разработку

SQLite — не игрушка

Sourcetrail: инструмент, чтобы разобраться в чужом коде и не выстрелить себе в голову

Никогда такого не было и вот опять. Почему нужно использовать self-hosted VPN. Релиз Amnezia

Настройка собственного почтового сервера

Всё, о чём должен знать разработчик Телеграм-ботов

Скромное обаяние конспирологии

Парад идей на рынке образовательных технологий

Information

Your account

Sections

Information

Services