Pull to refresh
2
0
Send message

Распознавание лиц с InsightFace или как CatBoost имена угадывал

Reading time4 min
Views7.3K

Цель статьи - рассказать про простой и в тоже время рабочий вариант создания системы распознавания лиц, используя только модели из коробки, а именно ,библиотеку InsightFace для обнаружения и предобработки лиц и Catboost для их классификации.

Читать далее
Total votes 7: ↑6 and ↓1+7
Comments1

Распознавание, хранение и поиск лиц в базе данных

Level of difficultyMedium
Reading time3 min
Views11K

В этой статье я максимально коротко и просто объясню принцип распознавания, хранения и поиска лиц в базе данных. В качестве примера будет использована библиотека Insightface и база данных PostgreSQL.

Читать далее
Total votes 30: ↑25 and ↓5+28
Comments6

Шпаргалка для алгособеса — алгоритмическая сложность, структуры данных, методы сортировки и Дейкстра

Level of difficultyMedium
Reading time33 min
Views103K

Привет, Хабр!

Так уж повелось, что любой уважающий себя работодатель перенимает передовые^✻ методики FAANG — по этой причине практически во всех IT-собесах есть она: секция алгоритмов. Кто-то ей рад, кто-то не очень, но секция есть и уходить пока не планирует. Поэтому нужно закатать рукава и достойно встретить суровую реальность.

Читать далее
Total votes 187: ↑185 and ↓2+212
Comments77

Взлом YouTube для быстрого скачивания видео

Reading time9 min
Views66K
Мы неоднократно рассказывали о специальном софте, который позволяет скачивать видео с YouTube. Это в первую очередь youtube-dl (yt-dl) и его клоны, такие как yt-dlp и yt-dlc. С ними воюют могучие копирасты, пытаются удалить их из поисковой выдачи, с хостингов, с Github и так далее, по известной схеме «тотальная война».

Но главным врагом для этих программ остаются даже не правообладатели, а злобная корпорация Google, которая постоянно вносит изменения в YouTube API, чтобы прекратить злоупотребления сервисом помешать людям скачивать файлы, ведь от этого Google никакой прибыли.

Сами программки — просто технические инструменты для скачивания общедоступного контента, они ничего не воруют и не пиратят. Просто доступ происходит нестандартным способом, который не предусмотрен официально. Посмотрим, как это делается.
Читать дальше →
Total votes 123: ↑113 and ↓10+148
Comments421

Redis на практических примерах

Reading time11 min
Views107K

Redis — достаточно популярный инструмент, который из коробки поддерживает большое количество различных типов данных и методов работы с ними. Во многих проектах он используется в качестве кэшируещего слоя, но его возможности намного шире. Мы в ManyChat очень любим Redis и активно используем его в нашем продукте для решения огромного количества задач. Про некоторые интересные кейсы использования этой in-memory key-value базы данных я расскажу на примерах. Надеюсь, вам они будут полезны, и вы сможете применить что-то в своих проектах.

Рассмотрим следующие кейсы:

  • Кэширование данных (да, банально и скучно, но это классный инструмент для кэширования и обойти стороной этот кейс, кажется будет не правильно)
  • Работа с очередями на базе redis
  • Организация блокировок (mutex)
  • Делаем систему rate-limit
  • Pubsub — делаем рассылки сообщений на клиенты

Буду работать с сырыми redis командами, чтобы не завязываться на какую-либо конкретную библиотеку, предоставляющую обертку над этими командами. Код буду писать на PHP с использованием ext-redis, но он здесь для наглядности, использовать представленные подходы можно в связке с любым другим языком программирования.


Читать дальше →
Total votes 32: ↑30 and ↓2+36
Comments14

Как работает компьютер: глубокое погружение (на примере Linux)

Level of difficultyHard
Reading time48 min
Views136K



Введение


Я делала много вещей с компьютерами, но в моих знаниях всегда был пробел: что конкретно происходит при запуске программы на компьютере? Я думала об этом пробеле — у меня было много низкоуровневых знаний, но не было цельной картины. Программы действительно выполняются прямо в центральном процессоре (central processing unit, CPU)? Я использовала системные вызовы (syscalls), но как они работают? Чем они являются на самом деле? Как несколько программ выполняются одновременно?


Наконец, я сломалась и начала это выяснять. Мне пришлось перелопатить тонны ресурсов разного качества и иногда противоречащих друг другу. Несколько недель исследований и почти 40 страниц заметок спустя я решила, что гораздо лучше понимаю, как работают компьютеры от запуска до выполнения программы. Я бы убила за статью, в которой объясняется все, что я узнала, поэтому я решила написать эту статью.


И, как говорится, ты по-настоящему знаешь что-то, только если можешь объяснить это другому.


Более удобный формат статьи.

Читать дальше →
Total votes 152: ↑152 and ↓0+152
Comments36

Что делает ChatGPT… и почему это работает?

Level of difficultyMedium
Reading time75 min
Views147K

То, что ChatGPT может автоматически генерировать что-то, что хотя бы на первый взгляд похоже на написанный человеком текст, удивительно и неожиданно. Но как он это делает? И почему это работает? Цель этой статьи - дать приблизительное описание того, что происходит внутри ChatGPT, а затем исследовать, почему он может так хорошо справляться с созданием более-менее осмысленного текста. С самого начала я должен сказать, что собираюсь сосредоточиться на общей картине происходящего, и хотя я упомяну некоторые инженерные детали, но не буду глубоко в них вникать. (Примеры в статье применимы как к другим современным "большим языковым моделям" (LLM), так и к ChatGPT).

Читать далее
Total votes 248: ↑248 and ↓0+248
Comments121

Разворачиваем автоматизацию за пару часов: PHPUnit, Selenium, Composer

Reading time8 min
Views28K
Привет, Хабр! Меня зовут Виталий Котов, я работаю в Badoo, в отделе QA. Большую часть времени занимаюсь автоматизацией тестирования. Недавно я столкнулся с задачей максимально быстро развернуть Selenium-тесты для одного из наших проектов. Условие было простое: код должен лежать в отдельном репозитории и не использовать наработки предыдущих автотестов. Ах, да, и нужно было обойтись без CI. При этом тесты должны были запускаться сразу после изменения кода проекта. Отчёт должен был приходить на почту.

Собственно, опытом такого развёртывания я и решил поделиться. Получился своего рода гайд «Как запустить тесты за пару часов».

Поехали!


Читать дальше →
Total votes 55: ↑55 and ↓0+55
Comments15

Домашний NAS сервер

Reading time6 min
Views53K

Домашний NAS сервер на 10 жестких дисков для личного использования на базе Linux

Когда имеется большой объем файлов, который необходимо хранить на одном домашнем сервере с низким энергопотреблением, малыми габаритами, невысоким тепловыделением и бесперебойным питанием, а также с большим количеством жестких дисков...

Читать далее
Total votes 113: ↑108 and ↓5+129
Comments94

Библиотека конца света

Level of difficultyEasy
Reading time12 min
Views11K

В современном мире информация мгновенно устаревает. К тому моменту как мы прочитаем самую первую новостную заметку, выйдет фитчер, подробно объясняющий почему заметка наврала буквально в каждом слове. Ну, а когда дочитаете фитчер появится новость, опровергающая предыдущую. В условиях информационной гонки архаичные домашние библиотеки потеряли былую значимость. Ниже предлагаю мой взгляд на идеальный состав личной книжной коллекции с пояснениями, чем зачем эти пылесборники нужны.

Читать далее
Total votes 30: ↑20 and ↓10+17
Comments68

Готовимся к собеседованию по PHP: Что такое «DI», «Container», «Auto-wiring» за семь простых шагов

Reading time10 min
Views40K

Статья написана для начинающих разработчиков на языке PHP, чтобы помочь им усвоить понятия, нужные для понимания того, как устроены и работают современные фреймворки на PHP: Dependency Injection, Container, Auto-wiring.

Автор надеется, что прочтение статьи поможет вам разобраться в этих вопросах и подготовиться к собеседованию или освоению нового фреймворка.

Статья продолжает цикл статей под условным названием "Готовимся к собеседованию".

Читать далее
Total votes 19: ↑16 and ↓3+15
Comments13

Сколько стоит умный дом? Рассказываю, как строил свой и что получилось за 1000 руб./м²

Level of difficultyEasy
Reading time25 min
Views95K

Подробный рассказ о том, как я свой дом и сад сделал умными. С фото, техническими деталями, стоимостями и выводами на будущее.

Читать
Total votes 246: ↑244 and ↓2+296
Comments296

Домашний медиа сервер minidlna

Reading time10 min
Views76K

Так сложились обстоятельства, что мне удалось скоммуниздить старенький ПК, да и чтобы он просто не пылился, так как такое старье продавать за 5-7 тысяч (цена в моем регионе за подобную конфигурацию) мне стыдно, а получать за него 3 тысячи — ну такое. Я решил, сделаю дома небольшую библиотеку фильмов, музыки, да и у жены очень много фотографий, которые её очень дороги.

Читать далее
Total votes 22: ↑9 and ↓130
Comments35

Введение в Traefik 2.0

Reading time13 min
Views136K

Traefik — это обратный прокси-сервер с открытым исходным кодом, обеспечивающий простую работу с микросервисами и/или просто контейнерами с вашими приложениями.


Обратный прокси-сервер (reverse proxy, реверс-прокси) служит для ретрансляции запросов из внешней сети к каким-либо серверам/сервисам внутренней сети (например веб-сервера, БД или файловые хранилища) и позволяет:


  • обеспечить сокрытие структуры внутренней сети и подробностей о находящейся в ней сервисах;
  • осуществлять балансировку нагрузки (load balancing) между экземплярами одного и того же сервиса или серверами с одинаковыми задачами;
  • обеспечить зашифрованное (HTTPS) соединение между клиентом и любым сервисом, в таком случае SSL сессия создается между клиентом и прокси, а между прокси и сервисом во внутренней сети устанавливается незашифрованное HTTP соединение, если сервис поддерживает HTTPS то можно организовать зашифрованное соединение и во внутренней сети;
  • организовать контроль доступа к сервисам (аутентификацию клиента), а также установить файрвол (брандмауэр).

В статье будет описываться использование Traefik в Docker в качестве реверс-прокси для других контейнеров Docker, а также не контейнеризированных сервисов.


image

Читать дальше →
Total votes 13: ↑12 and ↓1+16
Comments31

Назад в будущее? Квантовый ластик с отложенным выбором

Reading time8 min
Views35K
На Хабре периодически появляются статьи и комментарии о чудесах квантовой физики: квантовом ластике и слабых измерениях. К сожалению, слишком часто о них говорят как о загадочных и непонятных явлениях, позволяющих творить чуть ли не магию, хотя на самом деле нет в них ровным счетом ничего удивительного. В этом посте я перевожу статью Шона Кэрролла о квантовом ластике с отложенным выбором. Пусть он будет отправной точкой для обсуждения в комментариях всяких хитростей квантовой механики.

Total votes 39: ↑38 and ↓1+37
Comments129

Объект 221, запасной командный пункт Черноморского флота

Reading time8 min
Views6.4K
Пока народ обсуждает сколько ракет нужно, чтобы уничтожить все живое на планете, я расскажу вам о том как командование Черноморского флота СССР (далее ЧФ) собиралось спасаться на случай атомной войны. За информацию, которая известна об этом проекте сейчас, в советское время в лучшем случае отправили б в места не столь отдаленные. Но Советский Союз пал, и теперь объект этот известен не одному туристу, кроме того его можно посетить, что собственно я и сделал 2 раза.

Объект 221 это грандиозное сооружение, которое находиться прямо в горе на южной части полуострова Крыма, недалеко от Балаклавы. Высота была выбрана 495 метров, по данным геологоразведки гора представляла собой скалу, без разломов и полостей. «Крыша» из горной породы над помещениями бункера составляет 180 метров.
В случае атомной катастрофы, управляющие флотом а так же государственная элита отдыхающая в Крыму, возможно со своими семьями, могли переместиться в это убежище и автономно находиться в нем около 30 лет, попутно «пуляя» ракетами в ответ.
Узнать больше
Total votes 213: ↑196 and ↓17+179
Comments145

Строим камеру Вильсона и обнаруживаем космические лучи у себя дома

Reading time3 min
Views39K
Камера Вильсона (она же туманная камера) — один из первых в истории приборов для регистрации следов (треков) заряженных частиц. Принцип действия камеры использует явление конденсации перенасыщенного пара: при появлении в среде перенасыщенного пара каких-либо центров конденсации на них образуются мелкие капли жидкости. Эти капли достигают значительных размеров и могут быть сфотографированы. Источник исследуемых частиц может располагаться либо внутри камеры, либо вне её (в этом случае частицы залетают через прозрачное для них окно).



Очень странно думать о том, что нас постоянно бомбардируют крохотные частицы, движущиеся со скоростью света. Хотите увидеть свидетельство их существования? Смотрите видео. Не верите видео, или просто хотите увидеть следы в испарениях собственными глазами – продолжайте читать эту инструкцию.
Total votes 38: ↑34 and ↓4+30
Comments18

ONKALO: чудо света на все времена, забудьте о нём…

Reading time25 min
Views82K
… или как захоронить свои ядерные отходы навсегда.



Многие уверены, что век монументального строительства прошёл. Пирамиды, мегалиты и загадочные гробницы лежат старыми игрушками в песочнице человечества. Мы выросли из них и живём сегодняшним днём, ярким и мимолётным. Когда нас не станет — от нас останутся только колоссы древности… и ONKALO.
Читать дальше →
Total votes 409: ↑404 and ↓5+472
Comments100

KODI: собираем удобный и функциональный медиацентр для дома. Часть 1

Reading time27 min
Views395K

Поговорим о том, как при наличии небольшого количества времени и навыков построить мультимедийный комбайн с дополнительными возможностями домашнего сервера на базе Kubuntu 20.04 и KODI, способного работать 24/7/365.

Читать дальше →
Total votes 55: ↑54 and ↓1+68
Comments189

Цивилизация Пружин, 1/5

Reading time14 min
Views105K
### Часть 1. Золотое «Ку»

Лет в шесть мне попался в руки дедовский справочник[50] по грузовым автомобилям середины 20-го века. Добротный, напечатанный на гладкой плотной бумаге раритет. Единственное, что вообще осталось на память от деда после распада страны, войн и переездов.



В справочнике содержалось множество интересных ТТХ, так что слово «грузоподъёмность» стало мне знакомо с раннего детства. И когда отец на прогулке упомянул, что любой грузовик весит столько же, сколько увозит сам, я это запомнил. Запомнил и, много позже, заинтересовался.

Отец был прав. Для грузовиков 60-х годов это правило выполняется с довольно удивительной точностью:

Читать дальше →
Total votes 237: ↑230 and ↓7+223
Comments266

Information

Rating
Does not participate
Registered
Activity