Как стать автором
Обновить
4
0.1

Пользователь

Отправить сообщение

Обозреваем и практикуем популярные OSINT инструменты

Время на прочтение 4 мин
Количество просмотров 8.1K

Введение

Рад вновь приветствовать читателей в своей любимой рубрике "ШХ" что является сокращением от "Шерлок Холмс" и разумеется серия таких статей напрямую относится к OSINT. Сегодня на практике попробуем некоторые инструменты и попробуем узнать больше о человеке исходя из его никнейма. В качестве цели я возьму одно из своих имён "VI.......TE".

Дисклеймер: Все данные, предоставленные в данной статье, взяты из открытых источников, не призывают к действию и являются только лишь данными для ознакомления, и изучения механизмов используемых технологий.

Читать далее
Всего голосов 16: ↑15 и ↓1 +14
Комментарии 1

Защищаем сервис от перегрузки с помощью HAProxy

Время на прочтение 13 мин
Количество просмотров 5.9K

Если вам доводилось использовать HAProxy для балансировки трафика, вы наверняка как минимум слышали, что этот продукт умеет отслеживать показатели активности сервиса и пользователей и реагировать на них по предопределённым условиям. Обычно в статьях на эту тему приводится пример ограничения пользователя по исходному IP-адресу, если частота запросов с него превышает некоторый предопределённый заранее лимит. Вот, к примеру, такая статья с сайта разработчиков.

Я бы хотел немного углубиться в тематику использованного механизма stick tables, но поговорить не про пользователей, активно интересующихся вашим сайтом, а про нагрузочную способность, или ёмкость, всего сайта (ну или каких-то его путей). Во-первых, любой сервис ограничен в количестве одновременных запросов, которые возможно обслужить на существующих ресурсах. Во-вторых, чаще всего у сервиса не одна площадка или хотя бы не один экземпляр балансёра. А это значит, что поймать одинокого пользователя — это, конечно, здорово, но хотелось бы решить и другую интересную задачу: защитить сервис от перегрузки в целом и в случае, если балансёров более одного. Бонусом поговорим о проблеме умного перераспределения нагрузки между локациями.

Читать далее
Всего голосов 18: ↑18 и ↓0 +18
Комментарии 0

Интегрируем Clickhouse в Zabbix

Уровень сложности Сложный
Время на прочтение 6 мин
Количество просмотров 4.1K

В прошлом материале мы рассказали, с какой проблемой столкнулись, и проанализировали четыре СУБД в поиске рабочего решения. Мы оценили преимущества и недостатки каждого отобранного варианта и остановились на ClickHouse. Несмотря на то, что готовой интеграции этой БД с Zabbix не существует, CH отлично подходил как решение под наши инженерные задачи.

БД в Zabbix

Прежде чем мы перейдем к рассказу о реализации, расскажем о специфике работы БД в Zabbix. Вся ее логика вынесена в отдельную библиотеку — zbxhistory. Она используется сервером и прокси для сохранения данных мониторинга. В классе history описывается интерфейс, который имплементируется каждой реализацией подключения к хранилищу данных.

Читать далее
Всего голосов 1: ↑1 и ↓0 +1
Комментарии 5

Хороший ретрай, плохой ретрай, или История одного падения

Уровень сложности Средний
Время на прочтение 17 мин
Количество просмотров 36K

Порой простое и очевидное решение может потянуть за собой хвост проблем в будущем. Например, добавление ретраев.

Меня зовут Денис Исаев, и я работаю в Яндекс Go. Сегодня я поделюсь опытом решения проблем с отказоустойчивостью из-за ретраев. Основано на реальных инцидентах в системе из 800 микросервисов.

Этот пост — продолжение вымышленных историй о разработчике Васе, который несколько лет назад разбирался с идемпотентностью в распределённых системах. Теперь перед ним новые задачи — получится ли справиться с ними в этот раз? Давайте узнаем.

Читать далее
Всего голосов 152: ↑152 и ↓0 +152
Комментарии 32

Основы полнотекстового поиска в ElasticSearch. Часть вторая

Уровень сложности Средний
Время на прочтение 9 мин
Количество просмотров 11K

Это вторая статья из цикла. В первой части я рассказывал про самые базовые понятия Elasticsearch. В этом же посте разберем устройство анализа текста и немного пощупаем полнотекстовый поиск.

Несколько слов про анализ текста

Анализ текста — процесс преобразования оригинального текста в структурированный формат, оптимизированный под эффективное хранение и быстрый поиск.

Мы уже познакомились с некоторыми типами Elasticsearch, но в этом разделе будем рассматривать только два — keyword и text. Тип text анализируется для полнотекстового поиска. Тип keyword преимущественно остается без изменений для точного поиска, сортировки и агрегации.

Читать далее
Всего голосов 26: ↑26 и ↓0 +26
Комментарии 0

Made at Intel. Женские истории

Время на прочтение 8 мин
Количество просмотров 17K

К теме diversity я уже обращался. Отношение к ней у меня неоднозначное, поскольку хорошая в общем-то затея, была доведена до абсурда рвением исполнителей на местах. Стоит, однако отметить, что в Интел всегда было очень много умных женщин. И я благодарен судьбе за то, что мне посчастливилось с ними поработать. Их историям и будет посвящена эта глава.

Читать далее
Всего голосов 121: ↑115 и ↓6 +109
Комментарии 10

10 приёмов, чтобы получить быструю и качественную картинку в Midjourney

Уровень сложности Простой
Время на прочтение 7 мин
Количество просмотров 15K

Меня зовут Андрей Цыган - я предприниматель, управленец и как энтузиаст исследую возможности нейросетей. Я никогда не работал ни с графическими редакторами, ни даже с PhotoShop - но постоянно нуждался в таких услугах. Качественные изображения мне были нужны для презентаций, маркетинговых материалов, соц. сетей.

Из всех сетей генерации изображений мне больше всего понравился Midjourney - оптимальное качество на потраченное время. Я понимаю в самом Midjourney (не говоря про Stabble Diffusion) можно углубиться в детали - но я не дизайнер или AI artist, мои задачи прикладные.

У меня уже сгенерированно более 4000 изображений и я выделил 10 методов, которые позволяют достаточно быстро и качественно получить нужный мне контент.  Они могут использоваться как обложка к посту или лонгриду, или я чаще использую в презентации.
Надеюсь, эта статья сэкономит вам несколько часов!

Читать далее
Всего голосов 22: ↑20 и ↓2 +18
Комментарии 4

Мини-аналог «mail.yandex.ru» для небольшой компании

Уровень сложности Средний
Время на прочтение 3 мин
Количество просмотров 13K

Приветствую!

Давно не писал статей, все руки не доходили, наконец то, выбралось время и решил поделиться с Вами решением одной задачи.

Немного предыстории

В конце 2018 довелось участвовать в создание инфраструктуры одной поликлиники и одна из задач была организация почтового сервера. По желанию заказчика, предпочтение было отдано внешним службам, а именно pdd.yandex.ru. На тот момент требовалось не более 3-5 пользователей, и это решение посчитали оптимальным и самым быстрым. Но время шло, задачи менялись и в конце 2022 г. число учетных записей выросло до 95 из них активных, в повседневной работе, 25. Когда Яндекс ввел плату за каждого пользователя, было принято решение о переводе всей почты на локальное размещение. К тому же, весь доступ к почте, предполагает только локальное использование, без доступа из внешней сети. Перелопатив кучу вариантов, от коробочных решений до самосборной конфигурации, пал выбор на Kolab Groupware. Выбор был обусловлен желанием работы через WEB интерфейс, с общей адресной книгой, календарем, списком дел и файловым облаком. Плюшек хватало с лихвой, но возник ряд трудностей, о способах решения которых, я напишу ниже.

Читать далее
Всего голосов 10: ↑5 и ↓5 0
Комментарии 27

Разбираем шаблоны проектирования

Время на прочтение 17 мин
Количество просмотров 20K

Разработка современных приложений процесс достаточно сложный, требующий глубокого погружения, продумывания процесса взаимодействия компонентов. При этом разрабатывать код непосредственно с нуля конечно можно, но в таком случае процесс выпуска готового решения  займет значительное время, а время как известно самый дорогой ресурс.

Для ускорения проектирования и последующей разработки приложений придумали шаблоны проектирования. По сути, шаблоны проектирования это проверенные и готовые к использованию решения регулярно возникающих в повседневном программировании задач. То есть, это повторяемая архитектурная конструкция, представляющая собой решение проблемы проектирования в рамках некоторого часто возникающего контекста.

Представленный в статье материал предполагает знакомство читателя с основами объектно-ориентированного программирования.

Читать далее
Всего голосов 14: ↑9 и ↓5 +4
Комментарии 9

Создаем свой загрузочный диск Linux

Время на прочтение 13 мин
Количество просмотров 35K

В статье описывается способ, как создать собственный загрузочный диск Linux (оптический диск или флешку), добавить в него только нужные программы и убрать все лишнее. Полученный образ в экспериментах занял менее 25 Мб. Он позволяет быстро загружаться, работать в текстовом режиме, создавать, редактировать, удалять файлы на разных файловых системах, имеет поддержку русского языка. За основу взят Debian.

Читать далее
Всего голосов 55: ↑55 и ↓0 +55
Комментарии 9

Топ полезных SQL-запросов для PostgreSQL

Время на прочтение 7 мин
Количество просмотров 79K

Статей о работе с PostgreSQL и её преимуществах достаточно много, но не всегда из них понятно, как следить за состоянием базы и метриками, влияющими на её оптимальную работу. В статье подробно рассмотрим SQL-запросы, которые помогут вам отслеживать эти показатели и просто могут быть полезны как пользователю.

Читать далее
Всего голосов 83: ↑81 и ↓2 +79
Комментарии 15

Первый нейросетевой переводчик для эрзянского языка

Время на прочтение 10 мин
Количество просмотров 12K

Эрзянский язык из финно-угорской семьи – один из официальных в республике Мордовия, и на нём говорят сотни тысяч людей, но для него до сих пор не было почти никаких технологий машинного перевода, кроме простых словарей.
Я попробовал создать первую нейросеть, способную переводить с эрзянского на русский (и с натяжкой ещё на 10 языков) и обратно не только слова, но и целые предложения.

Пока её качество оставляет желать лучшего, но пробовать пользоваться уже можно.
Как я собирал для этого тексты и обучал модели – под катом.

Читать далее
Всего голосов 70: ↑69 и ↓1 +68
Комментарии 20

Установка PostgreSQL с помощью Docker

Время на прочтение 6 мин
Количество просмотров 24K

В этом руководстве мы научимся устанавливать PostgreSQL с помощью Docker. Обычно мы запускаем контейнер Docker, используя публичный образ Docker, или берём предварительно настроенные Docker-образы сервера баз данных PostgreSQL из Docker Hub. Здесь же мы продемонстрируем, как PostgreSQL можно установить, настроить и запустить на Docker.

Сначала запустим контейнер Docker с базой данных PostgreSQL, используя публичный образ PostgreSQL. Позже мы создадим пользовательский Dockerfile для установки сервера PostgreSQL в контейнер Docker. Также мы научимся создавать резервные копии и восстанавливать базу данных с помощью контейнера Docker.
Читать дальше →
Всего голосов 25: ↑14 и ↓11 +3
Комментарии 13

Веб-фреймворки для Golang в 2022 году: оптимальные варианты для разработчика

Время на прочтение 3 мин
Количество просмотров 35K

Golang продолжает развиваться, вместе с ним развивается и вся экосистема языка. В частности, появляются новые и обновляются существующие фреймворки. В этой статье мы сделаем небольшой обзор тех, что связаны с HTTP-бэкендом.

Читать далее
Всего голосов 14: ↑10 и ↓4 +6
Комментарии 14

Создание API с использованием TDD в Laravel

Время на прочтение 18 мин
Количество просмотров 11K

Привет, Artisans, меня зовут Альберто Росас, я пользуюсь Laravel уже много лет, и одна из самых полезных и стоящих вещей, которые я узнал, — это создание правильных тестовых сьютов для своих приложений. Очень приятно видеть, что тестирование все чаще практикуется в сообществе Laravel, поэтому в этой статье мы начнем с основ TDD в Laravel и продолжим тему в других статьях.

Читать далее
Всего голосов 14: ↑12 и ↓2 +10
Комментарии 3

SMPP в Telegram (Viber)

Время на прочтение 4 мин
Количество просмотров 4.8K

Много лет не писал нечего кроме заметок для себя, но тут получилось интересное решение по поднятию своего SMPP сервера и пересылке сообщений в telegram и viber почти без программирования.

Читать далее
Всего голосов 3: ↑3 и ↓0 +3
Комментарии 0

Инструменты OSINT для геолокации: моря, горы, улицы

Время на прочтение 4 мин
Количество просмотров 13K
Помимо доступа к спутниковому OSINT в один клик, появляется всё больше и больше инструментов для выяснения точного местоположения, откуда был сделан фото- или видео-снимок. Любая деталь — дорожный знак, вывеска, линии электропередач, рельеф гор на заднем плане и даже длина тени от столба может быть подсказкой для исследователей. Предлагаем вашему вниманию подборку инструментов по геолокации от ведущих OSINT-исследователей.

Geolocation Estimaton


image

Платформа, которая оценивает местоположение изображения с помощью глубокого обучения/ИИ.

Тут можно смотреть на чужие фотки и вручную вбивать их местоположение, учить систему, а можно загружать свою фотку и просить систему «угадать» местоположение.

На тепловой карте указываются области, которые максимально повлияли на принятие решения.

image

Загрузил свою фотку из исторического района Стамбула — система не смогла определить.
Читать дальше →
Всего голосов 38: ↑34 и ↓4 +30
Комментарии 0

Основы Интерактивных карт

Время на прочтение 7 мин
Количество просмотров 25K

Для визуализации интерактивных карт рассмотрим библиотеку - Folium.

Folium — это мощная библиотека визуализации данных в Python, которая была создана в первую очередь для того, чтобы помочь людям визуализировать гео-пространственные данные.

Folium - это библиотека с открытым исходным кодом, созданная на основе возможностей Datawrangling экосистемы.

С помощью Folium можно создать карту любого местоположения в мире, если вы знаете его значения широты и долготы.

Также можете создать карту и наложить маркеры, а также кластеры маркеров поверх карты для крутых и очень интересных визуализаций.

Folium - это библиотека Python, которая помогает создавать несколько типов карт Leaflet. Тот факт, что результаты Folium интерактивны, делает эту библиотеку очень полезной для создания информационных панелей.

На официальной странице документации Folium:

Читать далее
Всего голосов 9: ↑7 и ↓2 +5
Комментарии 4

Топ 10 самых интересных CVE за апрель 2022 года

Время на прочтение 7 мин
Количество просмотров 5.1K

Дисклеймер!

Внимание! Вся представленная информация предназначена для ознакомительного изучения. Автор не несет никакой ответственности за причиненный вред с использованием изложенной информации.

Заканчивается апрель 2022 года, пора подвести итоги и посмотреть на новые и интересные вышедшие CVE за последний месяц.

Читать далее
Всего голосов 5: ↑3 и ↓2 +1
Комментарии 3

Теперь наш публичный синтез в супер-высоком качестве, в 10 раз быстрее и без детских болячек

Время на прочтение 8 мин
Количество просмотров 46K

hero_image


В нашей прошлой статье про синтез речи мы дали много обещаний: убрать детские болячки, радикально ускорить синтез еще в 10 раз, добавить новые "фишечки", радикально улучшить качество.


Сейчас, вложив огромное количество работы, мы наконец готовы поделиться с сообществом своими успехами:


  • Снизили размер модели в 2 раза;
  • Научили наши модели делать паузы;
  • Добавили один высококачественный голос (и бесконечное число случайных);
  • Ускорили наши модели где-то примерно в 10 раз (!);
  • Упаковали всех спикеров одного языка в одну модель;
  • Наши модели теперь могут принимать на вход даже целые абзацы текста;
  • Добавили функции контроля скорости и высоты речи через SSML;
  • Наш синтез работает сразу в трех частотах дискретизации на выбор — 8, 24 и 48 килогерц;
  • Решили детские проблемы наших моделей: нестабильность и пропуск слов, и добавили флаги для контроля ударения;

Это по-настоящему уникальное и прорывное достижение и мы не собираемся останавливаться. В ближайшее время мы добавим большое количество моделей на разных языках и напишем целый ряд публикаций на эту и смежные темы, а также продолжим делать наши модели лучше (например, еще в 2-5 раз быстрее).


Попробовать модель как обычно можно в нашем репозитории и в колабе.

Читать дальше →
Всего голосов 158: ↑157 и ↓1 +156
Комментарии 100

Информация

В рейтинге
2 675-й
Откуда
Нукус, Каракалпакия, Узбекистан
Зарегистрирован
Активность