Как стать автором

IT-разнорабочий

Профиль Публикации Комментарии 38Закладки 65

jobgemws 21 янв 2022 в 10:00

Карманный справочник: сравнение синтаксиса MS SQL Server и PostgreSQL

17 мин

79K

PostgreSQL*Программирование*SQL*Microsoft SQL Server*Блог компании Ozon Tech

Туториал

Технотекст 2021

Приветствую, уважаемые хаброжители!

Так как занимаюсь переводом кода с MS SQL в Postgre SQL с начала 2019 года, то решил продолжить сравнение этих двух СУБД.

В прошлой публикации мы рассматривали отличия в быстродействии MS SQL и PostgreSQL для 1C.

Сегодня давайте сравним основные конструкции синтаксиса MS SQL и PostgreSQL для правильного чтения кода, а также для того, чтобы быстро изменить код из MS SQL для PostgreSQL или наоборот.

Начнем рассмотрение с сопоставления типов.

Читать далее

+78

Tzimie 26 ноя 2018 в 17:48

Как запустить SQL Profiler Trace ночью, в определенное время?

2 мин

3.5K

SQL*Серверное администрирование*Microsoft SQL Server*Администрирование баз данных*

Как запустить SQL profiler trace, когда проблему надо ловить с 3:00 до 3:30 утра? Делать это можно с помощью трейса на стороне сервера, но это крайне неудобно. Именно не сложно, а неудобно, и всегда лень. Наконец я решился автоматизировать это раз и навсегда. Вот так:

Читать дальше →

+19

m1rko 15 янв 2019 в 21:22

Руководство и шпаргалка по Wireshark

7 мин

299K

Информационная безопасность*Системное администрирование*Сетевые технологии*Софт

Туториал

Перевод

Даже поверхностное знание программы Wireshark и её фильтров на порядок сэкономит время при устранении проблем сетевого или прикладного уровня. Wireshark полезен для многих задач в работе сетевого инженера, специалиста по безопасности или системного администратора. Вот несколько примеров использования:

Устранение неполадок сетевого подключения

Визуальное отображение потери пакетов
Анализ ретрансляции TCP
График по пакетам с большой задержкой ответа

Исследование сессий прикладного уровня (даже при шифровании с помощью SSL/TLS, см. ниже)

Полный просмотр HTTP-сессий, включая все заголовки и данные для запросов и ответов
Просмотр сеансов Telnet, просмотр паролей, введённых команд и ответов
Просмотр трафика SMTP и POP3, чтение писем

Читать дальше →

+26

VasilisaT 9 апр 2019 в 14:51

Самостоятельное изучение английского с Elementary до Intermediate: полезные ресурсы и мотивация

3 мин

55K

Изучение языков

Из песочницы

Делюсь своим опытом самостоятельного изучения английского языка. За 8 месяцев я использовала много разных ресурсов, на поиск которых уходило мое время. Надеюсь написанием этой статьи помогу вам сэкономить ваше.

Читать дальше →

+18

Syurmakov 19 мая 2019 в 19:23

Подборка датасетов для машинного обучения

6 мин

142K

Python*Data Mining*Машинное обучение*Искусственный интеллект

Привет, читатель!

Меня зовут Рушан, и я автор Telegram‑канала Нейрон. Не забудьте поделиться с коллегами или просто с теми, кому интересны такие статьи.

Перед тобой статья-путеводитель по открытым наборам данных для машинного обучения. В ней я, для начала, соберу подборку интересных и свежих (относительно) датасетов. А бонусом, в конце статьи, прикреплю полезные ссылки по самостоятельному поиску датасетов.

Меньше слов, больше данных.

Подборка датасетов для машинного обучения:

Данные смертей и сражений из игры престолов — этот набор данных объединяет три источника данных, каждый из которых основан на информации из серии книг.
Глобальная база данных терроризма — Более 180 000 террористических атак по всему миру, 1970-2017.
Биткойн, исторические данные — данные биткойнов с интервалом в 1 минуту с избранных бирж, январь 2012 г. — март 2019 г.

Читать дальше →

+62

freetonik 20 сен 2016 в 11:37

Полное практическое руководство по Docker: с нуля до кластера на AWS

39 мин

1.6M

Веб-разработка*Amazon Web Services*

Перевод

Содержание

Вопросы и ответы
Введение
- Пре-реквизиты
- Настройка компьютера
1.0 Играем с Busybox
- 1.1 Docker Run
- 1.2 Терминология
2.0 Веб-приложения и Докер
3.0 Многоконтейнерные окружения
4.0 Заключение
- 4.1 Следующие шаги
- 4.2 Фидбек автору

Вопросы и ответы

Что такое Докер?

Определение Докера в Википедии звучит так:

программное обеспечение для автоматизации развёртывания и управления приложениями в среде виртуализации на уровне операционной системы; позволяет «упаковать» приложение со всем его окружением и зависимостями в контейнер, а также предоставляет среду по управлению контейнерами.

Ого! Как много информации.

Читать дальше →

+123

nskforward 4 июл 2019 в 02:39

Redis Stream — надёжность и масштабируемость ваших систем сообщений

16 мин

31K

Высокая производительность*Программирование*Анализ и проектирование систем*Хранение данных*Распределённые системы*

Туториал

Перевод

Redis Stream — новый абстрактный тип данных, представленный в Redis с выходом версии 5.0
Концептуально Redis Stream — это List, в который вы можете добавлять записи. Каждая запись имеет уникальный идентификатор. По умолчанию идентификатор генерируется автоматически и включает в себя временную метку. Поэтому вы можете запрашивать диапазоны записей по времени или получать новые данные по мере их поступления в поток, как Unix команда «tail -f» читает лог-файл и замирает в ожидании новых данных. Обратите внимание, что поток могут слушать одновременно несколько клиентов, как многие «tail -f» процессы могут одновременно читать файл, не конфликтуя друг с другом.

Чтобы понять все преимущества нового типа данных, давайте бегло вспомним давно существующие структуры Redis, которые частично повторяют функциональность Redis Stream.

Читать дальше →

+21

tenhi_shadow 9 ноя 2017 в 19:46

Централизованный бэкап Mikrotik устройств при помощи bash-скрипта

8 мин

28K

Из песочницы

Всем привет, в моей первой публикации на хабре хочу поделиться готовым решением для бэкапов устройств Mikrotik.

Для микротика предусмотрены два вида бэкапов конфигурации, это бинарный бэкап и экспорт конфигурации. Бинарный бэкап имеет свои преимущества и недостатки. Преимуществом является то, что после восстановления бинарного бэкапа у вас сохраняется вся конфигурация( с пользователями, паролями, импортированными для пользователей ssh-ключами); недостатком же является то, что такой бэкап нельзя восстановить на другого типа устройство.

В целом и общем это полноценный бэкап, его восстановление занимает мало времени и восстанавливает всю конфигурацию. Экспорт конфигурации как способ бэкапа в свою очередь отчасти сглаживает эти недостатки, являясь скриптом для ребилда микротика. Суть тут в том, что выводятся все настройки, которые могут быть экспортированы. Преимуществом является то, что можно посмотреть и пощупать, что же там экспортируется, а к недостаткам можно опять же отнести то, что это тоже упирается в модель. но чуть меньше. Иногда дело в количестве интерфейсов, иногда ещё в чём-то. Так же не все настройки могут быть экспортированы в текст(пользователи, файлы на усройстве, ssh-ключи).

Читать дальше →

+6

maxarbuzov 12 мар 2019 в 22:40

Простой парсер для youtube в гугл таблицах

3 мин

30K

Google API*Веб-аналитика*Интернет-маркетинг*

Из песочницы

Предыстория

Появилась задача собрать данные по 2000+ youtube видео, из которых необходимо было извлечь название видео, канала и язык.

Функция IMPORTXML, с помощью которой можно выполнять парсинг с сайтов, — не помогла, поскольку, как оказалось в дальнейшем, youtube хранит данные в JSON файлах. Перебирать руками такое количество видео не хотелось и я начал искать способы как автоматизировать или хотя бы упростить эту задачу.

Читать дальше →

+17

ru_vds 4 мар 2019 в 12:10

Руководство по использованию pandas для анализа больших наборов данных

16 мин

154K

Анализ и проектирование систем*Big Data*Хранение данных*Блог компании RUVDS.com

Туториал

Перевод

При использовании библиотеки pandas для анализа маленьких наборов данных, размер которых не превышает 100 мегабайт, производительность редко становится проблемой. Но когда речь идёт об исследовании наборов данных, размеры которых могут достигать нескольких гигабайт, проблемы с производительностью могут приводить к значительному увеличению длительности анализа данных и даже могут становиться причиной невозможности проведения анализа из-за нехватки памяти.

В то время как инструменты наподобие Spark могут эффективно обрабатывать большие наборы данных (от сотен гигабайт до нескольких терабайт), для того чтобы полноценно пользоваться их возможностями обычно нужно достаточно мощное и дорогое аппаратное обеспечение. И, в сравнении с pandas, они не отличаются богатыми наборами средств для качественного проведения очистки, исследования и анализа данных. Для наборов данных средних размеров лучше всего попытаться более эффективно использовать pandas, а не переходить на другие инструменты.

В материале, перевод которого мы публикуем сегодня, мы поговорим об особенностях работы с памятью при использовании pandas, и о том, как, просто подбирая подходящие типы данных, хранящихся в столбцах табличных структур данных DataFrame, снизить потребление памяти почти на 90%.

Читать дальше →

+26

yuriy-bezrukov 2 дек 2018 в 19:33

Azure DevOps бесплатно для маленьких компаний за 1 час

2 мин

14K

Веб-разработка*Microsoft Azure*Системы сборки*DevOps*TypeScript*

Доброго времени суток!

Давно хотели внедрить devOps, но не было времени и жалко денег на обслуживание или хотите понять как работает devOps в действии на примере интернет агентства, тогда читаем дальше.

В этой статье рассмотрим как можно без особых технических навыков и множества настроек развернуть бесплатный devops от Azure для своей компании (до 5 разработчиков бесплатно).

Читать дальше →

+20

sergio_sd 20 окт 2018 в 21:44

Собираем логи фаервола Mikrotik в базу данных

11 мин

34K

Настройка Linux*Системное администрирование*Сетевое оборудование

Из песочницы

Добрый день.

Хочу рассказать как легко и непринужденно можно настроить сервер сбора метаданных сетевого трафика для маршрутизаторов Микротик.

Цель: Целью будет, хранение «пережеванных» логов фаервола в базе данных, для последующего анализа.

Средства: Для реализации подойдет любой свежий дистрибутив Linux с rsyslogd v8 и выше, возможно предложенный синтаксис будет работать и на v7. Так же нам потребуется СУБД, я выбрал mariadb. Прирост БД будет варьироваться от количества журналируемых правил, потому размер накопителя на ваше усмотрение, в моем случае журналируются 30-40 правил, что в день составляет примерно 1200 тысяч строк. За месяц использования БД включая индексы выросла до 3,8Гб.

Механика: Маршрутизатор отправляет лог на удаленный сервер по UDP. Сервер rsyslog с помощью регулярных выражений проводит очистку строк от лишней информации, формирует SQL вставку и отправляет её в СУБД. СУБД, с помощью триггера до вставки, проводит дополнительную очистку и разделение полей, которые не удалось разобрать в rsyslog.

Читать дальше →

+15

evil_me 13 авг 2018 в 18:30

Это пост с докладами и видео по MS SQL Server

3 мин

8.2K

Проектирование и рефакторинг*Microsoft SQL Server*Администрирование баз данных*Блог компании ЮMoney

В июне мы провели митап по Microsoft SQL Server — докладчики из Яндекс.Денег, «Лаборатории Касперского», AwaraIT и SpbDev поделились с коллегами опытом. А теперь выкладываем видео в общий доступ.

Под каждым видео — таймкоды ключевых мест, но советуем смотреть, слушать и внимать целиком.

Data-driven подписки в SSRS

Под катом еще три доклада

+26

AntoniusFirst 2 авг 2018 в 18:18

16 DevOps конференций 2018 года, выступления с которых стоит посмотреть

5 мин

6.4K

Open source*Исследования и прогнозы в IT*КонференцииDevOps*

Вообще, подобных конференций сильно больше, но именно эти можно назвать флагманскими. Они проходят в разных уголках мира и я, конечно, не призываю их лично посещать. В чём же польза? Просмотр видео, аудио или презентаций может помочь разглядеть технологические новинки, общий вектор движения технологий и, возможно, уже начинать внедрять что-то новое в своей организации. Сам я делаю в такой последовательности: захожу на сайт конференции, смотрю программу, выбираю полезные для себя выступления, начинаю их гуглить и затем искать на Ютюбе, Слайдшэре, Спикердеке или Саундклауде. Не всегда везёт, но чаще всего следы выступлений найти удаётся. Я даже как-то обращался с вопросом к одному из выступающих через Линкедин.

В посте приведу ссылки на каждую конференцию, переходите на сайт, смотрите что интересного было в 2017 году, было или будет в 2018, гуглите и изучаете. На каждом мероприятии выступают не только производители софта, но и крупные компании, которые его используют. Без проблем можно найти бизнес-кейс, похожий на ваш.

Смотреть конференции

+13

shifttstas 31 мая 2018 в 09:41

SSLH: Прячем SSH/HTTPS/OpenVPN/Telegram за единым портом 443

3 мин

117K

Информационная безопасность*Open source*

Туториал

SSH/HTTPS/OpenVPN/Telegram и всё на одном порту?! Что?!
— Да!

Хотите скрыть наличее у вас некоторых сервисов?

В публичной wi-fi сети блокируется всё кроме 443 (https) порта?

Настроили Telegram Proxy/OpenVPN и не хотите его «светить» ?

SSH подключение к своему серверу из стран с цензурой?

На все эти вопросы ответ один — Мультиплексирование SSL/TLS соединений, или SSLH.

В посте мы рассмотрим как в 1 команду спрятать кучу сервисов за 1 портом.

Читать дальше →

+75

Dasuber 13 апр 2018 в 15:59

Красивый листинг файлов и директорий в nginx

9 мин

36K

Из песочницы

Для web-сервера Apache существует множество инструкций, в том числе и на Хабре, как стилизовать стандартный листинг файлов и директорий. Однако, как сделать также для сервера nginx, в русскоязычном интернете не найти. Порывшись на просторах интернета я нашел один репозитарий, где как раз и решается этот вопрос. Но для кириллических наименований файлов и папок потребовалась небольшая работа "напильником".

Читать дальше →

+24

jobgemws 20 ноя 2017 в 21:40

Пример реализации общего индикатора производительности MS SQL Server

43 мин

7.6K

SQL*Microsoft SQL Server*Администрирование баз данных*

Туториал

Предисловие

Часто возникает потребность в создании такого индикатора производительности, который бы показывал состояние СУБД относительно предыдущего периода или конкретного дня. В статье Реализация индикатора производительности запросов, хранимых процедур и триггеров в MS SQL Server. Автотрассировка был предложен пример по реализации такого индикатора. Здесь же опишем еще один более простой способ, который ко всему прочему позволяет посмотреть исторически не просто за сколько выполнился запрос, но и как выполнился, а также получить планы выполнения на каждый момент времени.

Данный способ особенно полезен при предоставлении ежедневных отчетов выше стоящему руководству, т к его можно не только автоматизировать, но и вывести в отчет с минимальными техническими подробностями.

В данной статье будет рассмотрен пример реализации такого общего индикатора, где в качестве меры будет браться все время выполнения запросов (Total Elapsed Time).

Читать дальше →

+10

zav84 21 ноя 2017 в 12:15

Разреженные столбцы или sparse columns в MS SQL Server. Реальный опыт применения

9 мин

9.3K

SQL*Microsoft SQL Server*Администрирование баз данных*

Из песочницы

У одного из наших достаточно крупных клиентов, в системе электронного документооборота которого ежедневно одновременно работают более 10000 пользователей, были применены так называемые sparse-колонки или разреженные столбцы.

Статья – попытка свести предпосылки и результаты применения этой функциональности (и некоторых других настроек СУБД) в едином месте.

Читать дальше →

+15

dkomarovskiy 24 ноя 2017 в 11:09

Данные из Google Таблиц на вашем сайте

2 мин

58K

Google API*Интернет-маркетинг*Блог компании EnglishDom

Туториал

Привет!

Для тех, кто пользуется Google Таблицами, есть хорошая новость — ниже описано решение, которое позволит импортировать данные из таблицы на ваш сайт.

Поехали.

1. Открываем Таблицу Google

Для примера, я возьму таблицу, в которую падают результаты из Google Формы.

Читать дальше →

+30

Mariakozlova 22 ноя 2016 в 14:18

Как использовать HTTP заголовки для предупреждения уязвимостей

7 мин

117K

Системное администрирование*Nginx*Сетевые технологии*Apache*Блог компании HOSTING.cafe

Recovery Mode

Перевод

Знаете ли вы, что в большинстве случаев уязвимость системы безопасности можно устранить добавив необходимые заголовки ответа?

Безопасность не менее важна, чем содержание или поисковая оптимизация сайта. Тысячи сайтов взламываются из-за ошибок в конфигурации или недостаточной защиты. Если вы владелец сайта или специалист по защите информации, и интересуетесь защитой сайта от кликджекинга, внедрения кода, уязвимостей MIME типов, XSS-атак и т.д., то данная инструкция будет вам полезна.

В этой статье я расскажу о разных заголовках HTTP для использования с различными веб-серверами, сетевой периферией или сетями доставки контента, чтобы повысить уровень защищенности сайта.

Читать дальше →

+29

1