Pull to refresh
24
Karma
0
Rating
Дмитрий @bbk

Пользователь

Как организовать разметку данных для машинного обучения: методики и инструменты

Data Mining *Image processing *Big Data *Machine learning *Crowdsourcing
Translation

Если бы у data science существовал собственный зал славы, отдельную его часть нужно было бы посвятить разметке. Памятник отвечающим за разметку выглядел бы как атлант, держащий огромный камень, символизирующий их тяжелый и скрупулезный труд. Собственной стелы заслужила бы и база данных изображений ImageNet. За девять лет её контрибьюторы вручную разметили более 14 миллионов изображений. Даже представлять этот труд утомительно.

Хотя разметка и не является особо интеллектуальным трудом, она всё равно остаётся серьёзной проблемой. Разметка — неотъемлемый этап предварительной обработки данных для контролируемого обучения. Для этого стиля обучения моделей используются исторические данных с заранее заданными целевыми атрибутами (значениями). Алгоритм может находить целевые атрибуты, только если их указал человек.

Занимающиеся разметкой люди должны быть чрезвычайно внимательны, поскольку каждая ошибка или неточность отрицательно влияет на качество датасета и на общую производительность прогнозирующей модели.

Как получить высококачественный размеченный набор данных и не поседеть в процессе работы? Главной трудностью являются выбор ответственных за разметку, оценка необходимого для неё времени и подбор наиболее подходящих инструментов.
Читать дальше →
Total votes 7: ↑7 and ↓0 +7
Views 6.6K
Comments 3

Как подружить Telegram-бот с OpenId Connect

Information Security *Java *
Tutorial

Представим себе ситуацию: аналитики компании Foobar Inc. провели тщательное исследование конъюнктуры рынка и бизнес-процессов компании и пришли к выводу, что для оптимизации издержек и многократного увеличения прибыли Foobar кровь из носу требуется Telegram-бот компаньон, способный подбодрить сотрудников в трудную минуту.


Естественно, Foobar не может позволить, чтобы коварные конкуренты воспользовались их ноу-хау, просто добавив их бота себе в контакты. Поэтому требуется, чтобы бот разговаривал только с сотрудниками Foobar, прошедшими аутентификацию в корпоративной системе единого входа (SSO) на основе OpenId Connect.


Читать дальше →
Total votes 5: ↑5 and ↓0 +5
Views 9.4K
Comments 6

React: пример использования Auth0 для разработки сервиса аутентификации/авторизации

Timeweb Cloud corporate blog Information Security *Website development *JavaScript *ReactJS *



Привет, друзья!


В этой статье я покажу вам, как создать полноценный сервис для аутентификации и авторизации (далее — просто сервис) с помощью Auth0.


Auth0 — это платформа, предоставляющая готовые решения для разработки сервисов любого уровня сложности. Auth0 поддерживается командой, стоящей за разработкой JWT (JSON Web Token/веб-токен в формате JSON). Это вселяет определенную уверенность в безопасности Auth0-сервисов.


Бесплатная версия Auth0 позволяет регистрировать до 7000 пользователей.


В этой статье я писал о том, что такое JWT, и как разработать собственный сервис с нуля.


Знакомство с Auth0 можно начать отсюда.


Исходный код Auth0 SDK, который мы будем использовать для разработки приложения, можно найти здесь.


Исходный код проекта, который мы будем разрабатывать, находится здесь.


В статье я расскажу только о самых основных возможностях, предоставляемых Auth0.


В примерах и на скриншотах ниже вы увидите реальные чувствительные данные/sensitive data. Это не означает, что вы сможете их использовать. После публикации статьи сервис будет удален.

Читать дальше →
Total votes 4: ↑4 and ↓0 +4
Views 15K
Comments 0

Магия 2-х строк на Lua или как донести исходные заголовки HTTP Authorization header-авторизации до web-сервиcа

ZeroTech corporate blog Nginx *Apache *Lua *Kubernetes *
Статья будет полезна тем:

  • кому необходимо задействовать несколько видов авторизации в одном запросе к серверу;
  • кто хочет открывать сервисы мира Kubernetes/Docker в общий интернет, не задумываясь о способах защиты конкретного сервиса;
  • думает, что всё уже кем-то сделано, и хотел бы сделать мир немного удобнее и безопаснее.

Предисловие

Сервисы, которые становятся доступны через Kubernetes, имеют богатый набор способов авторизации. Один из наиболее модных – это заголовок Authorization: Bearer — это, например: JWT-авторизация (JSON Web Token) с передачей множества ключей, а следовательно, и значений, в одном заголовке. Встречаются и Basic-авторизации, например для Registry (хранилище образов Docker). Данная авторизация не использует Cookie и автоматически добавляется браузером (кроме Safari — там есть нюансы, которые мы пока не решаем) ко всем запросам к серверу.
Читать дальше →
Total votes 9: ↑7 and ↓2 +5
Views 2.6K
Comments 0

Рецепты Nginx: авторизация через ЕСИА

Nginx *
Tutorial
Sandbox
Для приготовления авторизации через ЕСИА нам понадобится сам nginx и его плагины encrypted-session, headers-more, auth_request, uuid4, set-misc, echo, json, sign, jwt. (Я дал ссылки на свои форки, т.к. делал некоторые изменения, которые пока не удалось пропихнуть в оригинальные репозитории. Можно также воспользоваться готовым образом.)
Читать дальше →
Total votes 18: ↑17 and ↓1 +16
Views 4.8K
Comments 6

Я сделал свой PyPI-репозитарий с авторизацией и S3. На Nginx

JavaScript *Programming *Nginx *DevOps *

В данной статье хочу поделится опытом работы с NJS, интерпретатора JavaScript для Nginx разрабатываемого в компании Nginx inc, описав на реальном примере его основные возможности. NJS это подмножество ЯП JavaScript, которое позволяет расширить функциональность Nginx.

Читать далее
Total votes 7: ↑5 and ↓2 +3
Views 2K
Comments 8

Поднимаем сервер 1с с публикацией базы и веб сервисов на Linux

System administration **nix *1С-Bitrix *
Tutorial
image

Сегодня я бы хотел рассказать, как поднять сервер 1с на linux debian 9 с публикацией web-сервисов.

Что такое web-сервисы 1с?

Web-сервисы — это один из механизмов платформы, используемых для интеграции с другими информационными системами. Он является средством поддержки SOA (Service-Oriented Architecture) — сервис-ориентированной архитектуры, которая является современным стандартом интеграции приложений и информационных систем. По сути — это возможность создать html страницу с данными, к которой, потом можно обратиться любым другим приложением и забрать их.

Плюсы — работает быстро (даже при достаточно большом объеме данных), относительно удобно.

Минусы — ваш програмист 1с будет много и долго на вас ворчать, пока будет писать веб-сервис для вашей базы. Штука очень своеобразная в написании.

Я не буду рассказывать как написать веб-сервис… я расскажу как его опубликовать на Linux из консоли сервера, а так же немного про установку 1с сервера на Linux.
Читать дальше →
Total votes 10: ↑10 and ↓0 +10
Views 28K
Comments 27

Байка про то, как я с помощью ZeroTier и USB/IP на VDS/VPS USB-порты МОСТырил

System administration *IT Infrastructure *Network technologies *Server Administration *Network hardware
🔥 Technotext 2020


Прошла неделя, как завершился внешний проект по миграции части ИТ-инфраструктуры одной компании с локальных на арендуемые вычислительные ресурсы. Проект в котором меня, когда я размышлял над моделью подключения USB-токенов к VDS/VPS и подбирал готовые для этой задачи решения, посетила одна занятная идея — собрать собственное на базе «открытого» ПО.

Поводом для «появления на свет» идеи стало желание продемонстрировать заказчику, что «создать решение или решить проблему можно несколькими способами, но, не всегда самый дорогой или/и популярный способ — самый эффективный!» Ну, и… чуток «завернуть» бюджет проекта, не только по услугам, но и по софту и железу, на себя, «импортозамещая» продукцию: FabulaTech, Digi и подобных компаний. :)

Как ни странно, процесс создания решения поначалу показался занятием непростым и не благодарным, но потом «затянул» так, что побудил собрать такое же решение и для себя, но уже для других целей. О чём и расскажу в этой статье.
Читать дальше →
Total votes 3: ↑3 and ↓0 +3
Views 3.2K
Comments 1

Надёжность Flash–памяти: ожидаемое и неожиданное. Часть 1. XIV конференция ассоциации USENIX. Технологии хранения файлов

ua-hosting.company corporate blog Hosting IT Infrastructure *Data storage *Data storaging
Translation
Так как твердотельные накопители, основанные на технологии флэш-памяти, становятся основным средством постоянного хранения информации в дата-центрах, важно осознавать, насколько они надежны. На сегодня проведено большое количество лабораторных исследований чипов флэш-памяти с использованием синтетических тестов, однако не хватает информации об их поведении в полевых условиях. Данная статья посвящена результатам широкомасштабного полевого исследования, охватывающего миллионы дней использования жестких приводов, 10 различных моделей твердотельных накопителей, различные технологии флэш-памяти (MLC, eMLC, SLC) и более 6 лет рабочей эксплуатации в дата-центрах Google.



Мы изучили широкий спектр характеристик надежности этих устройств и пришли к ряду неожиданных выводов. Например, при износе накопителя коэффициент битовых ошибок (Raw Bit Error Rate, RBER) растет гораздо более медленными темпами, чем предполагает экспоненциальный показатель, и, что еще важнее, он не позволяет прогнозировать возникновение неисправляемых ошибок или других видов ошибок.
Читать дальше →
Total votes 20: ↑18 and ↓2 +16
Views 14K
Comments 10

Ближайшее будущее NetApp

System administration *Data storage *Data storages *
Облака, облака и ещё раз облака. Движение в облака, будь то ваше частное облако у вас в ЦОД, приватное облако у провайдера или у публичных провайдеров таких как Amazon AWS, Microsoft Azure, IBM Cloud, Google Cloud, неумолимо. Особенно я это заметил, переехав в США. Здесь о них говорят все и всегда — воздух буквально пропитан этой темой. Производители как программного, так и аппаратного обеспечения прекрасно это поняли и не хотят упустить данное окно возможностей в этом изменяющемся мире.

Читать дальше →
Total votes 13: ↑8 and ↓5 +3
Views 6K
Comments 97

Менеджерам пора проснуться

Project management *Personnel Management *
Translation

«Разве у тебя нет цикла, который можно написать?»

Самая популярная моя статья называется «Почему ваш программист просто хочет кодировать». К настоящему моменту её прочитали более 62 000 раз.

В статье рассказывается о программисте Джейми, который пришёл в компанию переполняемый энтузиазмом и идеями. Прошло пару лет — и Джейми стал одним из тех, кто «хотят просто кодировать». Одним из тех, кто не предлагает новых идей, новых способов работы — а только хочет, чтобы его оставили в покое, просто писать код.

К сожалению, я не получил почти никакого отклика от менеджеров или руководителей по поводу этой истории.


Похоже, кто-то не понял суть, так что я скажу прямо.

Технические менеджеры, такие ситуации — это ваша вина


Вы несёте ответственность за немотивированных программистов, которые «просто хотят кодировать» и которых, похоже, волнуют только модные новые технологии.
Читать дальше →
Total votes 67: ↑62 and ↓5 +57
Views 34K
Comments 119

Сдаем экзамен NS0-507 — NetApp Certified Implementation Engineer—SAN Specialist

System administration *SAN *Data storage *
Привет, Хабр! В своей самой первой статье о сертификации NCDA, почти двухлетней давности, я упомянул о планах на дальнейшую сертификацию NetApp NCIE, и, дождавшись момента, когда действующая сертификация NCDA начала подходить к концу, я решил ресертифицироваться на уровень выше, тем самым продлив старую сертификацию и получив новую.

Под катом я поделюсь информацией о том, как проходила подготовка, что читал, что изучал, возможно, это пригодится и вам.
Читать дальше →
Total votes 13: ↑11 and ↓2 +9
Views 4.1K
Comments 2

NetApp MetroCluster (MCC)

SAN *Data storage *Data storages *
MetroCluster гео-распределённый, отказоустойчивый кластер построенный на базе систем хранения данных NetApp FAS, такой кластер можно представить себе, как одну систему хранения, растянутую на два сайта, где в случае аварии на одном из сайтов всегда остаётся полная копия данных. MetroCluster используется для создания высоко доступного (HA) хранилища и сервисов. Более подробно о MCC официальной документации.

MetroCluster работающий на старой ОС Data ONTAP 7-Mode (до версии 8.2.х) имел аббревиатуру «MC», а работающий на ClusteredONTAP (8.х и старше), чтобы не было путаницы, принято называть MetroCluster ClusteredONTAP (MCC).

MCC может состоять из двух и более контроллеров. Существует три схемы подключения MCC:

  1. Fabric-Attached MetroCluster (FCM-MCC)
  2. Bridge-Attached Stretch MetroCluster
  3. Stretch MetroCluster

Различие в этих трех вариантах по сути только в сетевой обвязке. Сетевая обвязка влияет на два фактора: максимально возможное расстояние на которое можно растянуть кластер и на количество нод в кластере.

Собрать распределённый отказоустойчивый HA кластер СХД
Total votes 12: ↑11 and ↓1 +10
Views 15K
Comments 6

Unboxing: Что внутри у системы хранения данных NetApp AFF A300

CloudMTS corporate blog System administration *IT Infrastructure *Data storage *Data storages *
Система NetApp AFF A300 была презентована в конце сентября 2016 года на ежегодной конференции NetApp Insight и пришла на смену решениям AFF8040 и AFF8060. Пара контроллеров A300 находится в одном корпусе и занимает всего 3U, что вдвое меньше, чем у AFF8040. Максимальное расширение системы составляет 384 SSD-диска. Учитывая доступность к заказу SSD-дисков объемом 15 ТБ, этого более чем достаточно.

Одна из таких систем попала к нам, компании «ИТ-ГРАД», крупнейшему поставщику IaaS в России, в руки. Недавно мы получили поставку, в которой содержались пара контроллеров NetApp A300 в одном шасси и дисковая полка DS224C c набором из 24 SSD-дисков по 3,8 ТБ каждый. В этой статье мы расскажем о преимуществах этого решения и проведем анбоксинг, разумеется, поделившись самыми любопытными фотографиями (суммарный вес изображений 6 мегабайт).

Кому интересно — просим под кат.

Читать дальше →
Total votes 18: ↑18 and ↓0 +18
Views 10K
Comments 7

NetApp ONTAP и антивирусная защита NAS

System administration *Antivirus protection *IT Infrastructure *Data storages *
Системы хранения NetApp с прошивкой ONTAP поддерживают интеграцию NAS с антивирусом, для того чтобы файлы перед чтением/записью сначала проверялись, эта функция называется Off-box Anti-Virus Scanning. Она позволяет повысить уровень защиты корпоративных сред и сгрузить лишнюю нагрузку с рабочих станций. Так как поддержка антивирусных баз всех рабочих станций в актуальном состоянии может быть не выполнимой задачей. Поддерживаются продукты от:

  • Kaspersky
  • Symantec
  • Trend Micro
  • Computer Associates
  • McAfee
  • Sophos

Кроме этого поддерживается расширенный функционал файл-скрининга (FPolicy), позволяющий ограничивать работы с файлами не только на основе их расширения, но и типа файла основываясь на заголовке внутри этого файла.

Сегодня я хотел бы подробнее остановиться на интеграции ONTAP с CIFS(SMB) шарой и антивирусной системой McAfee. Которая в принципе похожим образом устроена и с другими антивирусными системами.


Интегрировать NAS с антивирусом
Total votes 21: ↑17 and ↓4 +13
Views 5.2K
Comments 12

NetApp SnapLock™ — Лицензионная функция для защиты данных (WORM)

Data recovery *Backup *Data storage *
С увеличением числа хакерских атак, в последнее время в Украине, нацеленных на шифрование и уничтожение данных, сохранность и целостность данных для многих компаний становится не просто требованием, а их жизненной необходимостью.

Только 6% компаний продолжает существовать более чем 2 года в результате потери данных, согласно отчёту Gartner. В этом отношении решения линейки NetApp FAS становятся спасательным кругом не только для информации, но и самих организаций, подверженных атакам, поскольку позволяют существенно сократить риски потери и уничтожение данных.

По оценкам экспертов, количество хакерских атак, совершаемых в Украине с целью шифрования или уничтожения данных в 2016 году увеличилось в разы. Редкая деловая неделя обходится без сообщений о фактах уничтожения данных. Cтоит обратить внимание на профиль организаций, на которые чаще всего совершаются нападения: финансовые и государственные структуры, а также ИТ-компании. С учетом украинских реалий, наиболее незащищенным выглядит государственный сектор.

Защитить данные на NAS хранилище NetApp
Total votes 18: ↑14 and ↓4 +10
Views 4K
Comments 7

Новые системы хранения данных NetApp под управлением ONTAP 9.1

SAN *Data storage *Data storages *

Во время ежегодной конференции для партнёров и заказчиков NetApp Insight было объявлено о выходе новых систем хранения данных, работающих под управлением операционной системы ONTAP. Обновились системы FAS и AFF.


Вместе с выходом нового оборудования будет доступна новая версия ONTAP — 9.1.
Для начала разберёмся, что же нового в железе.


FAS. Всем FlashCache. Первые СХД с 40GbE и 32Gb FC


Начнём с обновления гибридных массивов FAS. Выходит 4 новые модели: FAS2620, FAS2650 — системы начального уровня, FAS8200 — система среднего уровня для корпоративных заказчиков и FAS9000 — high-end система с абсолютно новым (для NetApp) подходом в построении шасси.


Новые системы стали существенно производительнее:


  • Используются новые процессоры Intel на архитектуре Broadwell
  • Доступно больше кэша и NVRAM
  • NVMe FlashCache
  • В старших контроллерах доступны интерфейсы 40GbE и 32Gb FC
  • Для подключения дисков используется SAS-3 12Gb

Читать дальше →
Total votes 13: ↑12 and ↓1 +11
Views 13K
Comments 18

IXIA ThreatARMOR: меньше атак, меньше алармов SIEM, лучше ROI

МУК corporate blog System administration *Antivirus protection *IT Infrastructure *Network technologies *
Попалось нам в руки новое решение от компании IXIA – Threat Armor. И у нас получилось его протестировать и разобраться, что же это за «чудо», которое появилось в начале этого года и уже успело получить большое количество золотых наград на всевозможных выставках в разных концах мира.


Читать дальше →
Total votes 11: ↑9 and ↓2 +7
Views 4K
Comments 0

NetApp ONTAP Cloud: Amazon & Azure

System administration *Cloud computing *Data storage *Data storages *
Преимуществом любой облачной услуги является то, что это собственно услуга. Вы не заморачиваетесь где живёт оборудование, кто его обслуживает и т.д. Но это же является и его тёмной стороной: кто имеет доступ к вашим данным, сколько копий ваших данных хранится в резервных копиях и резервных ЦОД’ах и где? Все эти вопросы долгое время отталкивали некоторые большие компании и государственные структуры.

Решив эти вопросы, множество компаний смогли бы начать пользоваться облачными сервисами. Для решения этой проблемы и была разработана облачная Система Хранения Данных ONTAP Cloud — виртуальная машина живущая в публичном облаке Amazon или Azure со встроенной функцией шифрования. Теперь вы владеете и управляете своими данными и только вы. Подробнее на официальном сайте NetApp и официальной документации по самому продукту и по OnCommand Cloud Manager.

Установить СХД NetApp в публичном облаке
Total votes 12: ↑12 and ↓0 +12
Views 3.7K
Comments 1

Veeam анонсирует новые решения и функциональные возможности

Veeam Software corporate blog Virtualization *Cloud computing *Data recovery *Backup *
Сегодняшний пост посвящен обзору новых версий существующих продуктов, а также решений, которые Veeam представит вниманию широкой аудитории в ближайшем будущем. Итак, сегодня в программе:


За подробностями добро пожаловать под кат.



Читать дальше →
Total votes 16: ↑15 and ↓1 +14
Views 7.3K
Comments 22

Information

Rating
Does not participate
Location
Киев, Киевская обл., Украина
Registered
Activity