Pull to refresh
26
0
Дмитрий @bbk

Пользователь

Send message

DIY: Ваше собственное облако на базе Kubernetes (часть 3)

Reading time8 min
Views7.5K

Вот мы и подобрались к самому интересному: запуску Kubernetes в Kubernetes. В этой статье мы поговорим о таких технологиях, как Kamaji и Cluster API, а также о том, как интегрировать их с KubeVirt.

В прошлых статьях мы уже рассказывали, как мы готовим Kubernetes на bare metal, и о том, как превратить Kubernetes в средство запуска виртуальных машин. Эта статья завершает серию, объясняя, как, используя всё вышеперечисленное, можно построить полноценный managed Kubernetes service и запускать виртуальные Kubernetes-кластеры по клику.

И начнём мы, пожалуй с Cluster API.

Читать далее
Total votes 10: ↑10 and ↓0+10
Comments4

Прозрачно кешируем несколько Container Registry в CRI-O и Podman

Reading time13 min
Views21K

Возможно, вы уже активно используете CRI-O и Podman, а может только смотрите на альтернативы Docker с осторожностью. Но, как бы там ни было, альтернативные решения создают конкуренцию монополисту Docker и предлагают новые и востребованные улучшения. Одна из таких особенностей, это исключение Docker Hub как корневого и основного источника образов контейнеров. Таким образом, снимается привязка к поставщику и появляются новые возможности, а одной из таких мы и поговорим.

Это инструкция по выбору решения и настройке прозрачного кеширования множества реестров контейнеров для CRI-O, Podman, Buildah, Skopeo и прочих инструментов, работающих с образами контейнеров OCI и использующих общую конфигурацию containers/common.

Читать далее
Total votes 7: ↑7 and ↓0+7
Comments13

Как организовать разметку данных для машинного обучения: методики и инструменты

Reading time17 min
Views9.8K

Если бы у data science существовал собственный зал славы, отдельную его часть нужно было бы посвятить разметке. Памятник отвечающим за разметку выглядел бы как атлант, держащий огромный камень, символизирующий их тяжелый и скрупулезный труд. Собственной стелы заслужила бы и база данных изображений ImageNet. За девять лет её контрибьюторы вручную разметили более 14 миллионов изображений. Даже представлять этот труд утомительно.

Хотя разметка и не является особо интеллектуальным трудом, она всё равно остаётся серьёзной проблемой. Разметка — неотъемлемый этап предварительной обработки данных для контролируемого обучения. Для этого стиля обучения моделей используются исторические данных с заранее заданными целевыми атрибутами (значениями). Алгоритм может находить целевые атрибуты, только если их указал человек.

Занимающиеся разметкой люди должны быть чрезвычайно внимательны, поскольку каждая ошибка или неточность отрицательно влияет на качество датасета и на общую производительность прогнозирующей модели.

Как получить высококачественный размеченный набор данных и не поседеть в процессе работы? Главной трудностью являются выбор ответственных за разметку, оценка необходимого для неё времени и подбор наиболее подходящих инструментов.
Читать дальше →
Total votes 7: ↑7 and ↓0+7
Comments3

Как подружить Telegram-бот с OpenId Connect

Reading time7 min
Views17K

Представим себе ситуацию: аналитики компании Foobar Inc. провели тщательное исследование конъюнктуры рынка и бизнес-процессов компании и пришли к выводу, что для оптимизации издержек и многократного увеличения прибыли Foobar кровь из носу требуется Telegram-бот компаньон, способный подбодрить сотрудников в трудную минуту.


Естественно, Foobar не может позволить, чтобы коварные конкуренты воспользовались их ноу-хау, просто добавив их бота себе в контакты. Поэтому требуется, чтобы бот разговаривал только с сотрудниками Foobar, прошедшими аутентификацию в корпоративной системе единого входа (SSO) на основе OpenId Connect.


Читать дальше →
Total votes 5: ↑5 and ↓0+5
Comments6

React: пример использования Auth0 для разработки сервиса аутентификации/авторизации

Reading time11 min
Views26K



Привет, друзья!


В этой статье я покажу вам, как создать полноценный сервис для аутентификации и авторизации (далее — просто сервис) с помощью Auth0.


Auth0 — это платформа, предоставляющая готовые решения для разработки сервисов любого уровня сложности. Auth0 поддерживается командой, стоящей за разработкой JWT (JSON Web Token/веб-токен в формате JSON). Это вселяет определенную уверенность в безопасности Auth0-сервисов.


Бесплатная версия Auth0 позволяет регистрировать до 7000 пользователей.


В этой статье я писал о том, что такое JWT, и как разработать собственный сервис с нуля.


Знакомство с Auth0 можно начать отсюда.


Исходный код Auth0 SDK, который мы будем использовать для разработки приложения, можно найти здесь.


Исходный код проекта, который мы будем разрабатывать, находится здесь.


В статье я расскажу только о самых основных возможностях, предоставляемых Auth0.


В примерах и на скриншотах ниже вы увидите реальные чувствительные данные/sensitive data. Это не означает, что вы сможете их использовать. После публикации статьи сервис будет удален.

Читать дальше →
Total votes 4: ↑4 and ↓0+4
Comments0

Магия 2-х строк на Lua или как донести исходные заголовки HTTP Authorization header-авторизации до web-сервиcа

Reading time4 min
Views3.1K
Статья будет полезна тем:

  • кому необходимо задействовать несколько видов авторизации в одном запросе к серверу;
  • кто хочет открывать сервисы мира Kubernetes/Docker в общий интернет, не задумываясь о способах защиты конкретного сервиса;
  • думает, что всё уже кем-то сделано, и хотел бы сделать мир немного удобнее и безопаснее.

Предисловие

Сервисы, которые становятся доступны через Kubernetes, имеют богатый набор способов авторизации. Один из наиболее модных – это заголовок Authorization: Bearer — это, например: JWT-авторизация (JSON Web Token) с передачей множества ключей, а следовательно, и значений, в одном заголовке. Встречаются и Basic-авторизации, например для Registry (хранилище образов Docker). Данная авторизация не использует Cookie и автоматически добавляется браузером (кроме Safari — там есть нюансы, которые мы пока не решаем) ко всем запросам к серверу.
Читать дальше →
Total votes 7: ↑5 and ↓2+5
Comments0

Рецепты Nginx: авторизация через ЕСИА

Reading time3 min
Views5.6K
Для приготовления авторизации через ЕСИА нам понадобится сам nginx и его плагины encrypted-session, headers-more, auth_request, uuid4, set-misc, echo, json, sign, jwt. (Я дал ссылки на свои форки, т.к. делал некоторые изменения, которые пока не удалось пропихнуть в оригинальные репозитории. Можно также воспользоваться готовым образом.)
Читать дальше →
Total votes 18: ↑17 and ↓1+16
Comments6

Я сделал свой PyPI-репозитарий с авторизацией и S3. На Nginx

Reading time11 min
Views2.6K

В данной статье хочу поделится опытом работы с NJS, интерпретатора JavaScript для Nginx разрабатываемого в компании Nginx inc, описав на реальном примере его основные возможности. NJS это подмножество ЯП JavaScript, которое позволяет расширить функциональность Nginx.

Читать далее
Total votes 7: ↑5 and ↓2+3
Comments8

Поднимаем сервер 1с с публикацией базы и веб сервисов на Linux

Reading time4 min
Views36K
image

Сегодня я бы хотел рассказать, как поднять сервер 1с на linux debian 9 с публикацией web-сервисов.

Что такое web-сервисы 1с?

Web-сервисы — это один из механизмов платформы, используемых для интеграции с другими информационными системами. Он является средством поддержки SOA (Service-Oriented Architecture) — сервис-ориентированной архитектуры, которая является современным стандартом интеграции приложений и информационных систем. По сути — это возможность создать html страницу с данными, к которой, потом можно обратиться любым другим приложением и забрать их.

Плюсы — работает быстро (даже при достаточно большом объеме данных), относительно удобно.

Минусы — ваш програмист 1с будет много и долго на вас ворчать, пока будет писать веб-сервис для вашей базы. Штука очень своеобразная в написании.

Я не буду рассказывать как написать веб-сервис… я расскажу как его опубликовать на Linux из консоли сервера, а так же немного про установку 1с сервера на Linux.
Читать дальше →
Total votes 10: ↑10 and ↓0+10
Comments27

Байка про то, как я с помощью ZeroTier и USB/IP на VDS/VPS USB-порты МОСТырил

Reading time8 min
Views6K


Прошла неделя, как завершился внешний проект по миграции части ИТ-инфраструктуры одной компании с локальных на арендуемые вычислительные ресурсы. Проект в котором меня, когда я размышлял над моделью подключения USB-токенов к VDS/VPS и подбирал готовые для этой задачи решения, посетила одна занятная идея — собрать собственное на базе «открытого» ПО.

Поводом для «появления на свет» идеи стало желание продемонстрировать заказчику, что «создать решение или решить проблему можно несколькими способами, но, не всегда самый дорогой или/и популярный способ — самый эффективный!» Ну, и… чуток «завернуть» бюджет проекта, не только по услугам, но и по софту и железу, на себя, «импортозамещая» продукцию: FabulaTech, Digi и подобных компаний. :)

Как ни странно, процесс создания решения поначалу показался занятием непростым и не благодарным, но потом «затянул» так, что побудил собрать такое же решение и для себя, но уже для других целей. О чём и расскажу в этой статье.
Читать дальше →
Total votes 3: ↑3 and ↓0+3
Comments3

Надёжность Flash–памяти: ожидаемое и неожиданное. Часть 1. XIV конференция ассоциации USENIX. Технологии хранения файлов

Reading time13 min
Views15K
Так как твердотельные накопители, основанные на технологии флэш-памяти, становятся основным средством постоянного хранения информации в дата-центрах, важно осознавать, насколько они надежны. На сегодня проведено большое количество лабораторных исследований чипов флэш-памяти с использованием синтетических тестов, однако не хватает информации об их поведении в полевых условиях. Данная статья посвящена результатам широкомасштабного полевого исследования, охватывающего миллионы дней использования жестких приводов, 10 различных моделей твердотельных накопителей, различные технологии флэш-памяти (MLC, eMLC, SLC) и более 6 лет рабочей эксплуатации в дата-центрах Google.



Мы изучили широкий спектр характеристик надежности этих устройств и пришли к ряду неожиданных выводов. Например, при износе накопителя коэффициент битовых ошибок (Raw Bit Error Rate, RBER) растет гораздо более медленными темпами, чем предполагает экспоненциальный показатель, и, что еще важнее, он не позволяет прогнозировать возникновение неисправляемых ошибок или других видов ошибок.
Читать дальше →
Total votes 20: ↑18 and ↓2+16
Comments10

Ближайшее будущее NetApp

Reading time6 min
Views6.3K
Облака, облака и ещё раз облака. Движение в облака, будь то ваше частное облако у вас в ЦОД, приватное облако у провайдера или у публичных провайдеров таких как Amazon AWS, Microsoft Azure, IBM Cloud, Google Cloud, неумолимо. Особенно я это заметил, переехав в США. Здесь о них говорят все и всегда — воздух буквально пропитан этой темой. Производители как программного, так и аппаратного обеспечения прекрасно это поняли и не хотят упустить данное окно возможностей в этом изменяющемся мире.

Читать дальше →
Total votes 13: ↑8 and ↓5+3
Comments97

Менеджерам пора проснуться

Reading time4 min
Views35K

«Разве у тебя нет цикла, который можно написать?»

Самая популярная моя статья называется «Почему ваш программист просто хочет кодировать». К настоящему моменту её прочитали более 62 000 раз.

В статье рассказывается о программисте Джейми, который пришёл в компанию переполняемый энтузиазмом и идеями. Прошло пару лет — и Джейми стал одним из тех, кто «хотят просто кодировать». Одним из тех, кто не предлагает новых идей, новых способов работы — а только хочет, чтобы его оставили в покое, просто писать код.

К сожалению, я не получил почти никакого отклика от менеджеров или руководителей по поводу этой истории.


Похоже, кто-то не понял суть, так что я скажу прямо.

Технические менеджеры, такие ситуации — это ваша вина


Вы несёте ответственность за немотивированных программистов, которые «просто хотят кодировать» и которых, похоже, волнуют только модные новые технологии.
Читать дальше →
Total votes 67: ↑62 and ↓5+57
Comments119

Сдаем экзамен NS0-507 — NetApp Certified Implementation Engineer—SAN Specialist

Reading time5 min
Views4.4K
Привет, Хабр! В своей самой первой статье о сертификации NCDA, почти двухлетней давности, я упомянул о планах на дальнейшую сертификацию NetApp NCIE, и, дождавшись момента, когда действующая сертификация NCDA начала подходить к концу, я решил ресертифицироваться на уровень выше, тем самым продлив старую сертификацию и получив новую.

Под катом я поделюсь информацией о том, как проходила подготовка, что читал, что изучал, возможно, это пригодится и вам.
Читать дальше →
Total votes 13: ↑11 and ↓2+9
Comments2

NetApp MetroCluster (MCC)

Reading time12 min
Views18K
MetroCluster гео-распределённый, отказоустойчивый кластер построенный на базе систем хранения данных NetApp FAS, такой кластер можно представить себе, как одну систему хранения, растянутую на два сайта, где в случае аварии на одном из сайтов всегда остаётся полная копия данных. MetroCluster используется для создания высоко доступного (HA) хранилища и сервисов. Более подробно о MCC официальной документации.

MetroCluster работающий на старой ОС Data ONTAP 7-Mode (до версии 8.2.х) имел аббревиатуру «MC», а работающий на ClusteredONTAP (8.х и старше), чтобы не было путаницы, принято называть MetroCluster ClusteredONTAP (MCC).

MCC может состоять из двух и более контроллеров. Существует три схемы подключения MCC:

  1. Fabric-Attached MetroCluster (FCM-MCC)
  2. Bridge-Attached Stretch MetroCluster
  3. Stretch MetroCluster

Различие в этих трех вариантах по сути только в сетевой обвязке. Сетевая обвязка влияет на два фактора: максимально возможное расстояние на которое можно растянуть кластер и на количество нод в кластере.

Собрать распределённый отказоустойчивый HA кластер СХД
Total votes 12: ↑11 and ↓1+10
Comments6

Unboxing: Что внутри у системы хранения данных NetApp AFF A300

Reading time4 min
Views11K
Система NetApp AFF A300 была презентована в конце сентября 2016 года на ежегодной конференции NetApp Insight и пришла на смену решениям AFF8040 и AFF8060. Пара контроллеров A300 находится в одном корпусе и занимает всего 3U, что вдвое меньше, чем у AFF8040. Максимальное расширение системы составляет 384 SSD-диска. Учитывая доступность к заказу SSD-дисков объемом 15 ТБ, этого более чем достаточно.

Одна из таких систем попала к нам, компании «ИТ-ГРАД», крупнейшему поставщику IaaS в России, в руки. Недавно мы получили поставку, в которой содержались пара контроллеров NetApp A300 в одном шасси и дисковая полка DS224C c набором из 24 SSD-дисков по 3,8 ТБ каждый. В этой статье мы расскажем о преимуществах этого решения и проведем анбоксинг, разумеется, поделившись самыми любопытными фотографиями (суммарный вес изображений 6 мегабайт).

Кому интересно — просим под кат.

Читать дальше →
Total votes 18: ↑18 and ↓0+18
Comments7

NetApp ONTAP и антивирусная защита NAS

Reading time5 min
Views5.8K
Системы хранения NetApp с прошивкой ONTAP поддерживают интеграцию NAS с антивирусом, для того чтобы файлы перед чтением/записью сначала проверялись, эта функция называется Off-box Anti-Virus Scanning. Она позволяет повысить уровень защиты корпоративных сред и сгрузить лишнюю нагрузку с рабочих станций. Так как поддержка антивирусных баз всех рабочих станций в актуальном состоянии может быть не выполнимой задачей. Поддерживаются продукты от:

  • Kaspersky
  • Symantec
  • Trend Micro
  • Computer Associates
  • McAfee
  • Sophos

Кроме этого поддерживается расширенный функционал файл-скрининга (FPolicy), позволяющий ограничивать работы с файлами не только на основе их расширения, но и типа файла основываясь на заголовке внутри этого файла.

Сегодня я хотел бы подробнее остановиться на интеграции ONTAP с CIFS(SMB) шарой и антивирусной системой McAfee. Которая в принципе похожим образом устроена и с другими антивирусными системами.


Интегрировать NAS с антивирусом
Total votes 21: ↑17 and ↓4+13
Comments12

NetApp SnapLock™ — Лицензионная функция для защиты данных (WORM)

Reading time4 min
Views4.5K
С увеличением числа хакерских атак, в последнее время в Украине, нацеленных на шифрование и уничтожение данных, сохранность и целостность данных для многих компаний становится не просто требованием, а их жизненной необходимостью.

Только 6% компаний продолжает существовать более чем 2 года в результате потери данных, согласно отчёту Gartner. В этом отношении решения линейки NetApp FAS становятся спасательным кругом не только для информации, но и самих организаций, подверженных атакам, поскольку позволяют существенно сократить риски потери и уничтожение данных.

По оценкам экспертов, количество хакерских атак, совершаемых в Украине с целью шифрования или уничтожения данных в 2016 году увеличилось в разы. Редкая деловая неделя обходится без сообщений о фактах уничтожения данных. Cтоит обратить внимание на профиль организаций, на которые чаще всего совершаются нападения: финансовые и государственные структуры, а также ИТ-компании. С учетом украинских реалий, наиболее незащищенным выглядит государственный сектор.

Защитить данные на NAS хранилище NetApp
Total votes 18: ↑14 and ↓4+10
Comments7

Новые системы хранения данных NetApp под управлением ONTAP 9.1

Reading time7 min
Views14K

Во время ежегодной конференции для партнёров и заказчиков NetApp Insight было объявлено о выходе новых систем хранения данных, работающих под управлением операционной системы ONTAP. Обновились системы FAS и AFF.


Вместе с выходом нового оборудования будет доступна новая версия ONTAP — 9.1.
Для начала разберёмся, что же нового в железе.


FAS. Всем FlashCache. Первые СХД с 40GbE и 32Gb FC


Начнём с обновления гибридных массивов FAS. Выходит 4 новые модели: FAS2620, FAS2650 — системы начального уровня, FAS8200 — система среднего уровня для корпоративных заказчиков и FAS9000 — high-end система с абсолютно новым (для NetApp) подходом в построении шасси.


Новые системы стали существенно производительнее:


  • Используются новые процессоры Intel на архитектуре Broadwell
  • Доступно больше кэша и NVRAM
  • NVMe FlashCache
  • В старших контроллерах доступны интерфейсы 40GbE и 32Gb FC
  • Для подключения дисков используется SAS-3 12Gb

Читать дальше →
Total votes 13: ↑12 and ↓1+11
Comments18

IXIA ThreatARMOR: меньше атак, меньше алармов SIEM, лучше ROI

Reading time4 min
Views4.2K
Попалось нам в руки новое решение от компании IXIA – Threat Armor. И у нас получилось его протестировать и разобраться, что же это за «чудо», которое появилось в начале этого года и уже успело получить большое количество золотых наград на всевозможных выставках в разных концах мира.


Читать дальше →
Total votes 11: ↑9 and ↓2+7
Comments0
1
23 ...

Information

Rating
Does not participate
Location
Киев, Киевская обл., Украина
Registered
Activity