Как стать автором
Обновить
10
0
Сергей Краев @Deeptown

Виртуализация

Отправить сообщение

Импортозамещение 2022. Личный опыт

Уровень сложностиПростой
Время на прочтение11 мин
Количество просмотров34K

Март 2022-го. Рев тракторов. Эмоции, сопли, слезы, выпученные глаза. Лихорадочная скупка последних в жизни долларов по 130. Билеты в Ереван и Стамбул по 100к.

Заморозка золотовалютных резервов. Отключения visa и master card. Первые отключения от SWIFT. Первые пакеты санкций. Байден грозит долларом по 200 рублей. Одна за другой российский рынок начинают покидать зарубежные компании. Больше нельзя привезти груз с помощью DHL. Больше нельзя оплатить счет в долларах. Цепочки поставок рвутся. Привычные поставщики уходят в туман. Где покупать, как оплачивать, как привезти, - нужно искать новые ответы. В общем, шахматную доску встряхнули, а затем перевернули. Экономические эксперты предрекают конец света в отдельно взятой стране, пустые прилавки, откат в 19-й век и голодные бунты в моногородах.

В общем, на болотах стоит вой. И в этом вое тонут отдельные единичные голоса о том, что рынок не терпит пустоты, а опустевшая шахматная доска означает лишь то, что на ней появилось место для новых игроков.

Так в итоге и оказалось.

Под катом рассказ о нашем опыте импортозамещения промышленной электроники на замену ушедшим зарубежным поставщикам.

Читать далее
Всего голосов 130: ↑115 и ↓15+124
Комментарии279

Организация системы мониторинга

Время на прочтение6 мин
Количество просмотров40K

Мониторинг — это главное, что есть у админа. Админы нужны для мониторинга, а мониторинг нужен для админов.



За последние несколько лет поменялась сама парадигма мониторинга. Новая эра уже наступила, и если сейчас вы мониторите инфраструктуру как набор серверов — вы не мониторите почти ничего. Потому что теперь "инфраструктура" — это многоуровневая архитектура, и для мониторинга каждого уровня есть свои инструменты.


Кроме проблем типа "упал сервер", "надо заменить винт в рейде", теперь надо понимать проблемы уровня приложения и уровня бизнеса: "взаимодействие с микросервисом таким-то замедлилось", "в очереди слишком мало сообщений для текущего времени", "время выполнения запросов к бд в приложении растет, запросы — такие-то".


У нас на поддержке около пяти тысяч серверов, в самых разных конфигурациях: от систем из трех серверов с кастомными докеровскими сетками, до больших проектов с сотнями серверов в Kubernetes. И за всем этим надо как-то следить, вовремя понимать, что что-то сломалось и быстро чинить. Для этого надо понять что такое мониторинг, как он строится в современных реалиях, как его проектировать и что он должен делать. Об этом и хотелось бы рассказать.

Читать дальше →
Всего голосов 34: ↑29 и ↓5+24
Комментарии25

Распознавание речи, генерация субтитров и изучение языков при помощи Whisper

Время на прочтение12 мин
Количество просмотров42K

⚡ Градиент обреченный

Есть ряд платных решений по переводу речи в текст (Automatic Speech Recognition). Сравнительно малыми усилиями можно сделать свое решение, — обучить на целевых данных end2end модель (например, из фреймворка NeMo от NVIDIA) или гибридную модель типа kaldi. Сверху понадобится добавить расстановку пунктуации и денормализацию для улучшения читаемости ("где мои семнадцать лет" → "Где мои 17 лет?").

Модель заслуживает внимания так как умеет делать очень много "из коробки". Давайте разберемся подробнее как она устроена и научимся ей пользоваться.

Недавно в открытый доступ была выложена мультиязычная модель whisper от OpenAI. Попробовал ее large вариант на нескольких языках и расшифровал 30 выпусков "Своей игры". Результат понравился, но есть нюансы. Модель транскрибирует тексты вместе с пунктуацией и капитализацией, расставляет временные метки, умеет генерировать субтитры и определять язык. Языков в обучающем датасете порядка ста. Чтобы прикинуть по качеству, нужно посмотреть на их распределение — данных на 100 часов и более было лишь для 30 языков, более 1000 ч. — для 16, ~10 000 часов — у 5 языков, включая русский.

Читать далее
Всего голосов 26: ↑24 и ↓2+28
Комментарии28

Распознавание речи (транскрибация) по аудиозаписям диалогов. Whisper. Личный опыт

Время на прочтение5 мин
Количество просмотров15K

Распознаем речь по аудиозаписям диалогов сотрудников и клиентов.
Сохраняем по разным дорожкам, в тексте и с таймингом.
Модель Whisper, работаем в Colab.
Личный опыт.

Читать далее
Всего голосов 7: ↑6 и ↓1+8
Комментарии3

Clickhouse рядом с Zabbix или чем собирать логи с мониторингом

Время на прочтение8 мин
Количество просмотров12K

Если вы используете Zabbix для мониторинга ваших инфраструктурных объектов, но логи пока не покрыты мониторингом и не собираются в единое хранилище, то эта статья для вас. Расскажем о новом бесплатном анализе логов monq Collector.

Читать далее
Всего голосов 5: ↑5 и ↓0+5
Комментарии8

Тот самый датасет, где архитектор чуть не сошёл с ума

Время на прочтение10 мин
Количество просмотров17K
image

Помните, я обещал рассказать про датасет, на котором можно сойти с ума? Ну вот, однажды пришли к нам инженеры производства и говорят, что надо помочь с отладкой. Цеха.

В одном из рулонов стали на 325-м метре образовалась продольная трещина, и теперь все в цеху хотят знать, где что случилось и почему. То есть надо проследить, что конкретно происходило с этим кусочком стали на протяжении всей его биографии.

Задача понятная: берём архитектора, берём данные со всех датчиков, архитектор совершает какую-то магию — и вот у нас готовый датасет для анализа.

И вот на «берём данные с датчиков» мы споткнулись в первый раз. Архитектор, умный адекватный мужик, привыкший работать с синтетическими данными и чистой математикой, чуть не сошёл с ума на нашем реальном производстве.

И уволился посреди проекта со словами, что его психика этого больше не выдержит.

Потому что в теории всё немного не так, как на практике — например, есть много случаев, когда последовательность, которая по определению должна быть монотонно возрастающей, может быть:

  • Невозрастающей.
  • Немонотонной.

В смысле, что это в принципе физически невозможно, но часто происходит. Ещё могут быть скачки во времени и другие нарушения причинно-следственной связи.
Читать дальше →
Всего голосов 52: ↑51 и ↓1+62
Комментарии42

Как мы растим своих джунов

Время на прочтение11 мин
Количество просмотров16K
image

Рынок труда изменился. Ещё недавно он был ориентирован на работодателя. Сейчас, особенно в ИТ-области, это рынок соискателей. Поиск нужных специалистов становится всё более трудным, а конкуренция на этом поле — всё более жёсткой.

Внешний рекрутинг — это чаще всего долго и довольно дорого. Есть альтернатива — профессиональное развитие сотрудников внутри организации.

Меня зовут Дмитрий Красовский, я директор Т1 Цифровой академии. Расскажу, как мы в Т1 пришли к внутреннему выращиванию талантов, благодаря которому сегодня серьёзно сокращаем расходы компании на привлечение и онбординг специалистов.

Например, сэкономили 10 млн рублей при наборе полутора десятков дата-инженеров, притом что на рынке их вообще немного, а из 200 кандидатов нам подходил один. Но благодаря новому подходу к поиску мы решили задачу за месяц, сохранив при этом внушительную сумму.
Читать дальше →
Всего голосов 43: ↑38 и ↓5+33
Комментарии14

Практические советы, примеры и туннели SSH

Время на прочтение13 мин
Количество просмотров229K

Практические примеры SSH, которые выведут на новый уровень ваши навыки удалённого системного администратора. Команды и советы помогут не только использовать SSH, но и более грамотно перемещаться по сети.

Знание нескольких трюков ssh полезно любому системному администратору, сетевому инженеру или специалисту по безопасности.
Читать дальше →
Всего голосов 69: ↑66 и ↓3+63
Комментарии29

Обеспечение доступности данных и сервисов: показатели RPO, RTO и планирование SLA

Время на прочтение9 мин
Количество просмотров66K
Сегодня я постараюсь разъяснить, что такое концепция доступности данных с точки зрения ИТ-специалиста, будь то ИТ-администратор, системный интегратор, консультант по внедрению и т.д. Надеюсь, что эта статья будет полезна читателям при составлении экономического обоснования на внедрение соответствующих программных и\или аппаратных решений, а также соглашений об уровне обслуживания (SLA) – а кому-то поможет сделать эти документы более убедительными.
Для начала в качестве «узелков на память» сформулирую два постулата, с которыми многие, уверен, довольно хорошо знакомы:

  • RPO (recovery point objective) – допустимая потеря данных. Любая информационная система должна обеспечивать (внутренними ли средствами, или сторонними) защиту своих данных от потери выше приемлемого уровня.

  • RTO (recovery time objective) – допустимое время восстановления данных Любая информационная система должна обеспечивать (внутренними ли средствами, или сторонними) возможность восстановления своей работы в приемлемый срок.

Часто эта пара показателей отображается в виде одномерного графика вдоль оси времени.
Но в таком одномерном графике нет самого главного, на что ориентируется бизнес – денег! О том, как рассчитывать RTO и RPO, исходя из требований бизнеса, я расскажу под катом.

Читать дальше →
Всего голосов 11: ↑11 и ↓0+11
Комментарии1

7 нобелевских лауреатов у одного руководителя. Джон Томсон и его «фабрика» великих ученых

Уровень сложностиПростой
Время на прочтение10 мин
Количество просмотров8.5K
Между 1884 и 1919 годами серьезный на вид профессор вместе с группой талантливых студентов-исследователей в довольно скудно финансируемой Кавендишской лаборатории в Кембридже расщепил атом и положил начало новой отрасли науки, известной как физика элементарных частиц.

Профессором был Джожеф Джон Томсон (1856 — 1940) — нобелевский лауреат 1906 года и первооткрыватель электрона, но таких последствий никто не ожидал: семеро студентов-исследователей под его руководством получили Нобелевскую премию по физике и химии.

image
Читать дальше →
Всего голосов 33: ↑33 и ↓0+33
Комментарии5

Удивительная лампочка из Ашана

Уровень сложностиПростой
Время на прочтение2 мин
Количество просмотров46K
На прошлой неделе я протестировал 23 модели светодиодных ламп Ашан и среди них обнаружилась одна, «не такая, как все», причём отличается она в лучшую сторону.


Читать дальше →
Всего голосов 100: ↑100 и ↓0+100
Комментарии45

Тестирование блочных стораджей: нюансы и особенности практики

Уровень сложностиСредний
Время на прочтение11 мин
Количество просмотров10K

Привет, Хабр! Меня зовут Сергей Качкин. Вместе с командой я занимаюсь тестированием производительности систем хранения данных: много тестов делаем сами, видим результаты наших коллег и заказчиков, так у нас накопилось некоторое количество опыта, которым хочется поделиться. 

В этой статье я расскажу про тестирование блочных стораджей. Начнем с теории — поговорим о выборе цели теста, отличиях синтетики от реальных нагрузок, выборе инструмента для генерации нагрузки. Затем перейдём к практике — тестированию случайного и последовательного доступа, измерению масштабируемости СХД. 

Читать далее
Всего голосов 13: ↑13 и ↓0+13
Комментарии17

Шпаргалка по SQL (postgres), которая выручает меня на собесах

Уровень сложностиПростой
Время на прочтение8 мин
Количество просмотров207K

Привет, Хабр!

Я решил посвятить свою первую статью SQL. Вопросы, рассмотренные ниже мне задавали на собеседованиях на позицию python-разработчика. Естественно отвечать правильно получалось не всегда, а если точнее то чаще не правильно, однако проведя N часов в рефлексии я составил перечень ответов, которыми пользуюсь до сих пор.

Данная информация предполагает знание основ языка запросов и я надеюсь, она окажется полезной для разработчиков, которые сейчас активно ищут работу а также, что ты прочитаешь этот текст до конца и добавишь свой вопрос к перечню (ну или поправишь неточности в существующих)

Читать далее
Всего голосов 156: ↑149 и ↓7+177
Комментарии178

Правовые аспекты доменного пространства

Время на прочтение11 мин
Количество просмотров17K
image

Домен, как объект права, отсутствует в Гражданском кодексе РФ, он не является результатом интеллектуальной деятельности (объектом исключительных прав), не является вещью или иным имуществом, законодатель не установил ни специальных правовых норм об условиях и субъектах “доменных” правоотношений, ни специальных процедур разрешения споров, связанных с доменами. Юристы часто отождествляют доменные имена с товарными знаками. Все же, доменные имена имеют иную правовую природу, ведь они не индивидуализируют ни продукцию, ни услуги. Домен несет в себе маркетинговую ценность для его обладателя и является его нематериальным активом. Рассмотрим некоторые правовые аспекты доменного пространства в России и мире.
Читать дальше →
Всего голосов 14: ↑14 и ↓0+14
Комментарии1

Доменное имя в призме закона

Время на прочтение15 мин
Количество просмотров23K

Содержание:

1.    Техническое понятие домена;

2.    Структура доменного имени;

3.    Организации, регулирующие доменные имена;

4.    Процедура регистрации домена;

5.    Правовое регулирование доменных имен в РФ;

6.    Требования к доменам в доменных зонах .RU и .РФ;

7.    Основные концепции правовой природы доменного имени;

8.    Судебная практика

Доменное имя – что это такое, кто им управляет, как на него смотрит Закон, попытки суда переварить это понятие и многое другое. Присаживайтесь, поговорим об этих ваших Интернетах.

1. Техническое понятие домена

Итак, начнём со знакомства с технической частью домена.

IP-адрес – уникальный номер компьютера (сервера) в сети Интернет.

Этот номер отражает физическое расположение интернет-ресурса, по нему, в частности, можно определить местоположение сервера, на котором расположен сайт.

Доменное имя – символьное обозначение, как правило, словесное, которое непосредственно не связано с сервером, но при помощи системы DNS-серверов (Domain name server) может быть ассоциировано с IP-адресом (или другим доменным именем)

Так, доменное имя «94.100.180.200» становится лаконичным и красивым «Mail.ru»

IP-адрес является основным средством адресации в сети Интернет, тогда как доменное имя лишь ассоциируется с ним.

Наглядный пример – дом. Дом стоит на определенной точке Земли, которая имеет свои координаты: неизменные и уникальные – это IP-адрес. Эти координаты крайне сложно запомнить. Дом, который построили на этом месте получил свой адрес, например, улица. Меридианная, дом 1 – это и есть домен, который может меняться, его владельцы могут меняться и т.д.

Читать далее
Всего голосов 4: ↑3 и ↓1+4
Комментарии10

Программное ядро бортовой киберинфраструктуры унифицированного ударного истребителя F-35

Время на прочтение16 мин
Количество просмотров12K

Обзор ключевых компонентов «автономной информационной системы логистики» (ALIS) унифицированного ударного истребителя F-35. Подробный разбор «блока обеспечения боевого применения» и четырёх его ключевых компонентов: 1) человеко-системный интерфейс, 2) исполнительно-контролирующая система, 3) бортовая иммунная система, 4) система авионики. Некоторые сведения относительно программно-аппаратного обеспечения истребителя F-35 и относительно инструментария, который используется для его бортового программного обеспечения. Приведёно сравнение с более ранними моделями боевых истребителей, и также указаны перспективы для дальнейшего развития армейской авиации.


Читать дальше →
Всего голосов 26: ↑19 и ↓7+12
Комментарии28

Интеграция гиперконвергентной Росплатформы на HPE Synergy с СХД 3PAR

Время на прочтение8 мин
Количество просмотров2.8K

Как-то понадобилось интегрировать Росплатформу (Р-Виртуализацию и Р-Хранилище) с аппаратным СХД( 3PAR), и это может очень пригодится в различных сценариях.

Конфигурация Synergy


Ранее такого рода интеграция тестировалась на лезвиях(Blade CH121 v5) блейд центра Huawei c СХД Dorado 5000 v3, где SDS(software-defined storage) Р-Хранилище Росплатформы поверх СХД показал себя довольно хорошо за счет all flash, но с Synergy, при наличии JBOD дисков с модуля D3940, все намного интереснее и гибче.
Читать дальше →
Рейтинг0
Комментарии0

Основы атак на Active Directory

Время на прочтение7 мин
Количество просмотров18K

По мере роста организации за счет увеличения числа сотрудников, необходимых для поддержки повседневных бизнес-функций, также увеличивается количество устройств, подключенных к сети организации. Несмотря на то, что организация небольшая, в сети очень мало пользователей и компьютеров, и не всегда требуется выделенная ИТ-команда. Самое главное, поскольку в небольшой компании очень мало пользователей, ИТ-специалист может легко создать локальную учетную запись пользователя в каждой системе для каждого сотрудника. Однако по мере увеличения количества пользователей и устройств до средних или крупных организаций создание локальных учетных записей для каждого пользователя на устройстве становится неэффективным.

Читать далее
Всего голосов 8: ↑3 и ↓50
Комментарии5

DASтаточное решение: прямое подключение дисков для разных задач

Время на прочтение6 мин
Количество просмотров9.2K

Проблема хранения данных, и без того создающая массу головной боли архитекторам ЦОДов и системным администраторам, стала еще актуальнее в свете последних событий. В частности, к нам все чаще стали обращаться с запросами на различные форматы организации дополнительных хранилищ и расширения емкостей. Поэтому сегодня Юрий Алексеев, наш presale-эксперт по серверным решениям и системам хранения данных, расскажет о возможностях расширения уже существующего дискового пространства сервера с помощью подключения дисковых полок через DAS (то есть о прямом подключении). В посте мы поговорим о том, что для этого нужно, как это работает, и обсудим, может ли DAS заменить сетевые хранилища или системы высокой емкости.

Читать далее
Всего голосов 19: ↑19 и ↓0+19
Комментарии11

Апскейл, который смог

Время на прочтение15 мин
Количество просмотров74K
Термин «апскейл» используется для обозначения процесса увеличения разрешения цифровых изображений с фокусом на создание иллюзии «настоящего» высокого разрешения. Правда, 90% таких продуктов — это барахло, больше намёк на перспективы, чем волшебство. Недавно мои ручки добрались до двух алгоритмов повышения чёткости, которые оказались настолько хороши, что появилась эта статья. Будут субъективные и объективные тесты алгоритма Real-ESRGAN для увеличения разрешения и алгоритма GFPGAN для детализации лиц.
Traffic_Warning: в статье демонстрируется множество примеров.
Читать дальше →
Всего голосов 122: ↑120 и ↓2+160
Комментарии79

Информация

В рейтинге
Не участвует
Откуда
Сыктывкар, Коми, Россия
Дата рождения
Зарегистрирован
Активность

Специализация

System Administration, Server Administrator
Lead
От 150 000 ₽
Development of tech specifications
People management
Automation of processes
Virtualization
VMware
Network technologies
Linux administration
Zabbix
Active Directory
PowerShell