Pull to refresh
68
Karma
0
Rating
Alexander Tugov @fortyseven

Product Visionary Director

Каким должен быть Feature Store, чтобы оптимизировать работу с ML-моделями

Selectel corporate blog High performance *Machine learning *Artificial Intelligence

В работе с данными для обучения нейросетей много рутины: под каждую ML-модель нужно создать датасет, потом «вычеркнуть» лишние признаки (фичи) и протестировать точность предсказаний. Иногда при изменении датасета нужно собирать данные по новой. Это неудобно, если нужно переиспользовать уже собранные фичи для обучения новых моделей. Чтобы оптимизировать работу с данными, ML-инженеры объединили разные практики и сформировали парадигму Feature Store.

По мотивам выступления Артёма Глазкова (@Allront), ведущего эксперта MLOps в Polymatica, рассказываем о том, что нужно бизнесу от Feature Store сегодня, и разбираем архитектуру «эталонного» решения. Подробности под катом.
Читать дальше →
Total votes 36: ↑36 and ↓0 +36
Views 1.3K
Comments 1

Малые АЭС и зачем они нужны

Timeweb Cloud corporate blog Popular science Energy and batteries Physics Ecology
Атомная станция – это огромное сооружение из бетона и стали, способное обеспечить энергией большой город или даже небольшую страну. Но в последние годы все больше интереса вызывают проекты малых АЭС, мощностью до 300 МВт. В мире насчитывается уже более 70 проектов компактных, многоцелевых реакторов самых разных типов и конструкций, называемых SMR — Small Modular Reactor. А некоторые из них уже успешно работают. В этой статье я расскажу о том, что такое малые АЭС, зачем они нужны, в чем их отличия, преимущества и недостатки по сравнению с классическими АЭС, а также пройдусь по основным типам малых реакторов с конкретными примерами. Ну и конечно, посмотрим на позиции России на рынке малых АЭС и их перспективы с учетом текущей международной обстановки.


На фото первая малая АЭС. Российская. Фото: «Страна Росатом»
Читать дальше →
Total votes 114: ↑114 and ↓0 +114
Views 30K
Comments 106

Wildcard-сертификат Let's Encrypt для внутренних сервисов в Kubernetes-кластере

Kubernetes *
Tutorial

У вас есть кластер, в котором хочется разместить как можно больше рабочих сервисов и продуктов для внутреннего использования, ибо удобно: систему управления версиями, репозиторий Docker-образов, S3-хранилище, базы данных, тестовые среды и т.д. Но есть "но": многие из них, как например, репозиторий Docker-образов, могут работать только с использованием TLS. У вас есть два пути: получить сертификат от одного из сертификационных центров, платных или бесплатных, вроде Let's Encrypt, или сгенерировать самому. Устанавливать на каждого клиента сертификат нашего "левого" самопровозглашённого центра не хочется, поэтому самоподписанный сертификат отпадает. Денег платить каждый год не хочется, поэтому выбираем Let's Encrypt. Но и тут есть проблема (помимо необходимости автоматизации перевыпуска сертификата не реже раза в три месяца): внутренние сервисы нельзя выставлять в публичную сеть, а значит и HTTP-01 вариант подтверждения владения доменом нам недоступен. Остаётся только DNS-01 метод, который имеет свои подводные камни.

В данной статье я расскажу о своём опыте автоматизации выпуска/перевыпуска wildcard-сертификата для домена второго уровня (wildcard, чтобы два раза не вставать, но можно выпускать сертификаты и для каждого отдельного поддомена) для использования внутренними сервисами, расположенными в Kubernetes-кластере, с помощью cert-manager и бесплатного сервиса поддержки DNS-зон Яндекс.Коннект.

Читать далее
Total votes 15: ↑14 and ↓1 +13
Views 5.9K
Comments 10

Можно ли в российских облаках реализовать архитектурные схемы, стандартные для западных провайдеров

ITSumma corporate blog IT Infrastructure *Amazon Web Services *DevOps *Cloud services *


Исторически так сложилось, что AWS стал промышленным стандартом на рынке облачных услуг, как с точки зрения набора предоставляемых услуг и решений, так и с точки зрения поддержки, комьюнити, готовых библиотек для использования, провайдеров для работы с подходом IaaC. Но ввиду изменившейся геополитической ситуации, а также других различных факторов (например, 152 ФЗ), зарубежные решения становятся всё менее доступными. Так что необходимо искать альтернативы на российском внутреннем рынке.

В этой статье мы проводим сравнительный анализ нескольких отечественных облачных провайдеров, рассматривая набор предлагаемых решений, оценивая наличие Terraform-провайдеров, а также пытаясь реализовать деплой типичного веб-проекта в облаке.

Дисклеймер №1
Данная статья не является рекламой. Все совпадения с реальностью — всего лишь совпадения с реальностью. А все несовпадения с реальностью — всего лишь несовпадения с реальностью.

Дисклеймер №2
Читать дальше →
Total votes 47: ↑43 and ↓4 +39
Views 6.7K
Comments 5

USB over IP для личного использования: организовываем клиент-серверный комплекс на Linux и Windows

Selectel corporate blog System administration *IT Infrastructure *Server Administration *

Привет, Хабр! В прошлой статье мы рассмотрели историю и принцип работы технологии USB over IP, узнали, как ее применяют на базе готового аппаратного решения.

Для личного использования, однако, аппаратное решение скорее не подойдет: нужно приобретать дорогостоящее оборудование, что нецелесообразно. Поэтому под катом рассказываю, как организовать клиент-серверный комплекс USB over IP на современных ОС и автоматизировать этот процесс.
Читать дальше →
Total votes 65: ↑65 and ↓0 +65
Views 23K
Comments 12

Норм альтернатива Тбилиси и Ереванам

IT-emigration Remote work

Я тут подумал, куда бы поехал сам, если бы находился, как и многие, в России без зарубежных ВНЖ. И в итоге ответ не самый популярный: в моем личном топе стран на первом месте с большим отрывом — 🇦🇷 Аргентина. Вот аргументы.

1. Стоимость жизни ниже, чем в Москве, Питере, Стамбуле, Тбилиси, Белграде и т.д. Забавно, что жить в Буэнос Айресе стоит примерно как в Уфе (!). Для надежности можно посмотреть цены на аренду квартир в Буэнос Айресе на airbnb (низкие, при этом они сильно выше, чем long-term на месте). Причина проста - затяжной экономический кризис.

Да, нужно потратиться на билет до Аргентины; из Стамбула будет долларов $500 на человека, но это окупается - мы ведь говорим об эмиграции надолго, а не паникерах.

2. На гражданство можно претендовать через 2 года (!) проживания в стране (официально здесь). Конечно как и везде, процедуры натурализации - это долго: не слышал, чтобы хоть где-то выдавали паспорт быстрее, чем через год после заявки. Так что я бы закладывал года четыре с приезда до паспорта.

3. 90 дней безвиз и простая легализация: есть “ВНЖ рантье” при доходе из-за рубежа, есть студенческий ВНЖ при оплате курсов (например языковых - испанский-то учить нужно, если жить в стране долго). Ну или можно сделать ловкий ход конем - родить в Аргентине, получится сразу гражданин 🙂 А у родителей - ВНЖ. Кстати гражданство по месту рождения - не самое частое явление, распространено в Америках.

В общем-то этих пунктов достаточно, чтобы считать Аргентину - лучшей страной для экстренной (и комфортной!) эмиграции. Хорошо подходит и для гибридного варианта: получить ВНЖ, жить дешево и начать процессы эмиграции в более сложные страны, если есть такая цель. Но я хочу сказать еще о личных субъективных пунктах, которые усиливают позиции Аргентины.

Читать далее
Total votes 87: ↑64 and ↓23 +41
Views 43K
Comments 118

Открыть банковский счет за границей, актуальное на сегодня

Freelance IT-emigration Finance in IT Remote work

Давайте признаем, что теперь все люди в России будут жить в новой реальности, где счет в банке за границей - не блажь, а необходимость. Не только для приема платежей из-за границы, но и для привычных всем штук: оплаты товаров онлайн, покупки билетов (на сайтах авиакомпаний), оплаты в сторах, беспроблемных переводов и т.д. Даже если сегодня все санкции снимут, виза с мастеркардом вернутся, ЦБ все разрешит - инерция этих процессов, и тем более риски, которые несут контрагенты из России - на многие годы.

Дисклеймер: я не консультант по этой теме, просто имею собственный опыт 10+ летнего номадизма, который наложил на небольшой опрос и текущие перспективы, и хочу поделиться. Буду рад любым уточнениям, возможностям, рассказам об опыте в комментариях. В обычной жизни являюсь сооснователем YC-стартапа.

Читать далее
Total votes 112: ↑103 and ↓9 +94
Views 207K
Comments 241

Тестируем VMware SD-WAN

CloudMTS corporate blog Network technologies *Cloud services *
Ранее в нашем блоге на Хабре мы уже разбирали, из чего состоит и как работает VMware SD-WAN. Пришло время проверить его в деле!

Сегодня мы посмотрим, насколько эффективно SD-WAN помогает сохранить требуемую производительность приложений при деградации каналов связи и даже полном отказе основного канала. Дополнительно познакомимся с возможностями встроенного мониторинга WAN-каналов и пользовательских приложений.

Зачем все это нужно? С помощью практических сценариев я хочу показать, как работает решение VMware SD-WAN и каким образом инфраструктура провайдера раскрывает его возможности. Иными словами, мы будем тестировать не абстрактную технологию, а готовый сервис от #CloudMTS. Будет много замеров, сравнений и графиков.


Читать дальше →
Total votes 10: ↑10 and ↓0 +10
Views 4.8K
Comments 0

Решаем проблему голосовых или создаем простого и полезного бота в Telegram

Python *API *
Sandbox

Добрый день, думаю у каждого найдутся люди которые  на сообщение с просьбой писать текстом отвечают   голосовыми. В очередной раз получив голосовые я начал думать как же все-таки решить проблему, и в голову пришла простая идея,  создать бота, который будет  голосовое  преобразовать в текст.

Читать далее
Total votes 11: ↑8 and ↓3 +5
Views 16K
Comments 14

Переносим философию Unix в 21 век

RUVDS.com corporate blog Configuring Linux *System administration **nix *Server Administration *
Translation

Один из основных принципов философии Unix заключается в создании таких программ, каждая из которых эффективно выполняет всего одну задачу, и связывании этих программ в конвейер. Подобный подход отлично зарекомендовал себя за десятилетия существования системы.

В статье же речь пойдет о том, чего ощутимо не хватает современным системам Linux с точки зрения этой философии, а также будет предложено решение связанных с этим проблем.
Читать дальше →
Total votes 129: ↑127 and ↓2 +125
Views 22K
Comments 87

Подборка: разбираем работу 5 финансовых Telegram-ботов

Instant Messaging *Finance in IT

Обычно все, что касается текущих трат и финансовых операций, я привык мониторить в банковских приложениях – там все более-менее удобно и наглядно. Тем более сейчас эти приложения (по крайней мере, те, которые я использую) уже превратились в полноценные «центры управления финансами» с операциями, статистикой, техподдержкой, уведомлениями и даже «сторис» разной степени полезности.

Но недавно наткнулся на одном из сайтов очередную подборку финансовых телеграм-ботов и стало интересно: а что, собственно, эти боты могут дать сверх того, что уже есть в приложениях банков? Если их делают, значит, это кому-то нужно? Короче говоря, попробовал несколько ботов, которые мне приглянулись по описанию, и вот что из этого вышло.  

Читать далее
Total votes 8: ↑4 and ↓4 0
Views 12K
Comments 4

Как превратить две серверные стойки в сеть для десятков тысяч машин и не остаться в неоплатном техническом долгу

Яндекс corporate blog IT Infrastructure *Network technologies *Server Administration *Cloud services *
Как и любое другое облако, Yandex.Cloud — это многослойная иерархия абстракций: SaaS, лежащий поверх PaaS, запущенный на IaaS. Связность виртуальной инфраструктуры обеспечивает виртуальная же сеть, которая является, по сути, оверлеем. И только в самой глубине этой системы обнаруживается физическая сеть из проводов и коммутаторов. Мало кто вспоминает о ней, пока всё работает. А меж тем она — кровеносная система всей платформы.

Привет, я Марат Сибгатулин, сетевой инженер Yandex.Cloud. Яндекс про свою сеть рассказывал уже не раз. И про её физическую инфраструктуру, и про особенности устройства Yandex.Cloud, и про то, как вообще работает виртуальная сеть. Не буду повторяться. Расскажу о том, как мы запустили публичное облако на том, что было — на двух стойках, и масштабировали его до сети для десятков тысяч серверов, не наращивая неоплатный технический долг.



Мы практикуем следующий подход к созданию и развитию чего бы то ни было: прототип → минимально необходимая функциональность и масштаб → рост → эволюционное развитие. На первый взгляд он естественен и очевиден, в отличие от подхода «сделать сразу идеально и на века». На деле — требует вдумчивого предварительного планирования, чтобы потом не подставлять в горячке новые костыли под старые, пытаясь поспеть за внезапным ростом.
Читать дальше →
Total votes 60: ↑60 and ↓0 +60
Views 28K
Comments 23

Самописный антиспам-сервис Gotoh, или как мы боролись за «белизну» IP-адресов

Selectel corporate blog Spamming and anti-spamming Go *
Система антиспама в Selectel до самописного решения

Привет, Хабр! Я Саша Федосеев, младший разработчик Python в Selectel. Несколько лет назад, когда наша компания начала особенно быстро расти, мы столкнулись с проблемой. Нашими ресурсами начали интересоваться всякие недобросовестные спамеры из жарких стран. У нас есть довольно бюджетные конфигурации виртуалок, а что им еще для счастья надо.

Почему мы решили с ними бороться? Ну, рассылается почта с аккаунтов, что тут такого… Однако с точки зрения облачного провайдера есть причины, почему все-таки стоит пресекать «размножение» спамеров.
Читать дальше →
Total votes 58: ↑54 and ↓4 +50
Views 8.3K
Comments 4

После пожара бэкапы OVH становятся бесплатными для всех клиентов

ITSumma corporate blog Server Administration *Data recovery *Data storage *Data storages *

Сгоревший дата-центр OVH в Страсбурге

На прошлой неделе во Франции был уничтожен в пожаре один из дата-центров европейского облачного провайдера OVH. Этот инцидент должен стать уроком для индустрии, сказал Октав Клаба (Octave Klaba), основатель компании. По его словам, индустрия хостинга должна отказаться от идеи, что резервное копирование — это дополнительная услуга, за которую клиенты платят дополнительно.

По крайней мере, сама OVH после данного инцидента начинает предоставлять услугу резервного копирования клиентам во всех своих дата-центрах без какой-либо дополнительной платы.
Читать дальше →
Total votes 26: ↑26 and ↓0 +26
Views 6.5K
Comments 14

[Личный опыт] Черногория — страна, как сон. Самая простая история переезда

GetMatch.ru — ГетМэтч.ру corporate blog IT-emigration Ecology Urbanism Remote work


Олег Маюрченко был фронтенд-разработчиком в белорусском офисе Object Style. В августе в Минске, по его словам, «начался полнейший дурдом», и он принял решение куда-то уезжать. Москва не рассматривалась, он жил там 16 лет, обратно не хотелось. Приняли решение поехать и посмотреть Черногорию. И очень-очень просто получили ВНЖ! Цены оказались абсолютно не драконовскими, а климат — идеальным.


Олег уехал и продолжил работать по удаленке на ту же компанию. С поиском долгсрочной аренды жилья ему помогало агентство «Черногория клуб». Олегу настолько понравилось в стране, что теперь он часто помогает другим, отвечает на вопросы в Фейсбуке. Мы поговорили с ним о его жизни в Будве, плюсах и минусах Черногории, местной кухне, налогах и жизни по принципам «полако».

Читать дальше →
Total votes 61: ↑57 and ↓4 +53
Views 87K
Comments 200

Почему я по-прежнему пользуюсь RSS

ITSumma corporate blog INFOLUST *IT Standards *Social networks and communities
Translation


Я твёрдо верю, что Интернет и его философия максимально проявились именно в RSS.

RSS или Really Simple Syndication является (или был в прошлом, в зависимости от вашей точки зрения) средством, которое объединяет в один канал практически все онлайн-ресурсы. Вы заходите на сайт, если он вам нравится, то добавляете его RSS в свой любимый ридер — и с этого момента мгновенно получаете уведомления о любом новом контенте. Вот так просто.

Расцвет RSS пришелся на эпоху Веб 2.0 (около 1999-2010 гг.), когда движущей силой многих инноваций была полная свобода делать всё что угодно с информацией из интернета. Конечно, всё это происходило до того, как начали развиваться социальные сети в нынешнем виде, а большинство этих концепций оказались изолированы в своих замкнутых социальных фидах.
Читать дальше →
Total votes 95: ↑95 and ↓0 +95
Views 33K
Comments 129

Почему чип Apple M1 такой быстрый?

Computer hardware CPU
Recovery mode
Translation

Опыт использования новых маков с М1 начинает расставлять точки над i. Эти чипы быстрые. Очень быстрые. Но почему? В чем магия?

Я смотрел видео на Youtube, где автор купил iMac в прошлом году максимальной конфигурации. Машина с 40+ Gb ОЗУ стоила ему около 4000$. Он смотрел с недоверием, как его гипердорогой iMac был разнесен в пух и прах новеньким Mac mini с М1 на борту, который стоил около 700$.

В реальном мире, тест за тестом, макбуки с М1 не просто превосходят топовые компьютеры Intel прошлых поколений. Компьютеры Mac просто уничтожают их. С недоверием люди стали спрашивать, как такое возможно?

Читать далее
Total votes 115: ↑73 and ↓42 +31
Views 139K
Comments 549

Почему бизнес хочет DevOps и что нужно знать инженеру, чтобы говорить с ним на одном языке

ITSumma corporate blog System administration *System Analysis and Design *Development Management *DevOps *
Последние несколько лет мы при каждом удобном случае снова и снова обсуждаем, что же такое DevOps. Это уже порядком надоело, но раз всё еще происходит, значит есть проблема — проблема взаимодействия бизнеса и инженеров.

Я часто вижу, как люди, пришедшие к применению DevOps из разных сфер, говорят на разных языках и понимают под словом DevOps совершенно разное. В итоге в какой-то момент времени оказывается, что участники проекта по трансформации абсолютно не понимают и друг друга, и зачем нужен весь этот DevOps тоже.



Я не хочу рассуждать о том, что такое DevOps и какое его понимание более правильное. Мне интересно проследить за эволюцией процессов в IT и разобраться, что бизнес хочет получить от внедрения DevOps, что это значит для инженеров и как нам быть на одной волне.
Читать дальше →
Total votes 33: ↑31 and ↓2 +29
Views 12K
Comments 1

Как запускается сервер: UEFI

Selectel corporate blog Computer hardware History of IT UEFI *

Ранее мы уже разбирали последовательность запуска сервера на примере устаревшего Legacy. Настало время познакомиться с UEFI поближе.

Первая версия того, что сейчас известно как Unified Extensive Firmware Interface (UEFI), разрабатывалась в 90-е годы прошлого тысячелетия специально под системы на Intel® Itanium® и называлась Intel Boot Initiative, а позже — EFI.

Желание «обновить» процесс загрузки было ожидаемо. PC-BIOS, именуемый ныне Legacy, предлагает работать в 16-битном real mode, адресует всего 1 МБ оперативной памяти, а загрузчик вместе с таблицей разделов должен размещаться в первых 512 байтах накопителя. Более того, PC-BIOS передает управление первому найденному загрузчику без возможности возврата назад. При этом обработку случаев с несколькими операционными системами возлагают на плечи загрузчика.
Читать дальше →
Total votes 57: ↑57 and ↓0 +57
Views 25K
Comments 16

Бизнес-модель Остервальдера: что это такое?

ProductStar corporate blog Product Management *
Стратегическое планирование важно для каждого бизнеса. Один из самых популярных инструментов — бизнес-модель Остервальдера. Он простой и эффективный, подходит как для развивающихся, так и уже давно работающих компаний. В этой статье поговорим о истории появления модели и подробно разберем каждый блок.

image
Читать дальше →
Total votes 9: ↑9 and ↓0 +9
Views 15K
Comments 0

Information

Rating
Does not participate
Works in
Date of birth
Registered
Activity