Pull to refresh
8
0
Send message

Создание сквозного конвейера MLOps с помощью Open-source инструментов

Level of difficultyEasy
Reading time12 min
Views1.8K
MLOps с открытым исходным кодом: TL;DR
Эта статья служит целенаправленным руководством для специалистов по исследованию данных и инженеров ML, которые хотят перейти от экспериментального машинного обучения к готовым к производству конвейерам MLOps. Мы выявим ограничения традиционных систем ML и познакомим вас с основными инструментами с открытым исходным кодом, которые помогут вам создать более надежную, масштабируемую и поддерживаемую систему ML.

Среди обсуждаемых инструментов — Feast для управления функциями, MLflow для отслеживания и версионирования моделей, Seldon для развертывания моделей, Evidently для мониторинга в реальном времени и Kubeflow для оркестровки рабочих процессов.

Введение


Ландшафт машинного обучения постоянно меняется, и переход от разработки моделей к их внедрению в производство сопряжен с рядом трудностей. Хотя блокноты Jupyter и изолированные скрипты полезны для экспериментов, им часто не хватает функций, необходимых для системы производственного уровня. Эта статья призвана помочь вам справиться с этими проблемами, познакомив с концепцией MLOps и набором инструментов с открытым исходным кодом, которые могут облегчить создание готового к производству ML-конвейера.

Независимо от того, являетесь ли вы специалистом по исследованию данных, желающим перейти к производственной деятельности, или инженером ML, стремящимся оптимизировать существующие рабочие процессы, эта статья призвана дать целенаправленный обзор основных практик и инструментов MLOps.
Читать дальше →
Total votes 24: ↑24 and ↓0+24
Comments0

Terraform: от незнания к best practices

Level of difficultyMedium
Reading time47 min
Views26K

Всем привет! Меня зовут Виктор, я DevOps‑инженер компании Nixys, которая помогает другим компаниям внедрять в их IT‑решения передовые практики DevOps, MLOps и DevSecOps.

Сегодня я приглашаю вас вместе со мной пройти путь «от незнания к best practices» в работе с Terraform. Этот материал подготовлен для серии наших одноименных видеороликов на YouTube, но мы решили дополнить его и предложить вам более детальное описание процесса в этой статье.

Не забывайте следить за нашими обновлениями на YouTube, Habr и подписывайтесь на наш Telegram‑канал DevOps FM — мы всегда рады новым друзьям. Начнём?

Читать далее
Total votes 17: ↑16 and ↓1+15
Comments7

Как работает ChatGPT: объясняем на простом русском эволюцию языковых моделей с T9 до чуда

Level of difficultyEasy
Reading time30 min
Views368K

В последнее время нам почти каждый день рассказывают в новостях, какие очередные вершины покорили языковые нейросетки, и почему они уже через месяц совершенно точно оставят лично вас без работы. При этом мало кто понимает — а как вообще нейросети вроде ChatGPT работают внутри? Так вот, устраивайтесь поудобнее: в этой статье мы наконец объясним всё так, чтобы понял даже шестилетний гуманитарий!

Погнали →
Total votes 357: ↑350 and ↓7+343
Comments283

Настраиваем просмотр IPTV в Plex Media Server

Reading time7 min
Views62K

Телевизор в 2022 году это совершенно другая сущность, если сравнивать и смотреть со стороны даже 2010-х годов. А телевидение так и вообще ушло на второй план или вовсе не интересно пользователю.

Но если все же интересно ТВ, а домашний медиацентр развернут на Plex? Не волнуйтесь, он справится и с вещанием IPTV, нужно его только "научить". Рассмотрим все в деталях.

Читать дальше →
Total votes 28: ↑25 and ↓3+22
Comments64

Как найти деньги на финансирование стартапа

Reading time8 min
Views11K

В этой статье мы рассмотрим, что нужно для накопления средств для предварительного запуска стартапа. Откуда взять деньги на найм персонала, IT-разработку продукта и спонсирование маркетинговых кампаний.

Конечно, каждый случай индивидуален, но здесь мы выделим наиболее известные методы сбора денег и проанализируем причины успеха известных стартапов.

Читать далее
Total votes 11: ↑7 and ↓4+3
Comments10

Как мы оцифровали обходы. Часть 1: пилот и чек-листы

Reading time5 min
Views4.6K

Представьте, вы купили автомобиль, а возможно, он у вас уже есть. К автомобилю есть готовые рекомендации: как его обслуживать, каким топливом его заправлять, через сколько надо пройти ТО, когда и что потребует плановой замены. Датчик в машине сам подскажет, что надо залить масло или подкачать колесо.

Вы понимаете, что для того, чтобы машина работала лучше и служила дольше, вам надо следить за ней, вовремя реагировать на какие-либо отклонения, не нарушать правила эксплуатации, а самое главное – делать это всё своевременно, чтобы чувствовать себя за рулем уверенно и безопасно.

У нас в СИБУРе похожая ситуация. Меня зовут Анна Хархурина, я владелец продукта «Мобильные обходы и ремонты», и сегодня я расскажу вам, как цифровизация работает в процессах технического обслуживания. И причём здесь смартфоны :)

Читать далее
Total votes 5: ↑5 and ↓0+5
Comments12

[Личная история] Португалия. Дайвинг, ведение бизнеса и страсть к балконам. Стоит ли переезжать?

Reading time8 min
Views33K


Дмитрий Лайер, бывший PHP-разработчик и техдиректор в РБК, ВТБ24 и Softline, теперь живет на юге солнечной Португалии. Мы поговорили с ним о многочисленных плюсах и минусах жизни в этой стране, дайвинге, открытии бизнеса, методах получения «резиденции» и вечных-вечных проблемах с уплатой налогов.

Читать дальше →
Total votes 30: ↑28 and ↓2+26
Comments40

Стратегии выплаты технического долга

Reading time6 min
Views5K
image

Технический долг: он есть у всех, и каждый достойный своего звания разработчик хочет его выплатить, но как же организовать этот процесс?

Реализуем севооборот


В своей предыдущей статье я сравнил выплату технического долга с важностью севооборота в сельском хозяйстве. Если вы продолжаете обрабатывать поле (кодовую базу) сезон за сезоном, чтобы получать большой урожай (завершать проекты, добавлять фичи и т.п.), и не даёте этому полю сезон на восстановление (выплату технического долга), то оно постепенно начинает терять своё качество и урожайность.

Эта метафора остаётся подходящей и для разработки ПО; кроме того, она содержит в себе намёки на возможные стратегии, которые можно использовать для выплаты технического долга.

Существует на удивление широкий диапазон способов выплаты долга. И это очень полезно, поскольку предоставляет нам множество вариантов при планировании.

В рамках этой статьи мы будем предполагать, что вы работаете в методологии agile-разработки, однако многие принципы при условии творческой переработки применимы и к другим методологиям.
Читать дальше →
Total votes 22: ↑20 and ↓2+18
Comments1

Руководство по отладке бессерверных приложений

Reading time8 min
Views3.8K

Все началось в 1953 году, когда компания IBM выпустила свой первый коммерческий компьютер. И вот сегодня мы обсуждаем бессерверную архитектуру. За прошедшие годы вычислительная техника не только совершила настоящую революцию в том, как строится работа современных компаний,  –  но и претерпела огромные преобразования сама по себе.

После ряда успешных (и не очень) проектов по развертыванию фреймворков на корпоративных инфраструктурах и в облаке, была сформулирована концепция фреймворка FaaS (Function as a Service). Его задача – обеспечить запуск приложений в контейнерах без сохранения состояния. Это дает разработчикам возможность сконцентрироваться на самом коде, а не на управлении сложной инфраструктурой и связанными с ней ресурсами. Это привело к изобретению бессерверной архитектуры, ориентированной исключительно на исполнение двоичных файлов приложений, при этом все необходимые ресурсы управляются сторонним провайдером и принадлежат ему. По своей сути бессерверная архитектура позволила предприятиям не только сильнее сосредоточиться на разработке основных приложений, но и существенно снизить накладные расходы.

Однако платформы бессерверных вычислений не только позволили разработчикам быстрее создавать и развертывать приложения, но и привнесли ряд новых проблем с их отладкой по сравнению с традиционными платформами. В этой статье мы рассмотрим методы, проблемы и популярные инструменты отладки, используемые в бессерверной инфраструктуре.

Читать перевод дальше
Total votes 18: ↑18 and ↓0+18
Comments6

15 топовых веб скрапинг решений 2021 года

Reading time5 min
Views38K

За последнее десятилетие информация стала основным ресурсом для развития бизнеса, а Интернет является основным источником,  где 5 миллиардов пользователей ежесекундно генерируют новые данные. Извлекая и анализируя эти веб данные, компании разрабатывают свои бизнес-стратегии  и достигают поставленных целей. Однако собрать и извлечь такой большой объем данных непросто; особенно для тех, кто все еще думает, что кнопка «Экспорт в Excel» существует или ручная обработка данных - это единственное решение.

Веб скрапинг позволяет компаниям автоматизировать процессы сбора веб данных с помощью ботов или автоматизированных скриптов, называемых веб-сканерами и загружать эти данные в формате Excel, CSV или XML для последующей аналитики.

Представляем вашему вниманию список топ 15 инструментов для парсинга 2021 года. 

Читать далее
Total votes 9: ↑7 and ↓2+5
Comments11

10 полезных расширений для дата-сайентистов

Reading time5 min
Views14K

Каждый специалист по Data Science тратит большую часть своего времени на визуализацию данных, их предварительную обработку и настройку модели на основе полученных результатов. Для каждого исследователя данных именно эти моменты – самая сложная часть процесса, поскольку хорошую модель можно получить при условии, что вы точно выполните все эти три шага. И вот 10 очень полезных расширений Jupyter Notebook, которые помогут вам выполнить эти шаги.

Приятного чтения!
Total votes 19: ↑19 and ↓0+19
Comments0

Микшерный пульт из USB-звучки и опенсорса

Reading time11 min
Views8.5K

Иногда у меня, как у звукача аниме/гик фестивалей/конвентов, появляется задача обеспечить звуком небольшой ивент, на площадке которого нет вообще ничего из оборудования. Такие патички довольно лайтовы и располагают к экспериментам. Так, для нашего осеннего опенэйра я выбрал следующий (весьма непривычный) опенсорсный сетап, который в итоге отлично сработал:


  • Колонка 50 Вт
  • Два микрофона
  • Аудиоинтерфейс из серии BEHRINGER U-PHORIA
  • Ноутбук на линуксе
  • Ardour в качестве микшера и хоста плагинов
  • Calf Studio Gear для обработки звука
  • JACK в качестве звукового сервера
  • VLC в качестве основного плеера

Идея делать микшер из простейшего аудиоинтерфейса на опенсорсном софте мне настолько понравилась, что я решил поделиться.


Читать дальше →
Total votes 22: ↑22 and ↓0+22
Comments8

Разработка системы мониторинга на AWS

Reading time9 min
Views3.6K
В предыдущем посте был предложен алгоритм выбора системы управления для разных задач «Интернета вещей». Для решений среднего масштаба оптимальным оказалось использование облачных IoT платформ.

Этот материал о том, как мы реализовали систему мониторинга и управления на базе платформы Amazon WEB Services (AWS). В качестве объекта управления рассмотрен шкаф связи, напоминающий маленький «Умный дом». Внутри такого шкафа может быть установлено оборудование сотовой или фиксированной связи, городского WiFi, видеонаблюдения, управления освещением или т.п., а также устройства электропитания и климат-контроля. С использованием контроллера «умного дома» шкафа, набора датчиков и системы верхнего уровня оператор может наблюдать за состоянием оборудования, микроклиматом и охранно-пожарной безопасностью. 

Читать дальше →
Total votes 4: ↑4 and ↓0+4
Comments6

Буддизм с точки зрения программиста

Reading time20 min
Views96K

Здравствуйте, меня зовут Сергей, я работаю JavaScript-программистом, и я - буддист. Но совсем не такой, каким вы меня только что представили. Наверняка, при прочтении слова "буддист", в вашей голове всплывает либо образ улыбчивого азиата в оранжевом одеянии, либо образ безработного хиппи-вегана, путешествующего по Индии, занимающегося йогой и ищущего "просветления" в сомнительных религиозных практиках. Так вот, я ни тот, и ни другой. Так кто же я? Чтобы ответить на этот вопрос, нужно для начала поближе познакомиться с историей буддизма.

Около трех с половиной тысяч лет назад Древняя Индия была завоевана ариями - одним из индоевропейских племен, пришедшем в Индию с предгорий Кавказа через территорию современного Ирана. Немного отклонившись от основной темы поста, скажу, что с этим завоеванием связано много интересных фактов. Именно потому, что кроме Индии эти племена завоевали также территории Европы и Ирана, все европейские, персидский и индийские языки родственны друг другу и входят в одну языковую семью. Вы же понимаете санскритское слово "веды" без перевода, верно? И именно по названию места происхождения этих племен в английском языке европеоидная раса называется caucasian race. А также именно по названию этого племени французский граф Жозев Артюр де Гобино дал имя своей печально известной расовой теории, позже популяризованной и претворенной в жизнь Адольфом Гитлером. Но давайте вернемся назад к нашей теме.

Читать далее
Total votes 167: ↑135 and ↓32+103
Comments575

Вернуть пропавший скутер, или история одного IoT мониторинга

Reading time21 min
Views16K

Год назад мы запустили пилотную версию промо проекта по децентрализованному прокату электроскутеров.


Изначально проект назывался Road-To-Barcelona, позже стал Road-To-Berlin (отсюда встречающиеся на скриншотах R2B), а в итоге и вовсе был назван xRide.


Основная идея проекта была в следующем: вместо того чтобы иметь централизованный сервис проката автомобилей или скутеров (речь пойдет о скутерах aka электро-мотоциклах, а не kickscooter/самокатах) мы хотели сделать платформу для децентрализованной аренды. О сложностях с которыми мы столкнулись уже писали ранее.


Изначально проект ориентировался на автомобили, но из-за сроков, крайне долгих общений с производителями и огромного количества ограничений по безопасности, для пилота были выбраны электрические скутеры.


Пользователь устанавливал iOS или Android приложение на телефон, подходил к понравившемуся ему скутеру, после чего телефон и скутер устанавливали peer-to-peer соединение, происходил обмен ETH и пользователь мог начать поездку включив скутер через телефон. По завершении поездки так же можно было провести оплату поездки за счет Ethereum из кошелька пользователя на телефоне.


Помимо скутеров пользователь видел в приложении "умные зарядки", посетив которую пользователь мог сам сменить текущую батарею, если она разрядилась.


Так в целом и выглядел наш пилот, запущенный в сентябре прошлого года в двух городах Германии: Бонн и Берлин.



И вот, однажды, в Бонне, ранним утром наша команда поддержки (находящаяся в локации для поддержания скутеров в работоспособном состоянии) была поднята по тревоге: один из скутеров бесследно исчез.


Как его найти и вернуть?


В этой статье я расскажу об этом, но для начала — о том как мы построили нашу собственную IoT платформу и как мы осуществляли мониторинг над ней.

Читать дальше →
Total votes 30: ↑27 and ↓3+24
Comments74

Flutter.dev: Continuous delivery с Flutter

Reading time5 min
Views6.1K
Перевод статьи подготовлен в преддверии старта курса «Flutter Mobile Developer».





Следуйте лучшим практикам непрерывного развертывания (continuous delivery — CD) вместе с Flutter, чтобы ваше приложение было непременно доставлено вашим бета-тестерам и проверялось на регулярной основе без необходимости прибегать к ручным манипуляциям.
Читать дальше →
Total votes 6: ↑6 and ↓0+6
Comments0

RESQ охотится на потерявшихся туристов с воздуха

Reading time2 min
Views4.4K
Когда вы заблудитесь в лесу, мобильный телефон может показаться не самым полезным инструментом. При отсутствии сигнала сотовой сети невозможно позвонить в службу спасения.

Тем не менее, если носить телефон с собой, спасателям будет намного проще найти вас, и пользователь ресурса HackaDay Эрик разрабатывает инструмент для такой работы.

Портативная версия устройства ResQ оснащена направленной антенной типа «волновой канал», помогающей точно определить направление на местоположение сигнала.

Читать дальше →
Total votes 12: ↑12 and ↓0+12
Comments48

Вкалывают роботы, счастлив человек: как я делал систему поиска по архиву вебинаров с элементами ИИ

Reading time18 min
Views2.2K
В интересное время живем, что ни день – то новость, как нейросети помогают делать нашу жизнь проще и удобнее. Мне давно хотелось поэкспериментировать с алгоритмами машинного обучения на базе нейронок, и вот подвернулась нетривиальная задача.


C переходом на самоизоляцию в марте этого года, мы, как и многие компании, перевели в онлайн все наши продуктовые мероприятия. Ну, вы помните эту замечательную картинку про вебинары с обезъянками. За прошедшие полгода только по тематике датацентров, за которую отвечает моя команда, у нас накопилось около 25-ти 2х-часовых записанных вебинаров, 50 часов видео суммарно. Проблема, которая встала в полный рост – как понять, в каком видео искать ответы на те или иные вопросы. Каталог, теги, краткое описание — это хорошо, ну вот нашли мы в итоге, что по теме есть 4 двухчасовых ролика, а дальше что? Смотреть на перемотке? А можно как-то по-другому? А если выступить по-модному и попробовать прикрутить ИИ?
Читать дальше →
Total votes 10: ↑10 and ↓0+10
Comments4

Как правильно составить ТЗ на администрирование: наши грабли

Reading time10 min
Views14K
Вообще, тема неисчерпаемая. Ковыряется как-то Лёшка (наш инженер) в стойке в ЦОДе повышенной ответственности, где стоит несколько банков. В соседнем ряду наблюдает совершенно дикую картину: парень подошёл к блейду. Выдернул жёсткий диск, что-то записал, ВОТКНУЛ ЕГО НАЗАД, выдернул второй, записал, поставил, выдернул третий. Лёша ему: «Пссс, парень, ты чего?» Он: «Ну так инвентаризация же!» И сразу как-то всё стало понятно.

Я работаю в департаменте вычислительных систем КРОК, мы поддерживаем всё то, что можно кинуть в стену. То есть сервера, системы хранения данных и прочее дорогое железо в дата-центрах. Ну и то, что на нём — операционки, базовую инфраструктуру. Простейшая базовая услуга — ЗИП, то есть замена комплектующих вовремя. Более сложные — это заменять сисадминов заказчика.

Самый страшный момент контракта — это составление техзадания. Расскажу про те грабли, которые мы ощупали вместе с клиентами и о том, как их избежать. Ну и приложу пример шаблона ТЗ, который используем мы.
Читать дальше →
Total votes 53: ↑52 and ↓1+51
Comments26

Information

Rating
Does not participate
Location
Санкт-Петербург, Санкт-Петербург и область, Россия
Registered
Activity