Search
Write a publication
Pull to refresh
17
0
Send message

Новые инструменты для работы c ML-моделями и обзор MLOps от CERN

Level of difficultyMedium
Reading time7 min
Views4.9K

Привет всем, кто работает с ML-моделями и занимается аналитикой данных! В новом дайджесте для вас много интересных обзоров по инструментам — как говорится, ни ClearML и Airflow едиными. Рынок решений стремительно развивается, и наши подборки помогут вам держать руку на пульсе. Еще больше полезных текстов по DataOps и MLOps публикуем в Telegram-сообществе «MLечный путь».

Как вам, кстати, ренессансная GPU на обложке, которую сгенерила нейросеть для блога Andreesen and Horowitz? Что тут сказать — просто поделитесь промтом.
Читать дальше →

Как айтишник гигантские арбузы в средней полосе выращивал. Часть 1

Level of difficultyEasy
Reading time8 min
Views27K

Хобби коллег очень многогранны. Сегодня расскажем об ИТ-шном подходе к выращиванию арбузов в регионе, где, казалось бы, нормально вызревать они не должны. Наш девопс, Игорь Иванов, объединил системный подход к сбору информации и комплектующие с AliExpress и из магазинов для садоводов, и уже не первый год собирает отличный урожай. 

Своеобразная “инструкцию для начинающих” получилась довольно объемной. Мы  разделили ее на две части: в первой автор разбирает теоретические основы, а во второй переходит к практике.

Осторожно, много фото!

Читать далее

Дополнительная клавиатура своими руками

Level of difficultyMedium
Reading time8 min
Views15K

Давно интересовался как можно объединить микроконтроллеры, Python и пк, и мне в голову приходила идея дополнительной клавиатуры для пользователя, которая будет заменять сочетания клавиш, всего лишь одной кнопкой. Сначала я пробовал объединить платы NodeMCU на базе ESP8266 с пк, с помощью Python. Знаний для написания скетча на ардуино у меня не было, и по гуглив, нашел язык MicroPython. Он сильно мне подошел, так как я владел базовыми знаниями Python, да и умение правильно задавать вопрос гуглу.

Читать далее

Как устроена белка: софт и хард

Reading time7 min
Views9.2K

Как известно, все современные образцы искусственного интеллекта относятся к категории ANI (artificial narrow intelligence) — «ограниченному искусственному интеллекту». Это программы и алгоритмы, существенно или очень сильно превосходящие человека в решении некоторых узких задач, но не проявляющие мышления, здравого смысла, смекалки и сознания как такового. В этой статье в качестве примера ограниченного естественного интеллекта будет рассмотрена беличья память и интеллектуальные способности белок. Они легко алгоритмизируются, поэтому я также расскажу о БПЛА, реализующем некоторые аспекты беличьей биомеханики.    

Читать далее

Микрофронтенды на Module Federation — наш опыт. Часть 1

Level of difficultyMedium
Reading time11 min
Views7.4K

Всем привет! Меня зовут Женя, я разработчик из QIWI, занимаюсь созданием внутренних сервисов. Совсем недавно мы провели эксперимент по использованию микрофронтендов, и я хочу поделиться с вами опытом использования. В качестве основы для построения системы мы выбрали фичу Webpack - Module Federation.

Читать далее

Микрофронтенды на Module Federation — наш опыт. Часть 2

Level of difficultyMedium
Reading time10 min
Views5.3K

Всем привет! Меня зовут Женя, я разработчик из QIWI, занимаюсь созданием внутренних сервисов. Совсем недавно мы провели эксперимент по использованию микрофронтендов, и я хочу поделиться с вами опытом использования. Это вторая часть серии статей про наш опыт микрофронтов.

Читать далее

Особенности прогнозирования продаж и оттока в условиях неопределенности

Reading time14 min
Views3.9K

Бизнес в современных условиях развивается стремительно. На динамику продаж, доходов, расходов оказывает влияние множество различных факторов, как внутренних (инвестиции, стимулирование отдельных каналов продаж, исследование рынка и т.п.), так и внешних – различные непредвиденные обстоятельства, вроде, пандемий, стихийных бедствий, исторические событий. 

Такие общемировые события вносят свои коррективы в развитие бизнеса и оказывают влияние как в краткосрочном, так и в долгосрочном периоде. Для аналитиков подобные внешние факторы оказываются часто более значимыми, чем внутренние, поскольку наступление данных событий всегда означает крушение привычных тенденций. А это осложняет прогнозирование, заставляет отказываться от привычных моделей и искать новые подходы. 

С 2015 по 2021 годы я работала в дирекции по продажам конвергентных продуктов Билайн аналитиком, можно сказать, «на все руки» – аналитиком продаж, продуктовым, финансовым. В мою зону ответственности входили операционная и ежемесячная отчетность, расчет планов продаж на квартал, бюджетирование расходов на продажи, расчеты кейсов по инициативам – для всего этого требовалось моделирование основных KPI развития бизнеса. 

Меня зовут Нина Фещенко, с 2022 года в департаменте аналитики розничного бизнеса (B2C) я в большей степени занимаюсь работой с данными и BI-аналитикой, но без моделирования тоже не обходится. В этом посте я опишу свой опыт построения модели прогнозирования продаж конвергентных продуктов (2019-2021), а также прогнозирования оттока мобильных абонентов в 2022 году. Расскажу, как работала модель в относительно стабильный период до 2020-го года, и какие корректировки пришлось внести впоследствии. 

Читать далее

Чистый код. Часть 3

Reading time15 min
Views17K

Привет! Этим постом я завершаю цикл из конспектов видеолекция Дяди Боба про чистый код.

Сегодня обсудим обработку исключений, комментарии к коду, форматирование, размеры файлов и дата-классы.

Обработка исключений

Не раскрывайте реализацию

Майкл Физерс (Working effectively with legacy code) сказал: «Если обработка ошибок раскрывает реализацию — то это неправильная обработка ошибок». Не раскрывать реализацию можно, если написать исключения перед тем, как написать реализацию функции (привет TDD — по-другому и не получится).

Рассмотрим классCommissionCalculator , который обменивает сумму в разных валютах.

Читать далее

Чистый код, часть 1

Reading time16 min
Views22K

Привет! В этом посте я хочу обсудить, что такое чистый код и почему я считаю его очень важной практикой. Если у вас всё руки не доходили до того, чтобы сесть и подробно почитать книги Дяди Боба, я подготовил небольшой конспект по его видеолекциям со своими примерами с самым главным.

Существует связь между количеством кода в проекте и количеством сделанных фич в единицу времени. На старте проекта количество фич растет очень быстро. Когда проект увеличивается, в него становится все сложнее вносить изменения, все меньше фич удается сделать в единицу времени. Если писать грязный код, то в конечном итоге это убивает компанию из-за того, что она не может быстро делать какие-то фичи. 

Дядя Боб считает, что единственный способ быстро двигаться в разработке — делать хорошо, поэтому чистота кода очень важна. 

Читать далее

Пентест корпоративной сети: о пользе своевременных патчей Microsoft AD

Level of difficultyMedium
Reading time8 min
Views14K

Сегодня поделюсь с вами историей из практики, которая наглядно покажет, к каким быстрым и катастрофическим последствиям может привести задержка с установкой патчей для серверного ПО.

В работе я нередко сталкиваюсь с уязвимостями, связанными с важнейшим компонентом корпоративных версий Microsoft Windows Server — средой службы каталогов Active Directory (AD). Весной прошлого года я убедился, насколько быстро основной механизм, обеспечивающий разграничение прав пользователей в AD, может превратиться в главную дыру в обороне.

Читать далее

Я пробовал GitHub Copilot, и я в восторге

Reading time10 min
Views25K

GitHub Copilot позиционирует себя как «ваш помощник по написанию кода на базе ИИ». Copilot выводит машинное обучение на совершенно новый уровень — он интегрируется с IDE по вашему выбору (ну, если конечно вы выберете что-нибудь из Jetbrains, VS Code или Neovim) и предоставляет в ваше распоряжение мощную систему AI-driven кода, обученную на миллиардах строк опенсорсных проектов на GitHub на дюжине с лишним языков.

Речь идет не о более умной аналитической версии существующего функционала автодополнения (auto-complete) ваших IDE. Copilot способен на интеллектуальное контекстно-зависимое дополнение всего: от отдельных строчек кода до целых функций как на основе кода, который вы только что написали, так и по комментариям на английском языке, описывающим то, что вы хотите получить.

Читать далее

Менеджмент сертификатов – как застраховаться от просрочки

Reading time7 min
Views5.9K

Для обеспечения защищенного соединения между партнерами, подписи документов, а также организации защищенных каналов связи используются сертификаты. Они позволяют шифровать трафик либо ставить цифровую подпись, которая равнозначна рукописной подписи. Так как это дело обычное и частое, то в компаниях, которые так или иначе связаны с онлайном, таких сертификатов великое множество.

Эти сертификаты имеют срок годности, они выпускаются не на 100 лет (технически это возможно, но по понятным причинам вариант не пользуется популярностью), а обычно на год. И частенько они просрочиваются – срок сертификата подходит к концу, об этом забывают и пропускают его смену, что приводит к потере денег или времени. Боль, на самом деле, повсеместная, и немногие пытаются успешно с ней бороться. У нас это получилось, и мы хотим поведать вам о нашем пути, который еще не закончен.

Читать далее

Могут ли девять женщин родить ребенка за месяц? Пример из личного опыта

Reading time7 min
Views6.3K

Несмотря на немного биологический заголовок, в этом посте мы обсудим старые добрые продуктовые проблемы. Меня зовут Александр Федюнин, я пришел в Спортмастер в 2019 системным аналитиком, а сейчас — PL продукта «SM 3.0», о котором вы могли читать в предыдущих постах нашего блога. Я расскажу вам, как мы пытались придумать что‑то новое, чтобы быстро решить проблему с ресурсами и не потерять в скорости и качестве разработки.

Исторический экскурс

Начнем с того, что продуктовый подход как сущность был придуман маркетологами. В 1932 году Нил Макелрой, который работал в Procter & Gamble, решил, что стандартных маркетинговых инструментов ему уже не хватает, а более плотно развивать пользовательский опыт хочется. Он в то время как раз отвечал за продвижение мыла марки Camay. Как вы понимаете, продвигалось оно неплохо.

Другой важный этап в развитии продуктового подхода — опыт Hewlett‑Packard. Эти ребята в свое время решили, что чем ближе клиент (или конечный пользователь продукта) к точке принятия решения по этому продукту, тем успешнее будет сам продукт. И стали создавать команды, такие мини‑организации, которые полностью отвечали за весь цикл выпуска продукта, от идеи до выхода на рынок. А если численность такой организации начинала подкрадываться к 500 человек, ее делили на более мелкие части.

Читать далее

Как Homebrew раздаёт 52 миллиона пакетов в месяц?

Level of difficultyMedium
Reading time12 min
Views3.7K

Пакетный менеджер Homebrew раздаёт 52 миллиона пакетов в месяц. Чтобы это делать, он использует хранилища контейнеров, отлично подходящие для этой задачи. Как это работает?

Читать далее

Личный путь и опыт в становлении Python разработчиком

Level of difficultyEasy
Reading time21 min
Views33K

В этой статье, а вернее целой истории, я хотел бы поделиться своим путем становления в качестве разработчика на Python и рассказать о некоторых идеях и советах, которые я усвоил за это время. Начиная с моих первых проектов и заканчивая моей текущей деятельностью, я поделюсь накопленным опытом и попробую осветить проблемы, с которыми я столкнулся на своем пути. Кого-то данная статься вдохновит начать свой собственный путь в разработке, а кому-то будет интересно прочитать историю успешного кейса входа и закрепления в ИТ.

Читать дальше →

IIoT-решения для ESG — 3 сценария, в которых беспроводные датчики помогают жить и работать

Reading time3 min
Views2.7K

Привет! Меня зовут Юстина, я владелец продукта IIoT в компании СИБУР. В этом посте я расскажу про то, как LoRaWAN, беспроводные датчики, ловкость рук и слаженная работа разных подразделений может помочь и окружающей среде, и живущим неподалеку от наших объектов людям, и расчетному счету компании.

#1 — следим за чистотой воздуха

В непосредственной близости от ряда наших предприятий, в особенности тех, что расположены неподалеку от населенных пунктов на границе санитарно-защитных зон, установлены специальные экопосты. Чисто визуально это такой небольшой железный вагончик в поле, огороженный металлическим забором. Внутри вагончика — множество различных датчиков для контроля состояния атмосферного воздуха: хроматографы, газоанализаторы и метеостанция, призванные следить за качеством воздуха в режиме онлайн и сигнализировать о проблеме.

Проблема в том, что такие экопосты у нас долгое время обслуживались подрядчиком. А подрядчик — вещь непостоянная, так получилось на СХП: подрядчик, обслуживающий ПО и сервера, перестал существовать, и у коллег (экологов и химиков) осталась доживающая свой век система, которая требовала постоянной перезагрузки.

Оконечные измерительные устройства – есть, труднодоступное место их установки – есть. Звучит, как задача для нашего подразделения интернета вещей. Прежде всего — нужно было провести эксперимент по качеству связи. Многие предприятия СИБУР полностью покрыты беспроводной LoRaWAN-сетью, однако она всегда строится с «запасом», и кейсов с отдалением датчика на расстояние более 800 метров у нас не было. Так что 2,5 км стало для нас первым подобным случаем наладки устойчивого канала связи, с которым мы успешно справились. А что же делать с исправно работающими устройствами на экопостах? Не менять же? Конечно, нет: здесь на выручку пришли конверторы интерфейсов компании Автон, которые позволяют из почти любого интерфейса передать значения по LoRaWAN. А в качестве средства визуализации было принято решение использовать нашу IIoT-платформу.

Читать далее

Look-a-like. Как это работает на стороне площадки и чем полезно бизнесу

Reading time8 min
Views7.4K

Фразе Гиппократа «Ты — то, что ты ешь» уже более тысячи лет. И в 21 веке очевидно, что она относится не только к еде, но и к потребляемому контенту. Это давно доказано различными исследованиями и активно используется бизнесом: анализ историй посещённых веб-сайтов позволяет извлечь как базовые знания о человеке (пол, возраст, уровень зарплаты и т.д.), так и более специфичные вещи, например, интересы человека или факт наличия определённой вещи, будь то кроссовки фирмы Nike или дорогого автомобиля. 

В этой статье мы расскажем, как корпорации используют ваши истории браузеров для объединения людей по интересам, причём здесь таргетированная реклама и как эту задачу решают разработчики компании Amberdata. Если более конкретно — поговорим с вами о задаче Look-A-Like.

Читать далее

Изучаем изображения, использованные для обучения модели Stable Diffusion

Reading time8 min
Views5.4K

Больше всего расстраивает в ИИ-моделях генерации изображений по текстовым описаниям то, что они походят на «чёрный ящик». Мы знаем, что их обучали на скачанных из веба изображениях, но каких именно? Любому художнику или фотографу интересно, использовались ли его работы для обучения ИИ-модели, но на этот вопрос неожиданно трудно ответить.

Иногда данные полностью недоступны: OpenAI сообщает, что обучила DALL-E 2 на сотнях миллионов изображений с подписями, но не опубликовала проприетарные данные. Команда разработчиков Stable Diffusion, напротив, очень прозрачно говорит о том, как обучалась её модель. Так как недавно её опубликовали для общего доступа, Stable Diffusion испытала взрывную популярность, в основном благодаря своей свободной и мягкой лицензионной политике. Модель уже встроена в новую бету Midjourney, NightCafe и собственное приложение Stability AI под названием DreamStudio, а также доступна для работы на собственном компьютере.
Читать дальше →

Книга «Python. Чистый код для продолжающих»

Reading time7 min
Views24K
image Привет, Хаброжители! Вы прошли обучающий курс программирования на Python или прочли несколько книг для начинающих. Что дальше? Как подняться над базовым уровнем, превратиться в крутого разработчика? «Python. Чистый код для продолжающих» — это не набор полезных советов и подсказок по написанию чистого кода. Вы узнаете о командной строке и других инструментах профессионального разработчика: средствах форматирования кода, статических анализаторах и контроле версий. Вы научитесь настраивать среду разработки, давать имена переменным и функциям, делающие код удобочитаемым, грамотно комментировать и документировать ПО, оценивать быстродействие программ и сложность алгоритмов, познакомитесь с ООП. Такие навыки поднимут вашу ценность как программиста не только в Python, но и в любом другом языке. Ни одна книга не заменит реального опыта работы и не превратит вас из новичка в профессионала. Но «Чистый код для продолжающих» проведет вас чуть дальше по этому пути: вы научитесь создавать чистый, грамотный, читабельный, легко отлаживаемый код, который можно будет назвать истинно питоническим.
Читать дальше →

Одна библиотека программных прав, чтобы править ими всеми

Reading time6 min
Views2.7K

Фраза «Всё хорошо в своё время» очень сильно подходит для того, чтобы описать, как обстоят дела у ТВ-каналов в области управления библиотекой программных прав и формирования эфирных сеток вещания. Со стороны может показаться, что некоторые каналы раскидывают по сетке фильмы и сериалы довольно рандомно, ориентируясь лишь на базовый интерес зрителя или на своё чувство прекрасного.

На самом деле, сетку прогнозируют, формируют и постоянно актуализируют специально обученные люди из программного департамента.

Читать далее

Information

Rating
Does not participate
Registered
Activity