Вторая статья из цикла Nix в пилюлях. Устанавливаем Nix в нашу систему, разбираемся и профилями и поколениями, и выясняем, что в Nix есть база данных.
Администрирование
3 способа запуска Spark в Kubernetes из Airflow
После того, как я научился запускать spark-submit с мастером в Kubernetes и даже получил ожидаемый результат, пришло время ставить мою задачу на расписание в Airflow. И тут встал вопрос, как это правильно делать. Во всемирной паутине предлагается несколько вариантов и мне было непонятно, какой из них стоит выбрать. Поэтому я попробовал некоторые из них и сейчас поделюсь полученным опытом.
И два года не прошло: вышел релиз NetBSD 10.0. Что добавили и изменили в этой ОС?
И снова с нами релиз NetBSD, на этот раз десятый. Со времени предыдущего прошло полтора года, так что обновлений, дополнений и прочих изменений достаточно много. Уже готовы загрузочные образы сразу для 57 разных архитектур и 16 семейств процессоров. Ознакомиться с релизом можно вот здесь, а пока давайте посмотрим, что там интересного. Подробности — под катом.
LINUX + FL Studio + платные VST (32+64)
Я смог запустить FL Studio и любые VST плагины в GNU Linux, при этом экранировав всё это дело от основной системы! Теперь я могу безопасно писать музыку, играть на гитаре с крутыми эффектами и крутить баст-бустед звуки друзьям в Дискорд и Телеграм. Хотите так же, но не проходя через боль и не теряя столько же времени и нервов, сколько потерял я?
Истории
Создание бита с помощью двух нейросетевых инструментов – Loudly AI + Extract stems from sample в FL Studio ver. 21.2
Здравствуйте, уважаемые читатели!
В этой статье я хотел бы привести короткий пример использования комбинации из двух нейросетевых инструментов для создания неплохой музыки.
Уверен, на эту тему сказано не мало (общих слов), однако, мне хотелось бы перейти от плоскости
новостей и рассуждений о возможностях к плоскости практической реализации идеи.
Для этого я использую ИИ-Генератор "Loudly" + метод Extract stems from sample в FL Studio 21.2
Сведения о доступности в Carbonio
Сведения о доступности пользователей - важная составляющая часть работы с календарем. Данные сведения позволяют выбирать дату и время встречи таким образом, чтобы во время ее проведения все её участники не были заняты и могли полноценно принимать в ней участие. Carbonio поддерживает отображение данных о занятости не только в веб-клиенте, но и в сторонних приложениях. В данной статье расскажем о том, как настроить отображение занятости пользователей в веб-клиенте, MS Outlook, Mozilla Thunderbird, Apple Calendar и на мобильных устройствах.
Мониторинг Apache Airflow. Оценка «прожорливости» тасок
Всем привет! Случались ли у вас ситуации, когда количество DAG’ов в вашем Airflow переваливает за 800 и увеличивается на 10-20 DAG’ов в неделю? Согласен, звучит страшно, чувствуешь себя тем героем из Subway Surfers… А теперь представьте, что эта платформа является единой точкой входа для всех аналитиков из различных команд и DAG’и пишут более 50 различных специалистов. Подкосились ноги, холодный пот и желание уйти из IT?
Не спешите паниковать, под катом я расскажу о том, как контролировать потребление ресурсов DAG’ов Airflow для предупреждения неоптимально написанных DAG’ов и борьбы с ними.
Меня зовут Давид Хоперия, я Data Engineer в департаменте данных Ozon.Fintech и моим основным инструментом является Apache Airflow, поэтому настало время углубиться в детали его работы.
В погоне за заменой Redis
21 марта Redis Ltd. объявила, что, начиная с Redis 7.4, ее «in-memory data store» будет выпускаться под несвободными лицензиями с доступным (source-available) исходным кодом. Новость малоприятная, но вполне ожидаемая. Необычно в этой ситуации обилие альтернатив для тех, кто хочет остаться со свободным ПО: есть как минимум четыре варианта замены, включая уже существующий форк под названием KeyDB и недавно анонсированный проект Valkey от Linux Foundation. Вопрос теперь в том, что предпочтут пользователи, провайдеры и создатели дистрибутивов Linux.
Сам себе экосистема. Часть 4: как я реализовал клиент Telegram на Android-смартфоне 14-летней давности?
С момента выхода первой части статьи из рубрики «сам себе экосистема» прошёл уже практически год! За это время, мы успели с вами реализовать клиенты VK и YouTube, которые работают на Android 2.2+, а также на Windows Phone 8, написать небольшую 2D-игру с нуля весом менее 1Мб, которая работает практически везде и довести существующее приложение до ума, дабы оно работало даже на смартфоне с дисплеем 240x320! Но на дворе 2024 год, люди стремительно переходят из соц. сетей в продвинутые мессенджеры и уже сложно себе представить современного человека, который не пользовался бы «телегой» или даже «вайбером» в качестве основного средства общения. Поэтому я решил реализовать клиент Telegram на смартфоне 14-летней давности на базе официальной реализации MTProto от команды Telegram — TDLib. Сегодня мы с вами: узнаем новые причины мотивации вернуть в строй смартфоны прошлых лет, напишем на C# реле-сервер, который обрабатывает пакеты MTProto и кодирует их в простой текстовый формат датасетов, который можно моментально обработать даже при нестабильном GPRS-соединении на 21-летнем Siemens C60, а также узнаем о разработке миниатюрных Android-приложений на базе «голого» API-системы, которые не тянут за собой никаких зависимостей, в том числе и AppCompat/androidx. Интересно? Тогда жду вас под катом!
Как мы переехали с Oracle на PostgreSQL в нагруженном сервисе без даунтайма
Всем привет! Я Сергей, работаю в B2B-команде Яндекс Маркета последние 3,5 года. Как уже понятно из заголовка, сейчас я вам расскажу про yet-another-миграцию с базы на базу, которая началась в середине 2021 года и заняла почти год. Получается, мемуары.
Вас ждёт рассказ о том, как мы:
- несколько месяцев чинили тесты и делали трансформер;
- десятки раз переливали данные;
- чинили баги незаметно для пользователей;
- заставили сервис работать на PostgreSQL быстрее, чем он работал на Oracle.
Шардирование (sharding). Эпизод 1: Начало и шардирование по идентификатору
Divide et impera (разделяй и властвуй) – древний принцип для управления чем-то большим и сложным.
Многие из нас программируют. Многие из нас делают системы, сложные системы. Но некоторым повезло работать в ситуации, когда объёмы по-настоящему огромны и требования кажутся невыполнимыми. Шардировние – один из излюбленных счастливчиками, которых зовут приключения, приемов.
Что-нибудь разбить на кусочки – это круто! Переходите на сторону шардирования у нас есть печеньки!
AFCOM: Бум ИИ стимулирует инновации в проектировании и строительстве ЦОД
В своем последнем отчете AFCOM (Association For Computer Operations Management) отмечают, что стремительное развитие искусственного интеллекта и широкое распространение цифровых сервисов стимулируют спрос на инновационные технологии в области проектирования ЦОД. Однако в ходе проведения исследования в AFCOM пришли к выводу, что хотя индустрия дата-центров и переживает «бум в области проектирования и строительства инфраструктуры», вместе с тем возникают и новые проблемы в таких ключевых аспектах, как энергопотребление, охлаждение и реализация целей устойчивого развития.
Команда редакции Хабра КРОК подготовила для вас перевод ключевых трендов из отчета AFCOM. Читайте под катом!
Climate Survey — оценка психологического климата
Понимание психологического климата в коллективе позволяет руководству и HR-специалистам не только выявить скрытые проблемы и конфликты, но и оценить уровень удовлетворенности работой, мотивацию и вовлеченность каждого сотрудника. Это, в свою очередь, дает возможность своевременно корректировать управленческие решения, разрабатывать программы по улучшению рабочей атмосферы и повышению эффективности труда.
Статья будет интересна и полезна широкому кругу читателей, включая руководителей компаний, HR-специалистов, менеджеров по персоналу и всех, кто стремится создать благоприятную рабочую среду. В ней мы рассмотрим, как правильно провести оценку психологического климата с помощью инструментов онлайн-сервиса Тестограф, анализировать полученные данные и использовать их для разработки эффективных стратегий управления персоналом.
Ближайшие события
Практика замены MS Office: 4 ситуации, когда это невозможно…но вполне получается
Привет! На связи Саша Безноздрев, ведущий инженер-разработчик К2Тех. Тематика замены продуктов Microsoft для корпоративных пользователей лежит сегодня на поверхности. Действительно, как быть, если вендор планирует аннулировать все подписки и отключить все, до чего сможет дотянуться, уже в ближайшее время? Но на самом деле проблему замены именно офисного пакета (то есть MS Office или MS 365, если пожелаете) мы в К2Тех прорабатываем уже очень давно. В этой статье я хочу поделиться опытом подобных проектов, рассказать о том, почему замена MS Office часто идет со скрипом, а также поднять вопросы (с ответами) — «кто виноват?», и «что теперь делать?». Под катом — примеры, когда заменить MS казалось нереальной задачей, но в итоге стало только лучше!
От HTTP к RCE. Как оставить бекдор в IIS
Всем добрый день! Меня зовут Михаил Жмайло, я пентестер в команде CICADA8 Центра инноваций МТС.
На проектах часто встречаются инстансы Internet Information Services (IIS). Это очень удобный инструмент, используемый в качестве сервера приложений. Но знаете ли вы, что даже простое развёртывание IIS может позволить злоумышленнику оставить бекдор в целевой среде?
В статье я покажу закрепление на системе, используя легитимный продукт Microsoft — Internet Information Services. Мы попрактикуемся в программировании на C++, изучим IIS Components и оставим бекдор через IIS Module.
Договоримся сразу: я рассказываю это всё не для того, чтобы вы пошли взламывать чужие системы, а чтобы вы знали, где могут оставить бекдор злоумышленники. Предупреждён — значит вооружён.
Upgradeable smart contracts. 5 способов обновить код смарт-контрактов на все случаи жизни
Рассказываем, зачем нужны обновляемые смарт-контракты, какие методы обновления существуют, а также делимся примерами кода реализации. Это может оказаться must have технологией на старте проекта, которая поможет спасти ваш код от уязвимостей и критических ошибок.
Курс «PostgreSQL для начинающих»: #4 — Анализ запросов (ч.1 — как и зачем читать планы)
Продолжаю публикацию расширенных транскриптов лекционного курса "PostgreSQL для начинающих", подготовленного мной в рамках "Школы backend-разработчика" в "Тензоре".
В этой лекции мы узнаем, что такое план выполнения запроса, как и зачем его читать (и почему это совсем непросто), и о каких проблемах с производительностью базы он может сигнализировать. Разберем, что такое Seq Scan
, Bitmap Heap Scan
, Index Scan
и почему Index Only Scan
бывает нехорош, чем отличается Materialize
от Memoize
, а Gather Merge
от "просто" Gather
.
Как обычно, для предпочитающих смотреть и слушать, а не читать - доступна видеозапись (часть 1, часть 2).
Настройка Wi-Fi «из коробки»
Поводом написания статьи были частые вопросы новичков в чате Zyxel: "Как настроить Wi-Fi с нуля на новом автономном оборудовании Zyxel, состоящего из межсетевого экрана Zyxel ATP или USG Flex со встроенным Wi-Fi контроллером и точек доступа?
Мануала и примеров в данный момент нет, поэтому исправлю этот недочёт в нынешней статье с пояснением некоторых технических нюансов, которые могут подвести неосведомлённого технаря.
Настройка "из коробки" двух SSID производилась на оборудовании:
• межсетевой экран Zyxel USG Flex 100W (автономный режим);
• PoE коммутатор Zyxel GS1200-5HP v2 (автономный режим);
• две точки доступа Zyxel WAC500 (управляемый режим).
Что нового в документации YDB за 1 квартал 2024 года
Первоначальная документация YDB, опубликованная в рамках open-source запуска в 2022 году, имела структуру, на которую в значительной степени повлиял закон Конвея. Создание проекта с открытым исходным кодом значительно повышает планку того, что ожидается от документации по технологии. В нашем случае для быстрого создания большого количества контента перед запуском потребовалась командная работа по принципу «разделяй и властвуй». На раннем этапе такое четкое владение каждым фрагментом было полезным. Однако, поскольку общий объем документации со временем продолжает расти, читателям становится всё труднее находить нужную им информацию. Чтобы решить эту проблему, мы перепроектируем структуру документации, чтобы она была ориентирована на пользователя. Таким образом, если вы являетесь командой, работающей с кластером YDB, каждый может иметь свою собственную любимую директорию в документации в соответствии со своей ролью в команде и не отвлекаться на контент, ориентированный на читателей с другой ролью.
Эта реструктуризация ещё в процессе: появился новый раздел для DevOps-инженеров, а также дополнительные разделы для администраторов баз данных, разработчиков приложений, инженеров по безопасности, аналитиков и т.д. Перемещение контента может потребовать выработки новых привычек, но в долгосрочной перспективе такая структура должна упростить навигацию. Мы создаём перенаправление со старого URL на новый при перемещении любой страницы документации, чтобы свести неудобства к минимуму.
8 вопросов про CAE: точность, скорость, железо и импортозамещение
Последние лет десять я так или иначе участвую в процессе продажи программного обеспечения для инженерных расчётов. Общаюсь с менеджерами по продажам и непосредственно с клиентами, и у меня накопился список вопросов, которые задают чаще всего и на которые зачастую не так легко ответить. А ещё, поскольку направление инженерных расчётов в АСКОН довольно молодое, в этот список я включил вопросы, касающиеся особенностей программного обеспечения, которое мы считаем в АСКОН частью комплексного PLM-решения консорциума «Развитие». Итак, поехали!
Хабы
Вклад авторов
alizar 18169.9ru_vds 8684.0amarao 5927.0marks 5856.7it_man 3106.6oldadmin 3016.0BarsMonster 2995.0aleksandrit 2889.4ntsaplin 2813.0eucariot 2797.0