Разработка под Linux *

Патчи драйвера Windows NT Sync Driver для ядра Linux значительно улучшают производительность многих старых игр через Wine (от 21% в Metro 2033 до 678% в DiRT 3).

Разработчики проекта пояснили, что драйвер NTSYNC предоставляет /dev/ntsync как новое символьное устройство для реализации некоторых примитивов синхронизации Windows NT непосредственно в ядре Linux. В свою очередь, это повышает производительность некоторых игр/приложений Windows, работающих в Linux через Wine, а в некоторых случаях получается выявить даже более высокую производительность, чем ожидали разработчики.

«Проект Wine предоставляет доступ к Windows API в пользовательском пространстве. Одна конкретная часть этого API, а именно примитивы синхронизации NT, исторически реализовывалась через RPC для выделенного процесса ядра. Однако более поздние приложения используют эти API более интенсивно, и накладные расходы RPC стали узким местом. API-интерфейсы синхронизации NT слишком сложны, чтобы их можно было реализовать поверх существующих примитивов без ущерба для корректности. Некоторые операции, такие как NtPulseEvent() или режим "ожидания всех" NtWaitForMultipleObjects(), требуют прямого контроля над базовой очередью ожидания, и реализация очереди ожидания, достаточно устойчивой для Wine, в пользовательском пространстве невозможна. Таким образом, предлагаемый драйвер реализует проблемные интерфейсы непосредственно в ядре Linux«, — пояснили разработчики проекта

Вышел релиз SystemRescue 11.0. Это проект специализированного Live‑дистрибутива на основе Arch Linux, предназначенного для восстановления системы после сбоя. В качестве графического окружения в SystemRescue используется Xfce. Размер iso‑образа дистрибутива проекта составляет 853 МБ (amd64).

Изменения в версии SystemRescue 11.0:

• ядро Linux обновлено до ветки 6.6;

• в файл конфигурации добавлен параметр ssh_known_hosts для указания открытых ключей заслуживающих доверия хостов для SSH;

• обновлена конфигурация пользовательской оболочки Xfce (включён хранитель экрана, добавлен апплет контроля заряда аккумулятора);

• утилита dstat заменена на dool (форк dstat);

• добавлен пакет bcachefs-tools с утилитами для ФС Bcachefs;

• добавлен пакет blocksync-fast с утилитой для синхронизации и резервного копирования блочных устройств;

• добавлен пакет sleuthkit для инспектирования образов файловой системы;

• добавлен пакет timeshift с одноимённой утилитой резервного копирования, использующей rsync с установкой жёстких ссылок или снапшоты Btrfs для реализации функциональности, похожей на System Restore в Windows и Time Machine в macOS.

Источник: OpenNET.

Разработчики из AMD опубликовали на GitHub исходные тексты кода драйвера для карт с движком на базе архитектуры XDNA. Проект предоставляет средства для ускорения вычислений, связанные с машинным обучением и обработкой сигналов (NPU, Neural Processing Unit).

Решения NPU на базе архитектуры XDNA поставляется в сериях 7040 и 8040 процессоров AMD Ryzen, ускорителях AMD Alveo V70 и SoC AMD Versal. Код проекта написан на языках С и С++, и открыт под лицензией GPLv2. Для работы драйвера требуется ядро Linux 6.7 с поддержкой IOMMU SVA (Shared Virtual Addressing). Программное обеспечение Xilinx XRT также необходимо построить для работы с этим драйвером ядра.

Опубликованный AMD исходный код включается в себя драйвер для ядра Linux (amdxdna.ko) и runtime-библиотеку (плагин xrt_plugin*-amdxdna) для использования интерфейса XRT (Xilinx Runtime Library), позволяющего обращаться из приложений к обработчикам (kernel), выполняемым на стороне аппаратного ускорителя. XRT позволяет задействовать NPU AMD в приложениях на обычных языках программирования.

Проект предоставляет различные уровни абстракции, от низкоуровневых API для C/C++ до высокоуровневых привязок для Python и компонентов для интеграции с TensorFlow, PyTorch и Caffe.

Источник: OpenNET, Phoronix.

28 января 2024 года состоялся релиз открытой утилиты TuxClocker 1.5 для мониторинга параметров и разгона видеокарт Nvidia и AMD на ПК с ОС Linux. Исходный код проекта выложен на GitHub под лицензией GNU General Public License v3.0.

Версия TuxClocker 1.5 поддерживает управление скоростью вращения вентиляторов видеокарт серии AMD Radeon RX 7000. В дополнение к поддержке управления скоростью вращения вентиляторов AMD RDNA3 проект теперь позволяет проводить изменение настроек частот GPU Nvidia за пределами сред X.Org с помощью непосредственного использования NVML API.

В выпуске TuxClocker 1.5 исправлены ранее выявленные неправильные показания энергопотребления для некоторых GPU, а также внесены различные корректировки кода и улучшения в интерфейсе.

Проект TuxClocker развивается несколько лет. Для пользователей он выглядит как простой и удобный графический интерфейс, который работает через API D‑Bus с GPU Nvidia. а также с GPU AMD с помощью драйвера ядра AMDGPU с открытым исходным кодом.

Первая стабильная версия открытой утилиты TuxClocker 1.0 вышла в сентябре 2023 года. Основная новая опция TuxClocker 1.0 — предоставление API‑интерфейса D‑Bus, позволяющего задействовать возможности TuxClocker в более универсальных сценариях использования, например, в стороннем программном обеспечении.

Разработчики каталога Flathub, позиционируемого как независимая от отдельных поставщиков площадка для распространения пакетов в формате Flatpak, объявили о достижении отметки в миллион активных пользователей.

В настоящее время в каталоге представлено более 2400 приложений, из которых более 850 получили статус верифицированных, то есть сопровождаемых и поддерживаемых изначальными авторами и разработчиками. Общее число загрузок пакетов оценено командой Flathub в 1,6 миллиарда раз.

При подсчёте активных пользователей в Flathub вместо сбора метрик с систем пользователей специалисты платформы задействовали анализ статистики, доступной только на стороне инфраструктуры Flathub. Для прогнозирования числа активных клиентов использовалась привязка к числу установок runtime-наборов, предоставляющих типовое окружения для изолированного запуска приложений. В частности, для определения числа активных установок разработчиками Flathub было оценено число загрузок runtime с компонентами FreeDesktop и его обновлений до последней версии.

Источники: OpenNET, 9to5Linux.

Команда разработчиков MC после пяти месяцев разработки опубликовала выпуск консольного файлового менеджера Midnight Commander 4.8.31. Исходный код проекта выложен на GitHub под лицензией GPLv3+.

Список основных изменений проекта:

• в VFS добавлена поддержка формата сжатия LZO/LZOP;

• виртуальная ФС uc1541, предоставляющая доступ к дисковым образам Commodore VIC20/C64/C128, обновлена до версии 3.6;

• реализация виртуальной ФС s3+, используемая для доступа к хранилищу Amazon AWS S3, переведена на Python 3;

• в VFS прекращена поддержка сервера и протокола FISH;

• повышены требования к версии GLib, для работы теперь требуется как минимум выпуск 2.32.0;

• в темах оформления добавлена поддержка назначения цветов для выделения в редакторе непечатных символов;

• на платформе FreeBSD в драйвере ext2fs добавлена поддержка атрибутов файлов;

• решена проблема с выставлением некорректного времени изменения после возобновления прерванной операции копирования;

• в редакторе налажено удаление выделенных столбцов;

• в Tar VFS решена проблема с обработкой жёстких ссылок;

• в Shell VFS решена проблема с именами файлов, включающими кириллические или диакритические символы.

Источник: OpenNET.

Состоялся релиз мажорной версии библиотеки GLM 1.0.0 (OpenGL Mathematics).

OpenGL Mathematics (GLM) — это header only математическая библиотека C++, предназначенная для графического ПО, основанная на спецификациях языка шейдинга OpenGL (GLSL).

GLM предоставляет классы и функции, разработанные и реализованные с использованием тех же соглашений об именах и функциональности, что и GLSL, так что любой, кто знает GLSL и С++, может использовать GLM.

Проект GLM не ограничивается функциями GLSL. Системные расширения проекта основаны на extension conventions GLSL и предоставляют расширенные возможности, включая матричные преобразования, кватернионы, упаковку данных, случайные числа, шум и так далее.

Разработчики пояснили, что библиотека стабильно работает с OpenGL, но также обеспечивает совместимость с другими сторонними библиотеками и SDK. Это хороший кандидат для программного рендеринга (трассировка лучей/растеризация), обработки изображений, физического моделирования и любого контекста разработки, требующего простой и удобной математической библиотеки.

GLM написан на C++98, но может использовать преимущества C++11, если он поддерживается компилятором. Это независимая от платформы библиотека, независимая и официально поддерживающая следующие компиляторы:

• GCC 4.7 and higher;

• Intel C++ Compose XE 2013 and higher;

• Clang 3.4 and higher;

• Apple Clang 6.0 and higher;

• Visual C++ 2013 and higher;

• CUDA 9.0 and higher (experimental);

• Any C++11 compiler.

Вышел релиз дистрибутива Parrot 6.0 на пакетной базе Debian и включающий в себя подборку инструментов для проверки защищённости систем, проведения криминалистического анализа и обратного инжиниринга. Для загрузки предложены несколько iso-образов с окружением MATE, предназначенных для повседневного использования, тестирования безопасности, установки на платах Raspberry Pi и создания специализированных установок, например, для применения в облачных окружениях.

Проект Parrot позиционируется как переносная лаборатория с окружением для экспертов по безопасности и криминалистов, основное внимание в которой уделяется средствам для проверки облачных систем и устройств интернета вещей. В состав проекта включены криптографические инструменты и программы обеспечения защищённого выхода в сеть, в том числе предлагаются TOR, I2P, anonsurf, gpg, tccf, zulucrypt, veracrypt, truecrypt и luks.

В новой версии:

• осуществлён переход на пакетную базу Debian 12;

• ядро Linux обновлено до 6.5 (c 6.0) с патчами для расширения возможностей сниффинга, подстановки сетевых пакетов и поддержки технологий, связанных с информационной безопасностью;

• в состав включены бэкпортированные для ядра 6.5 модули DKMS с дополнительными драйверами для беспроводных карт, обновлены драйверы Nvidia;

• обновлены многие специализированные утилиты;

• по умолчанию задействован Python 3.11;

• улучшен графический интерфейс.

• из Debian Unstable перенесена свежая версия VirtualBox;

• добавлена поддержка платы Raspberry Pi 5.

  

  Источник: OpenNET.

Кстати когда российские компании берут проект с открытым исходным кодом и делают затем из этого продукт – это абсолютно нормально в том числе и с юридической точки зрения. Многие западные компании поступают похожим образом. Amazon AWS как известно «под» капотом использует сотни разных open-source проектов.

Однако, необходимо заметить, что когда так делают RedHat или SUSE, то зачастую инженеры из этих компаний, активно участвуют в разработке открытой и коммерческой версии продукта:

Ansible AWX\Ansible Tower

В случае же с Oracle (Ansible AWX\Oracle Linux Automation Manager) нужно заниматься вендорингом (AWX представляет из себя сложное веб-приложение состоящее из тысяч зависимостей Python и Javascript и распространяется в виде образов Docker) – необходимо все эти зависимости протестировать и упаковать в deb или rpm пакеты; и отличную документацию:

https://docs.oracle.com/en/learn/olam-install/index.html#introduction

Российским компаниям работающим на рынке системного или платформенного программного обеспечения есть куда стремится.

https://www.syssoft.ru/astralinux/astra-automation
"Astra Automation, до 500 узлов и AL SE для 64-х на базе х86-64, уровень защ. Усиленный (Воронеж), для 10 серверов, на 12 мес., с upd Тип 1 на 12 мес.
Цена: 13 500 000 ₽
В КОРЗИНУ"

Откуда берётся мусор?

Рассмотрим следующую программу:

#include <stdio.h>
int main () {
  int a [100];
  int i;
  for (i=0; i<100; i++)
    printf ("%d ", a[i]);
  return 0;
}

При компиляции без оптимизации и вызове в Linux она выдаст некоторые числа, являющиеся мусорным содержимым памяти. Кто-нибудь в состоянии объяснить, откуда конкретно они берутся, и почему каждый раз разные при последовательных запусках программы?

Казалось бы, если это просто содержимое адресов, на которые приходится соответствующая секция исполняемого модуля, то оно должно бы сохраняться от запуска к запуску?

Объяснение в стиле “потому что виртуальные адреса мапируются на реальные рандомно” я и сам могу дать, хочется более глубокого понимания. Компьютер – вещь детерминированная, в нём случайность – это не познанная закономерность.

Upd: ответ дан уважаемым @alexvangog в закреплённом комментарии.

Мейнтейнер блочной подсистемы в ядре Linux, а также создатель io_uring и планировщиков ввода/вывода CFQ, Deadline и Noop Йенс Аксбо (Jens Axboe) продолжил свои эксперименты с оптимизацией ввода/вывода в ядре Linux. Он занялся оптимизацией работы планировщиков ввода/вывода BFQ и mq-deadline, являющиеся узким местом как минимум в случае скоростных накопителей NVMe.

Как показало изучение ситуации, одной из ключевых причин неоптимальной производительности подсистем планировщиков ввода/вывода стали проблемы с конкурирующими блокировками (lock contention, попытка получить блокировку, удерживаемую другим потоком). Благодаря мерам, нацеленным на снижение соперничества при обработке блокировок, таким как сериализация диспетчеризации и вставки запросов, скорость работы планировщиков выросла в ряде ситуаций в разы (при пересчёте в IOPS в рамках тестов).

При тестировании планировщика BFQ утилитой fio производительность выросла с 567К до 1551К операций ввода/вывода в секунду, а конкуренция блокировок снизилась с 96% до 30%. В случае с mq-deadline производительность после применения предложенных Аксбо патчей при использовании NVMe-накопителя увеличилась с 1070К до 2560K операций ввода/вывода в секунду (IOPS), а конкуренция блокировок снизилась с 94% до 23%.

Ранее Аксбо сообщил, что смог увеличить число операций ввода/вывода в секунду (IOPS) на 6% (или даже больше для полновесных конфигураций ядер Linux), потратив всего 5 минут на внесение правок в код проекта.

Вышел релиз дистрибутива DietPi 9.0, предназначенного для использования на одноплатных ПК на базе архитектур ARM и RISC-V, включая Raspberry Pi, Orange Pi, NanoPi, BananaPi, BeagleBone Black, Rock64, Rock Pi, Quartz64, Pine64, Asus Tinker, Odroid и VisionFive 2.

Дистрибутив построен на пакетной базе Debian и доступен в сборках для более, чем 50 плат. DietPi может применяться для создания компактных окружений для виртуальных машин и обычных ПК на базе архитектуры x86_64. Сборки для плат отличаются компактностью (в среднем 130 МБ) и занимают меньше места на накопителе, по сравнению с Raspberry Pi OS и Armbian.

DietPi оптимизирован для минимального потребления ресурсов и развивает несколько собственных утилит: интерфейс для установки приложений DietPi-Software, конфигуратор DietPi-Config, систему резервного копирования DietPi-Backup, механизм ведения временных логов DietPi-Ramlog (поддерживается rsyslog), интерфейс для установки приоритетов выполнения процессов DietPi-Services и доставку обновлений DietPi-Update. Утилиты предоставляют консольный интерфейс с меню и диалогами на базе whiptail. Также поддерживается режим полной автоматизации установки, позволяющий провести инсталляцию на платы без участия пользователя.

В DietPi 9.0 прекращена поддержка сборок на базе Debian 10 и обновлены сборки на основе репозиториев Debian 11 и Debian 12.

Источник: OpenNET.

Вышел проект Bun Shell для запуска кроссплатформенных скриптов на JavaScript и TypeScript.

Оболочки для bash или sh существуют уже несколько десятилетий. Но они плохо работают в JavaScript. macOS (zsh), Linux (bash) и Windows (cmd) имеют немного разные оболочки с разным синтаксисом и разными командами. Команды, доступные на каждой платформе в итоге там разные, также одна и та же команда может иметь разные флаги при запуске и поведение после активации.

Bun Shell — это новый экспериментальный встроенный язык и интерпретатор Bun, который позволяет запускать кроссплатформенные скрипты на JavaScript и TypeScript. Проект работает на Windows, macOS и Linux. Там уже реализованы множество общих команд и функций, таких как подстановка, переменные среды, перенаправление, конвейерная обработка и многое другое.

Проект GNU опубликовал релиз открытого текстового редактора GNU Emacs 29.2.

Вплоть до выпуска GNU Emacs 24.5 проект развивался под личным руководством Ричарда Столлмана, который передал пост лидера проекта Джону Вигли (John Wiegley) осенью 2015 года.

Исходный код проекта написан на языках C и Lisp и распространяется под лицензией GPLv3.

В новом выпуске на платформе GNU/Linux по умолчанию Emacs выставлен по умолчанию в качестве обработчика схемы URI org-protocol. Режим org позволяет быстро сохранять закладки, заметки и ссылки, используя команду emacsclient, например для сохранения ссылки URL с заголовком можно выполнить emacsclient "org-protocol://store-link?url=URL&title=TITLE". Кроме того, в новой версии редактора предложена новая опция tramp-show-ad-hoc-proxies, при помощи которой можно включить отображение внешних имён файлов вместо ярлыков на них.

Источник: OpenNET.

Создатель ReiserFS Ханс Райзер (Hans Reiser) в письмах из тюрьмы принёс сообществу Open Source свои глубокие извинения за социальные ошибки и прокомментировал прекращение поддержки файловой системы.

Райзер в настоящее время находится в тюрьме в Калифорнии за убийство своей жены в 2006 году. Он подключился к электронному списку рассылки писем разработчиков ядра Linux посредством обмена физическими письмами из тюрьмы.

Разработчик Фредрик Р. Бреннан написал письмо Райзеру, когда тот находился в тюрьме в Калифорнии, и недавно получил ответы на первое письмо и на несколько последующих. Письма от Райзера было разрешено расшифровать и публично распространить. Судя по оригинальным изображениям письма и всей сопутствующей информации, оно действительно кажется подлинным письмом от автора ReiserFS. Райзер в своих письмах подробно описал свои социальные ошибки, историю ReiserFS, осуждение ReiserFS некоторыми представителями сообщества и надежды, которые он возлагал на Reiser4.

Это очень длинная история, но для тех, кому интересно, её можно найти в списке рассылки ядра Linux, а оригиналы писем между Бреннаном и Райзером также выложены в открытый доступ.

18 января 2024 года Линус Торвальдс вернулся в сеть спустя пять суток без электричества у себя дома в Портленде, штат Орегон.

13 января 2024 года Линус Торвальдс объявил, что ему пришлось отложить текущие задачи по разработке ядра Linux 6.8 из-за сильного зимнего шторма, обрушившегося на США, включая Портленд, штат Орегон. У Торвальдса пропало электричество и доступ в Интернет.

В последнем сообщении Линуса Торвальдса, говорилось, что его пятый день «отпуска» продолжается, но коммунальная компания надеется восстановить подачу электроэнергии к сегодняшнему вечеру, хотя вчера она давала аналогичное обещание, но это не сработало.

В итоге сегодня после пяти суток перерыва Торвальдс всё же смог продолжить работу над ядром Linux 6.8 и начал проявлять большую активность в Linux Git.

Разработчик «Базальт СПО» создал приложение для запуска популярных видеоигр на операционных системах Linux.

Благодаря приложению PortProton большинство популярных видеоигр, созданных для Windows, легко и удобно запускать на компьютерах с операционными системами «Альт».

PortProton создает и автоматически настраивает префикс — каталог, в котором имитируется рабочая среда Windows и запускаются видеоигры.

Список установки содержит следующие популярные онлайн-игры:
?«Мир танков»;
?«Мир кораблей»;
?League of Legends;
?Genshin Impact.

Вручную можно инсталлировать любые другие игры, например:
?Starfield;
?Baldur's Gate 3;
?Resident Evil 4;
?Cyberpunk 2077.

Инструкция по установке PortProton. Дополнительная информация по созданию проекта PortProton опубликована в этой статье на Хабре.

В списке рассылки разработчиков ядра Linux возобновилось начатое шесть лет назад обсуждение перспектив использования современного кода на C++ в ядре Linux, помимо нынешнего применения языка С, ассемблерных вставок и продвижения языка Rust.

Изначально тема разработки ядра на C++ была поднята в 2018 году инженером из Red Hat, который первого апреля в качестве шутки опубликовал набор из 45 патчей для использования шаблонов, наследуемых классов и перегрузки функций C++ в коде ядра.

С инициативой продолжения обсуждения выступил Ганс Питер Анвин (Hans Peter Anvin), один из ключевых разработчиков ядра в компании Intel и создатель таких проектов, как syslinux, klibc и LANANA, разработавший для ядра Linux систему автомонтирования, реализацию RAID 6, драйвер CPUID и x32 ABI. По мнению Анвина, который является автором многочисленных макросов и ассемблерных вставок в ядре, с 1999 года языки С и С++ значительно продвинулись вперёд в своём развитии, а язык С++ стал лучше подходить для разработки ядра операционных систем, чем С.

Анвин считает, что C++ более предпочтителен, чем Rust, так как последний существенно отличается от языка С по синтаксису, непривычен для текущих разработчиков ядра и не позволяет постепенно переписывать код (в случае языка С++ можно по частям переводить код с языка C, так как С-код можно компилировать как C++). В поддержку использования С++ в ядре также выступили Иржи Слаби (Jiri Slaby) из компании SUSE и Дэвид Хауэллс (David Howells) из Red Hat.

Источник: OpenNET.

Рабочая группа Rust Embedded, созданная для разработки технологий повышения качества и безопасности приложений, прошивок и драйверов к встраиваемым системам, представила первый выпуск фреймворка embedded-hal, предоставляющего набор программных интерфейсов для взаимодействия с периферией, обычно применяемой с микроконтроллерами (например, предоставляются типажи для работы с GPIO, UART, SPI и I2C). Наработки проекта написаны на языке Rust и распространяются под лицензией Apache 2.0.

Пакет подходит для написания на языке Rust универсальных драйверов для различных датчиков, экранов, приводов и сетевых адаптеров, не привязанных к конкретным моделям микроконтроллеров. Созданный на базе embedded_hal драйвер можно использовать с любыми микроконтроллерами, для которых в пакете предоставляется HAL-прослойка. Пакет также предоставляет гибкую встроенную систему обработки ошибок — для каждого типа ошибок предусмотрено наличие типажа Error, поддерживающего средства для отладки и отслеживания причин появления ошибок.

Embedded‑hal 1.0 помечен как первый стабильный выпуск проекта, который можно использовать для создания рабочих драйверов.

Источник: OpenNET.

11 января 2024 года в состав кодовой базы, на основе которой формируется ядро Linux 6.8, мейнтейнерами проекта был принят набор изменений, значительно повышающих производительность TCP-стека. В случаях обработки множества параллельных TCP-соединений ускорение может достигать 40%.

Улучшение стало возможно, потому что переменные в структурах сетевого стека (socks, netdev, netns, mibs) располагались по мере добавления, что было определено историческими причинами. Пересмотр размещения переменных в структурах с целью повышения эффективности работы с процессорным кэшем (минимизации использование строк кэша на стадии передачи данных) и оптимизации доступа к переменным привёл к заметному увеличению скорости работы TCP, особенно в случае большого числа одновременных TCP соединений.

Источник: OpenNET.