*nix *

Иксам (протоколу X Window System) исполнилось 40 лет.

19 июня 1984 года Роберт Шейфлер из MIT анонсировал в своём письме в список рассылки проекта Афина (Athena) работу над новой оконной системой X. Несколькими годами позже X стал стандартом для юникс-подобных систем и продолжает быть основной оконной системой в свободных ОС и по сей день.

Путь от выпуска X1 до X11 протокол прошёл всего за три года, после чего состояние X11 стабилизировалось и со временем лишь обрастает расширениями, но не меняет своей сути. Например, в качестве расширений в своё время были представлены такие распространённые возможности, как XVideo, X Font Server, XKB, Xinerama, XCB, Multi-Pointer X, Present, DRI2, DRI3, RandR, X Input и так далее.

В 2011 году возникла инициатива по созданию протокола X12, но она не ушла дальше обсуждений, а вся деятельность по развитию графической подсистемы сосредоточилась на развитии протокола Wayland.

Готов HTML и EPUB книги об учебной операционной системе xv6.

Яндекс.Диск:

• Книга об xv6 на русском языке в формате PDF

• Книга об xv6 на русском языке в формате EPUB

• Книга об xv6 на русском языке в формате HTML

Google.Drive: https://drive.google.com/drive/folders/1Rt7hcHysWAilDn64uf-RpLACuJ39YKaR

Сообщество RISC OS Open представило выпуск ОС RISC OS 5.30, оптимизированной для создания встраиваемых решений на базе плат с процессорами ARM.

Выпуск основан на исходных текстах RISC OS, открытых в 2018 году компанией RISC OS Developments (ROD) под лицензией Apache 2.0.

Сборки RISC OS сформированы для плат Raspberry Pi, PineA64, BeagleBoard, Iyonix, PandaBoard, Wandboard, RiscPC / A7000, OMAP 5 и Titanium. Размер сборки для Raspberry Pi составляет 157 МБ.

RISC OS развивается с 1987 года и ориентирована в основном на создание специализированных встраиваемых решений на базе ARM-плат, обеспечивающих максимальную производительность. ОС не поддерживает вытесняющую многозадачность (только кооперативная) и является однопользовательской (все пользователи имеют права суперпользователя). Система состоит из ядра и модулей-надстроек, в том числе доступен модуль с простым оконным графическим интерфейсом и набор простых приложений. В графическом окружении используется кооперативная многозадачность. В качестве веб-браузера используется NetSurf.

В новом выпуске:

• в разряд стабильных переведена поддержка платформы OMAP5, формированию первого стабильного выпуска для которой ранее мешали проблемы с видеодрайвером;

• для всех платформ реализована полная поддержка ФС SparkFS с возможностью чтения и записи данных;

• обновлена редакция RISC OS для плат Raspberry Pi.

• обновлена коллекция приложений, среди прочего предложен новый выпуск браузера NetSurf 3.11;

• максимальный размер RAM-диска увеличен до 2 ГБ.

Доступ к Youtube из Китая

? С утра в Гонконге было удивительно тихо. Только начавший пробиваться сквозь утренний туман свет солнца осветил наше творение - новый сервер. Месяцы подготовки, испытаний и усталости в конце концов привели нас к этому моменту. 

Наша команда внимательно следила за каждым шагом этого процесса, зная, что от нашей работы зависит многое. Мы думали о наших соотечественниках в Китае, о том, как они хотят свободно пользоваться Youtube, Ins**, Google, Fb, VK, Telegram. И вот, благодаря нашим стараниям, это стало возможно.

Сервер в Гонконге был готов к работе. Теперь, подключившись к нашей сети на тарифе MYSTERY, они смогут наслаждаться быстрым доступом к своим любимым ресурсам. 

Но пока что этот день принадлежал нам - команде, которая сделала это возможным. Мы оглянулись на наш путь, вспоминая все трудности и преграды, которые нам пришлось преодолеть. И мы были готовы поделиться этим успехом с нашими соотечественниками.

"Пусть наступит завтра", - подумали мы, готовые объявить о новом сервере. И мы знали, что это будет день, который мы никогда не забудем.

Прямо сейчас для тарифа MYSTERY мы запустили 4 сервера AMD EPYC 9454P.

@blacktemple_spaceищите нас в ТГ

Друзья! Может кто‑то из моих читателей продаёт HTC Dream aka T‑Mobile G1? Сейчас готовлю новый материал из серии «сам себе экосистема», где пилю клиенты современных сервисов под смартфоны 14+ летней давности. В идеале, конечно, показать работоспособность клиента на самом первом Android‑смартфоне:) Тг — @monobogdan

Переход на дракона потерявшего память будет запланирован на 29/02

поддержите нас финансово если есть такая возможность - приходится мигрировать с дц на дц

https://t.me/blacktemple_space

Наш бесплатный проект связи продолжает расти.

Мы меняем протокол связи с носков на потерю памяти и будем выдавать сразу три ключа - дракона, дракона выносящего мусор и носки. Так же будет возможность менять регион. Весь проект работает в научных целях и не принуждает кого-либо что то делать или использовать, а самое главное нарушать законы РФ.
Если есть возможность поддержать, ждем Вас https://t.me/blacktemple_space

Разработчики проекта FreeBSD опубликовали план прекращения поддержки 32-разрядных платформ.

В ветке FreeBSD 15 не будут поставляться платформы armv6, i386 и powerpc, а в ветке FreeBSD 16 будет прекращена поддержка платформы armv7. Возможность сборки 32-разрядных программ и использования режима COMPAT_FREEBSD32 для запуска 32-разрядных исполняемых файлов в окружении на базе 64-разрядного ядра сохранится как минимум до конца жизненного цикла ветки FreeBSD 16.

В качестве причин прекращения поддержки 32-разрядных архитектур упоминается снижение популярности 32-разрядных установок, смещение рынка аппаратного обеспечения в сторону 64-разрядных систем, вывод из эксплуатации 32-разрядного оборудования, а также нехватка у проекта FreeBSD ресурсов разработчиков на сопровождение устаревших платформ.

Кстати когда российские компании берут проект с открытым исходным кодом и делают затем из этого продукт – это абсолютно нормально в том числе и с юридической точки зрения. Многие западные компании поступают похожим образом. Amazon AWS как известно «под» капотом использует сотни разных open-source проектов.

Однако, необходимо заметить, что когда так делают RedHat или SUSE, то зачастую инженеры из этих компаний, активно участвуют в разработке открытой и коммерческой версии продукта:

Ansible AWX\Ansible Tower

В случае же с Oracle (Ansible AWX\Oracle Linux Automation Manager) нужно заниматься вендорингом (AWX представляет из себя сложное веб-приложение состоящее из тысяч зависимостей Python и Javascript и распространяется в виде образов Docker) – необходимо все эти зависимости протестировать и упаковать в deb или rpm пакеты; и отличную документацию:

https://docs.oracle.com/en/learn/olam-install/index.html#introduction

Российским компаниям работающим на рынке системного или платформенного программного обеспечения есть куда стремится.

https://www.syssoft.ru/astralinux/astra-automation
"Astra Automation, до 500 узлов и AL SE для 64-х на базе х86-64, уровень защ. Усиленный (Воронеж), для 10 серверов, на 12 мес., с upd Тип 1 на 12 мес.
Цена: 13 500 000 ₽
В КОРЗИНУ"

Joyent это интересный пример, того что нужно делать ставку на «скучные» технологии. Это компания, которая начала строить свое собственное облако в одно время с Amazon. В Joyent в разное время работал звездный состав инженеров и технологов.  

Ryan Dahl (Node.js), Bryan Cantrill (Dtrace, Illumos, OpenSolaris), Isaac Schlueter (Npm), Brendan Gregg(Гуру eBPF) и многие другие. Они строили облако на Illumos</span>SmartOS (Solaris), ОС которая на тот период времени, благородя зонам, Dtrace и ZFS по многим параметрам превосходил Linux.

Тем ни менее не сморя на «звездный состав» Joyent в итоге проиграл AWS, а затем и Openstack. Судя по всему Triton Data Center не смог прижиться и Samsung, после приобретения Joyent. Супер инновационный стек (для своего времени) в итоге проиграл Linux и Java. Хотя многие решения (особенно Manta object storage) превосходят конкурентов.

Думаю что одна из ключевых причин, почему это произошло – CI/CD. Такие масштабные проекты как LLVM, Ceph, Openstack требуют совершенно другого подхода к CI/CT/CD.

Специально для Openstack был с нуля написан CI фреймворк вместо Jenkins. Тоже самое можно сказать про Kubernetes.

«Shift Left» это про оптимизацию всех процессов DEV, BUILD, TEST. Для таких проектов не подходят готовые решения с полки.

Можно очень хорошо «сэкономить» если собирать и тестировать Ceph, KVM и Linux примерно на 20-30% быстрей, чем это происходит сейчас.

Demo-версия CoudStack доступна по адресу - https://qa.cloudstack.cloud/simulator/#/dashboard

admin:password

OpenStack это скорее freemium нежели open-source. Идеальный вариант для вендоров и интеграторов.

Почти ничего не работает «из коробки». Просто установить, но очень «дорого» развивать и поддерживать.

Развитием проекта управляет несколько крупных компаний, а не сообщество разработчиков.

Интерес к проекту постепенно падает.

Кроме Mirantis у которых был офис в России, насколько я знаю, никто больше ничего для upstream OpenStack – не делал.

Для CoudStack нужно сделать нечто похожее на DevStack OpenStack – «shift-left» окружение и автоматизация для разработчиков, которая снизит порог вхождения в проект.

VMware – это тупик с точки зрения развития. Больше 65% компаний в Китае используют гибридное облако (в основном OpenStack). Энергетика, Финансы, Телеком и образовательная сфера в Китае почти полностью на OpenStack.

В России все еще много VMware и Microsoft – у нас было традиционно очень сильное лобби интеграторов и продажников. Потом многие из этих людей оказались на хороших должностях в корпорациях. Им не выгодных резкие изменения. В многих таких компаниях планируют мигрировать инфраструктуру из 2005 года в 2012. То есть мигрировать на технологический стек чуть-чуть менее устаревший.

Мысли:

«Будущее» инфраструктуры – это виртуальные машины, а не контейнеры.

https://katacontainers.io/collateral/ApplicationOfKataContainersInBaiduAICloud.pdf

https://www.qemu.org/docs/master/system/i386/microvm.html

Микросервисы – это антипаттерн. Для микросервисов нужны микропрограммисты.

Возможно через несколько лет ИИ освободит человечество от необходимости заниматься рутинной работой, например писать код, но в 2023 Amazon AWS это: просто Java, Linux, QEMU-KVM, внутренний тулинг и кастомное «железо» (SmartNIC, свичи, СХД); просто Сервис-ориентированная архитектура (SOA), просто несколько тысяч программистов и отлична организация труда.

Без динамической инфраструктуры (так называемое облако) не возможно представить себе широкое проникновение ИИ. Без нескольких ключевых проектов с открытым исходным кодом не возможно представить себе современную инфраструктуру on-prem и «в облаке».

Как собрать Keycloak из исходников:

export MAVEN_OPTS="-Dmaven.build.cache.enabled=true"
export MAVEN_OPTS=-Xmx512m
./mvnw clean install -Pdistribution -DskipTests -am -pl quarkus/dist dependency:resolve -V -e -DskipExamples

[INFO] Total time:  08:54 min
[INFO] Finished at: 2024-01-11T11:51:52Z

cp quarkus/dist/target/keycloak-999.0.0-SNAPSHOT.tar.gz .

Два похожих проекта Jenkins и Keycloak - монолиты на Java с длинной историей и огромным количеством возможностей. Оба проекта успешно используются на современном стеке их можно использовать в парадигме GitOps, но есть одна проблема – они оба слишком гибкие и слишком сложные для новичков. Слишком много граблей расставлено, на которые можно случайно наступить, прочитав блог-пост, о том как нужно было использовать Jenkins или Keycloak в 2016.

• Сложные Bash-скрипты и сценарии Make - это DevOps

• Сборочный конвейер для под разные платформы и архитектуры - это DevOps

• Автоматизированное тестирование - это конечно DevOps

Зависимость от какого-то определенного коммерческого продукта, неважно будет CircleCI, ArgoCD или Okrta© – это не DevOps. Это корпоративные продажи и интеграция – это другое направление.

Как AT&T мигрирует на CloudStack с помощью FreeIPA и MaaS:

https://www.youtube.com/watch?v=Bc1a8YHdEq4

Начиная с версии 4.14 CloudStack поддерживает импорт виртуальных машин напрямую из VMware vSphere.

Вышел проект Maestro по разработке на Rust легковесного Unix-подобного ядра, реализующего подмножество системных вызовов ядра Linux, достаточное для создания типовых рабочих окружений. Проект был создан в 2018 году и вначале использовал язык C, но в 2020 году был полностью перезапущен с нуля с учётом накопленного опыта и перешёл на Rust для снижения вероятности совершения ошибок, возникающих при работе с памятью.

Код проекта распространяется под лицензией MIT. Помимо ядра проектом на языке Rust также развиваются X11-сервер, пакетный менеджер, загрузчик, инсталлятор, наборы утилит и другие компоненты, необходимые для построения операционной системы.

Ядро на Rust имеет монолитную архитектуру и пока поддерживает только системы x86 в 32-разрядном режиме. Кодовая база ядра насчитывает 48.8 тыс. строк кода (для сравнения в ядре Linux - 33 млн. строк кода). Возможен запуск в QEMU, VirtualBox или поверх оборудования. На текущем этапе развития в Maestro реализован 31% (135 из 437) системных вызовов Linux, чего достаточно для загрузки консольного окружения на базе bash и стандартной С-библиотеки Musl. В окружении на базе Maestro также могут выполняться некоторые утилиты из набора GNU coreutils, такие как ls, cat, mkdir, rm, rmdir, uname и whoami.

Источник: OpenNET.

На днях с коллегами довелось восстанавливать FC коммутатор Brocade. В открытом доступе были скрипты, которые формировали из образа прошивки образ диска и записывали образ на Compact Flash. К сожалению, они были из 90-х и частично не работали. Мы изучили алгоритмы тех мест, которые не работали и исправили скрипты. Обновленный форк с пояснениями(P.S.) можете найти на github.

❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_7

?Вопрос_7: Какие есть разновидности Adam optimization и в чем их разница ?

✔️Ответ:

1. AdamW вводит дополнительное слагаемое в обновление параметров модели для уменьшения влияния больших значений параметров. Это помогает справиться с проблемой увеличения значений параметров во время обучения нейронных сетей, что может приводить к переобучению. Дополнительное слагаемое регуляризует обновление параметров и способствует лучшей обобщающей способности модели;

2. Nadam (Nesterov-accelerated Adaptive Moment Estimation) является вариацией алгоритма Adam с коррекцией Nesterov Momentum. Она использует модификацию алгоритма Momentum для вычисления градиентов в моменты времени, отличные от текущего;

3. AMSGrad (Adaptive Moment Estimation with Variance Correction) вводит исправление для оценки второго момента градиентов. Оно предотвращает возможное увеличение оценки второго момента в сравнении с алгоритмом RMSprop;

4. AdaBelief использует адаптивные скорректированные оценки моментов и вводит дополнительные гиперпараметры для контроля скорости обучения и сглаживания оценок моментов;

5. RAdam (Rectified Adam) вводит коррекцию для оценки первого момента градиентов, чтобы устранить проблему смещения оценки первого момента на начальных итерациях обучения. RAdam также включает в себя масштабирование скорости обучения на начальных итерациях для стабилизации процесса обучения.

   https://t.me/DenoiseLAB

Краткий справочник по «всем-всем» командам Linux "перевалил через две 1000":
- теперь в нем более 1000 команд
- и его добавили более 1000 раз в закладки

1005 команд (02/11/2023):

? 672 - пользовательские
⚫ 280 - админские
? 52 - встроенные в bash
☑️ 61 - TUI-приложение
✅ 226 - GUI-приложение
➡️ 34 - команды-фильтры
? 171 - дополнительно устанавливаемое
? 63 - прикладное ПО
? 40 - серверные службы
? 101 - мониторинг
?️ 105 - конфигуратор
? 25 - устаревающее

? 113 - дистрибутиво-специфичное:
65 - AstraLinux
24 - ALT
16 - Debian
15 - RedHat
8 - SUSE
7 - RedOS
7 - другие (Ubuntu, Kali, Arch, Mageia, ...)

Сделал разделы по каждой букве - все ссылки: ><(6) A(42) B(33) C(52) D(44) E(24) F(92) G(53) H(23) I(35) J(8) K(15) L(62) M(57) N(37) O(32) P(68) Q(14) R(35) S(107) T(40) U(29) V(29) W(22) X(28) Y(8) Z(10)

Больше всего команд начинается с буквы: s(107), f(92), p(68), l(62), m(57), g(53), c(52).
Меньше всего команд начинается с буквы: j(8), y(8), z(10), q(14), k(15).

Визуализация и интерактивное описание таблиц iptables

Часто бывает, что по прошествии времени, знания подзабываются. В лучшем случае открываешь любимый мануал и быстро всё вспоминаешь. В худшем, приходится заново погружаться в казалось бы уже знакомую тему.

Всегда считал, что визуализация изучаемой информации позволяет быстрее её понять.

Для этих целей было сделано интерактивное описание таблиц iptables, подсказки по цепочкам, и визуализация прохождения трафика, в зависимости от его назначения (транзитный, локальный).

В описание вошли только, наиболее популярные действия и примеры.

Сама схема состоит всего из 3 файлов:

• iptables.html — разметка (html + js)

• styles.css — стили

• iptables.svg — непосредственно схема и описание таблиц

Её легко разместить на своём веб-сервере, либо если нет желания этого делать, но есть python - можно использовать его модуль http, и запустить локально (localhost:8000):

python3 -m http.server

Исходный код на github

Буду рад обратной связи и пожеланиям по улучшению!

Так получилось, что я мигрирую с одного дистрибутива на другой в среднем каждые 5 лет.

Думаю, не нужно объяснять, что за красные стрелки внизу. Но в одном месте я слукавил - на самом деле с Ubuntu меня сковырнул не Unity (хотя если бы я просидел ещё пару лет, то причиной был бы именно он) - мне не понравился строгий и холодный дизайн "десятки", да и хотелось двигаться к корням.

Debian я люблю и по сей день и это мой основной дистрибутив на своих серверах, но для Desktop'а на тот момент стало не хватать современного ПО. Собирать было муторно, а Flatpak'и тогда ещё не изобрели + всё громче гремел Arch.

Надо сказать, что гремел он вполне заслуженно. KISS, который он пропагандировал, лучшая WIKI, самые свежие версии ПО, самая обширная библиотека неофициального ПО - AUR. Дистрибутив был во многих отношениях самый-самый и я сразу же влюбился! А простота установки в отсутствие привычного инсталлятора придавали Arch'у шарма.

Шло время. Я долго не мог до конца понять криков вокруг systemd, который конечно же моментально оказался в Arch'е, но со временем стал замечать как cron превратился в timerd, ntp - в timesyncd, приплыл systemd-resolved. Когда я обнаружил ненужный мне homed, а потом прочитал что это - это стало последней каплей. Мне надоело отлавливать, что нового переизобретут в systemd, мне не хочется дополнительных дыр, не хочется бестолково-новых сервисов и синтаксиса. И теперь я рад пересесть на очень молодой и лёгкий дистрибутив Void Linux. Пятилетка пошла..

Расскажите ваш путь!