Python *

Хорошо ли вы разбираетесь в Python?

В Академии Selectel есть небольшой тест на владение синтаксисом Python. Он позволит оценить свои знания и отыскать пробелы. Вопросы подобраны для тех, кто уже не пугается None, но продолжает разбираться, что происходит «под капотом». Бонусом — подборка полезных материалов для изучения Python!

Пройти тест →

Бесплатные курсы Route 256 от Ozon Tech для QA-инженеров

Route 256 — это 2 месяца онлайн-вебинаров и воркшопов от команды экспертов Ozon Tech. Программа состоит преимущественно из практики на базе реальных задач бигтеха, что помогает студентам получить уверенный опыт в автотестировании на Python.

Этим летом Route 256 открывает набор в направлении QA Automation на Python для middle- и junior-специалистов. Занятия проходят вечером, поэтому курсы удобно сочетать и с учёбой, и с работой.

3 августа состоится отборочный контест для поступления на курс. Он будет включать алгоритмические задачи и тест. Ученики middle-направления по окончании курса могут получить оффер в команду, а junior-участники — приглашение на оплачиваемую стажировку.

Если вы хотите получить знания команды разработки ведущего e-com России, заявку стоит подать уже сейчас.

• Регистрация для уровня middle

• Регистрация для уровня junior

Заметки с ИИ-котом v. 1.05, для Windows

Скачать. Бесплатно, установка не требуется.
Кому нужно видеть код приложения - смотрите.
Может ругаться Виндовс антивирус, потому что программа без лицензии. Если кто может с ней помочь - прошу написать.
Ни на что не претендую, если больше нравится Обсидиан - рад за вас, но не искренне.

Новое в "Заметках с котом":

- все ИИ-функции по отдельным заметкам теперь открываются при нажатии по коробке.

- добавлены функции для пакетной обработки содержимого папок (волшебная палочка при наведении на папку)

- теперь можно быстро открывать и большие файлы.

- можно менять цвета папок в Избранном. Рекомендую добавить в Избранное хотя бы одну папку.

Исправлены ошибки:

• неправильное распознавание кодировки. Оставил только utf-8 и windows-1251 - повысил точность их распознавания.

• сбой пути при сохранении новой заметки

• изредка ии-функции выдают ошибки, теперь их видно (раньше были скрыты)

Собираем питонистов на митапе ЮMoney!

3 июля, в четверг, в 19:00 (мск) — приходите на митап про Python в Санкт-Петербурге или подключайтесь онлайн.

О чём будут доклады?

🟣 Это не те метрики, что вы ищете. Разберёмся, почему стандартного экспортёра может не хватать, и как написать свой на Python.
🟣 Кодогенерация: как компьютеры учатся писать код за нас. Поговорим про прошлое, настоящее и будущее кодогенерации в разных языках программирования.
🟣 Ruff: как не положить всё, переходя на новые правила? Поговорим про линтеры, форматтеры и подводные камни при переходе на Ruff.
🟣 Секреты успеха змеи в мире пауков. Обсудим, как мы применяли scrapy и playwright в ЮMoney, чтобы создать сервис модерации сайтов.

Зарегистрируйтесь, чтобы принять участие. Все подробности — на сайте митапа.🔥

Нечеткое ассамблирование нейросетей для классификации на Python

Для ансамблирования нейросетей обычно используют простые методы, например, в задаче классификации, выбирают класс, за который проголосовало большинство моделей. Но что если рассматривать моделей, как экспертов, для которых мы можем оценить уровень точности? В этом посте я расскажу о своем подходе Fuzzy Vote, который использует нечеткую логику для объединения предсказаний моделей. Метод написан с помощью библиотеки fuzzyops, доступной через pypi. В библиотеке реализованы различные методы работы с нечеткими числами, поддерживаются вычисления на CUDA.

Идея метода

Каждая модель рассматривается как эксперт, который предсказывает вероятность принадлежности к классу и имеет определенную степень доверия. Эту информацию можно отразить через нечеткое число, в котором центр - это вероятность, ширина - неопределенность и высота - степень доверия.

Далее каждая модель "голосует" нечетким числом, числа агрегируются, и полученное число дефаззифицируется в одно значение. Полученное четкое число используется для классификации.

Генерация треугольного и гауссового нечеткого числа:

from fuzzyops.fuzzy_numbers import Domain, FuzzyNumber

def build_triangular(domain, centre, width, height):
    a, b, c = centre - width/2, centre, centre + width/2
    fn = domain.create_number("triangular", a, b, c)
    return fn * height

def build_gauss(domain, centre, sigma, height):
    fn = domain.create_number("gauss", sigma, centre)
    return fn * height

Агрегация одного примера:

def aggregate_sample(probs, accs, mf_type="gauss", scale_w=1.0, gamma=1.0, defuzz="cgrav"):
    domain = Domain((0.0, 1.0, 0.005), method="minimax")
    fnums = []

    for p, acc in zip(probs, accs):
        height = acc ** gamma
        width = max(0.02, (1.0 - acc) * scale_w)
        if mf_type == "tri":
            fnums.append(build_triangular(domain, p, width, height))
        else:
            sigma = width / 3.0
            fnums.append(build_gauss(domain, p, sigma, height))

    agg = sum(fnums[1:], start=fnums[0])
    return float(agg.defuzz(defuzz))

Агрегация всей выборки и оценка:

import numpy as np
from sklearn.metrics import roc_auc_score

def evaluate_fuzzy(probs_mat, y_true, acc_vec, **kwargs):
    scores = np.array([
        aggregate_sample(row, acc_vec, **kwargs)
        for row in probs_mat
    ])
    scores = (scores - scores.min()) / (scores.max() - scores.min() + 1e-12)
    return roc_auc_score(y_true, scores)

Как это сработало в задаче классификации пневмонии

Я обучил три модели (VGG19, ResNet50, DenseNet121) на датасете Chest X-Ray Pneumonia, взяв предобученные веса и переобучив классификатор на одну эпоху.

Метод Fuzzy-Vote дал лучшую точность, чем любая отдельная модель или простой majority vote метод. По ROC-AUC он не обошёл VGG19, но обошёл остальные методы, включая дискретный ансамбль. При этом метод не требует сложных архитектур или переобучения: он просто работает поверх уже полученных вероятностей.

Fuzzy-Vote — это простой, но гибкий способ агрегации предсказаний с учетом точности и уверенности каждой модели. Особенно полезен в случаях, когда:

• модели сильно различаются по качеству

• обычный majority vote даёт просадку

• хочется объединить разные модели без дополнительного обучения

Но метод еще требует доработки, он не учитывает, например, confusion matrix каждой модели, чтобы учесть ошибки разного рода. Библиотека fuzzyops позволяет реализовать метод с минимумом кода и достаточно гибкой настройкой.

С полным кодом тренировки моделей и агрегирования можно ознакомиться по ссылке.

Заметки с ИИ-котом v. 1.04, для Windows

Скачать. Бесплатно, и установка не требуется.
Подробности о приложении написаны в прошлой новости.
Кому нужно видеть код приложения - обновил и его.
Ни на что не претендую, если больше нравится Обсидиан - никто вас не трогает.

Исправлено несколько ошибок.
Появилась возможность быстро создать большую структуру папок. Третья иконка слева сверху.
Улучшены ИИ-функции. Да, есть и другие ИИ-функции, помимо вызова кота при клике на коробку. Открываются нажатием на волшебную палочку после нажатия по файлу.
Теперь Заметки нормально работают с большим количеством файлов и автоматически удаляют из избранного файлы, которые были удалены или перемещены.
Доработан интерфейс.
Спасибо всем, кто ответил в комменты и на почту.

Понемногу исправляю карму...

Заметки с ИИ-котом v. 1.0, для Windows

⁠⁠Скачать. (ссылка обновлена) Бесплатно, и установка не требуется.

Разрабатываю по фану — потому что мне самому не хватало чего-то простого, лёгкого и по делу.

Это приложение для личных заметок не претендует на звание "универсальной системы управления знаниями", не строит из себя ракетный двигатель и СОВСЕМ не пытается быть новым Обсидианом. Это просто удобное место, куда можно быстро спрятать мысль, идею или список покупок.

Что умеет:

• Работает только с текстом: .txt, .md, .markdown, .mdown

• Создаёт новые заметки в формате Markdown (но без наворотов — как в старые добрые)

• Не держит тебя в облаке, не шифрует данные в своём формате — всё лежит на диске, как тебе привычно

• Левое окно показывает структуру папок — полупрозрачные папки = пустые (нет файлов или подпапок)

• Двойной клик по папке — запоминается как начальная при следующем запуске

• Одинарный клик — раскрывает содержимое

• Если в буфере есть текст — он автоматически попадёт в новую заметку. Буфер очищается.

• Поиск: по тексту, по названиям файлов, по содержимому. С историей. А еще есть Избранное.

• Настройки? Пока только для нейросетевых функций и ответов ИИ-кота (его можно позвать, кликнув по коробке), который может что-то подсказать или прокомментировать с долей сарказма.

Про искусственный интеллект:

• Поддерживает OpenRouter — регистрируешься, получаешь 50 бесплатных запросов в день

• Хватает за глаза для личных заметок, резюме текстов, генерации идей или перевода мыслей во что-то собранное

• ИИ-кот ведёт себя не особо прилично.

В чем отличие от Обсидиана:

Обсидиан — это космический шаттл для заметок. А мы тут катаемся на велосипеде — быстро, удобно и без инструкции.

Просто. Не нужно ничего устанавливать — скачал, запустил, пишешь.

Лёгкий. Всё приложение весит 17 Мб.

Минимум функций. Не запутаешься. Никаких плагинов, графов, связей и внутренних ссылок.

Стиль свой. Не такой серьёзный, как Обсидиан.

Бесплатный ИИ здесь не только для управления, а еще для подколов и помощи.

Короче:
Если устал от систем, которые требуют обучения, миграции каждые полгода... и выглядят как база данных космического корабля — это приложение для тебя.
Просто открываем, пишем, сохраняем. ИИ критикует и помогает, если нужно, но не навязывается.

Горячие клавиши:
Ctrl + N - создать заметку
Ctrl + P - создать папку
Ctrl + F - искать текст в открытом файле
Ctrl + S - сохранить файл
Ctrl + колёсико - изменение размера шрифта

Win + точка - вставка эмодзи

Быстрая замена mypy на Rust'е: pyrefly

Еще одно видео про еще один новый тайпчекер для питона на расте! Много их нынче стало.

В видео:

• Обсуждаем первую версию: pyre-check, обсудили taint analysis

• Сравниваем pyrefly с ty и mypy

• Смотрим на внутреннее устройство

• Применяем на реальном проекте

Ключевые ссылки из выпуска:

• Доклад о pyrefly на PyCon: https://youtu.be/ZTSZ1OCUaeQ?si=s_DPOOzsdeTk5Uqo

• pyrefly vs ty: https://blog.edward-li.com/tech/comparing-pyrefly-vs-ty (сильно советую!)

Вывод: пока очень сырой, много багов, но быстрый. Ключевой вывод: отлично, что есть конкуренция.

Осваиваем азы компьютерного зрения с библиотекой Pillow на одноплатном компьютере Lichee Pi 4A

Наш первый шаг — загрузить изображение, определить его цветовую модель и получить информацию о размере и границах.

from PIL import Image
from PIL import ImageFilter
img = Image.open(“flower.jpg”)
print(img.size, img.format, img.mode)

Эта базовая информация пригодится для дальнейшей работы с изображением.

Меняем цвет пикселя

К отдельным пикселям можно обращаться с помощью метода load() из библиотеки Pillow. Так мы сможем изменять цветовые значения точечно, а это основа для различных операций по обработке изображений.

Открываем white.jpg с помощью Pillow:

from PIL import Image
img = Image.open("white.jpg")
obj = img.load()

Выбираем пиксель с координатами (25, 45) и меняем его цвет:

obj[25, 45] = (0, 0, 0)  # Новый цвет: черный (RGB: 0, 0, 0)

Сохраняем отредактированное изображение:

img.save("image3.jpg")

Визуально проверяем, что цвет пикселя изменился. 

Метод load() позволяет напрямую работать с массивом пикселей изображения: читать, модифицировать и анализировать отдельные элементы, не копируя данные в отдельные структуры. Это особенно важно для задач, которые требуют высокую производительность при обработке больших изображений.

Почему был выбран Lichee Pi 4A, как создать виртуальное окружение Python, установить подходящую среду разработки и научиться базовым приемам работы с изображениями — читайте в подробном туториале.

Привет, меня зовут Александр, я аналитик в Альфа-Банке. Однажды я устал, что на Feature Store, на платформе для дата-инженеров (DE) и дата-саентистов (DS), невозможно ничего найти.

Поиск по контексту отсутствует. Приходится руками шерстить огромное количество ETL-проектов в поисках той самой полезной информации, полагаясь сначала на удачу, а после — на опыт и помощь коллег. 

Feature Store сама по себе — платформа, которая должна упрощать работу коллег с большими данными, упрощает бюрократию жизненного цикла создания ETL, ввода моделей в промышленную эксплуатацию. Но какой же поиск там...В общем, хотелось бы улучшить процесс по поиску данных в ней.

И я сделал MVP с GPT-2: весит около ~400 МБ и, самое главное, не требует регистрации. В статье пошагово описал, как всё прикрутить. Заходите почитать.

Примечание. Для прома MVP, конечно, не прокатит, но после показа решения начали реализовывать решение на OpenSearch.

IMPulse - менеджмент инцидентов. Интеграция с Google Calendar, вложенные цепочки эскалации.

Предыдущие публикации:
https://habr.com/ru/articles/865208/
https://habr.com/ru/posts/889768/

Мы продолжаем развивать нашу систему менеджмента инцидентов. И рады представить интеграцию с Google Calendar, благодаря которой вы сможете гибко настраивать график дежурств и цепочки эскалации для этих дежурств.

Помимо интеграции с Google Calendar, мы реализовали вложенные цепочки эскалации. Теперь в chain можно добавить другой chain (nested), благодаря чему размер конфигурационного файла уменьшится.

Мы хотим создать достаточно гибкую, но не перегруженную систему цепочек эскалации, чтобы на проектах разной величины вы могли использовать IMPulse так как вам удобно. Для этого в комментариях расскажите, какой самый сложный кейс уведомлений / эскалации вам необходимо было реализовать. Например: во вторник нужно дёргать Антона, через 5 минут Олега, а по средам - только дёргать Геннадия, в остальное время, если severity == 'critical', звонить Грише.
Будем рады почитать самые сложные варианты и предложить наше универсальное решение для них.

Остаёмся на связи в нашем Telegram канале - там можно общаться / задавать вопросы.

Всем привет!

Представляю вам мой новый проект: Terpinal.

Также я называл его "терпи нал".

Это терминальная операционная система для Raspberry Pi Pico. Который выводит на SSD1306.

Вот ссылка:

https://github.com/SystemSoftware2/Terpinal

Прочитайте README.md и узнайте что и как подключить.

Также я называю операционку как PicoOS Firmware (не знаю почему так).

Инженерной боли пост. С надеждой на дельные советы

Все началось с pet-проекта, который использовал polars(сорцы) и должен был крутиться в Docker на моем домашнем NAS, в следующей конфигурации:

• CPU arm/v7 32-bit, Annapurna Labs Alpine AL314 Quad-core ARM Cortex-A15

• 4Гб RAM

• ОС QNAP QTS на linux ядре 4.2.8 с увеличенным до 32k размером страницы памяти, и с официальной поддержкой Docker

Спойлер: принципиальное решение проблемы - найдено. Купил маленькую коробочку на "мейнстримной" архитектуре, на которой все цветет и пахнет.. кроме моего внутреннего(ну и внешнего, че уж там) инженера) Так что решение выкинуть железку - можно не предлагать

Так вот, пока я писал код, и готовил сборочные скрипты ничто не предвещало беды - я спокойно потестил код локально, написал Dockerfile для сборки на poetry. Настало время развернуть это все на NAS - казалось бы ARM уже давно мейнстрим, но тут понеслось

1. python как всегда лишь удобный биндинг к куче платформозависимого кода) подавляющее большинство python-зависимостей под arm/v7 приходится компилировать

2. готовых бинарников polars под arm/v7 - тоже нет

3. Никаких блокеров к тому, чтобы собрать polars под arm/v7 я не нашел. Но скомпилить его нативно на 4Гб ОЗУ - не получится, даже с минимальными оптимизациями. Нужна кросс-компиляция. Благо с rust и maturin(которым собирается polars) - это несложно, target armv7-unknown-linux-gnueabihf в хорошем tier-е поддержки

4. забегая чуть вперед указываем окружение для сборки аллокатора jemalloc(по умолчанию в polars) под 32k страницу

Итак, усложняем сборку Docker(см. repro) - используем кросс-компиляцию, энв-переменные, QEMU, охапку дров и теперь у нас есть приложка, которая успешно стартует в докере на целевой железке. Вот только за рамками самых примитивных тестов - OOM-ится, причем память точно есть, никакой OOM-киллер процесс не убивает(на всякий случай смотрим лимиты cgoup) - оно "шамо":

memory allocation of 1345920 bytes failed

(подробные логи можно посмотреть по ссылкам в конце поста)

Что же делать?

1. пробуем mimalloc - он использует для конфигурации рантайм(getconf), эффект - тот же

2. пробуем env-крутилки, в частности arena_reserve может стоит просто меньше резервировать - но нет, просто больше попыток, но по факту все равно OOM

3. помимо jemalloc и mimalloc не работают также: стандартный аллокатор rust(чем бы он ни был), libc-аллокатор и версия mimalloc, установленного как системная библиотека

И вот на этом месте я застрял. Я не большой спец по системному программированию - не понимаю куда копать

• Общение с поддержкой QNAP свелось к

  

• Пытался отлаживать приложение в gdb - никаких аномальных трейсбэков во время OOM не увидел: rust честно пытается аллоцировать большой raw_vec(трейс есть в вопросе на stackoverflow)

• Как-то глубоко копать переменные не получается, т.к. дебаг-символы для бинарника polars получаются слишком большими

  BFD: error: /app/.venv/lib/python3.12/site-packages/polars/polars.abi3.so(.debug_str) is too large (0x498a9fd1 bytes)

• Я сделал небольшое repro на голом расте - там эта проблема не воспроизводится, значит базово бинарная совместимость - в порядке

• Есть несколько гипотез, но я не знаю как их проверить

  • возможно, кривая вся адресация, но ее проверить я тоже не могу

  • возможно, стоит чего-нибудь половить в ядре bpf-ом, но что..

  • кастомное ядро 4.2.8 кастомный дистриб(QTS) не богат средствами отладки - как я понял там запускается busybox набор утилит

В итоге я завел

• вопрос на stackoverflow - там есть логи аллокатора и трейсбэк

• ишью в репозитории mimalloc

• repro-проект с минимальным примером на котором проблема воспроизводится

Но активности там не очень много(

А мне бы хотелось все-таки дожать диагностику и однозначно ответить на вопрос: это лыжи не едутя не умею собирать приложения под нужное окружение или все-таки целевая платформа не умеет выполнять корректно собранное? Не потому что эту проблему нельзя решить по-другому, а потому что в том, чем пользуешься - хочется разбираться.

Пишите в комментах ваши соображения. Если что-то удастся прояснить - буду держать читателей поста в курсе

unraisable exceptions в питоне

Мы все с вами привыкли, что в питоне можно "зарайзить" исключение в любой момент: raise Exception
Но, что если в какой-то момент времени мы не можем вызывать исключение?

Простейший пример: что произойдет при запуске такого скрипта?

# ex.py
class BrokenDel:
    def __del__(self):
        raise ValueError('del is broken')

obj = BrokenDel()
del obj
print('done!')  # будет ли выведено?

Тут может быть два варианта:

1. Или del вызовет ValueError и программа завершится

2. Или случится какая-то магия, ошибка будет вызвана, напечатается, но программа продолжится

Ну и так как мы с вами на том канале, где мы с вами, то конечно же будет второй вариант.

» python ex.py
Exception ignored while calling deallocator :
Traceback (most recent call last):  File "/Users/sobolev/Desktop/cpython/ex.py", line 3, in __del__    raise ValueError('del is broken')
ValueError: del is broken
done!

Знакомьтесь – unraisable exceptions 🤝

Как оно работает?

В некоторых местах C кода у нас есть необходимость вызывать исключения, но нет технической возможности. Пример, как выглядит упрощенный dealloc для list?

static void
list_dealloc(PyListObject *op)
{
    Py_ssize_t i;
    PyObject_GC_UnTrack(op);  // убираем объект из отслеживания gc
    if (op->ob_item != NULL) {
        i = Py_SIZE(op);
        while (--i >= 0) {
            // уменьшаем счетчик ссылок каждого объекта в списке
            Py_XDECREF(op->ob_item[i]);  
        }
        op->ob_item = NULL;
    }
    PyObject_GC_Del(op);
}

А, как вы можете знать, чтобы в C коде вызвать ошибку, нужно сделать две вещи:

• Взывать специальное АПИ вроде PyErr_SetString(PyExc_ValueError, "some text")

• И вернуть NULL как PyObject * из соответствующих АПИ, показывая, что у нас ошибка. Если вернуть NULL нельзя, то мы не можем поставить ошибку в текущий стейт интерпертатора. А тут у нас void и вернуть вообще ничего нельзя. Потому приходится использовать вот такой подход с unraisable exception

Ошибку мы "вызываем" через специальные АПИ:

• PyErr_WriteUnraisable

• PyErr_FormatUnraisable

Они создают ошибку, но не выкидывают её обычным способом, а сразу отправляют в специальный хук-обработчик. Данный хук не производит классическое "выбрасывание" исключения, а просто его печатает по-умолчанию. Ниже посмотрим, как его можно кастомизировать.

В питоне оно используется где-то 150 раз. То есть – прям часто. Примеры:

• Ошибки при завершении интерпретатора, попробуйте сами:

import atexit
def foo():
    raise Exception('foo')
atexit.register(foo)

• Ошибки внутри sys.excepthook

• Ошибки внутри gc

• Ошибки внутри логики установки ошибок (вдруг память кончилась, например) 🌚️️️️

• И многое другое

Пользовательское АПИ

Ну и конечно же, есть специальный хук для обработки таких ошибок: sys.unraisablehook

Он может выполнять любой пользовательский код, который мы установим при старте приложения.

Например, pytest использует кастомный хук, чтобы валить тесты при возникновении такой ситуации. Что логично.

Нравится контент про технику и устройство технологий? Присоединяйся к каналу @opensource_findings в телеге; там много такого.

Обсуждение: знали ли вы про такую особенность? Приходилось ли где-то в мониторинге особо настраивать?

Я сделал своего первого Telegram-бота — WebCheck. Мониторинг сайтов прямо в Telegram⁠⁠

Привет!

Меня зовут Александр, и я решил поделиться с вами своим первым публичным Telegram-ботом.
Я давно хотел реализовать что-то полезное и практичное — в итоге получилось то, чем сам теперь пользуюсь каждый день.

Знакомьтесь: WebCheck — бот, который следит за доступностью сайтов, SSL-сертификатами и доменами.

🧠 Что умеет бот

• Проверяет, доступен ли сайт (HTTP-код);

• Показывает, сколько дней осталось до окончания SSL-сертификата;

• Проверяет, когда истекает регистрация домена;

• Присылает уведомление, если:

  • сайт стал недоступен;

  • до окончания SSL-сертификата осталось 14 дней или меньше;

  • до окончания регистрации домена осталось 14 дней или меньше;

• Позволяет экспортировать логи и список сайтов в CSV;

• Есть админ-интерфейс для контроля всех добавленных сайтов.

⚙️ Как пользоваться

1. Открываете бота 👉 @ITSync_WebCheckBot

2. Жмёте «Start» или пишете /start

3. Просто отправляете ссылку на сайт (например: example.com, ozon.ru или https://wildberries.ru)

4. Получаете оповещения, если с ресурсом что-то не так

Бот абсолютно бесплатный, ничего не требует — просто добавил сайт, и бот сам всё контролирует.

👨‍💻 Технически

Бот написан на Python с использованием:

• aiogram v3

• PostgreSQL

• APScheduler

• Shell-команд (whois, curl, openssl) для большей точности

Контейнеризирован в Docker, база хранится вне контейнера, а вся логика максимально простая и прозрачная.

🔐 А ещё я сделал бот для дешифровки VNC

Если вдруг работаете с .vnc файлами или UltraVNC — может пригодиться мой мини-инструмент:
@DecryptVNC_bot — он расшифровывает VNC-пароли прямо в Telegram.

🙏 Буду рад, если протестируете

Это мой первый бот, и я был бы благодарен за фидбек.
Если найдёте баг, захотите предложить улучшение — пишите. Буду дорабатывать и развивать.

Спасибо, что прочитали.
Бот тут 👉 @ITSync_WebCheckBot
И ещё один на всякий 👉 @DecryptVNC_bot

Новый тайпчекер для Python от авторов ruff и uv, написанный на Rust

Вышло видео про новый тайпчекер и lsp: ty (старое название red-knot) от авторов ruff и uv. Пока по первым впечатлениям – бомба! Не смотря на версию 0.0.0a8 🌚

Из плюсов:

• Быстрый

• На расте

• Куча новых фичей для типов

• Полная спецификация

• Интеграция с ruff и IDEшками

Из минусов:

• Пока есть баги (но их поправят, конечно же)

• Нет плагинов (и скорее всего никогда не будет)

• Софт от молодой и маленькой компании

• Как сделать поддержку ty и mypy вместе? А если использовались ty_extensions?

Обсуждение: а как вам проект? Успели попробовать?

Представлен бесплатный гайд по изучению языка программирования Python за 100 дней от истории создания языка и его работы на уровне процессора и памяти до мощнейших фреймворков и комплексных алгоритмов. Задачи равномерно распределены. Каждый урок объёмный и разжеван досконально — поймет даже полный нуль в кодинге. Любое объяснение подкрепили примерами кода.После разделов есть сборники задач разного уровня сложности, чтобы железно зафиксировать знания.

PEP 750: t-строки в 3.14

Недавно ревьюил один интересный PR в CPython: в питон добавили еще один способ форматировать строки. Теперь – со специальным АПИ для внешних интеграций. Расскажу: как и зачем.

• PEP: https://peps.python.org/pep-0750

• Реализация: https://github.com/python/cpython/pull/132662

Основная причина: использовать f строки удобно, но нет никакого АПИ для перехвата момента "вставки" или интерполяции значений. Например, при форматировании html или sql – требуется специальным образом делать escape для значений. И раньше код вида f"{template}" представлял собой дыру в безопасности и потенциальное место для XSS.

string.templatelib.Template

Новый префикс t не будет создавать объект str, он будет создавать объект класса string.templatelib.Template:

>>> user = 'sobolevn'
>>> template = t"Hi, {user}"
>>> template
Template(strings=('Hi, ', ''), interpolations=(Interpolation('sobolevn', 'user', None, ''),))

>>> from string.templatelib import Template
>>> isinstance(template, Template)
True

Обратите внимание, что при создании template – у нас не произошло форматирование сразу. Мы создали объект, у которого есть свойства strings и interpolations, из которых можно собрать финальную отформатированную строку.

Давайте посмотрим на примере. Допустим, мы хотим формировать URL из наших данных:

>>> domain = 'example.com'
>>> query = 'python string formatting is too complex'
>>> template = t'https://{domain}?q={query}'

И сам код логики форматирования, где мы будем вставлять значения разным способом. Если у нас шаблон query, то мы будем использовать quote_plus для его форматирования. Остальные значения – будем вставлять как есть:

>>> from string.templatelib import Template, Interpolation
>>> from urllib.parse import quote_plus

>>> def format_url(template: Template) -> str:
...     parts = []
...     for part in template:
...         match part:
...             case str() as s:  # regular string
...                 parts.append(s)
...             case Interpolation(value, expression='query'):
...                 parts.append(quote_plus(value))
...             case Interpolation(value):
...                 parts.append(value)
...     return ''.join(parts)

И вот результат:

>>> format_url(template)
'https://example.com?q=python+string+formatting+is+too+complex'

Только теперь наш Template был отформатирован. Нами. Ручками.
У нас есть полный контроль за процессом форматирования. Вот в чем суть данного ПЕПа.

Фичи одной строкой

• Работает = как обычно в f строках: t'{user=}'

• Есть привычные определители формата: !r, !s, .2f, тд

• t строки можно конкатенировать: t'Hello' + t' , world!' и t'Hello, ' + 'world'

• Поддерживается режим raw строк: rt"Hi \n!"

Как устроено внутри?

Интересные места имплементации:

• Изменения лексера

• Изменения грамматики языка

• Новое CAPI _PyTemplate

• Новые классы Template и Interpolation написанные на C

• Новый байткод BUILD_INTERPOLATION и BUILD_TEMPLATE

>>> import dis
>>> user = 'sobolevn'
>>> dis.dis('t"Hi, {user}"')
  0           RESUME                   0

  1           LOAD_CONST               2 (('Hi, ', ''))
              LOAD_NAME                0 (user)
              LOAD_CONST               1 ('user')
              BUILD_INTERPOLATION      2
              BUILD_TUPLE              1
              BUILD_TEMPLATE
              RETURN_VALUE

Обсуждение: как вам еще один способ форматирования строк?

Если понравилось – заходи в тг, где я рассказываю, как я делаю CPython.

Я доделал компилятор C на Python.

Баги всё ещё есть но их намного меньше

Его я назвал pycc.

Если хотите попробовать, вот гитхаб: https://github.com/SystemSoftware2/pycc

Всё остальное смотрите там.

[UPD]: А за что минусуете?

Всем привет.

Как вы знаете я пишу компилятор C на Python.

Сегодня я исправил баг с типизацией, который случайно нашёл когда делал ошибки.

Вот этот отрывок: void main() { int x = "h"; } обрабатывался как правильный синтатикс. Теперь нет.

И я добавил цикл do-while. Правда в нём есть проблема: в конце если выражения = false то он ещё раз выполняет и потом останавливает цикл do-while. Ну, пока что так.

Пример цикла do-while:

void main() {
  int a = 10;
  do {
    a = a + 1;
  } while (a > 2);
}

Только вывод не то что "a" это 1 а 0. Правда, сил нету добавлять ненужные части кода для исправления.

Ну. Хотя бы работает как то. А то когда в первый раз делал этот цикл то вообще нечего не работало.

Всем пока.