Python *

Если ты готов участвовать в разработке цифрового ассистента Госуслуг и хочешь узнать всё о Роботе Максе изнутри, приходи на One Day Offer!

Прямо сейчас мы ищем:
— Разработчиков Python
— Data-scientist
— Product Owner
— Продуктовых аналитиков
— Инженеров по тестированию

Когда и где?
7 декабря в онлайне: без лишних собесов, тестовых заданий и бюрократии

Как попасть?

1. Оставь заявку на участие

2. Пройди предварительное онлайн-интервью и получи приглашение на ивент

3. Подключайся на ивент, чтобы познакомиться с проектами поближе, пройти финальное собеседование и получить свой оффер

Узнать требования к кандидатам и подать заявку

❗️Последний день подачи заявки на участие — 5 декабря

❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_9

?Вопрос_9: В чем разница между Rapids, Vaex, Pandas, Polars, Modin, Dask они же все для анализа данных ?

✔️Ответ:

1. Pandas предоставляет гибкие структуры данных, такие как DataFrame, и мощные инструменты для манипуляции, фильтрации, агрегации и анализа данных. Pandas обычно используется для работы с небольшими и средними объемами данных, которые могут поместиться в оперативную память одного компьютера;

2. Dask позволяет обрабатывать данные, превышающие объем доступной оперативной памяти, с использованием распределенных вычислений. Dask предоставляет абстракции, такие как DataFrame и Array, которые подобны структурам данных из Pandas и NumPyx;

3. Polars обладает высокой производительностью благодаря использованию Rust в своей реализации, а также предлагает возможности параллельной обработки данных. Она может работать с большими объемами данных и поддерживает некоторые распределенные вычисления;

4. Vaex использует ленивые вычисления и эффективные алгоритмы для выполнения операций над данными. Она обладает высокой производительностью и может работать с многопоточностью, многопроцессорностью и распределенными вычислениями;

5. Modin предоставляет интерфейс, совместимый с Pandas, но с оптимизированной производительностью. Она использует различные движки обратной совместимости, такие как Dask и Ray, для распределенных и параллельных вычислений.

   https://t.me/DenoiseLAB

Доброе время суток.

Решил с Вами поделиться скриптами, написанные на Python, для скачивания различных шоу\сериалов\фильмов с онлайн кинотеатров.

Делал для себя, не обессудьте)

Пока готовы скрипты для телеканала Пятница (https://friday.ru/) и ТНТ-Премьер (https://premier.one/)

Для ТНТ-премьер есть возможность использовать свою платную подписку

Используется yt-dlp, ffmpeg и Python (pycharm в частности)

Если нужны ещё сайты\кинотеатры - пишите, будем искать как скачивать.

Последние версии файлов находятся https://github.com/tas-unn/download_online/

LofiTray - любая онлайн-трансляция в фоновом режиме в Вашей панели задач!

Для нетерпеливых: инструкция ниже, а так же на гитхабе проекта

Предыстория:

Привет Хабр! На днях я лично столкнулся с проблемой: для комфортной работы люблю включать известный стрим на Lofi girl и работать под фоновую музыку, но каждый раз открывать его в браузере, занимать им лишнюю вкладку и занимать немало ресурсов ради фоновой вкладки.

Так родилась идея для проекта и несколько месяцев не доходили руки. На прошлой неделе меня угораздило приболеть и освободившиеся 3 вечера я посветил LofiTray (tray - так обычной называют значки на панели задач)

Что это такое вообще?

- Это утилита для виндовс. Она позволяет включать/выключать, а также выбирать трансляции с YouTube. Функционал минимальный, покрывающий выполнение конкретной задачи - играть музон на фоне и не более.

А это не вирус?

- Нет, не вирус. Для всеобщего спокойствия, проверил через VirusTotal. Можете проверить установщик/распакованную программу (лежит в папке dist в репозитории), да хоть сам проект с гитхаба.

Как скачать?

- По кнопке в инструкции на ГитХабе. Продублирую эти 2 пункта здесь:

1. Если у Вас не установлен VLC media player, установите его перед загрузкой LofiTray. С помощью API этого плеера программа воспроизводит трансляцию в фоновом режиме

2. Скачайте и запустите установщик LofiTray ?скачать?

В ближайших планах починить отображение ошибок в windows 11. А в дальнейших - добавить полноценное gui-меню, так как уже есть запросы от друзей

Такие вот дела

Сегодня в 19:00 — Selectel Python Meetup. Три уровня погружения: процессы под капотом, архитектура кода, развитие языка

Включайте уведомление на YouTube, чтобы не пропустить начало.

Темы докладов

Мультипроцессность и сбор метрик в Python: как построить мониторинг без сюрпризов

Заносим микросервисы и Kubernetes в облако

Такое ли светлое будущее у Python?

Заполняйте форму регистрации, чтобы задать вопрос спикерам.

Релиз Wunjo AI 1.5.5. Что нового?

• Добавлено клонирование голоса на русский язык.

• Оптимизация анимации лица, сокрытие не нужных элементов, исправление ошибок работы с gif.

• Улучшено отображение логов в консоли.

• Индикатор занимаемого места на диске для результатов синтеза речи и дипфейков.

Дата выхода: 23.09.23.

Видео всех возможностей проекта с открытым исходным кодом для создания дипфейков, синтеза и клонирования речи.

Вебинар «Открытое собеседование на джуниор Python-разработчика»

Покажем, как проходит собеседование для новичков на позицию Python-разработчика. Вы узнаете, какие вопросы задают и как оценивают ответы кандидата. Опытные эксперты дадут рекомендации по подготовке и ответят на ваши вопросы о профессии. 

→ Бесплатно, 15 сентября 19:00 по Москве

Вебинар будет полезен:

• Всем, кто интересуется программированием, но пока не определился с выбором профессии;

• Начинающим Python-разработчикам;

• Тем, кто недавно сам стал нанимающим менеджером.

Спикеры:

• Антон Артиков, Middle Python developer в «Тензоре», выпускник курса «Мидл Python-разработчик» в Практикуме;

• Константин Шперлинг, педагог по основам программирования, выпускник курса «Python-разработчик» в Практикуме;

• Наташа Павлова, Python Team Lead, выпускница курса «Мидл Python-разработчик» в Практикуме.

Вебинар продлится 1,5 часа. Мы напомним о событии за час и за 15 минут, пришлем ссылку на вебинар, а после отправим полную запись.

→ Зарегистрироваться

Доступен выпуск проекта RustPython 0.3, развивающего интерпретатор языка программирования Python, написанный на языке Rust. RustPython нацелен на обеспечение совместимости с CPython 3.11 и более новыми выпусками. Проект основал Shing Lyu, один из разработчиков движка Servo и участник перевода CSS-движка Firefox на компоненты, написанные на языке Rust. Для оценки текущего состояния разработки можно использовать web-интерфейс с интерпретатором RustPython, скомпилированным в WebAssembly. Код распространяется под лицензией MIT.

RustPython состоит из парсера кода на Python в абстрактное синтаксическое дерево (AST), компилятора AST в байткод и виртуальной машины для выполнения байткода. Для ускорения выполнения предоставляется начальная реализация JIT-компилятора, преобразующего python-функции в машинный код. Поддерживается компиляция RustPython в форму универсального WASI-модуля на WebAssembly, который может запускаться в различных операционных системах.

Проектом также предоставляются средства для интеграции кода на языке Python в проекты на языке Rust, без применения биндингов на основе CPython - RustPython позволяет встраивать Python-конструкции непосредственно в код на языке Rust и использовать Python в качестве языка скриптования в приложениях. Из проектов, уже использующих RustPython, отмечаются СУБД GreptimeDB, игровой движок pyckitup, игра Robot Rumble и linter Ruff.

Источник: OpenNET.

Geeknote: консольный клиент для Evernote - заброшен, но вы можете стать его мантейнером.

Репозиторий: https://github.com/jeffkowalski/geeknote (уже не оригинальный, а форк, который тащили несколько лет)

Проект состоит в https://github.com/agarrharr/awesome-cli-apps#note-taking-and-lists

Оригинальный сайт http://web.archive.org/web/20180423130602/http://geeknote.me/

Оригинальное видео от первых авторов https://vimeo.com/45066341

Я провел несколько лет используя Geeknote, хороший проектик. Он то уже готов, но там сейчас тесты не проходят, базовые функции перестали работать после миграции на третий Питон.

Проект может быть интересен и полезен изучающим Python - тут вы сможете практиковаться и положить себе в CV что являетесь мантейнером этого проекта.

Я бы и сам, но нет на это времени :(

Только что добавил в Guru - это пользовательский репозиторий пакетов для Gentoo, как apt для Ubuntu или aur для Arch.

Можно ли придумать что-то более классическое, чем решение задачи на удаление дубликатов из отсортированного массива? Не уверены, поэтому в новом выпуске «Алгоритмической качалки» взяли на разбор задачу №26 с Leetcode (Remove Duplicates from Sorted Array).

Предлагайте свои решения в комментариях, а также делитесь задачами, которые можно было бы разобрать в рамках «АК».

А мы продолжаем тихой сапой захватывать ветку с постами в хабе Python и публикуем свежий выпуск «Алгоритмической качалки». В этот раз Альбина разбирала задачу под номером 58, которая звучит, как Length of Last Word. Кажется, что найти длину последнего слова в предложении довольно легко, но на самом деле пришлось приложить немного усилий, чтобы решить этот алгоритм.

Кстати, вы можете предлагать свои варианты решения в комментариях, а также предлагать задачи, которые Альбина возьмет на разбор в следующих выпусках.

Доступен релиз Python-библиотеки для научных вычислений NumPy 1.25, ориентированной на работу с многомерными массивами и матрицами, а также предоставляющей большую коллекцию функций с реализацией различных алгоритмов, связанных с использованием матриц. NumPy является одной из наиболее востребованных библиотек, применяемых для научных расчётов. Код проекта написан на языке Python с применением оптимизаций на языке C и распространяется под лицензией BSD.

В новой версии:

• Продолжена работа по улучшению обработки и продвижению новой инфраструктуры для класса dtype.

• Увеличена скорость выполнения.

• Началась подготовка к формированию выпуска NumPy 2.0.0, в котором будет прекращена поддержка некоторых устаревших возможностей. После достижения Python 3.12 стадии кандидата в релизы будет сформирован выпуск NumPy 1.26.0, после которого выйдет NumPy 2.0.0.

• Обеспечено формирование wheel-пакетов на базе стандартной C-библиотеки musl.

• Добавлена поддержка компилятора Fujitsu C/C++.

• В функции einsum добавлена поддержка массивов объектов.

• Добавлена поддержка умножения матриц по месту (без создания нового набора данных) с использованием оператора "@=".

Источник: OpenNET.

В этот раз мы решили пойти по базовым задачам с Leetcode, поэтому взяли на разбор задачку Two sum, которая идет под номером 1 и имеет более 19 тысяч решений. Альбина разобрала на видео два варианта решения алгоритма — один, который первым приходит в голову, и второй, который более оптимален по скорости.

Сейчас разрабатываем большую платформу для планирования и прогнозирования спроса и продаж в ритейле. Под капотом платформы более 10 микросервисов: от серверов очередей, которые координируют взаимодействие различных частей системы, до непосредственно ML-движков, которые на основе больших входящих датасетов с историей продаж строят прогнозы на будущее. 

По мотивам одной из задач проекта опубликовали хорошую статью со сравнением скорости работы двух гигантов аналитики данных в Python: Pandas и Polars. Там подробно рассмотрели вопрос быстродействия этих двух решений в части работы с файлами больших объемов.

Один из интересных графиков:

Полная версия статьи — Битва медведей: Pandas против Polars

Чтобы проходить собеседования на «Ура» нужно уметь решать алгоритмы. А научиться решать их можно на сайте Leetcode, например. Ведущая Python-разработчица «Технократии» Альбина Альмухаметова показывает, как решить задачу Merge Two Sorted Lists, которую она дает на собеседованиях. Приятного просмотра!

Может плохо искал, но ничего про Anvil на Хабре не нашёл, а ведь это

• типа Delphi, но на Python и в облаке

• облако можно и своё

• бесплатно мало, но достаточно интересно, навсегда и внешне безлимитно

• платно много, без сомнений в способности содержать бесплатное

• можно хостить статический сайт

• только стандартная библиотека, но можно общаться с локальным кодом на Python в обе стороны

• может бесплатно получать e-mail

• встроенная регистрация пользователей

• интеграция с Google, Facebook, Tableau, Stripe, платно Microsoft и SAML

Вроде как вот он - способ изучить Python легко и интересно.

В очередной раз столкнулся с "новички не умеют пользоваться global", поэтому для них написал 8 примеров для проверки понимания global, ну и mutable/immutable заодно.

# ok
foo = 1
def bar():
    print('in bar', foo)

bar()
print('out bar', foo)


# ok
foo = 1
def bar():
    foo = 2
    print('in bar', foo)

bar()
print('out bar', foo)


# UnboundLocalError
foo = 1
def bar():
    print('1, in bar', foo)
    foo = 2
    print('2, in bar', foo)

bar()
print('out bar', foo)


# ok
foo = 1
def bar():
    global foo
    print('1, in bar', foo)
    foo = 2
    print('in bar', foo)

bar()
print('out bar', foo)


# UnboundLocalError
foo = [1]
def bar():
    print('1, in bar', foo)
    foo = [2]
    print('2, in bar', foo)

bar()
print('out bar', foo)


# ok
foo = [1]
def bar():
    global foo
    print('1, in bar', foo)
    foo = [2]
    print('2, in bar', foo)

bar()
print('out bar', foo)


# ok ;)
foo = [1]
def bar():
    print('1, in bar', foo)
    foo.append(2)
    print('2, in bar', foo)

bar()
print('out bar', foo)


# ok ;)
foo = [1]
def bar():
    print('1, in bar', foo)
    foo[:] = [2]
    print('2, in bar', foo)

bar()
print('out bar', foo)

Всем привет!

В этом туториале писал о том, как собрать свою обëртку для ChatGPT, используя Streamlit и API OpenAI.

Рассказываю, что случилось нового ?
Добавлен функционал для подсчёта токенов, стоимости сообщения и беседы. Реализовано с помощью функции:

import streamlit as st


def calc_cost(usage: dict) -> None:
    total_tokens = usage.get("total_tokens")
    prompt_tokens = usage.get("prompt_tokens")
    completion_tokens = usage.get("completion_tokens")
    st.session_state.total_tokens.append(total_tokens)
    # pricing logic: https://openai.com/pricing#language-models
    if st.session_state.model == "gpt-3.5-turbo":
        cost = total_tokens * 0.002 / 1000
    else:
        cost = (prompt_tokens * 0.03 + completion_tokens * 0.06) / 1000
    st.session_state.costs.append(cost)

Проверить работу нового функционала можно на сайте AI Talks. Репозиторий с кодом ожидающий ваших issue, pr и звёзд ⭐
Успехов! ?

Интересные встроенные библиотеки питона:

Tempfile

Создаёт временный файл как в linux папка tmp:

import tempfile
with tempfile.NamedTemporaryFile() as tmp:
    print(tmp.name)
    tmp.write(...)

IO

Чтобы не использовать временные файлы, можно использовать временный буфер сразу в программе:

from io import BytesIO

imagefile = BytesIO()
animage.save(imagefile, format='PNG')
imagedata = imagefile.getvalue()

Struct

Позволяет создавать бинарные структуры и парсить их. Может ускорить передачу между клиентом и сервером:

>> from struct import *
>> pack(">bhl", 1, 2, 3)
b'\x01\x00\x02\x00\x00\x00\x03'
>> unpack('>bhl', b'\x01\x00\x02\x00\x00\x00\x03')
(1, 2, 3)
>> calcsize('>bhl')
7

CMD

С помощью этой библиотеки можно создать полноценный tui:

Welcome to the turtle shell.   Type help or ? to list commands.

(turtle) ?

Documented commands (type help <topic>):
========================================
bye     color    goto     home  playback  record  right
circle  forward  heading  left  position  reset   undo

(turtle) help forward
Move the turtle forward by the specified distance:  FORWARD 10
(turtle) record spiral.cmd
(turtle) position
Current position is 0 0

Удивительно что такие полезные пакеты находятся в стандартной комплектации питона.

И не нужно скачивать кучу пакетов из pip.