Как я ускорил Python-скрипт в 42 раза, убрав один незаметный цикл

[Z55]

2. Код выглядит правильным

вернее, он правильный с точки зрения результата. Но опытному взгляду, подобная реализация сразу бросается в глаза.

[Alex-Freeman]

Даже не очень опытному должен бросаться в глаза. Это очевидная проблема исходного кода, даже после онлайн курсов такое должно резать глаз

[ohrenet]

Скрипт работал почти 9 минут,

А времени на все оптимизации потратили гораздо больше.

[kAIST]

Да, но если у тебя этот скрипт запускается периодически в каком нибудь celery и его выполнения ждут остальные задачи...

[ohrenet]

1. Если.

2. Даже в таких случаях, зачастую это бывает некритично чтобы лезть заморачиваться. А то и вовсе необходимость в самом скрипте отпадает через пару дней.

Перфекционизм обыкновенный, МКБ-11 MB28.C

[Alex-Freeman]

А потом удивляемся откуда столько говнокода

Скрытый текст

[ohrenet]

"Premature optimization is the root of all evil" is a famous maxim by Donald Knuth (1960s), advising developers to focus on clarity and correctness over micro-optimizations. It argues that spending time on performance improvements before identifying true bottlenecks wastes resources, increases complexity, and yields harder-to-maintain code.

[Alex-Freeman]

Если мы говорим о коде выше, то это высказывание не применимо, во первых это не микро оптимизация, если разница в 42 раза, во вторых она повышает читаемость и лаконичность. Ваши комментарии можно использовать как иллюстрацию эффекта Даннинга-Крюгера

[tenzink]

Что менее важно, такая оптимизация делается быстрее 9 минут. Важнее - научиться видеть подобные пессимизации на пустом месте. Так что автор молодец - это окупится десятки раз

[ohrenet]

Чисто в качестве образовательного процесса - согласен, сгодится.

А понимание "можно, но зачем" - оно уже потом, с опытом придёт.

[koreec]

Оптимизацию делал ИИ, он же и пост писал. Да?

[ABATAPA]

Отличный вопрос! Давайте разберём всё по порядку. Во-первых, ...
:)

[censor2005]

"Придумай неоптимальный код на Python, который медленно работает, и который можно легко ускорить за счёт оптимизации. Напиши статью по этой теме для Хабра"

[vldmrmlkv]

Это делал человек с помощью ИИ, что ещё забавнее т.к. улучшать код ещё есть куда, но этого не сделано. Можно же было просто закинуть статью в ллм и попросить улучшить, проверить на ошибки, etc.

[vldmrmlkv]

from collections import defaultdict

def count_actions(file_path):
    users = defaultdict(int)

    with open(file_path) as f:
        for line in f:
            user_id = line.split()[1]
            users[user_id] += 1

    return users

А если уникальных юзеров будут миллионы, то словарь users может занять много памяти.
А если строка не соответствует паттерну и user_id не будет нужным id, вместо id будет текст ошибки или пробелы или второго элемента вообще не будет, или это пустая строка? Ещё может быть проблема с кодировкой при чтении файла. И ещё если бы user_id был числом, то должно быть быстрее и словарь users будет занимать меньше места, т.е. нужно перед users[user_id] += 1 переводить user_id в int.

[axion-1]

Изначальная реализация не только медленная, но ещё и менее читабельна. Выглядит как написанная студентом ещё не освоившим словари.

[SaX_KT]

А если загрузить в pandas dataframe, быстрее не будет?