Предыстория

Есть у меня маленький и уютный pet-project, который позволяет качать файлы из интернета. Файлы при этом группируются и пользователю отображается не каждый файл, а некоторая группировка. И весь процесс скачивания (и отображение этого процесса) сильно зависел от данных. Данные при этом получались на лету, т.е. пользователь запускает на скачивание и нет никакой информации, сколько придётся качать в реальности.

Наивная реализация хоть какого-то информирования сделана простой — отображается прогресс скачивания как отношение количества скачанных к общему количеству. Информации для пользователя не много — просто ползущая полоска, но это уже лучше чем ничего, и это заметно лучше чем популярный нынче механизм загрузки без индикации прогресса.

И тут появляется пользователь с логичной проблемой — на большой группировке непонятно, почему прогресс еле ползёт — много файлов надо скачать или низкая скорость? Как я упоминал выше — количество файлов заранее неизвестно. Поэтому, я принял решение добавить счетчик скорости.

Анализ

Хорошая практика — посмотреть тех, кто уже решал аналогичную задачу, чтобы не изобретать велосипед. Разный софт закрывает этим разные задачи, но выглядит отображение довольно одинаково:

uTorrent	DownloadMaster

Ключевой момент, который я выделил для себя — в первую отображение скорости нужно на текущий момент времени. Не какая скорость была средней, не какая скорость в целом средняя с момента начала, а именно какова эта цифра на текущий момент. На самом деле это важно, когда дойду до кода — поясню отдельно.

Итак, нам нужна простая цифра вида 10 MB/s или что-то подобное. Как же нам её посчитать?

Поучить английский

В один из дней обычный игровой журналист поставил диск с эксклюзивной новинкой от малоизвестной инди-студии. Время поджимало — рецензию нужно было написать уже к вечеру. Попивая кофе и быстро скипнув заставку, он приготовился сыграть в очередное чудо игропрома. Как вдруг его кот запрыгнул на клавиатуру и громко мявкнув, бросился прямо в светящийся экран. Из монитора брызнули лучи света, затягивая незадачливого игрожура куда-то внутрь образовавшейся в воздухе переливающейся воронки.
Придя в чувства, наш герой обнаруживает себя посреди какого-то удивительного техно-магического мира с джойстиком в одной руке, чашкой кофе в другой и смартфоном в кармане брюк. На горизонте высится странного вида сооружение. Кота поблизости не видно, однако у дороги одиноко покачивается футуристический байк…

О чем эта статья

По сути статья о том каким образом мой образ мысли должен был измениться при смене профессии, понимание контекста и того на какие моменты стоит обращать внимание, а также насколько сильно выбор "что же мне учить" влияет на последующие годы развития личной карьеры.

Сразу скажу, я не буду и не считаю осмысленным начинать как в большинстве статей о том какой выбрать язык программирования. Бессмысленно. Нет, вы не выбираете язык программирования. На самом деле вы выбираете свое будущее, ни больше ни меньше. Выбор вашего будущего будет базироваться на области применения и платформе.

Этапы анализа

• Препроцессинг данных и предварительный анализ (кому интересно код тут)
• Графическое представление данных. Функция плотности распределения.
• Формулируем нулевую гипотезу (H0) (2)
• Выбираем метрику для анализа
• Используем метод bootstraping для формирования нового массива данных
• Рассчитываем p-value (3) для подтверждения или опровержения гипотезы

Препроцессинг данных

# Строка здесь это отдельный результат опроса, колонки переменные.

display(data_14_1.head(), data_19_1.head())
print('Всего опрошенных программистов: \n \
      {} чел. в 14 году и {} в 19 году'.format(len(data_14_1), len(data_19_1)))

• заметка относится к СУБД Oracle, но большинство написанного касается и других СУБД;
• не получилось симпатично оформть код: тег source lang=«sql» подсвечивает слишком мало, как сделать по другому не в курсе. Если кто покажет, быстро всё приведу в более читабельный вид.

Основные положения

И швец, и жнец, и на дуде игрец

Некоторое время назад мой коллега попросил помочь ему с одной проблемой. Проблему я ему решил, но кроме того, мне показалось, что на решении этой проблемы можно объяснить несколько алгоритмов и приёмов программирования. А также показать ускорение времени выполнения алгоритма с 25 сек до 40 мс.