Анализ данных с использованием Python

[kovserg]

Такие инструменты всё чаще применяются в исследованиях типа: «влияние мочи на космические лучи». Много данных и много красивых картинок, а вот толку мало.

[Stas911]

Это же не проблема инструментов?

[PaulAtreides]

конусы в небе, это тоже свечение, только в виде конуса

Много конусов в небе

На всех фотографиях — МБР «Тополь», но Минитмэны, Союзы, Протоны, Арианы и т.п. выглядят точно так же.

[FenixFly]

Над США видят явно не "Тополя")))

[PaulAtreides]

— А вы какую компанию представляете?
— Акционерное общество «Московский Институт Теплотехники».
— Хм. Во Франкфурте не знакомы с вашей продукцией.
— Ну и не приведи вас господь.
(Разговор на выставке)

Если серьёзно, вот минитмэн III с конусом:

[LoadRunner]

Наша цель будет не получить исчерпывающие ответы на главный вопрос жизни, вселенной и всего такого

Так 42 же?

Собственно, на месте НЛО могла быть любая таблица.

«НЛО прилетело и опубликовало эту таблицу здесь.»

[Anton_Abrosimov]

А где тут sklearn используется?

[Iryaz]

Верно, sklearn я в данной статье не использую. Просто изначально хотел классифицировать НЛО, по признакам с помощью sklearn, но это тема для уже статьи.

[xom4ek]

Про атмосферу дважды написано, исправь что б красиво было)

Вообще, атмосфера Земли пронизана множеством излучений различной природы, электрическими и магнитными полями.

[MisterSmith]

Отличная статья.
Надеюсь на продолжение.
И хотелось бы чуть подробнее описание кода, в некоторых местах не хватает.

[AlexeyPichugin]

Для обработки дат, думаю, правильнее было перевести в datatime через функции pandas. Времени можно было бы сэкономить, да и сил тоже.

[alexanderturchin]

Ошибка в коде после «Посмотрим какие формы объектов на небе видели и сколько раз.»
Есть:
shapes_type_count_keys, shapes_count_values = dict_sort(dict(shapes_type_count))
Должно быть:
shapes_type_count_keys, shapes_type_count_values = dict_sort(dict(shapes_type_count))

[Stas911]

Нормуль туториал для начинающих. Только сделайте его в виде Jupyter Notebook и вообще хорошо будет.

[Iryaz]

Я в Jupyter Notebook и писал. Могу ссылку дать по которой можно скачать блоткнот

[Stas911]

Да прям в статью добавьте

[Iryaz]

Ссылку на архив с блоткнотом добавил в конец статьи

[Anton_Abrosimov]

Для создания сортированных словарей легче использовать стандартный модуль: docs.python.org/3/library/collections.html

Если тебе нужен «почти словарь», или «почти список»… — унаследуй его и перегрузи определенные функции, вместо написания внешней функции-обработчика. Это спровоцирует тебя осознанно подойти к выбору того, что и в какой момент делает твой тип. Ты соберешь информацию о поведении своего типа в одном месте. Ты сможешь сохранить правильное функционирование стандартных операторов сравнения, арифметики и т.д. Ты не сможешь забыть обернуть свой тип в свой обработчик в коде программы.

Использование for и pandas — плохой стиль, в общем случае. Pandas имеет встроенные оптимизированные механизмы обработки данных, которые будут работать быстрее for.
For часто используют с np для блобов, например работа с фото.
Или:

for df in [df1, df2, df3]:

В прочих случаях: df+for->освежи память

[Anton_Abrosimov]

Например для перевода я бы использовал «кэширующий переводчик» из dict.
В __init__ запихнул функцию инициализации Яндекса, а для __missing__(key) использовал функцию перевода.
Для перевода df использовал бы функцию apply, которой скормил бы «кэширующий переводчик».

ИМХО так красивее.

[Iryaz]

Самому сформировать сортированные словари, мне показалось проще и нагляднее. Насчет for в pandas — это дельный совет. Теперь знаю что лучше стараться не использовать for для перебора элементов в DataFrame.

[AlexanderAstafiev]

Под Windows 10 x64 (да я тот еще извращенец) не удалось поставить yandex-translate. Дефис надо поменять на точку: pip3 install yandex.translate

[Iryaz]

Под Windows ставить не пробовал. Скорее это pip такой под винду

[nik_o]

В статье используется константа PLOT_LABEL_FONT_SIZE, но ни где не сказано из какого модуля она вытянута или где она объявляется.
Не подскажите что за константа?

[Iryaz]

Константа объявлена в начале программы. Когда заливал статью забыл скопировать, сейчас исправил.

# Размер надписей на графиках
PLOT_LABEL_FONT_SIZE = 14 
# Генерация цветовой схемы
# Возвращает список цветов
def getColors(n):
    COLORS = []
    cm = plt.cm.get_cmap('hsv', n)
    for i in np.arange(n):
        COLORS.append(cm(i))
    return COLORS

[veterok4]

Не пойму как обновить pip?
у меня куча каких то ошибок вылазит (см скрин).