Возможно, это не самая интересная часть, но одна из. Кража знаков и передача информации - это целое исскуство. Достаточно вспомнить "технологии" передачи расшифровки беттеру, которые использовали игроки Хьюстон Асторс (именно скандал с Хьюстон, который в год читерства выиграл Мировую серию, и стал катализатором изменений). С другой стороны, это как с определением страйк-зоны судьёй: раньше иначе было нельзя, теперь технологии позволяют заменить кожаных мешков, которые часто ошибаются.
Когда дошёл до описания распараллеливания начали закрадываться подозрения, что это уже было в Симпсонах я это уже где-то слышал. Ну и точно, я смотрел доклад ребят на DataFest. Может стоить информацию об этом вынести наверх статьи?
Насколько помню, eval() exec() лучше не использовать в пром. коде, потому всё это «динамическое считывание» может закончится взломом и большими проблемами.
Интеллект равный FAQ на сайте — это не так плохо. Я тут недавно звонил в одну лабораторию с целью уточнить, какие документы нужно принести для проведения анализа (скринниг беременной) так мне ответил 7 оператор. 6 первых сказали только, что «я сейчас Вас переключу на компетентного сотрудника»)))
Спасибо за статью.
Сейчас прохожу один курс, в котором одно из заданий применить свёртку с ядром к сигналу, т.е. как раз пройтись по входному массиву скользящим окном. При малых значениях входного массива разницы между двумя способами особой нет, но на длине в миллион способ без явных циклов отработал в 90 раз быстрее. На 100 миллионах он отработал за полторы секунды, а способ с циклами «повис».
К сожалению, моя база данных слишком мала для того, чтобы сделать нормальную выкладку, но вот что получается если посчитать среднюю разницу в оценках между кинопоиском и imdb для фильмов с более 10000 голосов на обоих сайтах. Таблица для жанров, которые упоминаются более 150 раз. Положительная дельта — это выше оценка на кинопоиске. Народ на Кинопоиске больше любит мелодрамы, фэнтази и комедии.
Здравствуйте. Аномальная точка на графике — это фильм «Крым», о причинах такой аномалии я написал в заключении. Вторая точка — это моя ошибка, случайно загрузил старый файл, который я делал до конечной очистки данных.
Пожалуйста. Термины скрэпинг и парсинг часто подменяют друг друга. Можно встретить, что в одном абзаце автор называет свои действия скрэпингом, а в другом парсингом.
Действительно, рейтинги и голоса IMDB отображаются на кинопоиске и для анализа данных лучше было бы получить всю информацию с одного источника. Но для меня важно было ещё и «набить» руку, а в этом плане прочитать два сайта лучше, чем один. Ну и плюс тогда бы нельзя было построить график со средними оценками жанров на IMDB
Я на Хабре новичок, правильнее было бы поставить Data Mining? С Excel проблема в том, что он просто не даёт работать с нужным количеством данных. Например, у меня есть база по всем броскам в НБА за последние 6 лет, там ~ 1 200 000 строк. Мой Excel открывает только 999 999.
Хорошо, что добавили retry, можно будет переписать свой велосипед с рекурсией)))
Возможно, это не самая интересная часть, но одна из. Кража знаков и передача информации - это целое исскуство. Достаточно вспомнить "технологии" передачи расшифровки беттеру, которые использовали игроки Хьюстон Асторс (именно скандал с Хьюстон, который в год читерства выиграл Мировую серию, и стал катализатором изменений). С другой стороны, это как с определением страйк-зоны судьёй: раньше иначе было нельзя, теперь технологии позволяют заменить кожаных мешков, которые часто ошибаются.
это уже было в Симпсонахя это уже где-то слышал. Ну и точно, я смотрел доклад ребят на DataFest. Может стоить информацию об этом вынести наверх статьи?Сейчас прохожу один курс, в котором одно из заданий применить свёртку с ядром к сигналу, т.е. как раз пройтись по входному массиву скользящим окном. При малых значениях входного массива разницы между двумя способами особой нет, но на длине в миллион способ без явных циклов отработал в 90 раз быстрее. На 100 миллионах он отработал за полторы секунды, а способ с циклами «повис».
Действительно, рейтинги и голоса IMDB отображаются на кинопоиске и для анализа данных лучше было бы получить всю информацию с одного источника. Но для меня важно было ещё и «набить» руку, а в этом плане прочитать два сайта лучше, чем один. Ну и плюс тогда бы нельзя было построить график со средними оценками жанров на IMDB