Александр Кукушкин alexanderkuk

Красивая визуализация для 2017 года moscowmarathon2017.datalaboratory.ru/results?runners=1,18

Строго говоря, задачу можно решать и без машинного обучения — с помощью rule-based систем (в самом простом варианте — с помощью регулярных выражений). Это кажется устаревшим и неэффективным, однако нужно понимать, если у вас ограничена и четко очерчена предметная область и если сущность, сама по себе, не обладает большой вариативностью, то задача NER решается с помощью rule-based методов достаточно качественно и быстро.
…
Поэтому применять их имеет смысл только для ограниченных доменов и на простых и четко отделимых от остального текста сущностях.

Система которая заняла первое место на factRuEval-2016 www.pullenti.ru rule-based. Получается при большом желании можно и на непростых сущностях

Было бы интересно почитать про решение NER, которое используется в Abbyy

«Конвертор C#.NET => Python 3» ничего себе. Кажется, этого не было, когда я последний раз смотрел на Pullenti.

Спасибо! Надо будет попробовать.

1. Если будут конкретные задачи для английских текстов, думаю поддержка появится. Пока конкретных планов нет. Сейчас все задачи для русских текстов. Проблем с реализацией вроде не должно быть. Надо сделать или найти аналог pymorphy2 для английского.
2. Опять же, если появятся задачи про это, то да. Пока планов нет. Теоретически, парсер такое поддерживает.

Ой, я думал под словосочетание «Томита-парсер» вы подразумевали github.com/yandex/tomita-parser, про Масару Томита мало кто знает. Тогда «Я плохо знаю Parglare, но я бы не назвал его аналогом yandex/tomita-parser». Просто эти плюшки на практике 50% всей реализации: морфология, нормализаций, специальная процедура интерпретации, согласование, газеттир

Я плохо знаю Parglare, но я бы не назвал его аналогом Томита-парсера. Вопрос в том как туда встроить работу с морфологией, нормализацией, согласованием.

Про нормализацию не понял вопрос. Нормализация делается после применения грамматик

Правила не перемножаются. Вы можете почитать про en.wikipedia.org/wiki/Earley_parser

Может быть не совсем понятно написано. В предложении «Для текстов с русскими именами качество получается ~0.95» речь идёт только про github.com/natasha/natasha-examples/blob/master/02_sad/notes.ipynb. То есть утверждается что 95% качество в примере 02_sad/notes.ipynb

Если вы введёте полное предложение, например «придя с работы Маша мыла Раму» «Маша» найдётся. Такая специфика работы NamesExtractor сейчас

Если у вас есть потребность в таком экстракторе, я бы посоветовал прислать примеры строк, который должны разбираться, как это было сделано, например, для адресов github.com/natasha/natasha/issues/9#issuecomment-276799414

Плохо ))

Когда мне нужно было работать с такими именами я просто заводил словарь
'Абд Аль — Азиз Бин Мухаммад',
'Абд ар — Рахман Наср ас — Са ди',
'Абд ар — Рахман ибн Хасан',
'Абд — аль Хади ибн Али',
'Абд — уль — Кадим Заллюм',
'Абду — ль — Азиз Аль Абдуль — ли — Лятыф',
…

Спасибо, надо будет поправить

Да, это можно сделать. У вас кейсы, когда это нужно?

Можно но это overkill. Лучше просто воспользоваться pymorphy2

Всё-таки получается длинный код. И какие преимущества относительно статических картинок: тултипы, зум и спан? Для drop-down меню как-то привычнее использовать ipython-виджеты

Открываются. Просто не всегда

Круто!
1. Было бы интересно узнать, где работают выпускники. В каких компаниях.
2. А нет разбивки не по специальностям, а по факультетам и кафедрам? Я, например, точно и не знаю какая у меня специальность и какой у неё номер ), а кафедру знаю.
3. Интересно было бы посмотреть на данные больше, чем за год. Например, какие заработки через 5 лет после выпуска.
4. Вы очень круто провязали вузы и компании. А можно ли связать школы и вузы? Из каких школ, в какие вузы поступают и с какими баллами ЕГЭ. Обрнадзор не ведёт такой учёт?
5. Ещё интересно было узнать сколько школьников уходят не в вузы, а в техникумы и в армию. В разбивке по школам.

Да, парсили html

Lxml получается быстрее? А если использовать beautifulsiup с бекэндом lxml разница остаётся ?

А лучше вообще удалить

По центральной предельной теореме и потому что в других странах так (см. рис.2 http://trv-science.ru/2011/12/20/matematika-vyborov-2011/)

Ясно, спасибо. То есть наблюдения про доли комментариев и лайков отменяются, их всегда (по крайней мере последние 4 года) было примерно как сейчас. Вывод про значительное падение просмотров в силе. Ок, возможно, трафик ушёл на ваши другие проекты.

Не понял. Лучше сразу пулл-реквест или патч

Может быть, в будущем буду пользоваться ими

Расскажите потом про результаты, интересно )

Вам удалось договориться с Росгидрометом, получить данные с их метеорологических радаров?

Вообще, очень крутая тема:
1. Можно пробовать ловить демпинг. На некоторые товары есть минимальная цена. Производитель обычно строго следит, чтобы она не нарушалась, можно ему помочь
2. Пробовать определять успешность продукта по тому, как быстро падает его цена. Например, сравнить Айфоны
3. Пробовать предсказать по первым неделям продаж, какая будет цена через несколько месяцев. Поможет определиться покупать сейчас или подождать
4. Проверять действительно ли магазин делает скидку или сначала повешает, а потом понижает цену
5. Посмотреть с какой задержкой и как влияют курсы на цены и предсказывать цены исходя из курсов

Чуваки, да какая разница

Да, pandas, matplotlib и seaborn. Если очень интересно, вот сорцы github.com/alexanderkuk/analyze-hh-resume

На bus.gov.ru, вроде бы нет Москве. Так, jimborobin?

У нас проблемы со школой Колмогорова. В данных Минобра её нет, видимо, потому что в школе занимаются только 10-11 классы. Данных по ЕГЭ нет, потому что не нашли публичный доклад. Распределение по ВУЗам кривое, потому что из школы, видимо, часто идут в МГУ, а МГУ мы выкидываем. При этом понятно, что школа крутая. Может быть, вы нам просто сами пришлёте данные по ЕГЭ и ВУЗам на ak@obr.msk.ru?

Математика, физика, информатика

Была такая идея, но это сложновато в реализации и графики сложно интерпретировать

iPython с библиотеками Pandas, Seaborn и Matplotlib

Выглядит очень хорошо

На презентации турнирная таблица выглядела так

Да, не, у меня здесь всё нормально. Проблема могла быть в том, что просили бинарные оценки, а мерили AUC. Это как-то по-моему странно

Может быть, но вряд ли

Сбербанк почему-то требовал бинарных ответов. Если sklearn передать вектор из 0 и 1, а не вероятности оттока, получаются такие кривые. Почему именно такие я не вникал

Вынужден согласиться, Александр )