ML на Scala с улыбкой, для тех, кто не боится экспериментов

Если есть необходимость построения моделей для таблиц, то рекомендую ознакомится с TransmogrifAI — github.com/salesforce/TransmogrifAI

«Тайна третьей планеты» с улучшенной нейросетями графикой

Спасибо. Суперски получилось!!!

Как геокодировать миллион точек на Spark по-быстрому?

Ага, статья грамотная. Я собираюсь с автором кстати пообщаться в ближайшее время. Есть у меня к нему ряд вопросов.

Как геокодировать миллион точек на Spark по-быстрому?

А в чем спорт?

С Lucene заранее например индексируем точки городов мира отсюда, а потом загружаем на каждом Executor в Spark и опрашиваем.

Поиск в радиусе на индексе из ~3 млн точек и точности в ~1 метр берет окоро 2 мс на запрос. А вот поиск топ ближайших городов работает значительно медленнее 700-1000 мс на запрос, т.к. индекс по всей видимости не используется.

Как геокодировать миллион точек на Spark по-быстрому?

Вот еще отличный вариант с использованием Lucene — opensourceconnections.com/blog/2014/04/11/indexing-polygons-in-lucene-with-accuracy