Как стать автором
Обновить
3
0

Пользователь

Отправить сообщение

Если проще SQL - это ремесло. На мой субъективный взгляд (я примерно прикинул) существует около 300 "фишек", "приёмчиков ", "шаблонов" для sophisticated data analysis. Это очень похоже на оригами, а я им занимался в начальной школе:). Таблицы как бумага, ее нужно гнуть в определённых последовательностях.

Во-первых берите неагрегированные данные, чем "сырее" тем лучше и ближе к жизни.

Я убедился, что нужно не тренажёры проходить (на то стоит потратить время все таки), но для развития мастерства нужно делать и делать запросы к новым данным и ставить аналитические гипотезы самому себе! И не на одном датасете, а в первый год перепробовать их несколько десятков.

Во-вторых. Важно! Не берите датасеты из kaggle, за редким исключением:спорт, погода, игры. Не берите ирисы, титаник, может только в самом начале. Берите csv с сайтов всемирного банка, мосбиржи, разные сайты по медицинским исследованиям с сырыми данными. Некоторые имеют открытые базы данных read only.

Все потому, что в большинстве датасеты на kaggl сгенерированы (скорее всего с помощью faker) по Паретто. Конечно не все, но очень часто синтетические. Это просто не интересно анализировать. Трудно будет научиться делать выводы и последовательный анализ.

Еще про интерес: мне крайне было не интересно анализировать библиотеку на степике, в том самом "легендарном" курсе. Не интересно было проходить на sqlex задания про продажи оргтехники. Но вот что увлекло, так это создание собственных ds из открытых источников, stratascratch faang задачи, top 50 SQL вопросов на leetcod, и курс Глеба Михайлова (после него я действительно увидел "анализ", почувствовал вкус к этому и полюбил инструмент. (Если вы не изучили до сих пор SQL, скорее вы его не любите)

P. S. Учите clickhouse ( синтаксис, и его эксклюзивные функции, будете на порядок круче всех и востребованнее.)

НЛО прилетело и опубликовало эту надпись здесь
100 лет как есть чудесный макрос для ворда — вёрстка текста книжкой, формирующий «каквмагазинную» книжку.
Рекомендую журнал «Сделай сам» N13 за 1989 г., там написано про переплёт и реставрацию книг.
Замена Facebook это Diaspora и GNU Social — свободные, открытые, децентрализованные социальные сети

matrix.org, tox, ring, также XMPP(jabber) это свободные, открытые, децентрализованные протоколы и сервисы для обмена сообщениями

Это свободное программное обеспечение, которое принадлежит нам, человечеству (а не частному лицу или фирме). Каждый может помочь проекту и принять участие в разработке, тестировании, переводе, составлении отчётов об ошибках, создании узлов (для протоколов на основе федерализации), финансировании (пожертвования).

Многие из этих проектов уже вполне пригодны к использованию. Но, конечно, вклад каждого из нас в их улучшение не будет лишним. Не нужно ждать милости от Дурова, Фейсбука или Роскомнадзора — возьмите будущее в свои руки.

Взгляните на книги издательства URSS
Например Р.В.Олейников "Построение музыкальных систем" — прочитал как с физической точки зрения построены звуки, ноты аккорды. Ну а где физика, там и математика ( с формулами, уравнениями и графиками)

Л. А. Мазель (по первому образованию математик). Книга: «Проблемы классической гармонии».
Поставил в организации сервер OpenFire (бесплатный).
Из плюсов:
— сервер у себя
— настроил контакты так чтобы все вновь зарегистрированные попадали в общую адресную книгу и не надо было никого добавлять дополнительно руками
— есть видео, аудио
— поддерживается любой jabber клиент
Из минусов:
— потратил время на поиск среди «хипстерских» поделок с нескучными бэкграундами
Большую работу проделали.
Рекомендую обратить внимание на проект The Graph (github, opensource), демо.
Он является частью целой системы для Flow Based программирования, , есть среда выполнения графов как минимум для nodeJS, и браузера. Можно взять только сам редактор графов, а выполняющее их ядро реализовать самостоятельно. Я например таким образом реализовал ETL загрузчик для OLAP системы.
НЛО прилетело и опубликовало эту надпись здесь

Спасибо за отличную статью.
Т.к. работаю в Hazelcast, возьмусь прокомментировать пару моментов.
Буду комментировать по ходу чтения статьи.


Развал кластера и Split Brain

Обычно, из-за высокой latency между датацентрами, мы не рекомендуем размазывать кластер Hazelcast на множестно датацентром. есть WAN Replication, но как и у многих конкурентов она входит в платный пакет.
Так же, хочу отметить, что в более новых версиях появился механизм quorum, который позволяет настроить CP vs AP поведение для конкретных структур данных.
По поводу NoClassDefFoundError. У Hazelcast много чего разного лежит в META-INF/services.
Не все uberjar упаковщики правильно приносят это все.
В общем случае, хотелось бы поглядеть на полный stacktrace, но я тут вижу вы как-то это полечили.


Ложные срабатывания политик эвикта данных

Начиная с 3.7, eviction был очень сильно переработан. Об алгоритме можно почитать тут и тут.
Пусть вас не смущает JCache в последнем линке. с 3.7 JCache и IMap используют унифицированный механизм.
Так же в 3.7, появились Custom Eviction Policies — секция Custom Eviction Policy, так что можно реализовать что-то свое если LRU или LFU не подходят (там есть пример).


можно сначала запустить ноду кластера, а затем применить настройки хранения

так делать нельзя. не то, чтобы я запрещаю, просто в этом случае ваш конфиг не применится, а будут использованы defaults.


Вывод: сначала конфигурируем инстанс, затем запускаем.

ваш вывод очень правильный.


Config conf = new Config();
// кастомизации происходят тут
HazelcastInstance hz = Hazelcast.newHazelcastInstance(conf);

В любом случае, все ноды кластера должны иметь одинаковый конфиг.


Долго выполняются команды в момент изменения структуры кластера

Есть крутилки и для этого.
Вот тут можно почитать, что можно (и нужно крутить, для обработки внештатных ситуаций).


Мониторинг кластера

Тут все правильно сказал.
Management Center, кстати, умеет отдавать агрегированную статистику через JMX.
Можно заставить, MC собирать статистику по Hazelcast кластеру и отдавать ее в Zabbix или Prometheus.


Такое логирование можно реализовать с помощью MapListener, что полностью покрывает потребности нашей команды в мониторинге кластера.

Я бы не рекомендовал. Лучше поглядите на Diagnostics — фича, highly inspired by Metrics framework.


Перезапуск нод кластера
Каждое изменение настроек Hazelcast

вот только вчера выкатили 3.9-EA (early access) с новой фичей про добавление конфигураций динамически.
Можно пробовать!


А раз документации к продукту немного, то подробнее остановлюсь на решениях.

Вот тут сейчас обидно было ©


  1. официальные доки
  2. бесплатная книга (постоянно обновляется)
  3. платная книга (уже малец старая)
  4. и много всяких позных ништяков

мне еще предстоит познать «радость» обновления с Hazelcast 3.5.5 до свежей версии 3.8.

Начиная с 3.6, клиенты и ноды начали общаться по стандартному протоколу Hazelcat Open Client Protocol, что позволяет обновлять минорные версии нод и клиентов в разное время.
В 3.8 EE (Enterprise Edition) появилась возможность обновлять минорные версии нод «на горячую», т.е. обновлять 3.8 -> 3.9, 3.9->3.10 и тд.
Исходя из всего выше описанного, обновление на 3.8 очень рекомендовано.


В любом случае, буду рад ответить на любые вопросы, если такие появятся.

если для проекта в котором ничего не понятно вы делаете костыль, то вероятно вы используете бестпрактис этого проекта, а как результат не будете выделяться на общем фоне и нарушать хрупкий баланс и эстетику остального кода
http://meetfranz.com/
все то же самое — электрон оберткой над веб-версией скайпа и еще над 20+ мессенджеров, в т.ч. телеграм, вотсапп, фб.

Предлагаю такой вариант:


"Монетизация веб-сервисов, Конференции, Интернет-маркетинг, Microsoft"
.split(',').forEach(function(hubname) {$(".hub:contains('"+hubname.trim()+"')").parents('.post').hide();});
var hubMinus = "Название Хаба";
$(".hub:contains('"+hubMinus+"')").parent().parent().parent().hide();


Используйте на здоровье!
$('a.post__flow[href="https://habrahabr.ru/flows/marketing/"]').parent().parent().parent().hide();
В целом обзор неплохой, но надо признать, что исторические сведения — хромают по многим параметрам и содержат анахронизмы. Навскидку с конца: время измеряли очень по-разному и для разных целей уже в древности, не то что в Средние века или в Возрождение (к которым, очевидно, относится измерение времени по молитве, что имеет довольно ограниченный круг использования и сопряжено с конкретным историческим явлением — движением исихазма). В Древней Греции можно вспомнить клепсидру, солнечные часы ну и т.д., много чего было, а молитв для измерения времени как раз не было.
Дальше: чтение книги вслух. Да, в античности именно так, в основном, и использовали книги, но для более позднего времени это не правило. В древнерусском письменном наследии полно текстов, которые написаны не для публичного чтения, а для вполне кабинетных штудий.
Монголия и почта для России хороший пример, потому что именно у нас была самая развитая скоростная почта в Европе. Этимология слова «ямщик» происходит как раз от монгольского слова, системами ямов была покрыта вся территория Орд. Россия унаследовала эту систему и пользовалась ею местами до 19 века. Прогон письма ямской гоньбой в 17 веке предусматривался на скорости 7 вёрст в час летом и 5 вёрст в остальное время. В Монголии и далее до Волги — сплошные степи, поэтому особых проблем вроде распутицы не было, были проблемы в европейской части, но они не составляли 2-годичных задержке. Википедия говорит, думаю, основательно, что письмо при Борисе Годунове из Москвы в Европу шло 3 недели при хорошей погоде.
«Современные психологи» — это, видимо, «американские учёные», потому что есть масса примеров запоминания больших текстов наизусть, вопрос только в мотивации, т.к. запоминают, в основном, такие книги, как Коран, Псалтирь, Библия. Возможно, «современные психологи» не смогли найти должную мотивацию для испытуемых. А между тем исследования филологов как раз подтверждают, что Илиада и Одиссея именно запоминались наизусть, с этим обстоятельством связано и то, что большая часть древнего эпоса у всех народов представлена в стихотворной форме (Калевала, русские былины, сказания саксов, исландцев и пр.). Русские эпические сказания (как и сказки) наиболее показательны, т.к. они, в отличие от прочих источников, зафиксированы в период бурного развития науки, в недавнем прошлом, так что во всём мире они являются ориентиром для филологов-фольклористов.
Ну и т.д.
Можно многое сказать и против предложенного подхода, показывающего как бы прогрессирующее развитие человечества в определённой сфере. Сегодня утром я купил батарейки взамен тех, которые покупал перед новым годом для сына. Старые уже сели, а суть этих батареек так и не изменилась за 150 лет с момента их изобретения. Паровоз из Петербурга в Москву ходил примерно за 9 часов в 19 веке, сейчас Сапсаны ходят за 4,5 часа только как исключение (на остальных ветках их просто не запустить), а по другим направлениям сроки транспортировки остались почти прежними. Поезд Петербург-Кишинёв идёт в наше время даже дольше, чем шёл в конце 19 века.
Ещё хуже обстоит дело со сферой духовности и с грамотностью людей. Средневековый человек, даже не умевший читать, тем не менее, был широко образованным человеком. Грамотность — это не только умение считывать знаки алфавита, это и умение понимать любые визуальные, звуковые символы. Современному туристу непонятна та история, о которой рассказывает визуальными символами средневековая готическая архитектура, а вот тогдашнему человеку — совершенно ясна.
Я уж не говорю об искусстве. Где Рембрандт? Есть кто-нибудь, подобный Баху? Или, может, да Винчи? Кто-нибудь написал за последние 100 лет что-то, что люди будут с удовольствием читать через 3 тысячи лет? А драмы Эсхила, Еврипида, трагедии Шекспира, да даже комедии Аристофана, — проживут и 10 тысяч лет и будут востребованы.

Информация

В рейтинге
Не участвует
Зарегистрирован
Активность