10 000 000 строк, каждая это 10 int8
я бы сказал, что я сильно сомневаюсь, что на основе префиксного дерева получится построить более эффективное решение этой задачи чем на основе разреженных битмассивов.
Я далеко не спец по алгоритмам, это скорей хобби, но было бы очень любопытно увидеть код и показатели стоимости данного алгоритма на этой задаче.
Текущие лучшие решения в статье и комментариях:
размер от 40 до 300 мегабайт
время доступа константа
количество строк кода (вместе с тривиальной веб мордой) от 400 строк кода.
память и cpu смысла нет расписывать, там копейки.
Не знаю как насчет реализации в redis, но в оригинальных либах еще и операции со множествами поддерживаются, и тоже за константное?(не помню) время. Как пример использовал это в задачках вида: есть группа от 18 до 34 лет, есть группа любителей попкорна, есть группа любителей домашнего порно, есть группа мужчин нужно получить целевую аудиторию мужчин от 18 до 34 лет, которые любят домашнее порно и попкорн.
Собственно каждый субъект в группе это кука ))
В итого с кластера на 3 машинах с терабайтными ssd + полтерабайтными кусками оперативы перешли на 1 машину со 128 гигами. Ну и операции из разряда запустить на ночь стали реалтайм.
Ну на самом деле выбор разреженных битовых массивов под эту задачу весьма не плох, думаю бинарное дерево больше места займет.
5 лет назад я делал просто сортированные массивы, по скорости таже константа, по месту 200 — 300 мегабайт, только там без внешних хранилищ.
Дано 10 000 000 чисел по 34 бита каждое, числа от 0 до 9 999 999 999
для любого 10 значного числа нужен ответ, входит оно в эти 10 миллионов чисел или нет.
В общем вы немного не поняли условия задачи.
Забавно, порылся у себя в репах 5 летней давности, ничего не меняется в этом мире. реализация на haskell реализация на clojure
и там и там просто бинарный поиск, roaring bitmaps на тот момент в готовых либах не было, а
писать самому было лень ))
Сама задачка всплывала на хабре в коментах. Там кстати на php решение вроде тоже ссылка была.
Неделю назад был в такой ситуации, соседи не закрыли дверь, постучал, сказал что дверь открыта, сказали спасибо, закрыли. Живу в России )) Чтож прям про Мордор то какие-то страшилки придумывать )) Люди везде люди, и уродов везде хватает.
Ну удача тут вообще ни причем, это просто труд, причем многолетний.
На вопросы выше, 300к $ это именно аналогичная квартира, дома сильно дороже идут.
На тему не принято быть владельцем жилья, а принято арендовать, не смешите. Если бы у всех тех у кого «не принято» была возможность купить, они бы купили.
На тему безвизового выезда, без визы нет, но в чем проблема ее получить.
Свежий айфон/самсунг за 50$ в аренду? На столе лежит айфон, специально посмотрел модель iPhone XS max, как умрет или начнет глючить пойду в магазин и куплю свежую версию, арендовать предметы обихода (или брать их в аренду) лично для себя считаю просто глупостью.
Патентами не занимаюсь, но при необходимости это не проблема.
Про апстор и день релиза )) Я даже не знаю когда у них день релиза )) Хоть по большому счету и маковод, посчитал, дома 7 девайсов от apple, вот только покупаются или обновляются они по необходимости ))
Доставкой с Китая ни разу не пользовался, ну наверно службам доставки есть над чем работать…
В настоящий момент удаленно можно работать на любую контору в мире, если есть язык, если ваша компетенция им интересна и если этот работодатель не сегрегирует работников по национальному признаку (вариант работы на иностранных военных тут не рассматривается)
Хотя еще есть вопрос часовых поясов, эт да, с австралийцами у меня лично не заладилось работать, они просыпаются, я спать ложусь, в итоге решили не мучать друг друга. Но тут ничего не поделаешь, физика.
С оружием да, ситуация разная, но вариант поехать в тир и отстрелять ящик патронов есть и тут.
В домике в горах поставить Старлинк? Они вроде над нами пока спутники не гоняют, так что нет, не могу.
Просто спутниковый инет поставить можно. Но вот домика в горах нет, хотя идея не плоха, надо подумать над этим.
Объем еды и дешевые местные услуги, еду каждый день кушать надо, и услуги не всегда дешевые.
И на тему Воркуты, вы думаете в штатах таких мест нет?
Не обольщайтесь, там также есть города призраки, вообще там достаточно сильная сегрегация по доходу есть, я б сказал ужасающая.
Ну и не понятно, ну если там так хорошо, чего ждать то, человек хозяин своей судьбы. По мне так и здесь не плохо.
Ну ок. 200к рублей в месяц чистыми в Новосибирске, вакансии можно посмотреть на hh, то есть это не редкость.
Вакансии в штатах 160к $ грязными в год, ну будем считать что чистыми останется 100к.
И там и там людям нужно жилье, смотрим 2 комнатную квартиру, квадратов от 60.
По Новосибирску это 3 — 6 кк рублей (высший сегмент и хлам не смотрим)
Итого получаем квартиру за 15 — 30 месячных зп.
Смотрим аналог в штатах, смотрим крупный город
из того что я увидел аналогичного цены начинаются от 300к $
Итого получаем туже квартиру минимально за 36 месяцев.
Конечно если зарабатывать 10к зеленых и тратить их в России, это сильно отличается от 200к рублей. Но в общем то цены и тд по странам сильно различаются. При этом 10к $ в месяц в России вполне реальные деньги для инженера.
Я же сказал, мне в это слабо верится. Если бы это была справка из налоговой, тогда бы поверил. А верить в то, что какой-то анонимный программист из фэйсбука получает 100к в месяц… Ну дело веры наверно.
Вот что то мне в 100k$ чистыми в месяц очень слабо верится, мы же про инженеров говорим. Смотрю вакансии в гугле накопал, таких цифр не вижу.
А кто там что пишет, про 2М в год, ну как в анекдоте про доктора и старика…
Зря не верите, ничего экстраординарного тут нет.
Если вам скажут, что человек не захотел работать в гугле и в фэйсбуке просто по причине просадки в доходе, такое наверно тоже по вашему не реально?
На больших объемах логов journald просто не справляется, вырезать его в принципе нельзя. В итого приходится локально пинать логи по udp с приложения на rsyslog(ng-syslog).
до 40к в проде не приходилось, 20к было, оно в эластик штатно укладывалось
гдет пара терабайт в день по объему выходило.
На машину это около 500 — 4000 в сообщений в секунду. Без особой оптимизации.
Только ключевое условие, весь софт писал напрямую в локалхост по udp на rsyslog.
journald критично не справлялся.
По стоимости это выходило < гита оперативы на машину, и 1 — 4% cpu, ну машины толстые были.
Все мысли на тему реальной необходимости в практике спускаются свыше, и далее в результате консенсуса цена — возможность реализуются на практике.
От вас я только жду рассказ как в RedHat — like и debian — like системах вырезать journald.
А разработчики за себя и сами думаю могут сказать ))
За сим откланиваюсь, ответы читать буду завтра, карма знаете ли ))
Сложно поддерживать несколько нитей разговора с разными людьми имея ограничения. Но можем пообщаться где нибудь на другой платформе, где политические, религиозные, технические и прочие воззрения не могут сказываться на возможности выражения мыслей. ))
Ох… ну я знаю параметры…
Суть в другом, тут уже отписали, что да, народ пинает ныне все в докере, и логи в stdout, stderr и в докер втыкают в параметры неблокируемый вывод, и дальше в F(syslog) неожиданно оно так умеет
и дальше рулят, и не от удобства и крутости journald, а от того что оно не выполняет свои функции…
Я это прекрасно понимаю, еслиб journalctl мне просто стал бы гнать весь лог в консоль, или плюнул 10 строк + сообщение «тут только начало, пни добавь параметр и покажу все»
Вопроса бы не было.
я бы сказал, что я сильно сомневаюсь, что на основе префиксного дерева получится построить более эффективное решение этой задачи чем на основе разреженных битмассивов.
Я далеко не спец по алгоритмам, это скорей хобби, но было бы очень любопытно увидеть код и показатели стоимости данного алгоритма на этой задаче.
Текущие лучшие решения в статье и комментариях:
размер от 40 до 300 мегабайт
время доступа константа
количество строк кода (вместе с тривиальной веб мордой) от 400 строк кода.
память и cpu смысла нет расписывать, там копейки.
Собственно каждый субъект в группе это кука ))
В итого с кластера на 3 машинах с терабайтными ssd + полтерабайтными кусками оперативы перешли на 1 машину со 128 гигами. Ну и операции из разряда запустить на ночь стали реалтайм.
5 лет назад я делал просто сортированные массивы, по скорости таже константа, по месту 200 — 300 мегабайт, только там без внешних хранилищ.
для любого 10 значного числа нужен ответ, входит оно в эти 10 миллионов чисел или нет.
В общем вы немного не поняли условия задачи.
реализация на haskell
реализация на clojure
и там и там просто бинарный поиск, roaring bitmaps на тот момент в готовых либах не было, а
писать самому было лень ))
Сама задачка всплывала на хабре в коментах. Там кстати на php решение вроде тоже ссылка была.
На вопросы выше, 300к $ это именно аналогичная квартира, дома сильно дороже идут.
На тему не принято быть владельцем жилья, а принято арендовать, не смешите. Если бы у всех тех у кого «не принято» была возможность купить, они бы купили.
На тему безвизового выезда, без визы нет, но в чем проблема ее получить.
Свежий айфон/самсунг за 50$ в аренду? На столе лежит айфон, специально посмотрел модель iPhone XS max, как умрет или начнет глючить пойду в магазин и куплю свежую версию, арендовать предметы обихода (или брать их в аренду) лично для себя считаю просто глупостью.
Патентами не занимаюсь, но при необходимости это не проблема.
Про апстор и день релиза )) Я даже не знаю когда у них день релиза )) Хоть по большому счету и маковод, посчитал, дома 7 девайсов от apple, вот только покупаются или обновляются они по необходимости ))
Доставкой с Китая ни разу не пользовался, ну наверно службам доставки есть над чем работать…
В настоящий момент удаленно можно работать на любую контору в мире, если есть язык, если ваша компетенция им интересна и если этот работодатель не сегрегирует работников по национальному признаку (вариант работы на иностранных военных тут не рассматривается)
Хотя еще есть вопрос часовых поясов, эт да, с австралийцами у меня лично не заладилось работать, они просыпаются, я спать ложусь, в итоге решили не мучать друг друга. Но тут ничего не поделаешь, физика.
С оружием да, ситуация разная, но вариант поехать в тир и отстрелять ящик патронов есть и тут.
В домике в горах поставить Старлинк? Они вроде над нами пока спутники не гоняют, так что нет, не могу.
Просто спутниковый инет поставить можно. Но вот домика в горах нет, хотя идея не плоха, надо подумать над этим.
Объем еды и дешевые местные услуги, еду каждый день кушать надо, и услуги не всегда дешевые.
И на тему Воркуты, вы думаете в штатах таких мест нет?
Не обольщайтесь, там также есть города призраки, вообще там достаточно сильная сегрегация по доходу есть, я б сказал ужасающая.
Ну и не понятно, ну если там так хорошо, чего ждать то, человек хозяин своей судьбы. По мне так и здесь не плохо.
Вакансии в штатах 160к $ грязными в год, ну будем считать что чистыми останется 100к.
И там и там людям нужно жилье, смотрим 2 комнатную квартиру, квадратов от 60.
По Новосибирску это 3 — 6 кк рублей (высший сегмент и хлам не смотрим)
Итого получаем квартиру за 15 — 30 месячных зп.
Смотрим аналог в штатах, смотрим крупный город
из того что я увидел аналогичного цены начинаются от 300к $
Итого получаем туже квартиру минимально за 36 месяцев.
Конечно если зарабатывать 10к зеленых и тратить их в России, это сильно отличается от 200к рублей. Но в общем то цены и тд по странам сильно различаются. При этом 10к $ в месяц в России вполне реальные деньги для инженера.
А кто там что пишет, про 2М в год, ну как в анекдоте про доктора и старика…
Если вам скажут, что человек не захотел работать в гугле и в фэйсбуке просто по причине просадки в доходе, такое наверно тоже по вашему не реально?
хост система
непосредственно виртуалка
тут код ))
вырезать путем создания форка и переписывания в принципе можно, а вот путем конфигурирования нет.
Еще какие доказательства нужны? Не хочется (можется) по коду, ну загуглите сей вопрос.
www.researchgate.net/publication/228694459_Rsyslog_going_up_from_40K_messages_per_second_to_250K
тут просто тупо решают проблему увеличения производительности с 40k в секунду до 250 к в секунду
до 40к в проде не приходилось, 20к было, оно в эластик штатно укладывалось
гдет пара терабайт в день по объему выходило.
На машину это около 500 — 4000 в сообщений в секунду. Без особой оптимизации.
Только ключевое условие, весь софт писал напрямую в локалхост по udp на rsyslog.
journald критично не справлялся.
По стоимости это выходило < гита оперативы на машину, и 1 — 4% cpu, ну машины толстые были.
Все мысли на тему реальной необходимости в практике спускаются свыше, и далее в результате консенсуса цена — возможность реализуются на практике.
А разработчики за себя и сами думаю могут сказать ))
За сим откланиваюсь, ответы читать буду завтра, карма знаете ли ))
Сложно поддерживать несколько нитей разговора с разными людьми имея ограничения. Но можем пообщаться где нибудь на другой платформе, где политические, религиозные, технические и прочие воззрения не могут сказываться на возможности выражения мыслей. ))
Суть в другом, тут уже отписали, что да, народ пинает ныне все в докере, и логи в stdout, stderr и в докер втыкают в параметры неблокируемый вывод, и дальше в F(syslog) неожиданно оно так умеет
и дальше рулят, и не от удобства и крутости journald, а от того что оно не выполняет свои функции…
90% разработчиков про systemd краем уха, и то только название ))
мой прогноз, на выборке из бэкендеров ))
Вопроса бы не было.