Есть сомнения по поводу проверки внешних зависимостей в initContainers, а именно — как сделано в вашем примере — с использованием образов бд. Идея скачать и запустить целый постгрес, чтобы проверить соединение с постгрес через его cli клиент, выглядит мягко говоря избыточно. Мы у себя обычно делаем это внутри самого приложения.
База пошардирована, но статистика никак не отделена от актуальных данных.
Спасает то, что при удалении объявления удаляется и его статистика; может быть в будущем удалять их не будем в целях аналитики — тогда и разделим.
Подход time-series баз данных интересен; может быть, если понадобится более детальная статистика — будем использовать и его (в комбинации с другими, чтобы не тормозить на чтении общего числа просмотров).
А вообще причины отказа от time-series бд я описал выше
Пробовали influxdb, но не взлетело: во-первых, мы плохо его подготовили (на каждый запрос общего числа просмотров вычисляли сумму из time series — очень медленно); во вторых, даже если готовить хорошо, все-таки более 90% запросов у нас интересуются не статистикой, а суммой просмотров, поэтому заводить ради этого отдельную бд не захотелось.
После неудачи с influxdb решили выбрать что-то из имеющихся у нас в продакшене технологий — mysql или mongodb; вторая оказалась быстрее.
Большая часть запросов на чтение приходит со страниц поиска: мы выводим много объявлений в списках (читаем просмотры), но люди переходят, конечно, не по всем из них.
Ну и есть много других мест на сайте и в приложениях, где объявление отображается, но его просмотр не засчитывается.
На самом деле на крупных проектах скорее всего и 20 лет назад использовали промежуточное in-memory хранилище для подобных нагрузок на запись. Не redis, так что-то другое, но принципиальная сложность вряд ли изменилась.
Данные одного проекта занимают около 25гб в MongoDb (из них большую часть занимает статистика по дням, на сумму просмотров приходится ~1гб). А в редисе лежит меньше 100мб на проект — это кэш и очереди вместе.
Еще вот анализ пропускной способности и поведения сети в реальных условиях со множеством узлов — Understanding the Limits of LoRaWAN — arxiv.org/pdf/1607.08011.pdf
С интересом читаю ваш цикл статей, очень познавательно!
Я недавно закончил магистратуру в CMU, там плотно работал с профессором, который занимается связью, особенно IoT и LoRaWAN. Со многими проблемами, которые вы описываете (низкая скорость, лимиты на размер пакета, загруженность сети) мы тоже сталкивались и пытались решать.
У нас была идея в том, чтобы мультиплексировать доступ к сети через TDMA.
В основе этого решения — синхронизация времени на устройствах, этим я в основном и занимался. Если все пройдет удачно, эту работу могут принять в стандарт LoRaWAN — и может быть всем будет полегче строить поверх этого более нагруженные сети.
Да, тоже видел эту статью.
Работает — но с существенным ограничением: на хосте папка node_modules не появляется. А это значит отсутствие автодополнения и возможности модификации библиотек с хоста.
Конечно, можно потом эту папку скопировать через docker cp, но это во-первых муторно и печально, а во-вторых, изменения файлов все равно не синхронизируются.
Как вы посоветуете решать проблему с установкой библиотек в контейнере, если не хочется поднимать тулчейн языка на хосте? Например, для проекта на nodejs нужен npm install. Если выполнять его в докере, со стандартной структурой проекта с node_modules в корне, то после маппинга volume папка node_modules пропадет из контейнера.
Понятно, спасибо за информацию. У меня тоефл 105, а гре — послезавтра :) Переживаю за математику, потому что по ней нужно набрать как можно больше, а язык вроде не так уж и важен.
А вас отправили в один из тех вузов, которые указали при подаче заявки, или в другой? Если в другой, то понравился ли их выбор вуза?
>Фактически, если вы прошли собеседование, вы считаетесь финалистом программы Фулбрайт (то бишь победителем). Это значит, что на вас уже выделили деньги, осталось только сдать экзамены на уровне, который необходим для поступления в вуз.
Вы уверены? Нам сказали, что окончательное решение будет после распределения бюджета, в следующем году, и что бюджет могут урезать. Я из Казахстана, но думаю что везде процесс одинаковый. У нас, кстати, количество предентентов и номинантов гораздо меньше — ~100 и 6 человек соответственно.
А с каким результатом сдали тоефл и гре, если не секрет?
Спасибо за статью, почему-то очень мало людей делится таким опытом. Было бы очень интересно узнать подробности о прохождении конкурса. Насколько повлияли оценки в дипломе и другие заслуги (академические награды, опыт работы); на что делали акцент в эссе; какое направление учебы вы выбрали и совпадает ли оно с предыдущими исследованиями; и в целом любые другие детали, которыми вы можете поделиться.
Если я правильно понял, вы хотите, подписавшись на /comments/page/1, получать также обновления с канала /comments?
Не совсем очевидно, почему так должны себя вести каналы. Этот вопрос в спецификации не рассмотрен, но при желании можно реализовать такое поведение самому.
Спасибо, статья в целом полезна.
Есть сомнения по поводу проверки внешних зависимостей в initContainers, а именно — как сделано в вашем примере — с использованием образов бд. Идея скачать и запустить целый постгрес, чтобы проверить соединение с постгрес через его cli клиент, выглядит мягко говоря избыточно. Мы у себя обычно делаем это внутри самого приложения.
Спасает то, что при удалении объявления удаляется и его статистика; может быть в будущем удалять их не будем в целях аналитики — тогда и разделим.
А вообще причины отказа от time-series бд я описал выше
После неудачи с influxdb решили выбрать что-то из имеющихся у нас в продакшене технологий — mysql или mongodb; вторая оказалась быстрее.
Ну и есть много других мест на сайте и в приложениях, где объявление отображается, но его просмотр не засчитывается.
На самом деле на крупных проектах скорее всего и 20 лет назад использовали промежуточное in-memory хранилище для подобных нагрузок на запись. Не redis, так что-то другое, но принципиальная сложность вряд ли изменилась.
Еще вот анализ пропускной способности и поведения сети в реальных условиях со множеством узлов — Understanding the Limits of LoRaWAN — arxiv.org/pdf/1607.08011.pdf
Я недавно закончил магистратуру в CMU, там плотно работал с профессором, который занимается связью, особенно IoT и LoRaWAN. Со многими проблемами, которые вы описываете (низкая скорость, лимиты на размер пакета, загруженность сети) мы тоже сталкивались и пытались решать.
У нас была идея в том, чтобы мультиплексировать доступ к сети через TDMA.
В основе этого решения — синхронизация времени на устройствах, этим я в основном и занимался. Если все пройдет удачно, эту работу могут принять в стандарт LoRaWAN — и может быть всем будет полегче строить поверх этого более нагруженные сети.
Работает — но с существенным ограничением: на хосте папка node_modules не появляется. А это значит отсутствие автодополнения и возможности модификации библиотек с хоста.
Конечно, можно потом эту папку скопировать через docker cp, но это во-первых муторно и печально, а во-вторых, изменения файлов все равно не синхронизируются.
А как насчёт FreeRTOS http://www.freertos.org? Вроде бы все что нужно есть — таски (они же треды), и очереди для коммуникации между ними в стиле go.
А вас отправили в один из тех вузов, которые указали при подаче заявки, или в другой? Если в другой, то понравился ли их выбор вуза?
Вы уверены? Нам сказали, что окончательное решение будет после распределения бюджета, в следующем году, и что бюджет могут урезать. Я из Казахстана, но думаю что везде процесс одинаковый. У нас, кстати, количество предентентов и номинантов гораздо меньше — ~100 и 6 человек соответственно.
А с каким результатом сдали тоефл и гре, если не секрет?
Отличный альбом и очень крутая группа :)
Не совсем очевидно, почему так должны себя вести каналы. Этот вопрос в спецификации не рассмотрен, но при желании можно реализовать такое поведение самому.