У меня действительно во все топики складывается JSON, но есть потребность проверять, что в определенные топики залетают только JSON определенного вида(содержащие определенные ключи, иногда надо проверить и value). Если есть какой-то механизм, который позволил бы проверять данные и писать ошибки в логи, если что-то не удовлетворяет условиям это было бы идеально. Еще идеальнее, если бы это все можно было хранить прямо по месту в kafka топиках и желательно без подключения внешнего хранилища спек. Но я не знаю существует ли для кафка что-то похожее на мое описание, но если вы знаете такое, то напишите, пожалуйста.
Еще бы понять конкретно что avro решает. С моей точки зрения есть топики и в них можно писать произвольный JSON. Этот JSON можно валидировать, но почему тогда все время речь о сериализации и десериализации в статьях про avro. Он же уже лежит в json формате в топике =) Но возможно мне просто стоит подробнее почитать про эту технологию
А как быстро стартануть то? Какой-то есть материал, который вам сильно помог? В каком виде описываются схемы? Как их закидывать? UI или по API? Какой-нибудь толковый 101 очень бы не помешал, но возможно это идея для следующей статьи ))
Я начал еще вокруг этой темы смотреть чего изучить и попал на курс Akka Classic Serialization. Там ребята нагнетают, что у Java сериализации какой-то ужасающий перфоманс, но вот вы говорите, что даже не заметили изменений, а плюсы проверки схемы уже получили. Но непонятно насколько в их утверждении есть рациональное зерно и при какой нагрузке это стрелять начинает. Но опять же, там Akka и Scala, непонятно насколько оно надо вообще.
Не уверен что до конца понял Ваш вопрос, есть топики с обязательным требованиям к обратной совместимости и если там что то Deprecated, происходил переезд в новый топик
Я вероятно не понял что есть режим совместимости. Есть v1 и v2 какой-то схемы. Совместимость обеспечивается тем, что kafka преобразует v1 в v2 каким-то внутренним механизмом, если ей на вход прийдет v1? А если в v1 данных в принципе для такого преобразования не хватает. Поэтому я решил, что вряд ли это имеется ввиду. Наверное просто у нас две спеки v1 и v2 обе считаются валидными, а уметь работать с обеими версиями это уже вопрос консьюмеров. Тогда предполагаю, что v1 можно поставить deprecated и потихоньку его вымывать по мере того, как продьюсеры v1 перестают генерить и вместо него генерят v2. Тогда для v1 должна собираться метрика, которая показывает какой объем до сих пор данных в deprecated v1 схеме продолжает приходить. Чтобы отловить момент, когда их начнет приходить 0 и убрать вообще поддержку схемы v1. Какая-то такая мысль была, но не знаю поддерживает ли сам процесс верификации на схему отправку метрик. Наверное нет и это опять же вопрос консьюмеров.
Добрый день, очень интересно. Можете рассказать насколько внедрение схем влияет на пропускную способность или насколько оно увеличивает накладные расходы на проверку? Также интересно схемы складываются прямо в кафку в отдельный топик или сервис со схемами является отдельным хранилищем в которое кафка по апи ходит или еще как-то? Если данные летят в старом deprecated формате, то подразумевается, что мы как-то записываем логи или метрики об этом? Чтобы понять уменьшается ли у нас объем таких сообщений и можем ли мы убивать обратную совместимость или как мониторинг осуществляется на соответствие схемам?
3) Если общий таймаут поменять, то уже ответили. Также есть возможность поменять для отдельной проверки время ожидания использовав waitUntil(Condition, milliseconds) или waitWhile(Condition, milliseconds) вместо should… методов. Здесь подробнее можно selenide.gitbooks.io/user-guide/content/ru/selenide-api/selenide-element.html
В телеграмме lifext недавно была статья t.me/lifext/59
Если я правильно понял её выводы, то EPA отлично усваивается из Этиловых эфиров(EE) из которых почти все добавки и состоят, т.к его легче получить, а чтобы в Калифорнии можно было продавать нужно хорошо чистить от ртути и так это легче всего сделать c EE.
А DHA хорошо усваивается в форме rTG(концентрированные триглицериды).
На следующую закупку рыбьего жира рассматриваю такой вариант:
Не совсем так, одна капсула содержит 1 грамм рыбьего жира(natural fish oil concentrate). Этого жира в день 2-4 грамма.
Внутри этого объема есть EPA(ЭПК) и DHA(ДГК) которые рекомендуются от 0,25 до 2 грамм
В варианте от Now 300 мг(EPA+DHA) в каждой граммовой капсуле(EPA — 180 мг, DHA — 120 мг)
Рекомендуемый в статье объем достигается приемом 2-х капсул, как и указано на упаковке.
Сам когда выбирал рыбий жир на iHerb разбирался и в итоге все таки выбрал другого производителя, напишу ниже об этом.
Нет, я думал просто архив с сайта у вас не открывался. Geohosting я не пробовал, как скачал MapTiler, только им пользуюсь. Особенно радует его оптимизация под многоядерные процессоры.
В MapTiler'е есть удобная штука, визуальная привязка, вот как это выглядит. А дальше, как Moskus ниже написал оно само =) Плюс бонусом такие фишки как наложение gps-треков, измерение длин и площадей и такое прочее.
Еще думаю доделать, чтобы легенду просматривать одновременно с картой, а то неудобно получается, но это уже завтра =)
Спасибо за подсказку, обновил сервис mirr04.github.io/index.html, теперь там еще карта объектов универсиады и основной чертеж до 17-го зума.
Спасибо antirek за наводку, идея крутая. Часто за то же самое, но на базе Arcgis server бешенные деньги платят. Или публичная кадастровая карта сделана на MapInfo MapExtreme , а по приятности отрисовки мне кажется leafletjs выигрывает.
Решил развить идею автора с учетом замечаний Moskus, что получилось можно посмотреть тут http://mirr04.github.io/index.html. Привязал ту же карту, что и в топике. Чтобы она включилась в правом верхнем углу меняйте слой на «My».
Кстати встал вопрос куда лучше загружать тайлы, т.к если zoom х15 — это 22,8 мб, 2108 файлов
zoom x16 — уже 8258 файлов
zoom x17 — 32634 файла
На github заливает очень медленно =( Да и на хостинг по FTP тоже.
Тайлы делал MapTiler'ом, который посоветовал Synoptic.
У меня действительно во все топики складывается JSON, но есть потребность проверять, что в определенные топики залетают только JSON определенного вида(содержащие определенные ключи, иногда надо проверить и value). Если есть какой-то механизм, который позволил бы проверять данные и писать ошибки в логи, если что-то не удовлетворяет условиям это было бы идеально. Еще идеальнее, если бы это все можно было хранить прямо по месту в kafka топиках и желательно без подключения внешнего хранилища спек. Но я не знаю существует ли для кафка что-то похожее на мое описание, но если вы знаете такое, то напишите, пожалуйста.
Еще бы понять конкретно что avro решает. С моей точки зрения есть топики и в них можно писать произвольный JSON. Этот JSON можно валидировать, но почему тогда все время речь о сериализации и десериализации в статьях про avro. Он же уже лежит в json формате в топике =) Но возможно мне просто стоит подробнее почитать про эту технологию
А как быстро стартануть то? Какой-то есть материал, который вам сильно помог? В каком виде описываются схемы? Как их закидывать? UI или по API? Какой-нибудь толковый 101 очень бы не помешал, но возможно это идея для следующей статьи ))
Я начал еще вокруг этой темы смотреть чего изучить и попал на курс Akka Classic Serialization. Там ребята нагнетают, что у Java сериализации какой-то ужасающий перфоманс, но вот вы говорите, что даже не заметили изменений, а плюсы проверки схемы уже получили. Но непонятно насколько в их утверждении есть рациональное зерно и при какой нагрузке это стрелять начинает. Но опять же, там Akka и Scala, непонятно насколько оно надо вообще.
Я вероятно не понял что есть режим совместимости. Есть v1 и v2 какой-то схемы. Совместимость обеспечивается тем, что kafka преобразует v1 в v2 каким-то внутренним механизмом, если ей на вход прийдет v1? А если в v1 данных в принципе для такого преобразования не хватает.
Поэтому я решил, что вряд ли это имеется ввиду. Наверное просто у нас две спеки v1 и v2 обе считаются валидными, а уметь работать с обеими версиями это уже вопрос консьюмеров. Тогда предполагаю, что v1 можно поставить deprecated и потихоньку его вымывать по мере того, как продьюсеры v1 перестают генерить и вместо него генерят v2. Тогда для v1 должна собираться метрика, которая показывает какой объем до сих пор данных в deprecated v1 схеме продолжает приходить. Чтобы отловить момент, когда их начнет приходить 0 и убрать вообще поддержку схемы v1. Какая-то такая мысль была, но не знаю поддерживает ли сам процесс верификации на схему отправку метрик. Наверное нет и это опять же вопрос консьюмеров.
Добрый день, очень интересно. Можете рассказать насколько внедрение схем влияет на пропускную способность или насколько оно увеличивает накладные расходы на проверку? Также интересно схемы складываются прямо в кафку в отдельный топик или сервис со схемами является отдельным хранилищем в которое кафка по апи ходит или еще как-то? Если данные летят в старом deprecated формате, то подразумевается, что мы как-то записываем логи или метрики об этом? Чтобы понять уменьшается ли у нас объем таких сообщений и можем ли мы убивать обратную совместимость или как мониторинг осуществляется на соответствие схемам?
Jarrow Formulas
Если я правильно понял её выводы, то EPA отлично усваивается из Этиловых эфиров(EE) из которых почти все добавки и состоят, т.к его легче получить, а чтобы в Калифорнии можно было продавать нужно хорошо чистить от ртути и так это легче всего сделать c EE.
А DHA хорошо усваивается в форме rTG(концентрированные триглицериды).
На следующую закупку рыбьего жира рассматриваю такой вариант:
При такой концентрации DHA я предполагаю, что это и есть rTG, хотя и написано TG
И принимать по одной капсуле того и того.
Как считаете правильные ли я сделал выводы из этой статьи?
Внутри этого объема есть EPA(ЭПК) и DHA(ДГК) которые рекомендуются от 0,25 до 2 грамм
В варианте от Now 300 мг(EPA+DHA) в каждой граммовой капсуле(EPA — 180 мг, DHA — 120 мг)
Рекомендуемый в статье объем достигается приемом 2-х капсул, как и указано на упаковке.
Сам когда выбирал рыбий жир на iHerb разбирался и в итоге все таки выбрал другого производителя, напишу ниже об этом.
Еще думаю доделать, чтобы легенду просматривать одновременно с картой, а то неудобно получается, но это уже завтра =)
Спасибо antirek за наводку, идея крутая. Часто за то же самое, но на базе Arcgis server бешенные деньги платят. Или публичная кадастровая карта сделана на MapInfo MapExtreme , а по приятности отрисовки мне кажется leafletjs выигрывает.
На хостинге ssh нет =) Попробую подрубить, спасибо
Кстати встал вопрос куда лучше загружать тайлы, т.к если zoom х15 — это 22,8 мб, 2108 файлов
zoom x16 — уже 8258 файлов
zoom x17 — 32634 файла
На github заливает очень медленно =( Да и на хостинг по FTP тоже.
Тайлы делал MapTiler'ом, который посоветовал Synoptic.