На текущий момент в приложении можно купить весовой товар при наличии весов самообслуживания в магазине. Магнитную метку поможет снять ассистент в зоне самообслуживания на выходе (после оплаты покупки). Сигареты и алко можно добавить в корзину и оплатить в зоне касс самообслуживания по стандартному процессу. Так что, наверное, это все-таки не только сырки.
Система не самописная, но довольно сильно доработанная под наши потребности, ровно поэтому менять ее на готовое решение было нецелесообразно (его все равно пришлось бы дорабатывать). Первичное создание системы происходило в 14-15 году.
50-200 Мбайт на машину в месяц в зависимости от типа блоков и количества анализируемых параметров, мы используем Блоки «MТ X» от производителя «Вега Абсолют»
Мы пользуемся различными датчиками, в т.ч. отечественного производства. Сами по себе датчики выходят из строя крайне редко. Если говорить об их физических повреждениях, то тут производитель роли не играет, а поломки обычно устраняются выездной бригадой или на точке базирования автотранспорта достаточно оперативно.
В системе уже идет трекинг нарушений скоростного режима, что отражается на мотивации водителя. Что касается заезда и разгрузки на тротуаре, то тут мы ограничены: а) точностью GPS (2-3 метра) б) наличием соответствующих картографических сервисов.
Может быть у вас есть предложения как это можно отслеживать?
Насколько надежным оказался Logstash, часто падает? у нас в проекте в основном используется flink, но мы данные сохраняем в hdfs.
По поводу надёжности у нас к Logstash особо нет претензий. Поскольку у каждой команды, которая подключается к системе свой Logstash (и часто не один), то, конечно, падения иногда случаются, но на моей памяти за последнее время падали 2 или 3 экземпляра из почти трёх десятков. Основная проблема Logstash, которая нас смущает — ресурсы, которые он требует для нормальной работы.
могу ли я (серт/кред) писать/читать такой-то топик), и уже потом писать в кафку? Или это непосредственно кафка делает?
Ответ: Kafka забирает данные из KSM и применяет на себе. Консьюмеры и продьюсеры ходят непосредственно в Kafka.
могу ли я явно запретить кому-то писать в кафку, если он знает адреса брокеров через KSM?
Ответ: Для этого как раз используется KSM. Вы включаете авторизацию, например SSL, создаете пользователя и генерируете для него JKS сертификаты, с помощью которых он может авторизоваться в Kafka. Если пользователь не добавлен в ACL или у него нет валидных сертификатов, то он не сможет получить доступ.
Если вы обратите внимание, здесь установлены совершенно другие устройства — они не предполагают взвешивания каждого товара и внесения наличных. Это наша собственная разработка и мы всех этих сложностей как раз и хотели избежать. Поэтому покупка происходит быстро. Такие кассы уже во многих «Пятёрочках» стоят — можете потестировать.
В приложении можно легко удалить товар или сообщить, что цена не соответствует ценнику. Но такое бывает редко, так как ценники электронные и автоматически синхронизируются.
Это вопрос привычки и удобства. 6300 таких касс уже установлено по всей России и от 20 до 50% всех покупателей в магазине пользуется ими, а не идут на обычные кассы. Значит, все больше людей считают это удобным средством.
В решение Amazon Go как раз и используются полки, которые распознают по весу. Мы их тестировали — они дороги в закупки и обслуживании и пока у них велика погрешность при распознавании. Но это интересная технология, вы правы, мы продолжим тестировать.
Магазин запущен в пилотном режиме, мы будем смотреть на реакцию покупателей и обратную связь. В том числе тестируем и смотрим на противокражную систему. Первое – проверка платежеспособности покупателя при регистрации в приложении. Второе – система из 32 видеокамер в магазине, которые идентифицируют каждого, и как только человек берет товар с полки, система это сразу фиксирует (цвет гостя на мониторе меняется на красный, и это видно всем). Мы используем машинное зрение, и эта система — самообучаемая. И кроме того, в этом магазине более яркая освещенность, чем в обычных магазинах, что потенциально также снижает риск кражи.
Но в целом, доверие покупателю – это важная часть работы современных магазинов. В Пятерочках уже почти нет охранников. Никто не проверяет вас на выходе в супермаркетах. Мы считаем, что в будущем видеоаналитика и персональная идентификация серьезно упростят контроль потерь.
Первые месяцы работы магазина система антифрод проходит как раз подробное тестирование и может быть доработана, в том числе с помощью инструментов блокировки приложения.
Это разные бизнес-модели. Amazon Go дорог в масштабировании, хотя хорош как концепт. А «Пятёрочка #налету» возможно масштабировать — технологии унифицированы и не столь дороги.
Наверное, стоило уточнить в прошлом комментарии, что это значения, которые мы используем по умолчанию для команд, которые не просят каких-то специфичных настроек. Мы используем эти в том числе, чтобы перестраховаться от возможной потери данных, а не потому, что это единственно верный вариант настройки кластера.
Как упомянуто в статье, если команда понимает, что для их нужд лучше подходят другие значения, то мы готовы настроить их иначе, в том числе и значение min ISR.
Для справедливости стоит отметить, что IBM Hyperledger также рекомендуют использовать минимум 4 брокера Kafka, именно из этого расчёта они исходят:
Let K and Z be the number of nodes in the Kafka cluster and the ZooKeeper ensemble respectively:
Не совсем – replication factor = количество нод в кластере. Таким образом, на каждой ноде будет реплика данных из топика.
Что касается рекомендации про количество нод — 1 – это относится к min insync replicas. Это значение мы используем для трёхнодовых кластеров, которые мы предоставляем командам.
Как можно видеть в статье, мы используем значение kafka_cfg_min_insync_replicas: "{{ kafka_cfg_min_insync_replicas | default([kafka_cfg_default_replication_factor|int — 1, 1] | max) }}".
Это значит, что количество минимально синхронизированных реплик будет равно replication factor — 1 (в нашем случае, как раз количество нод — 1), но не менее 1.
Этот параметр отвечает за то, сколько минимально нам нужно нод для того, чтобы обрабатывать запросы, которые для которых установлено значение acks=all.
На текущий момент в приложении можно купить весовой товар при наличии весов самообслуживания в магазине. Магнитную метку поможет снять ассистент в зоне самообслуживания на выходе (после оплаты покупки). Сигареты и алко можно добавить в корзину и оплатить в зоне касс самообслуживания по стандартному процессу. Так что, наверное, это все-таки не только сырки.
Может быть у вас есть предложения как это можно отслеживать?
По поводу надёжности у нас к Logstash особо нет претензий. Поскольку у каждой команды, которая подключается к системе свой Logstash (и часто не один), то, конечно, падения иногда случаются, но на моей памяти за последнее время падали 2 или 3 экземпляра из почти трёх десятков. Основная проблема Logstash, которая нас смущает — ресурсы, которые он требует для нормальной работы.
Ответ: Kafka забирает данные из KSM и применяет на себе. Консьюмеры и продьюсеры ходят непосредственно в Kafka.
Ответ: Для этого как раз используется KSM. Вы включаете авторизацию, например SSL, создаете пользователя и генерируете для него JKS сертификаты, с помощью которых он может авторизоваться в Kafka. Если пользователь не добавлен в ACL или у него нет валидных сертификатов, то он не сможет получить доступ.
Но в целом, доверие покупателю – это важная часть работы современных магазинов. В Пятерочках уже почти нет охранников. Никто не проверяет вас на выходе в супермаркетах. Мы считаем, что в будущем видеоаналитика и персональная идентификация серьезно упростят контроль потерь.
Первые месяцы работы магазина система антифрод проходит как раз подробное тестирование и может быть доработана, в том числе с помощью инструментов блокировки приложения.
Как упомянуто в статье, если команда понимает, что для их нужд лучше подходят другие значения, то мы готовы настроить их иначе, в том числе и значение min ISR.
Для справедливости стоит отметить, что IBM Hyperledger также рекомендуют использовать минимум 4 брокера Kafka, именно из этого расчёта они исходят:
Let K and Z be the number of nodes in the Kafka cluster and the ZooKeeper ensemble respectively:
1. At a minimum, K should be set to 4.
Что касается рекомендации про количество нод — 1 – это относится к min insync replicas. Это значение мы используем для трёхнодовых кластеров, которые мы предоставляем командам.
Как можно видеть в статье, мы используем значение kafka_cfg_min_insync_replicas: "{{ kafka_cfg_min_insync_replicas | default([kafka_cfg_default_replication_factor|int — 1, 1] | max) }}".
Это значит, что количество минимально синхронизированных реплик будет равно replication factor — 1 (в нашем случае, как раз количество нод — 1), но не менее 1.
Этот параметр отвечает за то, сколько минимально нам нужно нод для того, чтобы обрабатывать запросы, которые для которых установлено значение acks=all.