Комментарии 24
А где в статье про BigData?
"– и пришлось подождать, пока созреют и станут коммерчески доступными технологии Big Data, чтобы такие системы стали экономически рентабельны."
ждут
Система принимает, обрабатывает и сохраняет в различные хранилища миллионы событий от внешних источников (от 30 до 70 млн в сутки).
Также можно отметить объемы "сырых" данных, которые в дальнейшем обрабатываются нейронными сетями - это террабайты информации каждые сутки.
Обрабатываемые системой данные также соответствуют характеристикам, определяющим большие данные - классическим трем V: Volume, Velocity и Variety. Ежедневно мы обрабатываем огромный поток данных, поступающих в режиме рального времени, при этом в ходе процессинга данных (в большей степени с помощью Kafka Streams) мы трансформируем, обогащаем и анализируем как события от внешних источников, так и генерируемые с помощью наших собственных нейронных сетей - т.е. работаем с данными различных типов.
Это слова, а не BigData. Какие проблемы встретили? Как их решали? Как боролись за performance? Если ответить на эти вопросы то может получиться замечательная статья.
Да, видимо это не та статья которую вы хотели увидеть. Статья действительно не техническая, но она и заявлена как кейс. На мой персональный взгляд чтиво отличное, и его цель скорее заинтересовать отраслью и убедить соменвающихся, что все это действительно перспективное направление для развития. Сугубо технические статьи не способствуют росту комьюнити, нацеленного на подобные технологии.
Мой мозг отказывается воспринимать информацию из текста с таким разнообразием стилей как будто "защиту Чубакки" читаю а не техническую статью.
Для реализации программной части системы компании «СМАРТС» понадобился технологический партнер, которым стала российская ИТ-компания Haulmont.
Во вселенной Фрэнка Герберта “Дюна” на планете Арракис жили гигантские черви... В наших широтах по причине высокой влажности эти существа, к счастью, не обитают...
Открыл его в 1871 году настоящий британский ученый Джон Уильям Стретт, и в том же году он женился.
С точностью до метра? Метр вправо, метр влево - уже 2 метра.
Прямо как в онегдоде про Раскольникова...
количество событий таких как образование затора, съезд на обочину, ведение дорожных работ, проникновение в кабельные колодцы и многое другое. Также в акустическом сигнале видны аварии
Ямы и их глубину на дороге умеет подсчитывать?
на текущий момент ямы и их параметры не определяются. Но такой запрос есть и в ближайшее время эта тема будет прорабатываться
У немцев есть более дешевое предложение по мониторингу качества дорог:
если оператор мониторинга сумеет обеспечить сохранность данных, а владелец машины не будет против, то инерционный датчик и GPS-модуль можно интегрировать в экосистему IoT. Это позволит получать информацию о состоянии дорог в реальном времени. К примеру, если из-за дождевого оползня на дорожном полотне образуется трещина, оператор дорожной сети узнает об этом, как только над трещиной проедет первая же подключённая к системе машина. Затем на основе алгоритма машинного обучения и статистики, рассчитанной по вибрациям и динамике транспортного средства, система может классифицировать характеристики дороги и оценить её состояние. Фактически автомобиль превращается в передвижной аппарат, который «ощупывает» дорожные покрытие на предмет его ровности. Чем сильнее и чаще вибрации, тем хуже качество дороги. Оснащение даже сравнительно небольшой части автомобилей позволит охватить диагностикой большинство дорог Германии
Можете описать, как работает датчик в виде длинного волокна? Он сразу по всей длине даёт инфу или есть какой то фокусирующий элемент, который даёт данные в интервале или точке?
Замечательная статья о замечательном проекте. Не слушайте ворчунов, Людмила! Но очевиден интерес к деталям. Так что ждём новых статей!
Получили bigdata, обсчитали и привязали, как могли. Все результаты с какой-то вероятностью, часто низкой. Другими словами, не обладаюшие никакими обязующими к действию правами. Никакой суд их не примет как доказательство. Их нельзя использовать для управления, на кону жизни людей. Хотелось бы узнать из статьи, чем на практике эта система может заниматься. Чем она лучше, например, средств контроля, зашитых в автомобиль, и до которых водитель физически не способен добраться.
Вы серьезно?
Всегда считал, что с помощью кувалды и чей-то матери, можно добраться до любого места в автомобиле. Особенно если это твое авто и оно стоит в твоём гараже.
А вот добраться для датчиков спрятанных в земле, думаю будет уже заметно сложнее.
Так что лучше тем, что подконтрольна своим эксплуатационникам.
Статья ни о чём. О том "как мы сделали круто" и много модных слов. Но принцип работы системы не раскрывается. Используются ли какие-то отдельные датчики подсоединяемые к оптоволокну лишь как к среде передачи данных, как они питаются, или питания не требуют, либо само оптоволокно воспринимает вибрацию. Как различаются сигналы полученные на разном расстоянии от приёмника и как расстояние пройденное по оптоволокну соотносится с расстоянием на дороге (на метр дороги приходится неизвестное и переменное количество оптоволокна), как проводится какая-то калибровка. В статье есть включения описывающие какие-то физические эффекты, но непонятно к чему и как оно соотносится с темой статьи. И как всегда волшебная нейросеть, которая непонятно как сама всё решает. Волшебным образом. А ведь для того, чтоб её хотя бы обучить, нужно иметь реальные данные, полученные каким-то понятным способом.
В статье упоминается, что для выделения протяженных объектов (треков движения автомобилей) на исходном сигнале используется нейронная сеть архитектуры UNET, а для выделения точечных события (начало движения и остановки) - используется YOLOv5. На этом все нейросетевое "волшебство" заканчивается. Далее (с точки зрения разработки) уже идут решения разнообразных инженерных задач, связанных как с анализом исходных данных Data Science специалистами, так и с интерпретацией результатов, выдаваемых нейронными сетями, для их отображения пользователям системы. Но, пожалуй, раскрытие всех нюансов, с которыми пришлось столкнуться, лежит за рамками данной обзорной статьи о проекте в целом.
Если же говорить непосредственно про обучение нейронных сетей, то здесь все достаточно тривиально: как сказано в статье - мы получаем сырые данные непосредственно с акустического датчика. Здесь стоит сделать пояснение - в нашем случае сырые данные это огромный трехмерный массив, каждый элемент которого характеризует уровень улавливаемых шумов на разных частотах в конкретное время на конкретном оптическом метре кабеля. Таким образом, условно сырые можно охарактеризовать как многоканальное изображение. Далее с помощью человека (или же полуавтоматически) происходит разметка данных и дальнейшее обучение нейронных сетей. Сырые данные поступают непрерывно, и исходя из результатов тестирования нейронных сетей на новых сырых данных строятся процессы дальнейшего дообучения.
Не понимаю, почему столько хейта в комментариях! Отличный проект, делающий нашу жизнь чуть более удобной, комфортной. Отличная статья. Как нужно-то было написать? Разложить всю техническую часть по полочкам, приложить бизнес план, контакты заказчиков и инвесторов? И по поводу "Очередная карательно-гнобительная следилка" - не нарушай установленные правила и карать будет не за что.
Виброакустический мониторинг дорожной обстановки