All streams
Search
Write a publication
Pull to refresh
187
0
DataArt @DataArt

Пользователь

Send message

DataArt готовится к 4 мая — дню «Звездных войн»

Reading time6 min
Views3.1K


DataArt запустил специальный раздел Star Wars на игровой платформе самопроверки знаний IT-специалистов Skillotron. Параллельно мы провели опрос среди 2,5 тысяч своих коллег, выяснив предпочтения поклонников саги в разных городах и странах. Порядок просмотра эпизодов, лучшие космические корабли и самые ненавистные персонажи в нашей инфографике и комментариях экспертов.
Читать дальше →

Как не сойти с ума от Scrum? Опыт растущего проекта

Reading time7 min
Views15K


Надежда Мецкер, Senior QA, DataArt

Я расскажу, как повысить эффективность команды в сложном проекте за счет гибкого подхода к разработке, с которым наша команда благополучно живет уже третий год. Собственно, реальный проект из области здравоохранения и будет служить мне примером. Я думаю, о теории Scrum и Agile рассуждать относительно легко, какие-то из использованных нами решений даже могут показаться очевидными. Но я уверена, что личный опыт и опробованные в ответственном проекте методы могут пригодиться многим.

Первое, о чем я расскажу, это Feature Demo — процесс, в ходе которого мы демонстрируем новый функционал приложения внутри своей же команды. Мы рассматриваем, как именно он был сделан, что получилось особенно удачно, а где можно было сделать лучше. Уже после общего рассмотрения и окончательного одобрения функционал может уходить в продакшн.
Читать дальше →

Майкл Лазар: «Интернет, мобильные и проводные телефоны работают, потому что люди смогли согласовать стандарты»

Reading time8 min
Views5.9K


Консультант DataArt, участник рабочей группы виртуализации сетевых функций Европейского института телекоммуникационных стандартов, расскажет, как подразделение ООН регулирует индустрию, как открытые протоколы продолжают менять рынок и как технически происходит выработка новых стандартов.

— Кто определяет стандарты в телекоме?

— Телекоммуникации — не только индустрия невероятного масштаба, но и старейшая технологичная отрасль экономики, помимо промышленного производства времен первых паровых машин. Вопрос о стандартах здесь встал еще в 1850-х, когда был проложен первый трансатлантический телеграфный кабель. Людям нужно было договориться, чтобы сигнал, отправленный с одного континента, был правильно расшифрован на другом.

В 1865 году был создан ITU — тогда эта аббревиатура расшифровывалась как «Международный телеграфный союз» — он должен был гарантировать работу телеграфов по всему миру. ITU до сих остается высшей инстанцией в индустрии связи, буква Т в его названии теперь обозначает «телекоммуникационный» [по-русски ITU традиционно называют Международным союзом электросвязи, — Прим. ред.]. Теперь он представляет собой ни много ни мало подразделение ООН, организации хоть и заметно более молодой, но, согласитесь, солидной. ITU распределяет радиочастоты, курирует запуск спутников и формулирует рекомендации для всех игроков рынка.
Читать дальше →

Как я сделал свой «Яндекс.Транспорт» с расписанием и автобусами

Reading time5 min
Views114K


Автор: Михаил Аксенов, .NET Developer, DataArt


С чего все началось


Осенью 2014 года появилась радостная новость о том, что в Воронеже заработал Яндекс.Транспорт, который показывает движение автобусов и троллейбусов. Было очень круто прямо на остановке открыть расписание и узнать, что ваш автобус подойдет через 5 минут.

Но уже через пару месяцев все пошло по вполне предсказуемому сценарию. Поскольку весь транспорт в Воронеже от троллейбуса до маршрутки работает «на наличке», каждый водитель заинтересован в том, чтобы перевезти как можно больше пассажиров. В результате они устраивают гонки между собой.

Новый сервис водители использовали, чтобы следить друг за другом по карте, обгоняя и подрезая конкурентов на дороге. У некоторых начала падать выручка, они стали жаловаться владельцам маршрутов, а те пошли к людям, продающим оборудование с ГЛОНАСС и GPS и отправляющим данные о перемещениях машин в Яндекс. По просьбам хозяев автопарков они информацию отправлять перестали, и автобусы сразу начали исчезать с карты. Сейчас их стало чуть побольше, но это все равно гораздо меньше, чем на самом деле.

Устройства с управлением через веб-интерфейс

Reading time4 min
Views16K


Автор: Николай Хабаров, IoT Google Developer Expert, эксперт по встраиваемым системам, DataArt.

В этой статье я расскажу, как создать собственное устройство с веб-интерфейсом, которое будет доступно в локальной сети. Веб-интерфейс будет показывать текущие данные с датчика Si7021: температуру и влажность.

Устройство работает на основе микроконтроллера ESP8266Wi-Fi) и прошивки DeviceHive.

Классификация объектов в режиме реального времени

Reading time5 min
Views42K


Автор: Игорь Пантелеев, Software Developer, DataArt

Распознавание изображений очень широко используется в машинном обучении. В этой области существует множество различных решений, однако потребностям нашего проекта ни оно из них не удовлетворяло. Нам понадобилось полностью локальное решение, которое способно работать на крошечном компьютере и передавать результаты распознавания на облачный сервис. В этой статье описывается наш подход к созданию решения для распознавания изображений с помощью TensorFlow.
Читать дальше →

Предпочтения и навыки программистов разных стран: DataArt изучил статистику платформы Skillotron

Reading time2 min
Views6.2K


В августе 2017 года DataArt запустил игровую платформу самопроверки знаний для IT-специалистов Skillotron. За полгода ее пользователями стали более 7 тысяч человек из 54 стран, а мы успели собрать интересные данные об особенностях поведения игроков. Исследование не претендует на универсальность — мы не утверждаем, что статистика Skillotron отражает положение дел в IT в целом. Но посмотреть на нее нам было интересно, тем более, что для DataArt Skillotron — необычный опыт разработки собственного продукта.
Читать дальше →

Управление трафиком с использованием Fiddler

Reading time3 min
Views28K


Автор: Ольга Еременко, QA Engineer

При тестировании сайтов или мобильных приложений иногда возникает необходимость не только отловить трафик между клиентом и сервером, но и модифицировать его, чтобы посмотреть, как это обработает бэкенд и что поменяется на UI.

В таких случаях можно использовать прокси-сервер Fiddler — промежуточное звено между клиентом (браузер, мобильное приложение и т. д.) и целевым сервером. Скорее всего, этот инструмент вам известен, но обычно говорят о нем вскользь. Мы по шагам разберем, как проверить с помощью Fiddler, что отобразится на UI при изменении запроса к серверу или возвращаемого ответа.
Читать дальше →

Тренды-2018

Reading time7 min
Views7K


Искусственный интеллект, создающий рабочие места, новые стандарты безопасности, роботы в магазинах и гостиницах, 5G и подкасты. Лидеры DataArt делятся своими прогнозами на 2018 год.
Читать дальше →

Знакомые лица: алгоритмы создания «типичного» портрета

Reading time4 min
Views9K

Автор: Андрей Сорокин, Senior Developer DataArt

В конце прошлого года мы завершили R&D-проект, посвященный методам машинного зрения в обработке изображений. В результате мы создали ряд усредненных портретов IT-специалистов, работающих с разными технологиями. В этой статье я расскажу об изображениях «типичных» Java и .NET-программистов, подходящих для этого фреймворках и оптимизации процесса.

Тема машинного зрения меня интересует еще с аспирантуры — моя кандидатская была посвящена распознаванию рукописных текстов. За последние несколько лет произошли существенные изменения в методологии и программном обеспечении для машинного зрения, появились новые инструменты и фреймворки, которые хотелось попробовать. В этом проекте мы не претендовали на изобретение уникального решения — главный вклад мы внесли в оптимизацию обработки изображений.
Читать дальше →

Использование Grafana с IoT-платформой DeviceHive

Reading time5 min
Views5.5K


Авторы: Игорь Трамбовецкий, Developer; Николай Хабаров, Embedded Expert

Платформа DeviceHive содержит множество различных компонентов, включая плагин Grafana. Он может собирать данные с сервера DeviceHive и отображать их с помощью различных информационных панелей, используя популярный инструмент Grafana. В этой статье я объясню, как создать дашборд Grafana с DeviceHive, а в качестве примера использую аналоговый вход чипа ESP8266 для визуализации напряжения на нем.

Читать дальше →

Новогодние огни с DeviceHive

Reading time5 min
Views4.9K


Авторы: Евгений Дубовик, Senior Android Developer, Николай Хабаров, Embedded Expert

Накануне нового года мы решили создать гирлянду с помощью Android Things, смартфона на базе Android и IoT-платформы DeviceHive. В качестве самих огоньков, мы использовали светодиодную ленту WS2812B. Для работы Android Things мы воспользуемся Raspberry Pi 3, хотя здесь подошла бы и любая другая плата, оснащенная SPI-интерфейсом и имеющая поддержку Android Things. Управление светодиодами осуществляется с мобильного устройства, записывающего звуки, на основе которых генерируются паттерны поведения огоньков.
Читать дальше →

KidPRO — история белки, помогающей детям

Reading time6 min
Views3.9K


Команда медицинской практики DataArt победила в конкурсе Pfizer Healthcare Challenge 2017. Она представила KidPRO — решение для детей и родителей, позволяющее ребенку и взрослому следить за ходом лечения в двух связанных приложениях.

В приложении для детей интерактивная анимационная белка помогает ребенку: напоминает, когда надо принять лекарство, рассказывает, что с ним происходит, награждает за каждое выполненное предписание врача. Таким образом, как ни парадоксально звучит, ребенку становится интересно лечиться.

В 2015 году приложение заняло третье место на InnovateNYP: Pediatric App Challenge.
Спустя два года мы развили идею, выиграли, и нас пригласили выступить и представить свои наработки на престижной конференции Frontiers Health.

KidPRO относится к активно развивающейся категории медицинских приложений, далеко выходящих за рамки привычных нотификаторов и будильников, — Beyond Reminder Apps. Они помогают пациентам соблюдать схему лечения, собирают и анализируют информацию, даже просвещают детей и родителей. Разработка команды DataArt — полностью законченный прототип, подробнее узнать о котором можно на сайте нашего R&D-центра.

Классификация звуков с помощью TensorFlow

Reading time7 min
Views25K


Игорь Пантелеев, Software Developer, DataArt

Для распознавания человеческой речи придумано множество сервисов — достаточно вспомнить Pocketsphinx или Google Speech API. Они способны довольно качественно преобразовать в печатный текст фразы, записанные в виде звукового файла. Но ни одно из этих приложений не может сортировать разные звуки, захваченные микрофоном. Что именно было записано: человеческая речь, крики животных или музыка? Мы столкнулись с необходимостью ответить на этот вопрос. И решили создать пробные проекты для классификации звуков с помощью алгоритмов машинного обучения. В статье описано, какие инструменты мы выбрали, с какими проблемами столкнулись, как обучали модель для TensorFlow, и как запустить наше решение с открытым исходным кодом. Также мы можем загружать результаты распознавания на IoT-платформу DeviceHive, чтобы использовать их в облачных сервисах для сторонних приложений.

Выбор инструментов и модели для классификации


Сначала нам нужно было выбрать ПО для работы с нейронными сетями. Первым решением, которое показалось нам подходящим, была библиотека Python Audio Analysis.

Основная проблема машинного обучения — хороший набор данных. Для распознавания речи и классификации музыки таких наборов очень много. С классификацией случайных звуков дела обстоят не так хорошо, но мы, пусть и не сразу, нашли набор данных с «городскими» звуками.
Читать дальше →

Тестирование глазами разработчика: инструменты, мифы, ситуации

Reading time10 min
Views22K


Евгений Сафронов, Senior Developer, DataArt

«Тестирование можно использовать для того, чтобы доказать наличие ошибок в программе, и никогда — для того чтобы доказать их отсутствие!»
Эдсгер Дейкстра


Тестирование — это прикладная, стандартизированная, инженерная практика, которая применима в большинстве отраслей человеческой жизни. Тестирование, как философия, метрика или практика, существует намного дольше, чем программирование. К примеру, мы выковали меч. Чтобы проверить достаточно ли острым он получился, его испытывают. В некоторые эпохи даже на живом человеке, скажем, рабе.

Тестирование — это проверка работоспособности программы, предмета или любой промышленной разработки. Как и в любом деле, здесь есть свои тонкости и своя философия. Она, наверное, ближе тестировщикам, которые на произведенные нами вещи смотрят деструктивно — они с самого начала думают о том, как сломать предложенный разработчиками продукт. Это не очень типично для пользователей, которые более предсказуемы и обычно находят ошибки, случайно пытаясь сделать с нашей программой что-то нетипичное. У разработчиков подход к программам в принципе другой, но мы должны помнить: тестировщики должны ломать то, что мы создали — это их хлеб.
Читать дальше →

Обзор конференции Highload fwdays’17

Reading time7 min
Views3K


14 октября в Киеве прошла конференция Highload fwdays, посвященная высоконагруженным проектам, работе с базами данных и архитектурой, в частности, микросервисами, машинному обучению и Big Data. DataArt был спонсором конференции. А наши коллеги Игорь Мастерной (лидер Java-сообщества DataArt Киев) и Анна Колот (.NET, SharePoint Developer) рассказали о докладах, на которых они побывали.

Детально с программой конференции можете ознакомиться тут.

Начнем обзор с доклада Дмитрия Охонько из Facebook про Log Device. “Yet another log storage”, — подумаете вы. Вы бы были правы, но этот Log Storage на общем фоне выделяется своими создателями. Заявленная пропускная способность у Facebook — 1TB/s. И узнать, как они справляются с обработкой такого объема данных, было интересно.
Читать дальше →

GDG-комьюнити на Google Developer Days

Reading time4 min
Views2.7K


Автор: Елена Федорова, руководитель департамента Human resource marketing, DataArt, Воронеж

5–6 сентября в Кракове прошла большая конференция GDD — глобальный ивент, аналог ежегодной конференции Google I/O в Сан-Франциско, где анонсируются последние новинки технологий компании Google.

В этом году на GDD собралось более двух тысяч разработчиков и других IT-специалистов из разных стран мира. В течение двух полных дней участники вместе слушали доклады, общались на тематических секциях, митапах по разработке и в комьюнити-зонах.


Аззурра Рагоне — Community Specialist, Google — рассказала про развитие сообществ.

Помимо основной конференции, по всему миру прошли более шестидесяти локальных событий — GDD Extended events, организованных Google Developer группами: прямые видеотрансляции, хакатоны, мастер-классы и т. д.

Смотреть все видео ключевых докладов можно здесь.

Мы попросили знакомых разработчиков и лидеров разных комьюнити поделиться впечатлениями о конференции.

Машинное обучение в RapidMiner

Reading time7 min
Views14K


Дмитрий Соболев, Игорь Мастерной, Рафаэль Зубаиров

Не заметить, как быстро растет общий объем собираемых метрик, просто невозможно. Увеличивается не только частота с которой автоматические системы собирают данные, пропускная способность хранилищ данных, но и сам набор метрик, которые мы можем использовать. Эта тенденция наиболее явно выражена в IoT, но и другие отрасли могут похвастаться огромным набором источников данных — публичных или доступных по специальной подписке.

Увеличение объема данных создает новые вызовы для аналитиков и специалистов, работающих над оптимизацией бизнес-задач. Темпы развития мировой экономики увеличиваются, но именно быстрая реакция на изменения на микроуровне позволяет отдельным компаниям расширяться. И здесь на помощь приходят инструменты анализа данных и машинного обучения.

В 2000-х машинное обучение и глубокий анализ данных были уделом университетских групп и специализированных стартапов. Сегодня любая компания имеет доступ к практически неограниченному и алгоритмов, подходов и готовых решений для создания автоматических систем, а также целому набору продуктов для анализа данных.

Машинное обучение сейчас используется не только корпорациями уровня Microsoft и Google, даже небольшие компании могут воспользоваться преимуществами, которые дает качественный анализ данных или система рекомендаций. Если до недавнего времени применение подобных методов требовало найма программистов, аналитиков, дата-сайентистов, то сейчас на рынке появляются сервисы и приложения для машинного обучения, которые позволяют в более дружелюбной форме, с использованием графического интерфейса, обрабатывать данные и строить предсказательные модели. Использовать их способен даже человек с минимальными знаниями в этой области.

Сейчас тройка лидеров в автоматизированном и упрощённом машинном обучении состоит из DataRobot, RapidMiner и BigMl. В этой статье мы подробно рассмотрим RapidMiner — расскажем о том, что он умеет и как может вам облегчить жизнь.
Читать дальше →

DataArt запустил игровую платформу самопроверки знаний для IT-специалистов

Reading time4 min
Views12K


Даниэль Лурье, главный редактор DataArt.

Двадцать лет DataArt занимался разработкой IT-решений для клиентов из сферы финансов, здравоохранения, туризма и других серьезных индустрий. Своих собственных продуктов мы никогда не выпускали — опасались возможного конфликта интересов. Но недавно мы запустили собственную игровую платформу Skillotron. Все началось с того, что в DataArt появились две, на первый взгляд, не связанные между собой проблемы.

Первая — оценка профессионального уровня коллег. За последние десять лет мы выросли с 400 человек до 2500, и люди продолжают к нам приходить, DataArt уже работает в 10 странах и 20 городах по всему миру. Как у любой организации, у нас, конечно, есть система оценки квалификации при приеме на работу. Сложнее оценить тех, кто работает с нами не первый год и все время развивается. Отчасти для этого технологические сообщества внутри DataArt устраивают «селф-чеки» — добровольные экзамены или олимпиады, на которых каждый может себя адекватно оценить и понять, что еще ему надо подтянуть, в какую сторону развиваться. Процесс этот довольно трудоемкий — на придумывание задач, организацию «селф-чека» и проверку результатов уходило немало времени и сил самых опытных коллег. Разработчики задались вопросом, как упростить жизнь себе и остальным.
Читать дальше →

Raspberry Pi3 против DragonBoard. Отвечаем на критику

Reading time4 min
Views13K

Автор: Николай Хабаров, Embedded Expert DataArt, евангелист технологий умного дома.

Результаты тестов, приведенные в статье о сравнении производительности плат Raspberry Pi3 и DragonBoard при работе с приложениями на Python, вызвали сомнения у некоторых коллег.

В частности, под материалом появились такие комментарии:

«… я делал бенчмарки между 32х битными ARM'ами, между 64х битными и между Intel x86_64 и все цифры были сопоставимы. как минимум между 32 битными и 64 битными ARM'ами разница была в десятки процентов, а не в разы. ну или вы просто разное чисто --cpu-max-prime указали».

«Удивительные результаты обычно означают ошибку эксперимента».

«есть подозрение, что в тесте CPU какая-то ошибка. я лично тестил разные ARMы sysbench'ом, но разницы в 25 раз и близко не было. в принципе хороший медиа ARM в CPU тесте может быть в несколько раз эффективней чем BCM2837, но ни как не в 25 раз. подозреваю, что тест для pi был сделан в один поток, а для DragonBoard в 4 потока(4 ядра)».

Речь идет о тесте cpu из пакета тестов sysbench. Ответ на эти предположения получился настолько объемным, что я решил опубликовать его отдельным постом, заодно рассказав о том, почему в некоторых задачах разница может быть настолько колоссальной.
Читать дальше →

Information

Rating
Does not participate
Location
США
Date of birth
Registered
Activity