Как стать автором
Обновить

Компания DataArt временно не ведёт блог на Хабре

Сначала показывать

Много ли гиков среди программистов?

Время на прочтение2 мин
Количество просмотров14K


Фантастические фильмы и комиксы, игры и жесткая мультипликация — умение ориентироваться в них, способность узнавать цитаты и к месту цитировать любимых персонажей можно назвать признаком принадлежности к особой гик-культуре. Но правда ли, что программисты жить не могут без настольных стратегий или сериала «Рик и Морти»? Или все дело в том, что сторонний наблюдатель путает два значения слова «гик», не различая людей, увлеченных популярной кульутрой и высокими технологиями?

Ответ в нашем нерепрезентативном, но интересном исследовании. Чтобы разобраться, мы в феврале – апреле наблюдали за пользователями платформы самопроверки знаний IT-специалистов Skillotron из разных стран.
Читать дальше →

DataArt готовится к 4 мая — дню «Звездных войн»

Время на прочтение6 мин
Количество просмотров3.1K


DataArt запустил специальный раздел Star Wars на игровой платформе самопроверки знаний IT-специалистов Skillotron. Параллельно мы провели опрос среди 2,5 тысяч своих коллег, выяснив предпочтения поклонников саги в разных городах и странах. Порядок просмотра эпизодов, лучшие космические корабли и самые ненавистные персонажи в нашей инфографике и комментариях экспертов.
Читать дальше →

Как не сойти с ума от Scrum? Опыт растущего проекта

Время на прочтение7 мин
Количество просмотров15K


Надежда Мецкер, Senior QA, DataArt

Я расскажу, как повысить эффективность команды в сложном проекте за счет гибкого подхода к разработке, с которым наша команда благополучно живет уже третий год. Собственно, реальный проект из области здравоохранения и будет служить мне примером. Я думаю, о теории Scrum и Agile рассуждать относительно легко, какие-то из использованных нами решений даже могут показаться очевидными. Но я уверена, что личный опыт и опробованные в ответственном проекте методы могут пригодиться многим.

Первое, о чем я расскажу, это Feature Demo — процесс, в ходе которого мы демонстрируем новый функционал приложения внутри своей же команды. Мы рассматриваем, как именно он был сделан, что получилось особенно удачно, а где можно было сделать лучше. Уже после общего рассмотрения и окончательного одобрения функционал может уходить в продакшн.
Читать дальше →

Майкл Лазар: «Интернет, мобильные и проводные телефоны работают, потому что люди смогли согласовать стандарты»

Время на прочтение8 мин
Количество просмотров5.9K


Консультант DataArt, участник рабочей группы виртуализации сетевых функций Европейского института телекоммуникационных стандартов, расскажет, как подразделение ООН регулирует индустрию, как открытые протоколы продолжают менять рынок и как технически происходит выработка новых стандартов.

— Кто определяет стандарты в телекоме?

— Телекоммуникации — не только индустрия невероятного масштаба, но и старейшая технологичная отрасль экономики, помимо промышленного производства времен первых паровых машин. Вопрос о стандартах здесь встал еще в 1850-х, когда был проложен первый трансатлантический телеграфный кабель. Людям нужно было договориться, чтобы сигнал, отправленный с одного континента, был правильно расшифрован на другом.

В 1865 году был создан ITU — тогда эта аббревиатура расшифровывалась как «Международный телеграфный союз» — он должен был гарантировать работу телеграфов по всему миру. ITU до сих остается высшей инстанцией в индустрии связи, буква Т в его названии теперь обозначает «телекоммуникационный» [по-русски ITU традиционно называют Международным союзом электросвязи, — Прим. ред.]. Теперь он представляет собой ни много ни мало подразделение ООН, организации хоть и заметно более молодой, но, согласитесь, солидной. ITU распределяет радиочастоты, курирует запуск спутников и формулирует рекомендации для всех игроков рынка.
Читать дальше →

Как я сделал свой «Яндекс.Транспорт» с расписанием и автобусами

Время на прочтение5 мин
Количество просмотров113K


Автор: Михаил Аксенов, .NET Developer, DataArt


С чего все началось


Осенью 2014 года появилась радостная новость о том, что в Воронеже заработал Яндекс.Транспорт, который показывает движение автобусов и троллейбусов. Было очень круто прямо на остановке открыть расписание и узнать, что ваш автобус подойдет через 5 минут.

Но уже через пару месяцев все пошло по вполне предсказуемому сценарию. Поскольку весь транспорт в Воронеже от троллейбуса до маршрутки работает «на наличке», каждый водитель заинтересован в том, чтобы перевезти как можно больше пассажиров. В результате они устраивают гонки между собой.

Новый сервис водители использовали, чтобы следить друг за другом по карте, обгоняя и подрезая конкурентов на дороге. У некоторых начала падать выручка, они стали жаловаться владельцам маршрутов, а те пошли к людям, продающим оборудование с ГЛОНАСС и GPS и отправляющим данные о перемещениях машин в Яндекс. По просьбам хозяев автопарков они информацию отправлять перестали, и автобусы сразу начали исчезать с карты. Сейчас их стало чуть побольше, но это все равно гораздо меньше, чем на самом деле.

Истории

Устройства с управлением через веб-интерфейс

Время на прочтение4 мин
Количество просмотров16K


Автор: Николай Хабаров, IoT Google Developer Expert, эксперт по встраиваемым системам, DataArt.

В этой статье я расскажу, как создать собственное устройство с веб-интерфейсом, которое будет доступно в локальной сети. Веб-интерфейс будет показывать текущие данные с датчика Si7021: температуру и влажность.

Устройство работает на основе микроконтроллера ESP8266Wi-Fi) и прошивки DeviceHive.

Классификация объектов в режиме реального времени

Время на прочтение5 мин
Количество просмотров42K


Автор: Игорь Пантелеев, Software Developer, DataArt

Распознавание изображений очень широко используется в машинном обучении. В этой области существует множество различных решений, однако потребностям нашего проекта ни оно из них не удовлетворяло. Нам понадобилось полностью локальное решение, которое способно работать на крошечном компьютере и передавать результаты распознавания на облачный сервис. В этой статье описывается наш подход к созданию решения для распознавания изображений с помощью TensorFlow.
Читать дальше →

Предпочтения и навыки программистов разных стран: DataArt изучил статистику платформы Skillotron

Время на прочтение2 мин
Количество просмотров6.2K


В августе 2017 года DataArt запустил игровую платформу самопроверки знаний для IT-специалистов Skillotron. За полгода ее пользователями стали более 7 тысяч человек из 54 стран, а мы успели собрать интересные данные об особенностях поведения игроков. Исследование не претендует на универсальность — мы не утверждаем, что статистика Skillotron отражает положение дел в IT в целом. Но посмотреть на нее нам было интересно, тем более, что для DataArt Skillotron — необычный опыт разработки собственного продукта.
Читать дальше →

Управление трафиком с использованием Fiddler

Время на прочтение3 мин
Количество просмотров27K


Автор: Ольга Еременко, QA Engineer

При тестировании сайтов или мобильных приложений иногда возникает необходимость не только отловить трафик между клиентом и сервером, но и модифицировать его, чтобы посмотреть, как это обработает бэкенд и что поменяется на UI.

В таких случаях можно использовать прокси-сервер Fiddler — промежуточное звено между клиентом (браузер, мобильное приложение и т. д.) и целевым сервером. Скорее всего, этот инструмент вам известен, но обычно говорят о нем вскользь. Мы по шагам разберем, как проверить с помощью Fiddler, что отобразится на UI при изменении запроса к серверу или возвращаемого ответа.
Читать дальше →

Тренды-2018

Время на прочтение7 мин
Количество просмотров7K


Искусственный интеллект, создающий рабочие места, новые стандарты безопасности, роботы в магазинах и гостиницах, 5G и подкасты. Лидеры DataArt делятся своими прогнозами на 2018 год.
Читать дальше →

Знакомые лица: алгоритмы создания «типичного» портрета

Время на прочтение4 мин
Количество просмотров9K

Автор: Андрей Сорокин, Senior Developer DataArt

В конце прошлого года мы завершили R&D-проект, посвященный методам машинного зрения в обработке изображений. В результате мы создали ряд усредненных портретов IT-специалистов, работающих с разными технологиями. В этой статье я расскажу об изображениях «типичных» Java и .NET-программистов, подходящих для этого фреймворках и оптимизации процесса.

Тема машинного зрения меня интересует еще с аспирантуры — моя кандидатская была посвящена распознаванию рукописных текстов. За последние несколько лет произошли существенные изменения в методологии и программном обеспечении для машинного зрения, появились новые инструменты и фреймворки, которые хотелось попробовать. В этом проекте мы не претендовали на изобретение уникального решения — главный вклад мы внесли в оптимизацию обработки изображений.
Читать дальше →

Использование Grafana с IoT-платформой DeviceHive

Время на прочтение5 мин
Количество просмотров5.5K


Авторы: Игорь Трамбовецкий, Developer; Николай Хабаров, Embedded Expert

Платформа DeviceHive содержит множество различных компонентов, включая плагин Grafana. Он может собирать данные с сервера DeviceHive и отображать их с помощью различных информационных панелей, используя популярный инструмент Grafana. В этой статье я объясню, как создать дашборд Grafana с DeviceHive, а в качестве примера использую аналоговый вход чипа ESP8266 для визуализации напряжения на нем.

Читать дальше →

Новогодние огни с DeviceHive

Время на прочтение5 мин
Количество просмотров4.9K


Авторы: Евгений Дубовик, Senior Android Developer, Николай Хабаров, Embedded Expert

Накануне нового года мы решили создать гирлянду с помощью Android Things, смартфона на базе Android и IoT-платформы DeviceHive. В качестве самих огоньков, мы использовали светодиодную ленту WS2812B. Для работы Android Things мы воспользуемся Raspberry Pi 3, хотя здесь подошла бы и любая другая плата, оснащенная SPI-интерфейсом и имеющая поддержку Android Things. Управление светодиодами осуществляется с мобильного устройства, записывающего звуки, на основе которых генерируются паттерны поведения огоньков.
Читать дальше →

KidPRO — история белки, помогающей детям

Время на прочтение6 мин
Количество просмотров3.8K


Команда медицинской практики DataArt победила в конкурсе Pfizer Healthcare Challenge 2017. Она представила KidPRO — решение для детей и родителей, позволяющее ребенку и взрослому следить за ходом лечения в двух связанных приложениях.

В приложении для детей интерактивная анимационная белка помогает ребенку: напоминает, когда надо принять лекарство, рассказывает, что с ним происходит, награждает за каждое выполненное предписание врача. Таким образом, как ни парадоксально звучит, ребенку становится интересно лечиться.

В 2015 году приложение заняло третье место на InnovateNYP: Pediatric App Challenge.
Спустя два года мы развили идею, выиграли, и нас пригласили выступить и представить свои наработки на престижной конференции Frontiers Health.

KidPRO относится к активно развивающейся категории медицинских приложений, далеко выходящих за рамки привычных нотификаторов и будильников, — Beyond Reminder Apps. Они помогают пациентам соблюдать схему лечения, собирают и анализируют информацию, даже просвещают детей и родителей. Разработка команды DataArt — полностью законченный прототип, подробнее узнать о котором можно на сайте нашего R&D-центра.

Ближайшие события

19 марта – 28 апреля
Экспедиция «Рэйдикс»
Нижний НовгородЕкатеринбургНовосибирскВладивостокИжевскКазаньТюменьУфаИркутскЧелябинскСамараХабаровскКрасноярскОмск
22 апреля
VK Видео Meetup 2025
МоскваОнлайн
23 апреля
Meetup DevOps 43Tech
Санкт-ПетербургОнлайн
24 апреля
VK Go Meetup 2025
Санкт-ПетербургОнлайн
25 – 26 апреля
IT-конференция Merge Tatarstan 2025
Казань
14 мая
LinkMeetup
Москва
5 июня
Конференция TechRec AI&HR 2025
МоскваОнлайн
20 – 22 июня
Летняя айти-тусовка Summer Merge
Ульяновская область

Классификация звуков с помощью TensorFlow

Время на прочтение7 мин
Количество просмотров25K


Игорь Пантелеев, Software Developer, DataArt

Для распознавания человеческой речи придумано множество сервисов — достаточно вспомнить Pocketsphinx или Google Speech API. Они способны довольно качественно преобразовать в печатный текст фразы, записанные в виде звукового файла. Но ни одно из этих приложений не может сортировать разные звуки, захваченные микрофоном. Что именно было записано: человеческая речь, крики животных или музыка? Мы столкнулись с необходимостью ответить на этот вопрос. И решили создать пробные проекты для классификации звуков с помощью алгоритмов машинного обучения. В статье описано, какие инструменты мы выбрали, с какими проблемами столкнулись, как обучали модель для TensorFlow, и как запустить наше решение с открытым исходным кодом. Также мы можем загружать результаты распознавания на IoT-платформу DeviceHive, чтобы использовать их в облачных сервисах для сторонних приложений.

Выбор инструментов и модели для классификации


Сначала нам нужно было выбрать ПО для работы с нейронными сетями. Первым решением, которое показалось нам подходящим, была библиотека Python Audio Analysis.

Основная проблема машинного обучения — хороший набор данных. Для распознавания речи и классификации музыки таких наборов очень много. С классификацией случайных звуков дела обстоят не так хорошо, но мы, пусть и не сразу, нашли набор данных с «городскими» звуками.
Читать дальше →

Тестирование глазами разработчика: инструменты, мифы, ситуации

Время на прочтение10 мин
Количество просмотров21K


Евгений Сафронов, Senior Developer, DataArt

«Тестирование можно использовать для того, чтобы доказать наличие ошибок в программе, и никогда — для того чтобы доказать их отсутствие!»
Эдсгер Дейкстра


Тестирование — это прикладная, стандартизированная, инженерная практика, которая применима в большинстве отраслей человеческой жизни. Тестирование, как философия, метрика или практика, существует намного дольше, чем программирование. К примеру, мы выковали меч. Чтобы проверить достаточно ли острым он получился, его испытывают. В некоторые эпохи даже на живом человеке, скажем, рабе.

Тестирование — это проверка работоспособности программы, предмета или любой промышленной разработки. Как и в любом деле, здесь есть свои тонкости и своя философия. Она, наверное, ближе тестировщикам, которые на произведенные нами вещи смотрят деструктивно — они с самого начала думают о том, как сломать предложенный разработчиками продукт. Это не очень типично для пользователей, которые более предсказуемы и обычно находят ошибки, случайно пытаясь сделать с нашей программой что-то нетипичное. У разработчиков подход к программам в принципе другой, но мы должны помнить: тестировщики должны ломать то, что мы создали — это их хлеб.
Читать дальше →

Обзор конференции Highload fwdays’17

Время на прочтение7 мин
Количество просмотров3K


14 октября в Киеве прошла конференция Highload fwdays, посвященная высоконагруженным проектам, работе с базами данных и архитектурой, в частности, микросервисами, машинному обучению и Big Data. DataArt был спонсором конференции. А наши коллеги Игорь Мастерной (лидер Java-сообщества DataArt Киев) и Анна Колот (.NET, SharePoint Developer) рассказали о докладах, на которых они побывали.

Детально с программой конференции можете ознакомиться тут.

Начнем обзор с доклада Дмитрия Охонько из Facebook про Log Device. “Yet another log storage”, — подумаете вы. Вы бы были правы, но этот Log Storage на общем фоне выделяется своими создателями. Заявленная пропускная способность у Facebook — 1TB/s. И узнать, как они справляются с обработкой такого объема данных, было интересно.
Читать дальше →

GDG-комьюнити на Google Developer Days

Время на прочтение4 мин
Количество просмотров2.7K


Автор: Елена Федорова, руководитель департамента Human resource marketing, DataArt, Воронеж

5–6 сентября в Кракове прошла большая конференция GDD — глобальный ивент, аналог ежегодной конференции Google I/O в Сан-Франциско, где анонсируются последние новинки технологий компании Google.

В этом году на GDD собралось более двух тысяч разработчиков и других IT-специалистов из разных стран мира. В течение двух полных дней участники вместе слушали доклады, общались на тематических секциях, митапах по разработке и в комьюнити-зонах.


Аззурра Рагоне — Community Specialist, Google — рассказала про развитие сообществ.

Помимо основной конференции, по всему миру прошли более шестидесяти локальных событий — GDD Extended events, организованных Google Developer группами: прямые видеотрансляции, хакатоны, мастер-классы и т. д.

Смотреть все видео ключевых докладов можно здесь.

Мы попросили знакомых разработчиков и лидеров разных комьюнити поделиться впечатлениями о конференции.

Машинное обучение в RapidMiner

Время на прочтение7 мин
Количество просмотров14K


Дмитрий Соболев, Игорь Мастерной, Рафаэль Зубаиров

Не заметить, как быстро растет общий объем собираемых метрик, просто невозможно. Увеличивается не только частота с которой автоматические системы собирают данные, пропускная способность хранилищ данных, но и сам набор метрик, которые мы можем использовать. Эта тенденция наиболее явно выражена в IoT, но и другие отрасли могут похвастаться огромным набором источников данных — публичных или доступных по специальной подписке.

Увеличение объема данных создает новые вызовы для аналитиков и специалистов, работающих над оптимизацией бизнес-задач. Темпы развития мировой экономики увеличиваются, но именно быстрая реакция на изменения на микроуровне позволяет отдельным компаниям расширяться. И здесь на помощь приходят инструменты анализа данных и машинного обучения.

В 2000-х машинное обучение и глубокий анализ данных были уделом университетских групп и специализированных стартапов. Сегодня любая компания имеет доступ к практически неограниченному и алгоритмов, подходов и готовых решений для создания автоматических систем, а также целому набору продуктов для анализа данных.

Машинное обучение сейчас используется не только корпорациями уровня Microsoft и Google, даже небольшие компании могут воспользоваться преимуществами, которые дает качественный анализ данных или система рекомендаций. Если до недавнего времени применение подобных методов требовало найма программистов, аналитиков, дата-сайентистов, то сейчас на рынке появляются сервисы и приложения для машинного обучения, которые позволяют в более дружелюбной форме, с использованием графического интерфейса, обрабатывать данные и строить предсказательные модели. Использовать их способен даже человек с минимальными знаниями в этой области.

Сейчас тройка лидеров в автоматизированном и упрощённом машинном обучении состоит из DataRobot, RapidMiner и BigMl. В этой статье мы подробно рассмотрим RapidMiner — расскажем о том, что он умеет и как может вам облегчить жизнь.
Читать дальше →

DataArt запустил игровую платформу самопроверки знаний для IT-специалистов

Время на прочтение4 мин
Количество просмотров12K


Даниэль Лурье, главный редактор DataArt.

Двадцать лет DataArt занимался разработкой IT-решений для клиентов из сферы финансов, здравоохранения, туризма и других серьезных индустрий. Своих собственных продуктов мы никогда не выпускали — опасались возможного конфликта интересов. Но недавно мы запустили собственную игровую платформу Skillotron. Все началось с того, что в DataArt появились две, на первый взгляд, не связанные между собой проблемы.

Первая — оценка профессионального уровня коллег. За последние десять лет мы выросли с 400 человек до 2500, и люди продолжают к нам приходить, DataArt уже работает в 10 странах и 20 городах по всему миру. Как у любой организации, у нас, конечно, есть система оценки квалификации при приеме на работу. Сложнее оценить тех, кто работает с нами не первый год и все время развивается. Отчасти для этого технологические сообщества внутри DataArt устраивают «селф-чеки» — добровольные экзамены или олимпиады, на которых каждый может себя адекватно оценить и понять, что еще ему надо подтянуть, в какую сторону развиваться. Процесс этот довольно трудоемкий — на придумывание задач, организацию «селф-чека» и проверку результатов уходило немало времени и сил самых опытных коллег. Разработчики задались вопросом, как упростить жизнь себе и остальным.
Читать дальше →