У нас в МАИ, в 8-м институте, учатся будущие разработчики IT‑продуктов и софта для авиационных систем, аэропортов, логистики и много чего ещё интересного. Один из курсов с 2023 года мы решили посвятить разработке программного обеспечения для автопилота. В курсе всё как положено, с красивыми диаграммами регуляторов, кватернионами и кодами таких проектов как Ardupilot, PX4, Betaflight, iNav и другими.

Однако, довольно сложно сразу вкатиться в тему полетных прошивок — они переполнены всякими фичами и функционалом, так что неподготовленному разработчику сложно понять как же это всё работает. Поэтому долгое время я искал такой проект, который позволяет «на пальцах» объяснить как работает прошивка полётника. Таким проектом для меня стал Flix от Олега Калачева. Про опыт сборки проекта и изучения на его основе полетной прошивки со студентами и пойдет разговор в этой статье.

Как вы наверное знаете мы уже запустили много интересных учебных программ IT-магистратуры в МАИ. Есть у нас программа для менеджеров продуктов, где мы прокачиваем навыки работы с IT-продуктом, много программ для ML специалистов и приложению машинного обучения для разных целей. Найдут свои программы и бэкэндеры и специалисты по инфобезу и другие участники IT-сообщества.

При этом раньше мы как-то обходили вниманием такую интересную профессию, как ML-инженер. Про создание программы обучения для ML-инженеров "Большие данные и машинное обучение", да ещё и за один год и пойдет речь в этой статье.

В 2022 году наш Университет - московский ордена Ленина, ордена Октябрьской Революции авиационный институт имени Серго Орджоникидзе, ну или просто МАИ принял участие и победил в конкурсе Приоритет 2030. Мы, как самое передовое в Мире МАИ подразделение приобрели робота собаку Unitree A1 для опасных экспериментов развития науки и прокачивания навыков наших студентов IT-магистратур. Об опыте работы с данным чудом техники мы и решили поведать на Хабре. 

Всем привет!

Мы постоянно следим за миром phygital, актуальными событиями, новостями и аналитикой, и делимся им с вами в нашем ежемесячном дайджесте "DIGEST: Dive into phygital." В нем мы собираем всю информацию о последних исследованиях, разработках, новых гарнитурах и кейсах в сфере виртуальной и дополненной реальности. 

Почему привычные нам BI-системы меняются? Куда движется их развитие, какие технологии сейчас внедряются, как можно улучшить аналитику для бизнеса? В этой статье мы коснемся этих вопросов и постараемся ответить, чего следует ожидать в ближайшем будущем от систем бизнес-аналитики.

Как не запутаться в большом объеме информации о дополненной реальности, где ее применять и как она работает? 

Вопрос эффективности для бизнеса стоит остро, и в условиях пандемии новые инструменты как никогда актуальны. Поэтому мы выпустили White Paper  “AR механики: все о дополненной реальности”, где доступным языком  объяснили, как разные подходы в создании дополненной реальности решают боли компаний.

Хакатон - командное состязание разработчиков, дизайнеров, менеджеров, аналитиков, которые в течение бессонного уик-энда должны подготовить хардверный проект либо приложение. В качестве исходных данных используется задача от заказчиков-спонсоров.

Если раньше хакатоны преимущественно проводились в офлайне, а онлайн-формат был чем-то непонятным и непопулярным, то сегодня хакатон «в интернете» уже не вызывает скепсис.

Есть ли плюсы в онлайне и для кого? Порассуждаем на тему, а также поделимся опытом, как в 2020 году мы провели самый масштабный онлайн-хакатон в авиаиндустрии.

Привет, хабровчане! Сегодня мы хотим поделиться с вами нашим опытом по созданию сервиса для апробации моделей 3D реконструкции. В заметки мы:

• кратко обсудим что из себя представляет задача 2D-to-3D, 

• взглянем на наиболее успешные алгоритмы и работы, 

• сравним параметрический и непараметрический подходы к восстановлению формы лица и тела человека,

• разберем как устроен наш сервис для апробации моделей пространственной реконструкции.

Всех, кто хотел бы на манер “Чудес науки” переместить девушку с обложки глянцевого журнала к себе в комнату хотя бы в AR, просим под кат.

Всем привет! Сегодня мы хотели бы поделиться с вами нашим опытом анализа лидарных облаков. В заметке расскажем: 

• какими инструментами и библиотеками можно пользоваться для анализа и обработки лидарных данных;

• рассмотрим практический пример анализа лидарных облаков, полученных с лидарного комплекса, установленного на автомобиле;

• попробуем применить стандартные библиотеки и техники для анализа и визуализации данных.

В предыдущей заметке мы рассказали о том, как мы решали задачу из области промышленной дефектоскопии методами современного машинного зрения. В частности, мы упомянули, что одним из подходов к обогащению данных обучающей выборки является генератор синтетических данных. В этой заметке мы расскажем:

• как сделали такой генератор на основе Blender и Python,
• какие типы масок для задач компьютерного зрения вообще можно получить в Blender.

Сегодня мы хотим поделиться опытом решения задачи детекции дефектов на снимках промышленных объектов методами современного компьютерного зрения.

Наш рассказ будет состоять из нескольких частей:

• “Постановка задачи и Данные”, в которой мы будем смотреть на ржавые отопительные котлы и лопнувшие трубы, наслаждаться разметкой и аугментацией данных, а также будем вращать и шатать трубы чтобы сделать данные разнообразнее;
• “Выбор архитектуры”, в которой мы сядем на два стула попытаемся выбрать между скоростью и точностью;
• “Фреймворки для обучения”, в которой мы будем погружаться в Darknet и заглянем в MMLab и покажем как сделать итоговое решение воспроизводимым и удобным для тестов.

Всем кому интересно взглянуть на пайплайн решения задачи из области машинного зрения и любителям ржавчины и трещин (не показывайте эту заметку сантехникам) просим под кат.

Мы уже успели поговорить про сверточные операторы на графах, а теперь посмотрим на реальные архитектуры.

В этой заметке мы сравним между собой модели глубокого обучения, направленные на решение задачи семантической сегментации облака точек, и попытаемся выяснить, какие из существующих моделей наиболее пригодны для встраивания в реальную систему сканирования пространства.

В предыдущих заметках данной серии мы уже успели поговорить о датасетах и инструментах, функциях потерь и примерах прикладных задач, а сейчас пора перейти к “ядру” любой подобласти глубокого обучения — к их архитектурам. Но, прежде чем разбираться с тем как устроены целые архитектуры, стоит разобраться в их составных частях, делающих их пригодными для применения к неевклидовым данным.

Наверное вы уже догадались, что речь сегодня пойдет о сверточных операторах на графах.

В этой статье речь пойдет об оптимизации Unity-сцены проекта Plantsim 1.0.: о визуальной части цифровой копии предприятия Tennessee Eastman Process, реализованного на Unity 2017.1.1f1.

Заметка от партнера IT-центра МАИ и организатора магистерской программы “VR/AR & AI” — компании PHYGITALISM.

В нескольких предыдущих заметках данной серии мы уже упоминали понятие дифференциального рендеринга. Сегодня пришло время разъяснить что это такое и с чем это едят.

Мы поговорим о том, почему традиционный пайплайн рендеринга не дифференцируем, зачем исследователям в области 3D ML потребовалось сделать его дифференцируемым и как это связано с нейронным рендерингом. Какие существуют подходы к конструированию таких систем, и рассмотрим конкретный пример — SoftRasterizer и его реализацию в PyTorch 3D. В конце, с помощью этой технологии, восстановим все пространственные характеристики “Моны Лизы” Леонардо Да Винчи так, если бы картина была не написана рукой мастера, а отрендерена с помощью компьютерной графики.

Делимся опытом работы с Tangible User Interface и рассказываем, как распознавать маркеры по точечным паттернам. Вы узнаете, как с помощью дисплея и инфракрасной рамки сделать эффектную визуализацию, а также какие подводные камни могут встретиться при работе с TUIO.

Заметка от партнера IT-центра МАИ и организатора магистерской программы “VR/AR & AI” — компании PHYGITALISM.

Сегодня мы поделимся впечатлениями от работы с нашумевшим фреймворком от Unity — UIToolkit, известным также как UIElements. Мы рассмотрим его основные особенности без глубокого погружения в код. Стоит уточнить, что у команды ранее не было опыта работы с веб-версткой и очевидные для профессионалов этой сферы вещи, для нас могут быть не очевидны.

Заметка от партнера IT-центра МАИ и организатора магистерской программы “VR/AR & AI” — компании PHYGITALISM.

Работая в конкретной предметной области в рамках машинного обучения (в нашем случае это 3D) необходимо понимать какие существуют основные датасеты на основе которых обучаются и тестируются модели, а также какие существуют библиотеки и программы для комфортной работы с учетом специфики данных.

В этой заметке мы рассмотрим какие существуют основные датасеты в области 3D ML и какие фреймворки для работы с 3D данными могут пригодиться датасаентисту при разработке моделей машинного обучения в данной области.

Основной сложностью при выборе функций ошибок для работы с 3D данными является неевклидовость рассматриваемых структур, из-за которой задача определения расстояния в пространстве 3D моделей становится совсем нетривиальной.

В этой заметке мы поговорим о том, какие функции ошибки (Loss functions) алгоритмов используются в 3D ML, какие из них можно использовать в качеств метрик качества (metrics), а какие — в качестве регуляризаторов (regularizers).

Сегодня появляется все больше 3D датасетов и задач, связанных с 3D данными. Это связано с развитием робототехники и машинного зрения, технологий виртуальной и дополненной реальности, технологий медицинского и промышленного сканирования. Алгоритмы машинного обучения помогают решать сложные задачи, в которых необходимо классифицировать трехмерные объекты, восстанавливать недостающую информацию о таких объектах, или же порождать новые. Несмотря на достигнутые успехи, в области 3D ML остаются еще нерешенными ряд задач, и эта серия заметок призвана популяризировать направление среди русскоязычного сообщества.

В первой части будут рассмотрены основные формы и форматы представления пространственных данных и их особенности.