Привет, Хабр! Сегодня поговорим о том, как молодому специалисту попасть на работу в центр робототехники. Расскажем об одном из путей (не реклама, но уникальная возможность для робототехников в России)
О мотивации
Так сложилось, что работая инженером робототехником в Центре робототехники Сбер, мне очень хотелось развить робототехническое сообщество в России и передать свой уникальный опыт другим инженерам. Для этого были организованы ROS Meetup и совместная работа с университетами, с возможностью молодым специалистам постепенно включаться в научную и прикладную работу вместе со Сбером. За все время были опробованы различные форматы, но рассказано будет о тех которые показали наилучший результат.
Когда мы начали налаживать совместные исследования и работу со студентами в различных университетах – с кем то “не пошло”, а с кем-то, наоборот, сложилась плодотворная работа. Мне кажется с некоторыми не сложилось потому, что, как мне кажется, в словах “Лаборатория робототехники Сбера” многие читали только слово “банк”, и им мерещились мешки с деньгами. Они ожидали, что им дадут денег и отстанут с неудобными вопросами где тут бизнес, заказчик и так далее.
Одна из главных составляющих успешной работы – внутренняя мотивация и огонь в глазах студентов и аспирантов. Без этого нет смысла даже начинать, они просто не смогут пройти через огонь, медные трубы и боль с ROS :-) Поэтому проверочный тест для тебя – ответь чем бы ты хотел заниматься, если бы тебе за это не платили? Или чем бы ты был готов заниматься за свои деньги? Хобби, на которое ты тратишь деньги? Если ответ не “робототехника”, то тест не пройден. Только в деле, которым ты горишь, и готов заниматься дни и ночи на пролет, преодолевая трудности и самостоятельно приобретая необходимые знания, только в этом деле ты можешь стать мастером! Станешь мастером – деньги придут. Рекомендую почитать в интернете материалы на тему “10000 часов практики = мастерство в любом деле”.
За многие годы работы с людьми и студентами у меня сложилась методология вовлечения и проверки студентов, которая состоит из определенных тестов и различных задачек по робототехнике, которые позволяют студентам пройти эти условные 10000 часов практики, набирая опыт, и показать свою мотивацию и способности. Задачки связаны с программированием, ROS, deep learning, чтением и анализом научных статей. Они разные и приближены к задачам, которыми мы занимаемся в Центре ( Лабораторию мы давно переросли), но также они про что-то новое, в чем то даже у меня пока нет компетенций. Тут надо пояснить, что мы занимаемся не только прикладными исследованиями и разработками, но и поиском чего-то нового, что перевернет мир, а для этого нужно чтобы мозги работали по-другому. Должно быть желание браться за задачки, которые ты сейчас не знаешь, как решить, и способность копать в них до победного. Некоторые из сотрудников Центра шутят про себя в стиле мема ”Слабоумие и отвага”. Этим словосочетанием называем поведение людей, которые безрассудно бросаются в самую гущу событий, когда сначала стоило бы подумать. Это не значит, что мы не думаем, некоторые сотрудники из нашей команды порой излишне критичны. Но, чтобы решать сложные и амбициозные задачи, нужно обладать значительной смелостью и самоуверенностью.
Одна из тем, которая меня очень интересовала, был SLAM и визуальное восприятие роботом окружающего мира. Я перерыл весь интернет, научные статьи, github на эту тему, имея при этом опыт работы с такими классическими алгоритмами, как AMCL и Gmapping. Это привело к возникновению различных идей, представляющих научную новизну. Тогда я еще занимался проектом мобильного робота-курьера и робота-дезинфектора, эти идеи хорошо ложились на его навигацию. Нам всегда нужно думать над прикладным применением своих исследований.
В это время мы начали совместную работу с профессором Сергеем Алексеевичем Колюбиным из ИТМО («Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики»), и ко мне на практику пришли ребята, желающие заниматься этой тематикой. Один из них был Малик, который сразу мне запомнился на собеседовании своим pet-робот проектом. Это пример мотивации и увлеченности робототехникой. Собирайте своих роботов дома, пишите про них статьи, выступайте с докладами про них на ROS meetup, который состоиться уже 3 февраля.
Несмотря на то, что ребята были в Санкт-Петербурге, а мы в Москве, мы каждый день переписывались и регулярно созванивались по видеосвязи, позже ребята несколько раз приезжали к нам в командировку. Тогда методика работы состояла в анализе научных статей, поиска и тестирования бейзлайнов. До этого было проделано много работы, у меня были наработки, мы со студентами из Сколтеха провели анализ и тестирование топовых SLAM алгоритмов, написали по итогам обзорную научную статью.
Через некоторое время анализа и тестов, были выбраны гипотезы и бейзлайны. Кратко, основных идей было две:
Расширить представление до семантических карт, когда робот понимал не только геометрию пространства и цветовые фичи, но и смысловую информацию о пространстве, как это делает человек. Что здесь – пол, тут – холодильник, а там – человек, и они имеют некоторую целостную меш(сетка описывающая геометрию поверхности из полигонов). Но сделать это так, чтобы это было максимально дешево с точки зрения сенсоров и могло работать в реальном времени.
Повысить робастность визуальной одометрии за счет комплексирования данных с IMU и колесной одометрии. Это решало проблему с отсутствием визуальных фич в визуальных SLAM в некоторых моментах, что ломало трек, который например строил orb slam.
За бейзлайны тогда были выбраны Kimera и ORB SLAM. Ребята разбирали их исходный код. Тема сложная, нужно знать много дисциплин, математики, программирования и т.д. И база у ребят в виде обучения в ИТМО и предыдущих университетах была. Но не сказать, что этого хватало, поэтому им приходилось много доучивать на лету самостоятельно.
Через какое-то время у нас уже сложились свои модификации комбинации алгоритмов. Пора было тестировать на реальных данных. Для этого был выбран в качестве мобильной базы робот-курьер нашей, на тот момент, Лаборатории робототехники Сбер и собран стенд с различными сенсорами. Ребята несколько раз приезжали к нам в командировку: собирали стенд своими руками и записывали датасет, катая робота по Лаборатории.
На этих датасетах уже своими алгоритмами удалось построить семантическую карту лаборатории и робастную траекторию, несмотря на резкие повороты и закрывание камеры на некоторое время рукой. Это уже можно было считать прорывом. Поэтому была начата работа по написанию научных статей.
Написание и публикация научных статей у нас очень затянулась, их приняли не с первого раза. Но упорство ребят помогло преодолеть все трудности, мы устранили замечания ревьюеров и в 2023 году две наши научные статьи и приняли на топовую конференцию IROS: визуально-инерциально-колесный SLAM и семантичекские карты. Это была победа, выражаю благодарность всем соавторам, вы великие молодцы!
Эти достижения не остались незамеченными и двое аспирантов ИТМО теперь работают по этим темам у нас в лаборатории.
Чуть позже, я взялся за еще одну научную тему с походками четвероногих роботов. Это тоже моя область личного интереса, да-да, то, что я говорил в начале статьи – внутренняя мотивация решает, без этого я бы не вытянул, да еще и в личное время, а не в рабочее.
Вдохновлялся, понятно, много лет назад с видео от Boston Dynamics. Но в 2019 году появились научные статьи Бена Катца и Джеральда Ди Карло про MIT mini cheetah. Тогда я понял, что вполне реально сделать такого робота и запрограммировать его походку. Позже у нас в лаборатории появится Unitree A1, который в каком-то смысле копия-переработка mini cheetah, но от китайцев.
Тогда с Владиславом, студентом из Бауманки, мы занялись на тот момент только зарождающейся темой RL для таких роботов. Была очень интересная статья от ETH, но на дорогущем роботе ETH Animal. Я подумал, а почему бы не попробовать сделать примерно тоже самое, но на роботе Unitree A1. Тут я немного пропущу предшествующую работу, почему было выбрано именно это направление, но к этому времени у нас уже были свои наработки в симуляторе с RL.
В симуляторе модель робота худо бедно ходила. И предстояла сложная задача по переносу этого инференса на реального робота. На это ушло несколько месяцев. Стоило это еще несколько моих седых волос, потому что когда я заходил к Владиславу посмотреть, как он пытается запустить это на роботе, а робот, взбесившись, начинает молотить лапами в разные стороны, разрушая себя, мое сердце обливалось кровью... К моему удивлению робот выжил, и через некоторое время после огромных трудов пошел. Это было целое событие!
Затем у нас Сергеем Колюбиным сложилась еще одна команда, но уже по роботам-собачкам. Тогда, исходя из компетенций студентов, было принято решение пойти по альтернативной ветке и для походки робота использовать MPC.
Этот путь оказался посложнее, так как ту нужно было знать теорию оптимального управления и сильно погрузиться в низкоуровневое программирование на C++. Но студенты ИТМО тут тоже справились. И робот в симуляторе пошел.
Но идея была не просто пойти, а подняться по лестнице и со зрением. Тут было много ROS, разных пакетов и кодинга. Реализация состояла в том, что робот видел лестницу через камеру, строил сшитую карту высот, вычислял угол наклона лестницы и в соответствии с этим задавал целевые ориентацию тела, ставил лапы на плоскости ступенек.
Вот видео где робот впервые смог подняться по лестнице:
Позже я еще набрал студентов и аспирантов для продолжения работ. И сейчас они, используя все наработки, продолжают работу по этим тематикам, но это пока секретные работы, про которые может быть расскажу позже.
Что можно сказать по итогу статьи. Для робототехников с горящими глазами я всегда найду путь, по которому они смогут влиться в совместную работу с нами и вырасти в мастеров своего дела. А для тех, кто уже является профессионалами робототехниками, у нас есть вакансии и различные варианты сотрудничества. Можете писать мне тут на хабре в личку или в Телеграм, найти меня можно в нашем чате ROS-сообщества.
А еще у нас есть хорошая новость, 3 февраля пройдет ROS Meetup на ВДНХ и можно будет посмотреть на наших роботов собак и пообщаться лично, регистрируйся на мероприятие.
