Доброго времени суток!

Представляю вашему вниманию чек-лист из 100 вопросов по Data Science. Вопросы покрывают 5 областей: SQL, Python, Machine Learning, статистику и собственно саму DS.

Кому это вообще может быть полезно?

Разработчики беспилотников ведут борьбу за вертикальный взлет и посадку. Кто решит проблему вертикальной аэромобильности, получит преимущество на рынке. Важное преимущество дронов с вертикальным взлетом и посадкой — возможность запуска и приземления без взлетно-посадочной полосы. 

Универсального решения этой проблемы не существует, каждая схема имеет свои достоинства и недостатки. Участники Архипелага 2023 выбрали конструкцию тейлситтер и собрали беспилотник «Стрекоза». После разговора с лидером проекта Юрием Шеметуном мы составили ретроспективу этого типа беспилотников и, конечно, спросили, почему будущее за тейлситтерами.  

Наш клиент, крупный маркетплейс товаров из Китая, определил “цвет”, как один из самых важных атрибутов на сайте, именно этот  параметр встречается в 23 категориях из 30.

Однако в нашем случае, фильтрация товаров по цвету является сложной задачей, потому что, карточки товаров заполняют не представители маркетплейса, а продавцы конкретных товаров, которые не всегда понимают, что заполнять данные о продукции стоит максимально подробно и понятно для каждой позиции. В свою очередь, маркетплейс также не регламентирует каких-то четких правил описания товаров. Это привело к тому, что характеристики товара заполнены неверно или неточно. Особенно наглядно это проявляется в описании цвета, где некоторые селлеры могут написать что-то непонятное, например, “цвет утреннего рассвета”.

Отметим, что данных для обучения ML-моделей, к сожалению, нет. То есть мы не можем выделить группу товаров для тренировки, в которой мы были бы заведомо уверены, что атрибуты проставлены верно.  Предварительная оценка показала, что только в 31% товаров цвет был заполнен одним из значений, которые мы впоследствии хотим видеть в фильтрах, но даже это не значит, что он заполнен верно без ручной проверки.

Кроме того,  товаров очень много – более 100 млн. Заполнять атрибуты вручную для каждого товара займет слишком много времени и ресурсов, которые тратить никто не готов.

Фишкой данного решения является минимальное использование обучающих данных для достижения высокой точности в классификации изображений. Это достигнуто благодаря использованию модели CLIP (Contrastive Language-Image Pretraining), которая предназначена для zero-shot и one-shot обучения, изначально созданная для сопоставления изображения и его текстового описания.

Нейронные сети являются неотъемлемой частью нашей повседневной жизни и находят широкое применение в различных областях, включая системы распознавания (банковской, идентификационной и другой чувствительной информации), а также различные системы управления и обеспечения безопасности. Однако нейронные сети – всего лишь мощный инструмент обработки данных, у которого, как и у всякого инструмента, есть недостатки.

Или не дозрел. Или идея нежизнеспособна. Понимание этого не менее важно, чем умение создавать сложные продукты или генерировать интересные идеи. 

Под катом интервью с Максимом Гашковым, основателем MTS Startup Garage, CPO стартап-студии «Открытые инновации», про то, какие ошибки совершают разработчики, ныряющие с головой в новое для себя направление — бизнес. Как понять, что твой проект стоящий, и что вообще нужно знать и уметь технарю с хорошей головой, руками и великолепной идеей?

За последние примерно 25 лет промышленные лазеры прошли путь от маркировки пластика до создания трехмерных деталей и цветных отпечатков на металле. А началась вся история в 90-х с создания нашим соотечественником первых волоконных лазеров, которые превосходно управлялись с металлами.

Под катом — рассказ про развитие лазерной техники за последние два десятилетия на примере оборудования одного питерского производителя.

Многие думают, что мышечные стимуляторы — это такие штуки, которые клеятся на живот и будут как-то там сжигать жир. Но это не совсем так. Такие китайские поделки ничего особо не насжигают, а вот у самой технологии есть масса других применений. Большая часть — медицинская, но всем интересен в первую очередь спорт и еще VR. Причем с помощью специальных костюмов со стимуляторами можно тренировать не только силу и выносливость, но и скорость.

Под катом рассказ про эти технологии, который я сделала на основе беседы с отечественными разработчиками одного из таких костюмов.

Асинхронный мотор хорош тем, что имеет простую конструкцию, низкую стоимость, но более сложную систему управления. Отсюда возникает соблазн спроектировать и собрать собственную модель, да еще поиграть с ее конструкцией и характеристиками. Еще интереснее, когда для мотора сразу находится применение — скажем, в качестве двигателя для электровелосипеда. 

Под катом краткий рассказ о том, как парни из Оренбургского университета создали собственную модель мотор-колеса. Если дело дойдет до серийного производства, себестоимость будет в разы ниже, чем у нынешних китайских аналогов.

Хайп вокруг «войти в IT» привел к тому, что в разработчики и тестировщики потянулись не только студенты профильных вузов, но и люди из других профессий. Не будем сейчас обсуждать правильность подобного выбора в той или иной ситуации, а просто расспросим опытного человека в области разработки о том, как правильно подойти к выбору языка программирования и начать свой карьерный путь, раз вы на это решились или крепко задумались по этому поводу.

Нишу автономных судов ожидает такой же взрыв развития, как мы наблюдаем в последние годы в сегменте БПЛА. Тысячи компактных беспилотников будут годами находиться в океане. Причем речь идет исключительно о мирных исследовательских целях и мониторинге.

Представьте, что вам нужно отслеживать параметры среды, следить за течениями, перемещением рыбы, составлять подробные карты глубин, изучать морское дно и отдельные подводные объекты или явления. Фрахт научно-исследовательского судна — это сезонно и очень дорого. Буквально в десятки раз дороже, чем разместить автономные беспилотники с необходимым набором оборудования и малыми исследовательскими дронами на борту.

Под катом небольшой рассказ про отечественный проект подобных судов.

Удивительно, но факт: недорогих туристических подводных лодок до сих пор не существует. Ценники на те аппараты, которые доступны на рынке, начинаются от миллиона долларов. Казалось бы, это направление хоть и технологично, но далеко не рокетсайенс и решений должно быть много. Но нет. 

В этом посте — небольшой рассказ про прототип подводного аппарата сухого типа ND Marine. Будем надеяться, он станет родоначальником серийных подлодок, которые будут выпускать через пару лет.

Одна из проблем ветроэнергетики заключается в слабом среднестатистическом ветре, из-за которого турбины большую часть времени работают не на полную мощность. И как выяснилось, существуют жизнеспособные концепции, позволяющие не только увеличить воздушный поток перед ветряками, но и сделать его регулируемым.

Под катом всевозможные детали одного проекта с расчетами и небольшим экспериментом.

Информационная служба Хабра в лице @ancotir и @IgnatChuker посетила проектно-образовательный интенсив «Архипелаг 2022», прошедший в Севастополе. Мы уже рассказывали о выставке-фестивале «Настоящее Будущее», проходившей в рамках мероприятия. Сегодня поговорим про школу акселерации стартапов — одну из центральных инициатив «Архипелага». Подробности создания проекта и его реальную ценность для рынка обсудили с разработчиками школы Ростиславом Сперанским @kerchyk и Ильёй Антиповым @LightVessel.

Качать воду прямо из воздуха — любопытная идея. Даже в жаркой пустыне воздух содержит в себе водяной пар. Относительная влажность днем там не опускается ниже 5%, а типичное значение составляет 20%. Вполне можно попробовать.

Решение в лоб — это охлаждение воздуха до момента, пока из него не «польется» вода. Например, при 30 °С воздух может удерживать до 30 грамм пара на кубический метр, а при 0 °С уже лишь 5 грамм. Но охлаждение требует больших затрат энергии и имеет много ограничений, поэтому целесообразность теряется.

К счастью, людям приходят в голову другие идеи получения воды. Под катом рассказ про предсерийную концепцию автономной адсорбционной системы AlterOcean. Это такие панели, работающие от солнца и генерирующие воду из воздуха.

Эффект Коанда, заключающийся в отклонении реактивной струи из сопла при обтекании криволинейной поверхности, известен с начала прошлого века. Его пытались использовать в самолетостроении, но только как вспомогательный инструмент, который сокращает длину необходимой для взлета полосы, уменьшает расход топлива или способствует лучшей управляемости.

Однако несколько лет назад родился проект грузового беспилотника SWAN, который взлетает, управляться и садится за счет этого и других аэродинамических эффектов, не используя поворотные сопла или иную механику.

Пару лет назад мы делали интервью с Михаилом Бурцевым из МФТИ — создателем системы разговорного ИИ iPavlov. Очень интересный человек, который в 2015 году удачно скрестил свой талант с программами госфинансирования через «Сбер» и НТИ (АСИ). Все началось с библиотеки DeepPavlov, которую в итоге скачали больше миллиона раз. Затем проект расползся по соседним нишам, причем мне кажется, что скоро появится целая корпорация iPavlov с целым пакетом ИИ-продуктов федерального масштаба. Насколько это хорошо или плохо, не могу сказать. Иногда случается так, что быстрый успех может вскружить голову.

Под катом — интервью с нынешним директором iPavlov Лораном Акопяном про то, какое место российские технологии занимают в мировой ИИ-индустрии, изменится ли что-то из-за сложностей с поставками «железа» и в каком направлении развивается сам iPavlov. 

Если все пойдет по плану, самый массовый и функциональный голосовой помощник в стране будет в приложении Госуслуг.

Баек про то, что Черное море может буквально взорваться из-за чрезмерного содержания сероводорода в глубинах, ходит уже предостаточно. Разумеется, ничего там не взорвется, поскольку отсутствует кислород. Но вот потравить все живое периодическими выбросами сероводорода в верхние слои — это запросто. В особо драматичных эпизодах погибшую рыбу убирают с пляжей строительной техникой.

На фоне всех этих ужасов внезапно всплыл любопытный проект по добыче этого самого сероводорода из морской воды и переработке его в полимерную серу и чистый водород, который можно использовать для выработки электричества и в других новомодных целях.

Зародился экономически и технически проработанный ныне проект аж в 2001 году. Один из его авторов — к. т. н. Олег Сапрыкин. Под катом его рассказ о создаваемом Морском автономном энергетическом комплексе (МАЭК) для прибрежных районов Черного моря, который я составила после нашей беседы.

Речь пойдет про портативную электростанцию, которая в перспективе сможет потреблять любое органическое топливо, от природного газа до коньяка, и перерабатывать его в электричество без сжигания. Цель всей затеи — заменить всевозможные дизель-генераторы на что-то более экологичное и изящное, не требующее постоянного внимания. Например, вы привезли на какой-то удаленный объект баллон топлива и забыли про обслуживание мини-электростанции на целый год. Она работает и работает.

Причем эта самая электростанция может масштабироваться от 100 ватт и до практически неограниченной мощности. На фото выше в шкафу установлена система мощностью чуть больше одного киловатта, состоящая из трех планарных элементов. Справа — рендер микротрубчатого элемента — ноу-хау. Под катом есть фото одного из прототипов размером с компактную кофеварку.

В целом идея не нова, но тут удалось снизить стоимость производства сложного электрохимического топливного элемента, сделав его компактным и коммерчески интересным, причем начиная с самых малых мощностей.

Малоподвижный образ жизни, повышенное давление, лишний вес, стресс, некачественный сон, курение, переработки — все это может привести к инсульту. И не надо думать, что инсульт случается только с пожилыми. Треть больных — это люди трудоспособного возраста. При этом лишь 10–20% (по разным данным) пациентов после болезни возвращаются к труду.

Посмотрим на данные официальной российской статистики: в стране ежегодно происходит более 400 тысяч случаев инсульта, причем лишь 8–10% из них оказываются относительно легкими и заканчиваются восстановлением нарушенных функций в первые три недели заболевания.