Как стать автором
Обновить
-1
0

Пользователь

Отправить сообщение

Последствия отмены 38 налоговых соглашений с «недружественными» странами: самый полный анализ

Уровень сложностиПростой
Время на прочтение11 мин
Количество просмотров41K

Вчера президент РФ в одностороннем порядке приостановил соглашения об избежании двойного налогообложения почти с половиной стран, с которыми они раньше действовали. В этой статье мы подробно разбираем с налоговым юристом – как это повлияет на обычных людей, и почему российские инвесторы с зарубежными ценными бумагами «попали».

Читать далее
Всего голосов 41: ↑36 и ↓5+46
Комментарии68

Как с помощью практики на LeetCode я получил несколько офферов

Уровень сложностиПростой
Время на прочтение4 мин
Количество просмотров54K

После рассказа о том, как я получил работу в Amazon, в этом посте на reddit мне задали множество вопросов о том, как мне помог LeetCode в подготовке к собеседованиям.

В статье я отвечу на эти вопросы.

Сколько времени это заняло?

Я начал готовиться за 2-3 месяца до собеседований в BigTech. В то время я тратил по 2-3 часа в день на подготовку.

Читать далее
Всего голосов 36: ↑30 и ↓6+34
Комментарии54

Как Федор выписывался из военкомата после эмиграции: полный гайд по снятию с воинского учета удаленно

Уровень сложностиПростой
Время на прочтение13 мин
Количество просмотров131K

На прошлой неделе мой подписчик по имени Федя успешно снялся с воинского учета, не покидая Казахстан. В этой статье мы подробно разберем его пример, а также вместе с юристом распишем вам детальный пошаговый гайд для всего процесса.

Читать далее
Всего голосов 119: ↑101 и ↓18+114
Комментарии280

Фильтр Калмана — это легко

Время на прочтение18 мин
Количество просмотров83K


Много людей, в первый раз сталкивающихся в работе с датчиками, склонны считать, что получаемые показания — это точные значения. Некоторые вспоминают, что в показаниях всегда есть погрешности и ошибки. Чтобы ошибки в измерениях не приводили к ошибкам в функционировании системы в целом, данные датчиков необходимо обрабатывать. На ум сразу приходит словосочетание “фильтр Калмана”. Но слава этого “страшного” алгоритма, малопонятные формулы и разнообразие используемых обозначений отпугивают разработчиков. Постараемся разобраться с ним на практическом примере.
Читать дальше →
Всего голосов 50: ↑48 и ↓2+69
Комментарии34

Фильтр Калмана

Время на прочтение10 мин
Количество просмотров433K


В интернете, в том числе и на хабре, можно найти много информации про фильтр Калмана. Но тяжело найти легкоперевариваемый вывод самих формул. Без вывода вся эта наука воспринимается как некое шаманство, формулы выглядят как безликий набор символов, а главное, многие простые утверждения, лежащие на поверхности теории, оказываются за пределами понимания. Целью этой статьи будет рассказать об этом фильтре на как можно более доступном языке.
Фильтр Калмана — это мощнейший инструмент фильтрации данных. Основной его принцип состоит в том, что при фильтрации используется информация о физике самого явления. Скажем, если вы фильтруете данные со спидометра машины, то инерционность машины дает вам право воспринимать слишком быстрые скачки скорости как ошибку измерения. Фильтр Калмана интересен тем, что в каком-то смысле, это самый лучший фильтр. Подробнее обсудим ниже, что конкретно означают слова «самый лучший». В конце статьи я покажу, что во многих случаях формулы можно до такой степени упростить, что от них почти ничего и не останется.
Читать дальше →
Всего голосов 178: ↑173 и ↓5+168
Комментарии84

Новый год не за горами: делаем супергирлянду на базе ESP и WLED, управляем со смартфона

Время на прочтение8 мин
Количество просмотров57K

Хотя сейчас только октябрь, пора прокачать наши окна и балконы! Будем делать уникальную гирлянду со спецэффектами - такой точно ни у кого не будет. И начать стоит прямо сейчас: пока вы закажете компоненты и всё соберете, тут и праздники наступят. А клеить светодиоды на балконе точно приятнее, пока морозы еще не пришли. 

Гирлянда делается из адресных RGB-светодиодов. Это означает, что можно менять цвет каждого отдельного пикселя в этой гирлянде и сделать 2D-экран на окно. А с телефона будем этой гирляндой управлять. По себестоимости гирлянда получается недорогая, и точно дешевле аналогичной магазинной. Главное, что всё ПО бесплатное, открытое и легко модифицируется. Использовать будем готовую прошивку от проекта WLED как наиболее простую в установке.

Читать далее
Всего голосов 20: ↑19 и ↓1+25
Комментарии11

Где скачать научную статью легко и доступно?

Время на прочтение1 мин
Количество просмотров97K

Некоторые издательства журналов предлагают доступ к научным статьям сразу после публикации, а некоторые через какое-то время.

Однако стоимость одной статьи от платных издателей может составлять 150 долларов, что не так уж и мало по сравнению с размером стипендии студента.

Здесь собраны совершенно бесплатные ресурсы, где вы можете найти интересующую Вас научную статью.

Читать далее
Всего голосов 89: ↑89 и ↓0+89
Комментарии26

Ограничения криптовалют и Форвардинг криптоплатежей

Время на прочтение2 мин
Количество просмотров3.2K

Недавние события на мировой арене повлекли за собой применение санкций, что ограничило использование инструментов криптоиндустрии в некоторых странах. 

Следующие крупные европейские и американские компании полностью прекратили обслуживание...

список криптосанкций
Всего голосов 6: ↑4 и ↓2+4
Комментарии12

Tutorial. Как отправлять сообщения из cli (и MikroTik ROS) в Telegram

Время на прочтение8 мин
Количество просмотров20K

Telegram давно уже мой основной мессенжер, и вот, решил я разобраться, как отправлять сообщения из CLI себе в клиент TG, а попутно, понял что это можно использовать и как канал уведомлений от mikrotik'ов.

Под катом - простейшие примеры.

Читать далее
Всего голосов 7: ↑7 и ↓0+7
Комментарии16

Биоинформатика: IT vs рак

Время на прочтение19 мин
Количество просмотров6.4K

Универсального лечения от онкологических заболеваний не существует до сих пор, однако биоинформатики работают с колоссальным объемом данных, чтобы в том числе разрабатывать новые методы лечения и диагностики рака.

Но есть одна незадача: рак – это общий термин, обозначающий большую группу сложных многофакторных заболеваний, на развитие которых влияет и окружающая среда и генетика. Он может проявиться у любого человека в любой момент жизни. И да, привязанности к органам или тканям нет: в потенциальной опасности любая часть тела – от мозга до костей.

Большие надежды на борьбу с раком мировая медицина связывает с развитием биоинформатики. С её помощью исследователи смотрят на жизнь не через микроскоп, а с точки зрения огромных массивов данных. Это некая оцифровка биологии, делающая работу исследователей похожей на работу программистов.

Читать далее
Всего голосов 5: ↑4 и ↓1+4
Комментарии21

Софт скилы необходимы для будущего трудоустройства

Время на прочтение5 мин
Количество просмотров5.6K

Независимо от того, нанимаете ли вы сотрудников, независимых подрядчиков или смешанную рабочую силу, все мы знаем, что мир быстро меняется, и меняются способы выполнения работы. В результате изменилось и то, как мы отбираем и нанимаем сотрудников и фрилансеров. Софт скилы — такие как: эмпатия, эмоциональный интеллект, доброта, осознанность, адаптивность, добропорядочность, оптимизм, способность к самомотивации, смелость и стойкость — стали решающими факторами успеха. 

Читать далее
Всего голосов 10: ↑5 и ↓50
Комментарии1

Быстрое и точное обнаружение аномалий по копулам (COPOD)

Время на прочтение6 мин
Количество просмотров8K

Выбросы или аномалии – это точки данных, которые отклоняются от нормы набора данных. Порой кажется, что они были получены с помощью какого-то другого механизма.

Обнаружение аномалий – это обычно задача обучения без учителя, цель которой состоит в выявлении подозрительных наблюдений в данных. Ограничение состоит в стоимости неправильного обозначения нормальных точек как аномалий и невозможности найти фактические аномалии.

Областью применения поиска аномалий может быть обнаружение вторжений в сеть, мониторинг качества данных и арбитраж цен на финансовых рынках.

Обнаружение выбросов на основе копул (COPOD) – это новый алгоритм обнаружения аномалий. В Python он реализован в пакете PyOD.

У этого алгоритма есть несколько ключевых функций, которые выделяют его среди конкурирующих алгоритмов:

Читать далее
Всего голосов 11: ↑11 и ↓0+11
Комментарии0

15 топовых веб скрапинг решений 2021 года

Время на прочтение5 мин
Количество просмотров41K

За последнее десятилетие информация стала основным ресурсом для развития бизнеса, а Интернет является основным источником,  где 5 миллиардов пользователей ежесекундно генерируют новые данные. Извлекая и анализируя эти веб данные, компании разрабатывают свои бизнес-стратегии  и достигают поставленных целей. Однако собрать и извлечь такой большой объем данных непросто; особенно для тех, кто все еще думает, что кнопка «Экспорт в Excel» существует или ручная обработка данных - это единственное решение.

Веб скрапинг позволяет компаниям автоматизировать процессы сбора веб данных с помощью ботов или автоматизированных скриптов, называемых веб-сканерами и загружать эти данные в формате Excel, CSV или XML для последующей аналитики.

Представляем вашему вниманию список топ 15 инструментов для парсинга 2021 года. 

Читать далее
Всего голосов 8: ↑6 и ↓2+5
Комментарии11

Deep Learning — не только котики на мобилках или как мы производим дефектовку тележек локомотивов

Время на прочтение5 мин
Количество просмотров24K

Буквально пару дней назад компания Aurorai передала в опытную эксплуатация систему распознавания дефектов и контроля состояния тележек для локомотивов Ермак. Задача нетривиальная и очень интересная, первым этапом которой было предложено оценить состояние тормозных колодок и ширины бандажа. Нам удалось решить задачу с точность до 1мм при скорости локоматива до 30 км/ч! Хочу отметить, что благодаря специфики можно было использовать “TTA (test-time augmentation)” – яркий пример kaggle-style хака из соревнований, который плохо ложится на прод и семантическую сегментацию на базе se_resnext50 encoder, которая даёт поразительный по точности результат в предсказании маски.
Всего голосов 88: ↑81 и ↓7+74
Комментарии45

Фотограмметрия 100 самых необычных памятников России силами сообщества

Время на прочтение8 мин
Количество просмотров9.2K

Вот что бывает, если вы споткнётесь во время съёмки

Мы в Туту почти полгода проводили конкурс на самый необычный памятник в России. У нас в стране есть и памятник клавиатуре в Екатеринбурге, и всегда метущий к вам спиной дворник, и лабораторная мышь, которая вяжет ДНК в обратную сторону, и двухметровый комар, и вообще что угодно.

Мне хотелось обеспечить одинаковые условия с точки зрения оценки памятника для всех на голосовании. Не такие, чтобы зависели от фотографа, погоды на месте, времени суток и кривизны рук, а реально привести всё к некоему общему знаменателю. В рекламе такой вопрос решается просто рендером вместо фото.

Ну я взял и предложил отснять каждый памятник и сделать 3D-модель автоматически на основе фотографий — что-то вроде 3D-сканирования кроссовок, только для памятника. На первый взгляд задача выглядела исполнимой, если у вас есть доступ к большому сообществу путешественников из разных городов. У нас есть.

Но тогда я ещё не знал, что некоторые памятники придётся лепить из пластилина дома, некоторые «отрывать» от опоры, а некоторые находятся на закрытой территории какого-нибудь мирного производства между двумя городами в Сибири.

В общем, я хочу поделиться с вами STL-моделями с лицензией для некоммерческого использования 10 памятников-финалистов конкурса. И рассказать про ощупанные грабли в фотограмметрии, позволяющие делать такие операции в очень разумном бюджете. Бюджет был 2500 рублей на модель.
Читать дальше →
Всего голосов 39: ↑39 и ↓0+39
Комментарии34

Программист с помойки

Время на прочтение28 мин
Количество просмотров86K


Когда-то моя пятая точка была в тепле, я поедал разные офисные ништяки и топил за чистую архитектуру и тесты, активно изучал Kotlin, представлял себе жизнь как нескончаемый подъем вверх, словно есть что-то выше Джомолунгмы. Однако, у вселенной оказались свои планы, и жизнь со всего размаха нанесла мне множество ударов: здоровье полетело в бездонную пропасть, все ниже и ниже, и каждый раз казалось, что я уже на дне, но падение не прекращалось. Удары не сломали, но выбросили на помойку, превратив в больной и немощный мешок, а главным призом за все эти годы нескончаемых напряжений и дедлайнов стало попадание в лигу отбросов общества. Tакова награда великих патриотов! Да-да, именно на помойку, склад ненужных и больных людей, чаще всего молодых, но не потерявших надежду выздороветь и найти решение своей проблемы. Как оказалось, надежда часто является лишь последней станцией перед отправкой в мир иной. Не мог подумать, что удары судьбы могут быть настолько молниеносными, и точно не подозревал, что существует другой огромный мир больных и отчаявшихся, и их количество растет экспоненциально, а прежний мир лишь счастливая виртуальная реальность, вывеска, обман, которого вовсе и не существовало?

Решение рассказать свою историю и пройти процедуру “каминг-аута” является определенным долгом перед Богом, людьми, которых уже нет, и теми, кто ещё пытается тянуть свою лямку. Я многому научился, читая дневники больных и ушедших, благодаря этому не сделал много ошибок, и смог нащупать путь, не превратившись в героя картины Климта “Жизнь и Смерть”.
Читать дальше →
Всего голосов 146: ↑88 и ↓58+70
Комментарии639

Детектирование аномалий с помощью автоенкодеров на Python

Время на прочтение14 мин
Количество просмотров22K

Детектирование аномалий — интересная задача машинного обучения. Не существует какого-то определенного способа ее решения, так как каждый набор данных имеет свои особенности. Но в то же время есть несколько подходов, которые помогают добиться успеха. Я хочу рассказать про один из таких подходов — автоенкодеры.

Читать дальше →
Всего голосов 7: ↑7 и ↓0+7
Комментарии4

Распознавание объектов на android с помощью TensorFlow: от подготовки данных до запуска на устройстве

Время на прочтение10 мин
Количество просмотров22K

Обучение нейросети распознаванию образов — долгий и ресурсоемкий процесс. Особенно когда под рукой есть только недорогой ноут, а не компьютер с мощной видеокартой. В этом случае на помощь придёт Google Colaboratory, которая предлагает совершенно бесплатно воспользоваться GPU уровня Tesla K80 (подробнее).


В этой статье описан процесс подготовки данных, обучения модели tensorflow в Google Colaboratory и её запуск на android устройстве.


Подготовка данных


В качестве примера попробуем обучить нейросеть распознавать белые игральные кости на черном фоне. Соответственно, для начала, надо создать набор данных, достаточный для обучения (пока остановимся на ~100 фото).


Всего голосов 18: ↑18 и ↓0+18
Комментарии3

1155 vs 2011. В бой идут одни старики

Время на прочтение13 мин
Количество просмотров59K
В 2017 году AMD в очередной раз приоткрыла ящик Пандоры, выпустив на рынок mainstream процессоры с количеством ядер больше четырёх, при этом с производительностью на ядро хотя бы сравнимой с современными процессорами Intel при равных частотах. Полного паритета не вышло, но полутора-двукратного разрыва в зависимости от типа нагрузки, как во времена FX-ов, уже нет. В синтетике производительность ядер Ryzen примерна равна производительности ядер Ivy Bridge (3xxx). Ход оказался довольно таки сильным, так что синей команде пришлось спешно выпускать шестиядерники на обновлённом 1151. К чему это я? А собственно к тому, что с прошлого года шести и более ядерные процессоры с быстрыми ядрами перебрались в потребительский сегмент из узкой HEDT ниши. Кроме всего прочего это значит, что массовое ПО наконец всё же начали оптимизировать под многоядерные многопоточные CPU.

Что такое современный массовый 6-8-ядерный процессор? Это частота 3.5-4.5GHz, относительно быстрая межъядерная шина той или иной архитектуры, двухканальная память DDR4 с частотой 2.4+ GHz. При этом ядра того же Ryzen рекордов производительности на такт не бьют. А что если… вместо современной и достаточно дорогой платформы взять старую 2011 платформу Intel, благо сейчас предложение списанных серверных процессоров линеек E5 v1 и v2 под этот сокет явно превышает спрос? Тем более предприимчивые китайцы, увидев такую ситуацию, оперативно освоили массовый выпуск материнских плат под эту платформу, а остальные комплектующие, процессор с памятью, стоят на вторичном рынке сравнительно недорого да и старению особо не подвержены. Пропускная способность регистровой DDR3 памяти пониже будет на один канал, чем у DDR4, но зато и каналов памяти на этой платформе четыре.

Платформы Ryzen у меня под рукой нет, поэтому будем сравнивать имеющиеся конфиги, все относящиеся к поколения Ivy Bridge. В общем-то сравниваются малосравнимые в своё время (по крайней мере по цене) платформы, но время всех уравнивает.
Всего голосов 45: ↑44 и ↓1+43
Комментарии214

Как мы обучили нейронную сеть классифицировать шурупы

Время на прочтение10 мин
Количество просмотров28K
Нейронная сеть может опознать котика на фотографии, найти диван, улучшить видеозапись, нарисовать картинку из щенят или простого наброска. К этому мы уже привыкли. Новости о нейросетях появляются почти каждый день и стали обыденными. Компании Grid Dynamics поставили задачу не обыденную, а сложную — научить нейросеть находить специфический шуруп или болт в огромном каталоге интернет-магазина по одной фотографии. Задачка сложнее, чем найти котика.



Проблема интернет-магазина шурупов — в ассортименте. Тысячи или десятки тысяч моделей. У каждого шурупа свое описание и характеристики, поэтому на фильтры нет надежды. Что делать? Искать вручную или искать в гипермаркете на полках? В обоих случаях это потеря времени. В итоге клиент устанет и пойдет забивать гвоздь. Чтобы помочь ему, воспользуемся нейросетью. Если она может находить котиков или диваны, то пусть занимается чем-то полезным — подбирает шурупы и болты. Как научить нейросеть подбирать для пользователя шурупы быстро и точно, расскажем в расшифровке доклада Марии Мацкевичус, которая в компании Grid Dynamics занимается анализом данных и машинным обучением.
Всего голосов 88: ↑84 и ↓4+80
Комментарии33
1
23 ...

Информация

В рейтинге
Не участвует
Откуда
Dayton, Ohio, США
Дата рождения
Зарегистрирован
Активность