Вчера президент РФ в одностороннем порядке приостановил соглашения об избежании двойного налогообложения почти с половиной стран, с которыми они раньше действовали. В этой статье мы подробно разбираем с налоговым юристом – как это повлияет на обычных людей, и почему российские инвесторы с зарубежными ценными бумагами «попали».
User
Как с помощью практики на LeetCode я получил несколько офферов
После рассказа о том, как я получил работу в Amazon, в этом посте на reddit мне задали множество вопросов о том, как мне помог LeetCode в подготовке к собеседованиям.
В статье я отвечу на эти вопросы.
Сколько времени это заняло?
Я начал готовиться за 2-3 месяца до собеседований в BigTech. В то время я тратил по 2-3 часа в день на подготовку.
Как Федор выписывался из военкомата после эмиграции: полный гайд по снятию с воинского учета удаленно
На прошлой неделе мой подписчик по имени Федя успешно снялся с воинского учета, не покидая Казахстан. В этой статье мы подробно разберем его пример, а также вместе с юристом распишем вам детальный пошаговый гайд для всего процесса.
Фильтр Калмана — это легко
Много людей, в первый раз сталкивающихся в работе с датчиками, склонны считать, что получаемые показания — это точные значения. Некоторые вспоминают, что в показаниях всегда есть погрешности и ошибки. Чтобы ошибки в измерениях не приводили к ошибкам в функционировании системы в целом, данные датчиков необходимо обрабатывать. На ум сразу приходит словосочетание “фильтр Калмана”. Но слава этого “страшного” алгоритма, малопонятные формулы и разнообразие используемых обозначений отпугивают разработчиков. Постараемся разобраться с ним на практическом примере.
Фильтр Калмана
В интернете, в том числе и на хабре, можно найти много информации про фильтр Калмана. Но тяжело найти легкоперевариваемый вывод самих формул. Без вывода вся эта наука воспринимается как некое шаманство, формулы выглядят как безликий набор символов, а главное, многие простые утверждения, лежащие на поверхности теории, оказываются за пределами понимания. Целью этой статьи будет рассказать об этом фильтре на как можно более доступном языке.
Фильтр Калмана — это мощнейший инструмент фильтрации данных. Основной его принцип состоит в том, что при фильтрации используется информация о физике самого явления. Скажем, если вы фильтруете данные со спидометра машины, то инерционность машины дает вам право воспринимать слишком быстрые скачки скорости как ошибку измерения. Фильтр Калмана интересен тем, что в каком-то смысле, это самый лучший фильтр. Подробнее обсудим ниже, что конкретно означают слова «самый лучший». В конце статьи я покажу, что во многих случаях формулы можно до такой степени упростить, что от них почти ничего и не останется.
Новый год не за горами: делаем супергирлянду на базе ESP и WLED, управляем со смартфона
Хотя сейчас только октябрь, пора прокачать наши окна и балконы! Будем делать уникальную гирлянду со спецэффектами - такой точно ни у кого не будет. И начать стоит прямо сейчас: пока вы закажете компоненты и всё соберете, тут и праздники наступят. А клеить светодиоды на балконе точно приятнее, пока морозы еще не пришли.
Гирлянда делается из адресных RGB-светодиодов. Это означает, что можно менять цвет каждого отдельного пикселя в этой гирлянде и сделать 2D-экран на окно. А с телефона будем этой гирляндой управлять. По себестоимости гирлянда получается недорогая, и точно дешевле аналогичной магазинной. Главное, что всё ПО бесплатное, открытое и легко модифицируется. Использовать будем готовую прошивку от проекта WLED как наиболее простую в установке.
Где скачать научную статью легко и доступно?
Некоторые издательства журналов предлагают доступ к научным статьям сразу после публикации, а некоторые через какое-то время.
Однако стоимость одной статьи от платных издателей может составлять 150 долларов, что не так уж и мало по сравнению с размером стипендии студента.
Здесь собраны совершенно бесплатные ресурсы, где вы можете найти интересующую Вас научную статью.
Ограничения криптовалют и Форвардинг криптоплатежей
Недавние события на мировой арене повлекли за собой применение санкций, что ограничило использование инструментов криптоиндустрии в некоторых странах.
Следующие крупные европейские и американские компании полностью прекратили обслуживание...
Tutorial. Как отправлять сообщения из cli (и MikroTik ROS) в Telegram
Telegram давно уже мой основной мессенжер, и вот, решил я разобраться, как отправлять сообщения из CLI себе в клиент TG, а попутно, понял что это можно использовать и как канал уведомлений от mikrotik'ов.
Под катом - простейшие примеры.
Биоинформатика: IT vs рак
Универсального лечения от онкологических заболеваний не существует до сих пор, однако биоинформатики работают с колоссальным объемом данных, чтобы в том числе разрабатывать новые методы лечения и диагностики рака.
Но есть одна незадача: рак – это общий термин, обозначающий большую группу сложных многофакторных заболеваний, на развитие которых влияет и окружающая среда и генетика. Он может проявиться у любого человека в любой момент жизни. И да, привязанности к органам или тканям нет: в потенциальной опасности любая часть тела – от мозга до костей.
Большие надежды на борьбу с раком мировая медицина связывает с развитием биоинформатики. С её помощью исследователи смотрят на жизнь не через микроскоп, а с точки зрения огромных массивов данных. Это некая оцифровка биологии, делающая работу исследователей похожей на работу программистов.
Софт скилы необходимы для будущего трудоустройства
Независимо от того, нанимаете ли вы сотрудников, независимых подрядчиков или смешанную рабочую силу, все мы знаем, что мир быстро меняется, и меняются способы выполнения работы. В результате изменилось и то, как мы отбираем и нанимаем сотрудников и фрилансеров. Софт скилы — такие как: эмпатия, эмоциональный интеллект, доброта, осознанность, адаптивность, добропорядочность, оптимизм, способность к самомотивации, смелость и стойкость — стали решающими факторами успеха.
Быстрое и точное обнаружение аномалий по копулам (COPOD)
Выбросы или аномалии – это точки данных, которые отклоняются от нормы набора данных. Порой кажется, что они были получены с помощью какого-то другого механизма.
Обнаружение аномалий – это обычно задача обучения без учителя, цель которой состоит в выявлении подозрительных наблюдений в данных. Ограничение состоит в стоимости неправильного обозначения нормальных точек как аномалий и невозможности найти фактические аномалии.
Областью применения поиска аномалий может быть обнаружение вторжений в сеть, мониторинг качества данных и арбитраж цен на финансовых рынках.
Обнаружение выбросов на основе копул (COPOD) – это новый алгоритм обнаружения аномалий. В Python он реализован в пакете PyOD.
У этого алгоритма есть несколько ключевых функций, которые выделяют его среди конкурирующих алгоритмов:
15 топовых веб скрапинг решений 2021 года
За последнее десятилетие информация стала основным ресурсом для развития бизнеса, а Интернет является основным источником, где 5 миллиардов пользователей ежесекундно генерируют новые данные. Извлекая и анализируя эти веб данные, компании разрабатывают свои бизнес-стратегии и достигают поставленных целей. Однако собрать и извлечь такой большой объем данных непросто; особенно для тех, кто все еще думает, что кнопка «Экспорт в Excel» существует или ручная обработка данных - это единственное решение.
Веб скрапинг позволяет компаниям автоматизировать процессы сбора веб данных с помощью ботов или автоматизированных скриптов, называемых веб-сканерами и загружать эти данные в формате Excel, CSV или XML для последующей аналитики.
Представляем вашему вниманию список топ 15 инструментов для парсинга 2021 года.
Deep Learning — не только котики на мобилках или как мы производим дефектовку тележек локомотивов
Буквально пару дней назад компания Aurorai передала в опытную эксплуатация систему распознавания дефектов и контроля состояния тележек для локомотивов Ермак. Задача нетривиальная и очень интересная, первым этапом которой было предложено оценить состояние тормозных колодок и ширины бандажа. Нам удалось решить задачу с точность до 1мм при скорости локоматива до 30 км/ч! Хочу отметить, что благодаря специфики можно было использовать “TTA (test-time augmentation)” – яркий пример kaggle-style хака из соревнований, который плохо ложится на прод и семантическую сегментацию на базе se_resnext50 encoder, которая даёт поразительный по точности результат в предсказании маски.
Фотограмметрия 100 самых необычных памятников России силами сообщества
Вот что бывает, если вы споткнётесь во время съёмки
Мы в Туту почти полгода проводили конкурс на самый необычный памятник в России. У нас в стране есть и памятник клавиатуре в Екатеринбурге, и всегда метущий к вам спиной дворник, и лабораторная мышь, которая вяжет ДНК в обратную сторону, и двухметровый комар, и вообще что угодно.
Мне хотелось обеспечить одинаковые условия с точки зрения оценки памятника для всех на голосовании. Не такие, чтобы зависели от фотографа, погоды на месте, времени суток и кривизны рук, а реально привести всё к некоему общему знаменателю. В рекламе такой вопрос решается просто рендером вместо фото.
Ну я взял и предложил отснять каждый памятник и сделать 3D-модель автоматически на основе фотографий — что-то вроде 3D-сканирования кроссовок, только для памятника. На первый взгляд задача выглядела исполнимой, если у вас есть доступ к большому сообществу путешественников из разных городов. У нас есть.
Но тогда я ещё не знал, что некоторые памятники придётся лепить из пластилина дома, некоторые «отрывать» от опоры, а некоторые находятся на закрытой территории какого-нибудь мирного производства между двумя городами в Сибири.
В общем, я хочу поделиться с вами STL-моделями с лицензией для некоммерческого использования 10 памятников-финалистов конкурса. И рассказать про ощупанные грабли в фотограмметрии, позволяющие делать такие операции в очень разумном бюджете. Бюджет был 2500 рублей на модель.
Программист с помойки
Когда-то моя пятая точка была в тепле, я поедал разные офисные ништяки и топил за чистую архитектуру и тесты, активно изучал Kotlin, представлял себе жизнь как нескончаемый подъем вверх, словно есть что-то выше Джомолунгмы. Однако, у вселенной оказались свои планы, и жизнь со всего размаха нанесла мне множество ударов: здоровье полетело в бездонную пропасть, все ниже и ниже, и каждый раз казалось, что я уже на дне, но падение не прекращалось. Удары не сломали, но выбросили на помойку, превратив в больной и немощный мешок, а главным призом за все эти годы нескончаемых напряжений и дедлайнов стало попадание в лигу отбросов общества. Tакова награда великих патриотов! Да-да, именно на помойку, склад ненужных и больных людей, чаще всего молодых, но не потерявших надежду выздороветь и найти решение своей проблемы. Как оказалось, надежда часто является лишь последней станцией перед отправкой в мир иной. Не мог подумать, что удары судьбы могут быть настолько молниеносными, и точно не подозревал, что существует другой огромный мир больных и отчаявшихся, и их количество растет экспоненциально, а прежний мир лишь счастливая виртуальная реальность, вывеска, обман, которого вовсе и не существовало?
Решение рассказать свою историю и пройти процедуру “каминг-аута” является определенным долгом перед Богом, людьми, которых уже нет, и теми, кто ещё пытается тянуть свою лямку. Я многому научился, читая дневники больных и ушедших, благодаря этому не сделал много ошибок, и смог нащупать путь, не превратившись в героя картины Климта “Жизнь и Смерть”.
Детектирование аномалий с помощью автоенкодеров на Python
Детектирование аномалий — интересная задача машинного обучения. Не существует какого-то определенного способа ее решения, так как каждый набор данных имеет свои особенности. Но в то же время есть несколько подходов, которые помогают добиться успеха. Я хочу рассказать про один из таких подходов — автоенкодеры.
Распознавание объектов на android с помощью TensorFlow: от подготовки данных до запуска на устройстве
Обучение нейросети распознаванию образов — долгий и ресурсоемкий процесс. Особенно когда под рукой есть только недорогой ноут, а не компьютер с мощной видеокартой. В этом случае на помощь придёт Google Colaboratory, которая предлагает совершенно бесплатно воспользоваться GPU уровня Tesla K80 (подробнее).
В этой статье описан процесс подготовки данных, обучения модели tensorflow в Google Colaboratory и её запуск на android устройстве.
Подготовка данных
В качестве примера попробуем обучить нейросеть распознавать белые игральные кости на черном фоне. Соответственно, для начала, надо создать набор данных, достаточный для обучения (пока остановимся на ~100 фото).
1155 vs 2011. В бой идут одни старики
Что такое современный массовый 6-8-ядерный процессор? Это частота 3.5-4.5GHz, относительно быстрая межъядерная шина той или иной архитектуры, двухканальная память DDR4 с частотой 2.4+ GHz. При этом ядра того же Ryzen рекордов производительности на такт не бьют. А что если… вместо современной и достаточно дорогой платформы взять старую 2011 платформу Intel, благо сейчас предложение списанных серверных процессоров линеек E5 v1 и v2 под этот сокет явно превышает спрос? Тем более предприимчивые китайцы, увидев такую ситуацию, оперативно освоили массовый выпуск материнских плат под эту платформу, а остальные комплектующие, процессор с памятью, стоят на вторичном рынке сравнительно недорого да и старению особо не подвержены. Пропускная способность регистровой DDR3 памяти пониже будет на один канал, чем у DDR4, но зато и каналов памяти на этой платформе четыре.
Платформы Ryzen у меня под рукой нет, поэтому будем сравнивать имеющиеся конфиги, все относящиеся к поколения Ivy Bridge. В общем-то сравниваются малосравнимые в своё время (по крайней мере по цене) платформы, но время всех уравнивает.
Как мы обучили нейронную сеть классифицировать шурупы
Проблема интернет-магазина шурупов — в ассортименте. Тысячи или десятки тысяч моделей. У каждого шурупа свое описание и характеристики, поэтому на фильтры нет надежды. Что делать? Искать вручную или искать в гипермаркете на полках? В обоих случаях это потеря времени. В итоге клиент устанет и пойдет забивать гвоздь. Чтобы помочь ему, воспользуемся нейросетью. Если она может находить котиков или диваны, то пусть занимается чем-то полезным — подбирает шурупы и болты. Как научить нейросеть подбирать для пользователя шурупы быстро и точно, расскажем в расшифровке доклада Марии Мацкевичус, которая в компании Grid Dynamics занимается анализом данных и машинным обучением.
Information
- Rating
- Does not participate
- Location
- Dayton, Ohio, США
- Date of birth
- Registered
- Activity