Pull to refresh
-1
0
Send message

Последствия отмены 38 налоговых соглашений с «недружественными» странами: самый полный анализ

Level of difficultyEasy
Reading time11 min
Views40K

Вчера президент РФ в одностороннем порядке приостановил соглашения об избежании двойного налогообложения почти с половиной стран, с которыми они раньше действовали. В этой статье мы подробно разбираем с налоговым юристом – как это повлияет на обычных людей, и почему российские инвесторы с зарубежными ценными бумагами «попали».

Читать далее
Total votes 56: ↑51 and ↓5+46
Comments68

Как с помощью практики на LeetCode я получил несколько офферов

Level of difficultyEasy
Reading time4 min
Views51K

После рассказа о том, как я получил работу в Amazon, в этом посте на reddit мне задали множество вопросов о том, как мне помог LeetCode в подготовке к собеседованиям.

В статье я отвечу на эти вопросы.

Сколько времени это заняло?

Я начал готовиться за 2-3 месяца до собеседований в BigTech. В то время я тратил по 2-3 часа в день на подготовку.

Читать далее
Total votes 46: ↑40 and ↓6+34
Comments54

Как Федор выписывался из военкомата после эмиграции: полный гайд по снятию с воинского учета удаленно

Level of difficultyEasy
Reading time13 min
Views123K

На прошлой неделе мой подписчик по имени Федя успешно снялся с воинского учета, не покидая Казахстан. В этой статье мы подробно разберем его пример, а также вместе с юристом распишем вам детальный пошаговый гайд для всего процесса.

Читать далее
Total votes 150: ↑132 and ↓18+114
Comments280

Фильтр Калмана — это легко

Reading time18 min
Views73K


Много людей, в первый раз сталкивающихся в работе с датчиками, склонны считать, что получаемые показания — это точные значения. Некоторые вспоминают, что в показаниях всегда есть погрешности и ошибки. Чтобы ошибки в измерениях не приводили к ошибкам в функционировании системы в целом, данные датчиков необходимо обрабатывать. На ум сразу приходит словосочетание “фильтр Калмана”. Но слава этого “страшного” алгоритма, малопонятные формулы и разнообразие используемых обозначений отпугивают разработчиков. Постараемся разобраться с ним на практическом примере.
Читать дальше →
Total votes 73: ↑71 and ↓2+69
Comments34

Фильтр Калмана

Reading time10 min
Views417K


В интернете, в том числе и на хабре, можно найти много информации про фильтр Калмана. Но тяжело найти легкоперевариваемый вывод самих формул. Без вывода вся эта наука воспринимается как некое шаманство, формулы выглядят как безликий набор символов, а главное, многие простые утверждения, лежащие на поверхности теории, оказываются за пределами понимания. Целью этой статьи будет рассказать об этом фильтре на как можно более доступном языке.
Фильтр Калмана — это мощнейший инструмент фильтрации данных. Основной его принцип состоит в том, что при фильтрации используется информация о физике самого явления. Скажем, если вы фильтруете данные со спидометра машины, то инерционность машины дает вам право воспринимать слишком быстрые скачки скорости как ошибку измерения. Фильтр Калмана интересен тем, что в каком-то смысле, это самый лучший фильтр. Подробнее обсудим ниже, что конкретно означают слова «самый лучший». В конце статьи я покажу, что во многих случаях формулы можно до такой степени упростить, что от них почти ничего и не останется.
Читать дальше →
Total votes 178: ↑173 and ↓5+168
Comments84

Новый год не за горами: делаем супергирлянду на базе ESP и WLED, управляем со смартфона

Reading time8 min
Views53K

Хотя сейчас только октябрь, пора прокачать наши окна и балконы! Будем делать уникальную гирлянду со спецэффектами - такой точно ни у кого не будет. И начать стоит прямо сейчас: пока вы закажете компоненты и всё соберете, тут и праздники наступят. А клеить светодиоды на балконе точно приятнее, пока морозы еще не пришли. 

Гирлянда делается из адресных RGB-светодиодов. Это означает, что можно менять цвет каждого отдельного пикселя в этой гирлянде и сделать 2D-экран на окно. А с телефона будем этой гирляндой управлять. По себестоимости гирлянда получается недорогая, и точно дешевле аналогичной магазинной. Главное, что всё ПО бесплатное, открытое и легко модифицируется. Использовать будем готовую прошивку от проекта WLED как наиболее простую в установке.

Читать далее
Total votes 27: ↑26 and ↓1+25
Comments11

Где скачать научную статью легко и доступно?

Reading time1 min
Views74K

Некоторые издательства журналов предлагают доступ к научным статьям сразу после публикации, а некоторые через какое-то время.

Однако стоимость одной статьи от платных издателей может составлять 150 долларов, что не так уж и мало по сравнению с размером стипендии студента.

Здесь собраны совершенно бесплатные ресурсы, где вы можете найти интересующую Вас научную статью.

Читать далее
Total votes 90: ↑90 and ↓0+90
Comments26

Ограничения криптовалют и Форвардинг криптоплатежей

Reading time2 min
Views3.1K

Недавние события на мировой арене повлекли за собой применение санкций, что ограничило использование инструментов криптоиндустрии в некоторых странах. 

Следующие крупные европейские и американские компании полностью прекратили обслуживание...

список криптосанкций
Total votes 8: ↑6 and ↓2+4
Comments12

Tutorial. Как отправлять сообщения из cli (и MikroTik ROS) в Telegram

Reading time8 min
Views17K

Telegram давно уже мой основной мессенжер, и вот, решил я разобраться, как отправлять сообщения из CLI себе в клиент TG, а попутно, понял что это можно использовать и как канал уведомлений от mikrotik'ов.

Под катом - простейшие примеры.

Читать далее
Total votes 7: ↑7 and ↓0+7
Comments16

Биоинформатика: IT vs рак

Reading time19 min
Views6.1K

Универсального лечения от онкологических заболеваний не существует до сих пор, однако биоинформатики работают с колоссальным объемом данных, чтобы в том числе разрабатывать новые методы лечения и диагностики рака.

Но есть одна незадача: рак – это общий термин, обозначающий большую группу сложных многофакторных заболеваний, на развитие которых влияет и окружающая среда и генетика. Он может проявиться у любого человека в любой момент жизни. И да, привязанности к органам или тканям нет: в потенциальной опасности любая часть тела – от мозга до костей.

Большие надежды на борьбу с раком мировая медицина связывает с развитием биоинформатики. С её помощью исследователи смотрят на жизнь не через микроскоп, а с точки зрения огромных массивов данных. Это некая оцифровка биологии, делающая работу исследователей похожей на работу программистов.

Читать далее
Total votes 6: ↑5 and ↓1+4
Comments21

Софт скилы необходимы для будущего трудоустройства

Reading time5 min
Views5.5K

Независимо от того, нанимаете ли вы сотрудников, независимых подрядчиков или смешанную рабочую силу, все мы знаем, что мир быстро меняется, и меняются способы выполнения работы. В результате изменилось и то, как мы отбираем и нанимаем сотрудников и фрилансеров. Софт скилы — такие как: эмпатия, эмоциональный интеллект, доброта, осознанность, адаптивность, добропорядочность, оптимизм, способность к самомотивации, смелость и стойкость — стали решающими факторами успеха. 

Читать далее
Total votes 10: ↑5 and ↓50
Comments1

Быстрое и точное обнаружение аномалий по копулам (COPOD)

Reading time6 min
Views7K

Выбросы или аномалии – это точки данных, которые отклоняются от нормы набора данных. Порой кажется, что они были получены с помощью какого-то другого механизма.

Обнаружение аномалий – это обычно задача обучения без учителя, цель которой состоит в выявлении подозрительных наблюдений в данных. Ограничение состоит в стоимости неправильного обозначения нормальных точек как аномалий и невозможности найти фактические аномалии.

Областью применения поиска аномалий может быть обнаружение вторжений в сеть, мониторинг качества данных и арбитраж цен на финансовых рынках.

Обнаружение выбросов на основе копул (COPOD) – это новый алгоритм обнаружения аномалий. В Python он реализован в пакете PyOD.

У этого алгоритма есть несколько ключевых функций, которые выделяют его среди конкурирующих алгоритмов:

Читать далее
Total votes 11: ↑11 and ↓0+11
Comments0

15 топовых веб скрапинг решений 2021 года

Reading time5 min
Views38K

За последнее десятилетие информация стала основным ресурсом для развития бизнеса, а Интернет является основным источником,  где 5 миллиардов пользователей ежесекундно генерируют новые данные. Извлекая и анализируя эти веб данные, компании разрабатывают свои бизнес-стратегии  и достигают поставленных целей. Однако собрать и извлечь такой большой объем данных непросто; особенно для тех, кто все еще думает, что кнопка «Экспорт в Excel» существует или ручная обработка данных - это единственное решение.

Веб скрапинг позволяет компаниям автоматизировать процессы сбора веб данных с помощью ботов или автоматизированных скриптов, называемых веб-сканерами и загружать эти данные в формате Excel, CSV или XML для последующей аналитики.

Представляем вашему вниманию список топ 15 инструментов для парсинга 2021 года. 

Читать далее
Total votes 9: ↑7 and ↓2+5
Comments11

Deep Learning — не только котики на мобилках или как мы производим дефектовку тележек локомотивов

Reading time5 min
Views24K

Буквально пару дней назад компания Aurorai передала в опытную эксплуатация систему распознавания дефектов и контроля состояния тележек для локомотивов Ермак. Задача нетривиальная и очень интересная, первым этапом которой было предложено оценить состояние тормозных колодок и ширины бандажа. Нам удалось решить задачу с точность до 1мм при скорости локоматива до 30 км/ч! Хочу отметить, что благодаря специфики можно было использовать “TTA (test-time augmentation)” – яркий пример kaggle-style хака из соревнований, который плохо ложится на прод и семантическую сегментацию на базе se_resnext50 encoder, которая даёт поразительный по точности результат в предсказании маски.
Total votes 88: ↑81 and ↓7+74
Comments45

Фотограмметрия 100 самых необычных памятников России силами сообщества

Reading time8 min
Views9K

Вот что бывает, если вы споткнётесь во время съёмки

Мы в Туту почти полгода проводили конкурс на самый необычный памятник в России. У нас в стране есть и памятник клавиатуре в Екатеринбурге, и всегда метущий к вам спиной дворник, и лабораторная мышь, которая вяжет ДНК в обратную сторону, и двухметровый комар, и вообще что угодно.

Мне хотелось обеспечить одинаковые условия с точки зрения оценки памятника для всех на голосовании. Не такие, чтобы зависели от фотографа, погоды на месте, времени суток и кривизны рук, а реально привести всё к некоему общему знаменателю. В рекламе такой вопрос решается просто рендером вместо фото.

Ну я взял и предложил отснять каждый памятник и сделать 3D-модель автоматически на основе фотографий — что-то вроде 3D-сканирования кроссовок, только для памятника. На первый взгляд задача выглядела исполнимой, если у вас есть доступ к большому сообществу путешественников из разных городов. У нас есть.

Но тогда я ещё не знал, что некоторые памятники придётся лепить из пластилина дома, некоторые «отрывать» от опоры, а некоторые находятся на закрытой территории какого-нибудь мирного производства между двумя городами в Сибири.

В общем, я хочу поделиться с вами STL-моделями с лицензией для некоммерческого использования 10 памятников-финалистов конкурса. И рассказать про ощупанные грабли в фотограмметрии, позволяющие делать такие операции в очень разумном бюджете. Бюджет был 2500 рублей на модель.
Читать дальше →
Total votes 39: ↑39 and ↓0+39
Comments34

Программист с помойки

Reading time28 min
Views86K


Когда-то моя пятая точка была в тепле, я поедал разные офисные ништяки и топил за чистую архитектуру и тесты, активно изучал Kotlin, представлял себе жизнь как нескончаемый подъем вверх, словно есть что-то выше Джомолунгмы. Однако, у вселенной оказались свои планы, и жизнь со всего размаха нанесла мне множество ударов: здоровье полетело в бездонную пропасть, все ниже и ниже, и каждый раз казалось, что я уже на дне, но падение не прекращалось. Удары не сломали, но выбросили на помойку, превратив в больной и немощный мешок, а главным призом за все эти годы нескончаемых напряжений и дедлайнов стало попадание в лигу отбросов общества. Tакова награда великих патриотов! Да-да, именно на помойку, склад ненужных и больных людей, чаще всего молодых, но не потерявших надежду выздороветь и найти решение своей проблемы. Как оказалось, надежда часто является лишь последней станцией перед отправкой в мир иной. Не мог подумать, что удары судьбы могут быть настолько молниеносными, и точно не подозревал, что существует другой огромный мир больных и отчаявшихся, и их количество растет экспоненциально, а прежний мир лишь счастливая виртуальная реальность, вывеска, обман, которого вовсе и не существовало?

Решение рассказать свою историю и пройти процедуру “каминг-аута” является определенным долгом перед Богом, людьми, которых уже нет, и теми, кто ещё пытается тянуть свою лямку. Я многому научился, читая дневники больных и ушедших, благодаря этому не сделал много ошибок, и смог нащупать путь, не превратившись в героя картины Климта “Жизнь и Смерть”.
Читать дальше →
Total votes 186: ↑128 and ↓58+70
Comments639

Детектирование аномалий с помощью автоенкодеров на Python

Reading time14 min
Views20K

Детектирование аномалий — интересная задача машинного обучения. Не существует какого-то определенного способа ее решения, так как каждый набор данных имеет свои особенности. Но в то же время есть несколько подходов, которые помогают добиться успеха. Я хочу рассказать про один из таких подходов — автоенкодеры.

Читать дальше →
Total votes 7: ↑7 and ↓0+7
Comments4

Распознавание объектов на android с помощью TensorFlow: от подготовки данных до запуска на устройстве

Reading time10 min
Views21K

Обучение нейросети распознаванию образов — долгий и ресурсоемкий процесс. Особенно когда под рукой есть только недорогой ноут, а не компьютер с мощной видеокартой. В этом случае на помощь придёт Google Colaboratory, которая предлагает совершенно бесплатно воспользоваться GPU уровня Tesla K80 (подробнее).


В этой статье описан процесс подготовки данных, обучения модели tensorflow в Google Colaboratory и её запуск на android устройстве.


Подготовка данных


В качестве примера попробуем обучить нейросеть распознавать белые игральные кости на черном фоне. Соответственно, для начала, надо создать набор данных, достаточный для обучения (пока остановимся на ~100 фото).


Total votes 18: ↑18 and ↓0+18
Comments3

1155 vs 2011. В бой идут одни старики

Reading time13 min
Views59K
В 2017 году AMD в очередной раз приоткрыла ящик Пандоры, выпустив на рынок mainstream процессоры с количеством ядер больше четырёх, при этом с производительностью на ядро хотя бы сравнимой с современными процессорами Intel при равных частотах. Полного паритета не вышло, но полутора-двукратного разрыва в зависимости от типа нагрузки, как во времена FX-ов, уже нет. В синтетике производительность ядер Ryzen примерна равна производительности ядер Ivy Bridge (3xxx). Ход оказался довольно таки сильным, так что синей команде пришлось спешно выпускать шестиядерники на обновлённом 1151. К чему это я? А собственно к тому, что с прошлого года шести и более ядерные процессоры с быстрыми ядрами перебрались в потребительский сегмент из узкой HEDT ниши. Кроме всего прочего это значит, что массовое ПО наконец всё же начали оптимизировать под многоядерные многопоточные CPU.

Что такое современный массовый 6-8-ядерный процессор? Это частота 3.5-4.5GHz, относительно быстрая межъядерная шина той или иной архитектуры, двухканальная память DDR4 с частотой 2.4+ GHz. При этом ядра того же Ryzen рекордов производительности на такт не бьют. А что если… вместо современной и достаточно дорогой платформы взять старую 2011 платформу Intel, благо сейчас предложение списанных серверных процессоров линеек E5 v1 и v2 под этот сокет явно превышает спрос? Тем более предприимчивые китайцы, увидев такую ситуацию, оперативно освоили массовый выпуск материнских плат под эту платформу, а остальные комплектующие, процессор с памятью, стоят на вторичном рынке сравнительно недорого да и старению особо не подвержены. Пропускная способность регистровой DDR3 памяти пониже будет на один канал, чем у DDR4, но зато и каналов памяти на этой платформе четыре.

Платформы Ryzen у меня под рукой нет, поэтому будем сравнивать имеющиеся конфиги, все относящиеся к поколения Ivy Bridge. В общем-то сравниваются малосравнимые в своё время (по крайней мере по цене) платформы, но время всех уравнивает.
Total votes 45: ↑44 and ↓1+43
Comments214

Как мы обучили нейронную сеть классифицировать шурупы

Reading time10 min
Views27K
Нейронная сеть может опознать котика на фотографии, найти диван, улучшить видеозапись, нарисовать картинку из щенят или простого наброска. К этому мы уже привыкли. Новости о нейросетях появляются почти каждый день и стали обыденными. Компании Grid Dynamics поставили задачу не обыденную, а сложную — научить нейросеть находить специфический шуруп или болт в огромном каталоге интернет-магазина по одной фотографии. Задачка сложнее, чем найти котика.



Проблема интернет-магазина шурупов — в ассортименте. Тысячи или десятки тысяч моделей. У каждого шурупа свое описание и характеристики, поэтому на фильтры нет надежды. Что делать? Искать вручную или искать в гипермаркете на полках? В обоих случаях это потеря времени. В итоге клиент устанет и пойдет забивать гвоздь. Чтобы помочь ему, воспользуемся нейросетью. Если она может находить котиков или диваны, то пусть занимается чем-то полезным — подбирает шурупы и болты. Как научить нейросеть подбирать для пользователя шурупы быстро и точно, расскажем в расшифровке доклада Марии Мацкевичус, которая в компании Grid Dynamics занимается анализом данных и машинным обучением.
Total votes 88: ↑84 and ↓4+80
Comments33
1
23 ...

Information

Rating
Does not participate
Location
Dayton, Ohio, США
Date of birth
Registered
Activity