Pull to refresh
257
49.1
Михаил Шардин@empenoso

Автоматизация / Data & ML / Финансы / Smart Home

Send message

Как перестать угадывать цены и довериться теории вероятностей. Хроника одного эксперимента

Level of difficultyEasy
Reading time6 min
Reach and readers12K

В прошлой своей статье я открыл для себя интересную, но неприглядную истину — что рынок это то место, где можно зарабатывать даже не зная будущего. Не угадывая направление — пойдёт вверх или вниз, не изображая из себя Вангу, а лишь правильно работая с вероятностями и размерами позиции. Если вы подбрасываете монетку и ставите 100% на орла — вы банкрот при первом же выпадении решки. Но если вы дробите капитал по формуле Келли или используете ребалансировку, вы можете зарабатывать даже при череде неудач.

В прошлой статье по советам Дмитрия Шалаева я рассматривал математический трюк когда на сгенерированных котировках при убыточном активе капитал рос, а стратегия купил и держишь медленно обнуляла виртуальный счёт.

В комментариях многие справедливо написали что теория — это хорошо, но реальный рынок — это совершенно другое. Что там существует комиссии, проскальзывания, разные режимы торгов, человеческая психология и главное — что я буду делать сам без математика в напарниках? 

Так вот, я решил принять этот вызов и самостоятельно, без Дмитрия Шалаева разобраться как похожая стратегия может вести себя на акциях Московской биржи.

Про биржу часто пишут что это казино, но в данном случае я не буду ставить на красное или чёрное, а буду пытаться зарабатывать на самом факте вращения колеса рулетки: на волатильности, обороте и вероятности — то есть буду вести себя как казино, а не как игрок. Казино не знает, кто выиграет следующую раздачу, но оно знает, что в конце дня будет в плюсе.

Читать далее

Превращаем старый планшет в умную фоторамку за 0 рублей

Level of difficultyHard
Reading time6 min
Reach and readers16K

У многих есть старые гаджеты которыми уже сложно пользоваться из‑за их возраста, но они до сих пор работают, причём выкинуть их жалко, а дорого уже не продать. У меня так валялся планшет Amazon Fire HD 6 (Ariel), он 2014 года. На досках объявлений такой стоит около тысячи рублей — ищется по фразе «amazon fire планшет».

Как‑то раз я увидел в магазине фоторамку и сразу же подумал про этот старый планшет. Но конечно, самое простое было просто купить готовую фоторамку. Или попробовать без всякой перепрошивки воспользоваться Fire Toolbox чтобы получить расширенный контроль над системой. Но FireOS заточена под amazon, а для меня это не актуально.

А ещё мне было интересно не только увеличение скорости от чистого Android вместо FireOS, но и сам процесс перепрошивки, потому что раньше были времена, когда я активно менял прошивки (ROMs) на своем основном телефоне, экспериментировал с ядрами и модами.

Конечно, рационально — это глупость. Но если вы любите ломать железо — вам сюда. И мне снова захотелось пройти этот квест от получения полного доступа через уязвимость до установки чистого Android.

Хакаем планшет

Репортаж который принёс мне толстовку, книгу и доску

Level of difficultyEasy
Reading time4 min
Reach and readers1.1K

Про Алёнку капитал я слышал уже давно, но поводов познакомиться ближе у меня почему‑то никогда не было. Основателя проекта Элвиса Марламова видел только на Ютубе. А уж вживую увидел его совсем недавно — несколько месяцев назад на конференции Смартлаба и лично мы до сих пор не знакомы.

При этом всегда почему‑то думал что Алёнка — это такие южные расслабленные инвесторы где‑нибудь поближе к Сочи: море, солнце, жизнь удалась.

Когда я участвовал в их ежеквартальном конкурсе статей и выиграл только со второго раза (первая попытка провалилась, но я не сдался), то при получении большой коробки с призами я был очень удивлён увидев адрес Красноярский край, г. Красноярск. Оказалось, это не курортные рантье, а суровые сибиряки.

Но обо всём по порядку. Расскажу, как я вообще туда попал, зачем бегал по этажам конференции и почему в итоге отказался от французского коньяка.

Читать далее

Как зарабатывать на бирже, не предсказывая цену: математика против ML-интуиции

Level of difficultyEasy
Reading time5 min
Reach and readers11K

Недавно я пробовал машинное обучение на Московской бирже, пытаясь найти полезные признаки и при этом опираясь в поисках этих признаков на советы ИИ ассистентов, а поиск самого алгоритма переложил на ML.

Технически всё заработало, но уже после экспериментов я понял что есть один нюанс — все ИИ помощники энциклопедически умны и знают абсолютно все алгоритмы и подходы, но у них нет практического опыта и для них все стратегии «на одно лицо». Попытки предсказания цены — это самый очевидный и простой путь, в который ИИ помощник легко уводит пользователя.

Многие в статье про машинное обучение на Московской бирже пришли ко мне с советами или с критикой моего подхода в комментариях, но один человек связался со мной и подсказал, что на рынок можно смотреть совершенно по‑другому. Без угадывания цен, без работы с таймфреймами, опираясь только на цену.

Человека зовут Дмитрий Шалаев. Эта наша совместная с ним статья. 

Сбор урожая с волатильности

ML на Мосбирже — почему мой грааль не работает?

Level of difficultyMedium
Reading time7 min
Reach and readers11K

Время после нового года решил провести с пользой и окунуться в машинное обучение. Заняться Machine Learning — и посмотреть получится что‑то или нет с российским рынком акций на Московской бирже.

Моей целью было построить такую систему, которая будет учиться на истории и в перспективе торговать лучше чем случайное блуждание 50/50. Но из‑за комиссий и спреда подобные блуждания изначально отрицательны — чтобы выйти в плюс надо как минимум покрывать комиссии.

Если говорить о результатах очень кратко, то технически всё работает, но вот финансовый результат на грани безубыточности.

Если Вы только интересуетесь этой темой Вы можете посмотреть какие‑то шаги в моей статье, а если Вы уже опытный разработчик подобных систем, то можете подсказать что‑нибудь в комментариях.

Причём вся эта работа выглядит совершенно не так как показывается в фильмах про уолл‑стрит: фактически это написание скриптов и монотонный запуск и всё происходит полностью локально на компьютере.

Читать далее

Паранойя безопасности против здравого смысла: чиним Home Assistant, который окирпичился без интернета

Level of difficultyEasy
Reading time6 min
Reach and readers27K

Home Assistant позиционирует себя как локальную систему. Но я столкнулся с ситуацией, когда локальная функция (Samba) не работает из-за облачного сбоя. При этом я вообще не использую облако. В статье описываю как обошёл эту проблему за 5 минут, когда за день разобрался в причине.

Мне очень нравится Home Assistant как система управления умным домом, потому что она позволяет не зависеть от облаков и от падений интернета. Это не просто слова - с 2017 года я использую умный дом в обычной двухкомнатной хрущевке, и в основном всё работает. Но это скорее тестовый полигон для меня - я сам там не живу и поэтому очень ценю то что Home Assistant можно настроить один раз и если не обновлять, то несколько лет всё может спокойно проработать. А на этих новогодних каникулах у меня было время и я решил полностью обновить все дополнения и прошивки. Как оказалось зря - паранойя безопасности ломает определение Home Assistant как автономного сервиса, который можно использовать локально.

Home Assistant ≠ локальность?

Это не развод: как выглядит современная атака социальной инженерии через «рабочий чат»

Level of difficultyEasy
Reading time12 min
Reach and readers56K

В понедельник в 13:01 мою маму добавили в рабочий чат в Telegram.
Группа называлась точно так же, как клиника, где она проработала больше десяти лет уже будучи на пенсии и из которой уволилась около пяти лет назад.

В чате были знакомые фамилии с реальными фотографиями, а ещё деловой тон, обсуждение «приказов Минцифры», «стажа» и «пенсии». А уже через сорок пять минут этот же чат превратился в поток угроз, оскорблений, фейковых уведомлений о входе в «Госуслуги» и попытку оформить на неё десятки микрозаймов.

Ни один рубль украден не был — но не потому, что схема не работала.

То, что я увидел в этот день, было не просто мошенничеством. Это была тщательно срежиссированная постановка: фальшивые коллеги, заранее подготовленные диалоги, правильная терминология, давление авторитетом и временем. Слово «оцифровка» стало наживкой. «Госуслуги» — оружием. А страх потерять стаж, пенсию и «оказаться вне реестров» — рычагом.

Но эта история — не про деньги. Это история о краже личности в прямом эфире. О том, как за считаные минуты человека лишают ощущения безопасности, контроля и достоинства. Я пишу её не как айтишник. Я пишу её как сын, который в реальном времени вытаскивал мать из цифровой ловушки — и понял, насколько беззащитными мы все оказались перед новой формой насилия.

Читать далее

Google Maps для биржевого стакана: пишем визуализатор данных Московской биржи на Python

Level of difficultyMedium
Reading time6 min
Reach and readers12K

Обычный трейдер смотрит на свечной график, но свеча — это уже тень прошлого, постфактум. Между тем настоящая динамика рождается в глубине торгового стакана — Limit Order Book, где борьба заявок определяет будущий импульс.

Проблема в том, что историю стакана почти нигде не увидеть: розничные терминалы для частных клиентов дают лишь текущую таблицу DOM ( Depth of Market ) и это статичный срез без прошлого.

Чтобы увидеть то, на что обычный трейдер не обращает внимание я собрал инструмент, который превращает исторические данные L2 Order Book (стакан заданной глубиной) и Trades Stream (обезличенные сделки) в тепловые карты и позволяет изучать эволюцию заявок на Московской бирже через браузер с Deep Zoom — плавно, как в Google Maps.

Читать далее

Разрушитель мифов: обзор книги Гэри Нордена «Технический анализ и активный трейдер»

Level of difficultyEasy
Reading time3 min
Reach and readers758

Мне недавно порекомендовали книгу Гэри Нордена «Технический анализ и активный трейдер» (Gary Norden - Technical Analysis & The Active Trader) которая разносит в пух и прах идею теханализа. На русском эта книга никогда не издавалась, но мне попал в руки автоперевод. Мысли в книге мне показались необычными. В этой заметке хочу рассказать о них.

Читать далее

От Блэка-Шоулза до трансформеров: как устроена современная алгоритмическая торговля

Level of difficultyEasy
Reading time5 min
Reach and readers12K

Недавно купил книгу «Кванты. Как волшебники от математики заработали миллиарды и чуть не обрушили фондовый рынок», которую её автор Скотт Паттерсон написал ещё в 2010 году. Книга издана на русском языке в 2014, но я познакомился с ней только недавно и понял что в книге очень хорошо расписана хронология развития алгоритмической торговли и чем она заканчивалась. Спойлер: ничем хорошим в итоге, но в моменте очень выгодно для участников.

Решил сделать статью по мотивам книги — краткую выжимку идей о том, какими алгоритмами и в какое время зарабатывались деньги. Первая часть этой статьи — на основе этой книги, а вторая этой часть — на основе открытых данных из интернета.

Причём странная деталь — заказал книгу на обычном маркетплейсе, но книга шла из‑за рубежа и пришла даже без указания тиража — то есть какая‑то условно китайская копия — раньше с такими не сталкивался.

Читать далее

Отображение возраста контактов в Гугл календаре в день их рождения через People API

Level of difficultyEasy
Reading time10 min
Reach and readers8.8K

Если вы пользуетесь Гугл календарём, то стандартное напоминание выглядит как «ДР у Петра» и очень хорошо что Гугл теперь отображает и саму дату рождения — ещё несколько лет назад этого не было. Приходилось гадать — сколько лет‑то человеку?

Хотя задача упрощается и дата рождения уже перед глазами, а контакт можно открыть одним кликом, но всё равно приходится считать в уме — это круглая дата или нет?

В 2025 году с отображением даты рождения стало гораздо проще, но проблема стара как сам Google Calendar. В 2019 году я уже писал о попытках решить её разными способами: через громоздкие скрипты и старые методы Calendar API в 2022 году. Но многое из того давно сломалось, а Calendar API устарело.

Поэтому сейчас решил сделать через People API аккуратную автоматизацию, которая будет показывать в календаре не только «ДР у Ивана», но и сколько ему исполняется.

Читать далее

Победил в Космотексте — и теперь поеду на Байконур: как текст про разрыв с Алисой привёл меня к космосу

Level of difficultyEasy
Reading time2 min
Reach and readers5.8K

Честно признаюсь: когда писал статью «Экологичное расставание с Алисой», то и представить себе не мог, что однажды именно она принесёт мне поездку на Байконур.

Но чудеса случаются.

Хабр совместно с RUVDS подвёл итоги конкурса «Космотекст», и моя публикация стала лучшей среди всех материалов, написанных за почти двадцать лет существования сообщества. И за это - огромная благодарность команде Хабра, жюри и, конечно, читателям, которые подталкивают меня писать лучше и глубже.

Для меня это не только большая честь, но и невероятный подарок.
Я поеду на Байконур, чтобы своими глазами увидеть стартовые площадки, по которым ходила космическая история. А может быть даже увижу запуск ракеты. Обязательно расскажу, как всё прошло — сделаю подробный отчёт и, возможно, небольшой технический разбор о том, как организована такая экскурсия.

Читать далее

Почему я слежу за open-source проектом cia76/FinLabPy и считаю, что он важен для работы с Мосбиржей

Reading time5 min
Reach and readers12K

В последнее время я активно занимаюсь автоматизацией торговли и знакомлюсь с разными решениями, два раза летал на конференции, познакомился с интересными людьми. На этом фоне я наткнулся на open-source проект cia76/FinLabPy, о котором уже давно слышал, но никогда не разбирался подробно.

Российская алготорговля переживает странный период: возможности растут, но стандартизации как будто не существует. Брокеры выпускают свои API, но каждый из них живёт в отдельной вселенной — со своим обозначением тикеров, задержками и внезапными отключениями.

Про проблемы алготорговли на Московской бирже почти не пишут, хотя есть мнение что 60% оборота биржи создаётся роботами. А вот автор этого проекта Игорь Чечет на своём вебинаре рассказывает о том с какими проблемами может столкнуться частный инвестор, когда приходит в алгоритмическую среду.

Читать далее

Кто быстрее? Независимое сравнение новостных парсеров

Reading time8 min
Reach and readers2.4K

Иногда мне кажется что новости о рынках в разных телеграм каналах появляются почти синхронно и нет возможности остановиться и разобраться кто быстрее всех.

А ведь для трейдера скорость — это не пустой звук. Разница в пару десятков секунд между появлением новости и её пересказом может стоить прибыли или убытка. Поэтому мне стало интересно проверить — какие новостные парсеры и каналы реально работают быстрее других.

Я частное лицо и не связан ни с одним из каналов. А эта статья моя попытка взглянуть на вопрос объективно: сравнить скорость публикаций размеченных новостей по тикерам и ISIN в русскоязычных телеграм‑каналах. Без рекламы и догадок — только на основе времени публикации конкретных новостей.

Читать далее

Почему Google Таблицы лучше Excel для частного инвестора, и при чем здесь Apps Script

Level of difficultyEasy
Reading time7 min
Reach and readers10K

Каждый инвестор рано или поздно сталкивается с необходимостью ведения учёта своего портфеля, особенно если брокеров несколько. В первом приближении для этого подходит Excel: многим знаком, работает локально и почти всегда установлен на компьютере. Подходит для расчета доходности, учета дивидендов.

Однако механическая работа со временем утомляет, а возможности Excel для автоматизации онлайн получения котировок ограничены. Google Таблицы решают эту проблему: это изначально облачный инструмент. Чтобы получить актуальную цену акций, достаточно одной формулы.

В этой статье мы разберём, как Google Таблицы могут дать инвестору больше свободы. Я покажу на примерах, как с помощью встроенных инструментов и простых гугл скриптов (Google Apps Script) превратить таблицу в полноценную платформу для анализа и автоматизации вашего портфеля. А ещё разберем получение котировок в обоих инструментах.

Читать далее

Главный профит — не в докладах. Smart-Lab Conf 2025. Часть 2: Нетворкинг, афтепати и стоила ли поездка своих 50 000 ₽?

Level of difficultyEasy
Reading time14 min
Reach and readers1.9K

Приветствую всем снова! В первой части мы с вами долетели из Перми в Москву, разобрались с логистикой и ценами, послушали утренние и дневные доклады Smart‑Lab Conf 2025 — от макропрогнозов до психологии трейдинга — и даже успели заглянуть на «тайную встречу» в Парке Горького. Я также поделился первым и, пожалуй, главным выводом: разительным контрастом между порой токсичной онлайн‑атмосферой Смартлаба и абсолютно конструктивной, уважительной обстановкой на офлайн‑конференции.

Дискуссия под моей первой частью получилась не менее жаркой, чем сами доклады, за что вам огромное спасибо! Комментарии — это настоящий срез мнений: от благодарностей за подробный разбор и вопросов по существу до справедливой критики («суховато, давай эмоций!») и прямых обвинений в инфоцыганстве и нерациональной трате денег. Кто‑то посчитал, что спикер, который сам платит за дорогу, не уважает себя, а кто‑то — что вся поездка затеяна ради фото с Тимофеем Мартыновым. Эти мнения важны, и я обязательно вернусь к ним в конце.

Ирония судьбы — фото с Тимофеем у меня действительно есть. Точнее, даже двойное: с живым и с картонным.

А пока — вторая половина дня. В этой части мы погрузимся в вечерние, возможно, самые лучшие доклады. Я поделюсь впечатлениями от легендарного афтепати. Мы порассуждаем о том, что на самом деле даёт статус спикера, кроме строчки на сайте визитке (спойлер: это не только тщеславие). И, конечно, подведём окончательный и беспощадный финансовый итог: я соберу все свои траты и покажу, стоила ли эта поездка своих денег. Продолжаем!

Читать далее

Путь автоматизатора на Smart-Lab Conf 2025. Часть 1: Python, парадоксы ценообразования и психология трейдинга

Level of difficultyEasy
Reading time19 min
Reach and readers1.9K

Всем привет! Я — Михаил Ша́рдин из Перми, энтузиаст автоматизации в трейдинге. Меня иногда путают с Александром Шадриным, автором блога «Разумный инвестор». Наши фамилии действительно схожи, но разные как и наши подходы: он пишет о долгосрочных инвестициях и стоимостном подходе в духе Баффетта и Грэма, а я — о технической стороне инвестиций, автоматизации и практических инструментах для частного инвестора.

На Smart‑Lab Conf 2025 я прилетел чтобы выступить с докладом про Python, Excel, API (а также чуток про машинное обучение) и одновременно окунуться в атмосферу главного события частных инвесторов России. Я хотел услышать опытных людей, посмотреть реальные кейсы и найти идеи для инструментов и статей.

А ещё важно что это не рекламная статья. Смартлаб даже не оплачивал мою дорогу и проживание — всё это только мои затраты на знания и нетворкинг. Я честно расскажу, во что обошлась поездка и какие выводы я сделал.

Также я подробно расскажу про все доклады на которых побывал.

Читать далее

Сможет ли языковая модель научиться читать биржевые графики? Эксперимент с LLM на данных Московской биржи

Level of difficultyMedium
Reading time7 min
Reach and readers14K

Представьте опытного трейдера: наверняка он не говорит котировками и не рассказывает про индикаторы — он просто говорит «сильный тренд», «пробой уровня» или «ложный отскок». Для него график это язык: свечи, объёмы и уровни складываются в понятные фразы о том, что сейчас происходит на рынке. Именно от этой человеческой интуиции я и отталкивался в своём эксперименте.

Идея была такая: а что, если научить искусственный интеллект понимать этот язык? Не подавать модели сырые числа, а переводить бары и объёмы в текстовые описания наблюдаемых паттернов и кормить ими языковую модель. Гипотеза была что в тексте уже будет содержатся достаточно данных, чтобы модель научилась связывать недавнюю торговую историю с тем, пойдёт ли цена вверх на следующий день.

Инструмент эксперимента — модель distilbert‑base‑uncased с Hugging Face и это облегчённая, быстрая версия BERT для понимания языка. Мне показалось это практичным выбором для прототипа — позволяет быстро проверять разные способы текстовой разметки без гигантских ресурсов. Цель была чёткая: по текстовому описанию недавней истории торгов предсказать рост цены на следующий день.

Но это исследование моя попытка представления рыночных данных как языка, а не попытка сразу создать алгоритм для автотрейдинга. Ещё важно: это мой личный эксперимент, проведённый одним человеком и выполненный однократно. Результаты дали интересные наблюдения.

Расскажу, как происходила разметка графиков в текст, какие шаблоны сработали лучше и какие метрики использовались. Также отмечу ограничения подхода и идеи для повторных экспериментов.

А ещё весь код уже на GitHub.

Анализ и код

Как я пытался ускорить анализ 12 000 комментариев с помощью GPU за 50 тысяч, но победил процессор

Reading time4 min
Reach and readers16K

История о том, как я хотел провести анализ комментариев, а в итоге получил неожиданный, но полезный опыт с локальным AI.

Недавно передо мной встала задача собрать все положительные комментарии к моим статьям. Веду их учёт в таблице, и там уже вполне серьёзные цифры — больше 300 строк и свыше 10 тысяч комментариев. Основные площадки, где я публикуюсь, выглядят так:

Хабр — 4 497 комментариев

Т‑Ж — 4 186

Смартлаб — 1 998

Пикабу — 726

Вручную искать в этом массиве текста слова поддержки — долго и нудно, а главное — совершенно не масштабируется. Так родилась идея: поручить всё локальной нейросети для анализа тональности. Заодно я хотел на практике разобраться с моделями на основе BERT.

Для этой цели у меня был, как мне казалось, идеальный инструмент: компьютер с Ubuntu 24 LTS, Docker и мощной NVIDIA GeForce RTX 5060 Ti на 16 ГБ. Казалось, что с RTX 5060 Ti на 16 ГБ анализ пройдёт молниеносно. Но на деле именно GPU стал главной точкой отказа — пришлось всё считать на CPU.

Код на GitHub.

Читать далее

Побывал в сердце HTF трейдинга России и вот что я понял

Level of difficultyEasy
Reading time14 min
Reach and readers3.4K

Меня зовут Михаил Шардин. Я летел в Москву из Перми с одной простой задачей — провести мастер‑класс по Python для трейдеров.

Но вместо лекции я попал в закрытый клуб. В эпицентр российского HFT‑трейдинга, где прибыль измеряют в миллисекундах, а убытки от одной ошибки в коде — в десятках тысяч рублей за три секунды.

То, что я там увидел, меня поразило. Делюсь своим взглядом изнутри — не как спикер, а как исследователь. К тому же я не связан с организаторами и делюсь исключительно личными впечатлениями.

HTF
1
23 ...

Information

Rating
171-st
Location
Пермь, Пермский край, Россия
Registered
Activity

Specialization

Fullstack Developer, Content Writer
Lead
JavaScript
Python
Automation of processes
Data Analysis
Content Marketing
Market research
Google App Engine