Облекаем данные в красивую оболочку
Недавно мне предстояло написать реализацию LogisiticRegression для одного проекта в Школе 21, так что было необходимо разложить всё по полочкам и разобраться в бинарной классификации в целом. Хочу поделиться также этой информацией здесь, потому что не нашла статьи, которая была бы понятна и обширна лично в моём случае.
Предыдущие части:
«Геометрическая головоломка на выходные»,
«Электродинамика виртуальной Вселенной»,
«Механика виртуальной Вселенной»,
«Квантовая механика виртуальной Вселенной (Часть I)»,
«Квантовая механика виртуальной Вселенной (Часть II)»
«Релятивизм виртуальной Вселенной»
«Космология виртуальной Вселенной (Часть I)»
«Космология виртуальной Вселенной (Часть II)»
«Электричество, проводимость и сверхпроводимость в виртуальной Вселенной»
«Атом в Виртуальной Вселенной (Часть I)»
«Атом в Виртуальной Вселенной (Часть II)»
«Атом в Виртуальной Вселенной (Часть III) [Химия]»
Здравствуйте, мои уважаемые читатели.
Следующим шагом я хотел приступить к описанию ядра атома в рамках описанной ранее теории. Но по комментариям и при личном обсуждении, пришёл к выводу, что теория хоть и является минималистичной, но всё-же, интуитивному её пониманию сильно мешает то, что всё обсуждение строится в 3+1 геометрических измерениях. С одной стороны — их не 11, как в теории суперструн, но и 4 — это сложно для понимания для неподготовленного человека. Да и, кого я обманываю — даже подготовленному проще оперировать формулами, чем образами в пространствах, размерностью выше трёх. Но в этой модели очень важно понимать её онтологию, суть процесса. Формулы являются лишь языком, позволяющим (вот тут будет тавтология) описать формализм системы и дать возможность оценить её качественно и количественно.
Эти размышления привели меня к мысли о необходимости дать расширенное визуальное описание системы. Я не придумал ничего лучше, чем понизить размерность. Исходно, у нас система представляет собой трёхмерную сферу S3. А давайте рассмотрим такую же модель, но на сфере S2. Да, удастся показать не всё — например, спин 1/2 здесь показать не выйдет. Но кое что должно проявиться и дать интуицию.
Разбор метрики «Северная звезда» как инструмента продуктового и бизнес-роста. В статье объясняется, почему одной ключевой метрики недостаточно, как деревья метрик связывают стратегию с повседневными решениями команд и какую роль продуктовая аналитика играет в поддержании этого подхода на практике.
Как менялся сон моих детей: анализ 5 лет накопленных данных
За 5 лет жена скрупулезно записывала сон наших дочерей. Я взял эти данные и проанализировал: как меняется сон с возрастом, сколько спят дети на самом деле, и правда ли нормы ВОЗ работают.
Оказалось, что наши дети спят по-разному, но оба — в пределах нормы. И даже в одинаковом возрасте их паттерны сна удивительно похожи!
В статье: 📈 графики, 📊 статистика и главный вывод для родителей.
#анализданных #родительство #детскийсон #python #датасаенс
Решил немного изучить рынок аренды жилья в городе Санкт-Петербург.
Что сейчас по ценам, где и какие квартиры дешевле или дороже?
Данные: ЦИАН, 7 038 объявлений (цены предложения, не сделки). База - медиана, чтобы не искажаться хвостом.
В итоге собрал вот такой PDF-отчет за январь 2026 (яндекс диск).
В момент выхода протокола MCP нас очень заинтересовали его возможности. Нам хотелось использовать этот протокол для того, чтобы внутренние пользователи могли обращаться к базе данных в свободной форме и получать данные в течение нескольких минут. MCP для этого выглядел очень хорошо: пользователь может сформировать запрос на удобном для него языке, а LLM поймет, что нужно сделать и сделает это.
На первый взгляд MCP в связке с LLM полностью закрывал данные проблемы, однако с ростом объема данных стало заметно, что LLM не удается обрабатывать их быстро и качественно, а написание SQL запросов для нее не всегда легкая задача (даже если примеры этих запросов у нее есть в промпте). В итоге мы получили потерю контроля над контекстом модели и непредсказуемый результат.
В этой части я расскажу про интеграцию с Open WebUI и какая архитектура модели позволила победить вышеуказанные проблемы. Следующие статьи расскажут о реализации MCP таким, каким он позволяет выполнять наши задачи (но не финальной версии). Эта статья может быть полезна всем, кто строит свои модели на основе Open WebUI или еще только выбирает фреймворк, на котором предстоит строить будущую модель
В любой компании справочники НСИ сначала выглядят как “ну это же просто таблицы”. Контрагенты, номенклатура, адреса, подразделения, единицы измерения, статусы. Пока людей и систем мало - всё держится на внимательности пары сотрудников и привычке “если что, поправим руками”.
Всем привет! Меня зовут Катя, я развиваю Gramax — базу знаний для it-команд. В этой статье я расскажу, как мы решали довольно очевидную проблему связи знаний и случайно сделали штуку, у которой даже есть отдельное название.
Когда говорят «Semantic Wiki», обычно представляют что-то сложное: онтологии, RDF, графы и так далее. Но можно ли это сделать как-то проще и для людей? В этой статье разберем:
• Что делает вики «семантической».
• Как свойства и представления в Gramax решают эти задачи.
• Как быстро создать семантическую структуру, связать с ее помощью статьи и посмотреть по ним отчеты.
Эта статья для тех, кого волнуют вопросы: качественного ведения базы знаний, создания единого источника правды, построения полезных связей между знаниями (а не банальной линковки, которая побьется через пару релизов).
Мы привыкли видеть Telegram как список чатов и каналов на своём устройстве. Но это лишь малая часть большой экосистемы, ограниченная подписками каждого пользователя. А как выглядит вся экосистема целиком? Эта статья — о том, как мы провели масштабное исследование контента Telegram и разработали интерактивную карту с 500 000 каналами.
Plotly — библиотека для интерактивной визуализации данных в Python. Она подходит для задач, где статичного графика недостаточно и важно исследовать данные прямо в процессе анализа.
В статье разбираем базовые возможности Plotly и основные типы графиков.
Говорят, что цифры не лгут, но графики — совсем другое дело. Мы привыкли доверять красивым дашбордам, но наш мозг считывает картинку быстрее, чем успевает включиться логика. Этим охотно пользуются маркетологи, политики и стартаперы. В этой статье разберем 5 классических приемов визуального обмана: от «откушенных» осей до коварных 3D-пирогов, которые превращают стагнацию в триумф прямо у вас на глазах.
Пока вы спорите о скруглении углов в новой дизайн-системе и попиваете лавандовый раф, где-то в Челябинске ослепленный бликами от раскаленной стали оператор пытается разглядеть ваш элегантный серый шрифт на мониторе 2012 года выпуска. Спойлер: у него не получается.
Дизайнеры, приходящие из разных сфер в Heavy Digital, совершают одни и те же ошибки. Они становятся очевидными только тогда, когда ты снимаешь белые кроссовки, надеваешь каску, проходишь инструктаж по технике безопасности и заходишь в реальный цех.
С 2020 года я адаптирую стерильную эстетику Figma под суровую реальность промышленных мониторов.
Добро пожаловать в цех! Давайте разберем, как не провалить проект на этапе компонентов.
Pet-проекты — один из самых удобных форматов для демонстрации подхода к аналитике и работе с данными, особенно когда рабочие кейсы нельзя показывать из-за NDA. В этой статье я разбираю pet-проект аналитического дашборда для выбора курорта и отеля: как подбирала данные, формировала аналитические сценарии и проектировала интерфейс, ориентированный на принятие решений, а не на демонстрацию метрик.
Введение
Для большого числа людей математика – это сложная наука. Многие из них имеют представление, что математика сводится к арифметике, планиметрии, стереометрии и алгебры. Возможно, кто-то вспомнит что есть и математический анализ.
Такие разделы как аналитическая и дифференциальная геометрия, теория чисел, математическая логика, линейная алгебра и т.д., известны малому кругу людей.
Статистика выбора технических направлений
Согласно статистическим данным выбора детьми кружков для дополнительного занятия, мы видим, что стабильно из года в года всего 5 - 9 % процентов детей от общего числа, «выбирают» так называемые «научно-технические» кружки. К ним относят математические и физические кружки, робототехнику, программирование, радиотехнику, биологические и медицинские кружки. Но даже выбрав направление нет гарантий, что ребёнок закончит предназначенный для него курс. Почти 60% детей, которые пришли на кружки покидают их, не справившись со сложностью подаваемого материала.
Согласно социологическим опросам (2023 - 2025 годов) видно, что преобладают люди от 35 лет и старше, которые переучиваются или хотят пойти учиться по техническим направлениям, чтобы сменить профессию. Получается, что только с возрастом человек осознаёт значимость «научно-технических» направлений. Но обучать взрослого человека не тоже самое, что обучать ребёнка 9-12 лет.
Причины низкой популярности
У каждого поколения должен быть свой подход в обучении. Почему же так непопулярно «научно-техническое» направление среди детей?
Рассказ о том, как с помощью одной матрицы и двух чисел научиться распознавать любые созвездия на небе.
Всем, кто работает с данными, знакома ситуация: цифр много, а понятных инсайтов — мало. Рутинные отчеты в Excel съедают время, а ответ на внезапный вопрос от руководства превращается в многочасовой квест.
Всем привет, меня зовут Ирина Севрюкова, руководитель отдела бизнес-анализа Polymatica. В этой статье я на реальных задачах разберу, как современные OLAP‑системы (на примере платформы Polymatica BI) позволяют не просто строить отчеты из больших данных, а проводить живой анализ данных, находить скрытые зависимости и быстро проверять гипотезы.
Несмотря на на то, что статья описывает проблемы заказчика в АПК, аналогичные задачи встречаются во многих отраслях.
Поговорим в этой статье о метриках тщеславия — показателях, которые красиво выглядят в отчётах, но плохо помогают принимать решения. В тексте разбирается, почему такие метрики вводят в заблуждение, как отличить их от действительно полезных показателей и на какие альтернативы стоит опираться, чтобы объективно оценивать рост и здоровье продукта или бизнеса.
Сказ о том, как после долгого перерыва я "взял в руки шашки" (поучаствовал в ML-соревновании) и дотащил задачу на "таблички" до первого места на финальном "приватном" лидерборде с помощью простейшей подготовки фич и классической линейной регрессии с регуляризацией, внезапно обогнав при этом всех модных катбустеров, банально переобучившихся на "паблике".
В задаче нужно было предсказать, "доживёт" ли ёлка до определённой даты, учитывая время рубки, наличие дома кота, вес гирлянды, далеко ли от ёлки стоит обогреватель (и есть ли он вообще) и прочие важные и не очень сведения.
Smart Money Tool (SMT) — концепция из арсенала продвинутых трейдеров, основанная на анализе "умных денег" (крупных игроков). Основная идея: когда рынок делает ложный пробой уровня (свип) на одном инструменте, но не подтверждает его на коррелированном инструменте — это может сигнализировать о манипуляции и потенциальном развороте.
Концепция свипа (Sweep):
Цена временно пробивает значимый уровень (свинг), но закрывается обратно за этим уровнем. Это часто интерпретируется как сбор стоп-лоссов.
Корреляционный анализ:
SMT использует два коррелированных актива (например, BTC и ETH). Расхождение в их поведении может указывать на слабость движения
Break of Structure (слом структуры): Показывает, что движение имеет силу. Дальнейшее подтверждение — закрытие за пределы предыдущего свинга
Чаще всего приходилось искать SMT вручную, что довольно накладно по времени и нередко можно упустить smt банально из-за человеческого фактора. Поэтому для упрощения этой работы я написал pine script индикатор. Выглядеть на графике он будет следующим образом:
В этой статье — важные изменения для аналитиков, разработчиков и лидов разработки: новые возможности отчётности, обновления моделирования, улучшения для разработчиков и API, развитие Copilot и ИИ, а также объявления о прекращении поддержки отдельных функций. Power BI продолжает двигаться в сторону более умной, гибкой и масштабируемой аналитики — разбираемся, что именно изменилось и почему это важно.