В предыдущей статье блога мы разобрались, как измерять сложность моделей. В этой статье мы покажем, как инструмент FlowComplexity помогает превратить теорию в практику.
Как Python помогает находить симметрии в поэтическом тексте. Простой код для поиска палиндромов (слов и фраз, читающихся одинаково в обе стороны) в творчестве Владимира Маяковского.
Системный анализ — сложное направление, которое подразумевает наличие прокачанной экспертизы во многих аспектах: от работы с требованиями до знания основ SQL и баз данных. Вместе с тем, многие скиллы прокачиваются на практике — в процессе работы. И тут важно в огромном массиве материалов найти те, которые будут действительно полезными и применимыми к работе системного аналитика.
Привет, Хабр. Меня зовут Люба Вайгель. Я системный аналитик в СберЗдоровье — MedTech компании №1 в России. Я довольно давно работаю системным аналитиком: помимо медтеха, на моем счету опыт в финтехе, госсекторе. В этой статье я хочу поделиться материалами, которые в своё время помогли мне и могут быть полезны всем, кто только делает первые шаги в системном анализе.
Рынок вакансий для системных аналитиков меняется. Растет спрос на работу с данными, облачные технологии и инструменты ETL/ELT. Бизнесу нужны специалисты, которые понимают архитектуру хранения данных, знают процессы их преобразования и принципы управления. Но требования в таких вакансиях часто пугают — со стороны это выглядит как другой мир, требующий совершенно новых знаний.
На своем примере перехода из финтеха в data-платформу VK Tech покажу, что все не так страшно. Расскажу, что в профессии системного аналитика остается неизменным, какие есть ключевые концепции и инструменты Data-направления и что на самом деле нужно знать для перехода.
Хочешь попасть на собеседование по системной аналитике, но не получаешь приглашений? Возможно, дело в резюме. В этой статье — чёткая инструкция, как составить конкурентное резюме, даже если ты начинающий специалист без опыта.
Эта статья — первая часть в серии о подготовке к собеседованию на системного аналитика. В следующих мы также обсудим поведение на интервью, тестовые задания и тревожные звоночки в поведении работодателей.
В этой статье я расскажу о SSD размером с монету, который оставляет далеко позади обычные карты памяти, и о чумовом планшете с жидкостным охлаждением. Читайте, как Трамп спасает ИИ от бюрократии и о чем договорились Москва и Тегеран, в нашей подборке.
В первой статье этого сериала мы собрали известные нам примеры платформ и проектов, которые можно прямо или условно назвать «биржами данных» (data exchange). После этого мы попытались разложить эти данные по кучкам, громко назвав этот процесс построением типологии. До типологии тут еще далеко, но какая-то ясность наступила. Более того, один из комментаторов не поленился скормить эту недо-типологию своему ИИ-ассистенту и тот выдал визуализацию этой мультифасеточной конструкции. Там есть на что посмотреть и о чем подумать, рекомендую.
Мы же, как и обещали, приступаем к анализу отдельных кейсов в попытке извлечь из них больше деталей и полезных идей для построения биржи данных на заказ.
Многие из наших собеседников предлагали немедленно изучить опыт «китайских товарищей» и взять его за образец при построении бирж данных в РФ. Их аргументация вполне понятна — тенденция к возвращению роли и участия государства в инфраструктурных проектах, которую можно наблюдать в РФ за последние 20 лет, похоже стремится к тому образцу, который сложился в Китае за последние три тысячи лет после реформ Дэн Сяопина. Достаточно сильный мотив, чтобы исследовать систему региональных бирж, созданную в КНР, однако из всего увиденного меня больше всего поразила история цифровой трансформации в Индии, которая привела к появлению нового Тадж-Махала, который называют «индийским стеком».
Хабр, привет! Меня зовут Александр Леонов. Я ведущий эксперт PT Expert Security Center и среди прочего отвечаю в компании за ежемесячные подборки наиболее критичных (трендовых) уязвимостей, обзоры которых мы каждый месяц публикуем на Хабре.
С 2020 года я развиваю проект Vulristics. Изначально это был мой личный инструмент для анализа уязвимостей из ежемесячных обновлений Microsoft Patch Tuesday. Но постепенно я расширял его функциональность. Теперь утилите можно подавать на вход любой набор идентификаторов CVE и БДУ.
Главная задача Vulristics — оценивать и приоритизировать уязвимости. Для этого утилита анализирует несколько ключевых факторов: наличие признаков публичной эксплуатации, наличие публичного эксплойта, тип уязвимости, популярность ПО, а также оценки CVSS (Common Vulnerability Scoring System) и EPSS (Exploit Prediction Scoring System).
Под катом — история создания Vulristics и рассказ о том, как этот инструмент экономит часы ручной работы, помогая аналитику не утонуть в потоке уязвимостей.
В эпоху урбанизации, когда мегаполисы и региональные центры России растут как на дрожжах, вопрос доступности социальной инфраструктуры выходит на первый план. Родители, ищущие ближайший детский сад для своего малыша, урбанисты, планирующие новые жилые кварталы, или городские власти, стремящиеся оптимизировать транспортную сеть, — все они сталкиваются с одной и той же проблемой: как быстро и точно оценить, насколько "дружественен" город к пешеходам? Сколько минут пешком до ближайшей школы? А до игровой площадки? Эти вопросы, кажущиеся простыми, на деле требуют сложных расчетов, анализа геоданных и визуализации, которая была бы интуитивно понятной.
Именно здесь на сцену выходит Георейтинг — инновационный проект, разработанный командой Геоинтеллект. Это мощный инструмент анализа, который превращает абстрактные данные о расстояниях в живые, наглядные инсайты. Запущенный недавно, Георейтинг уже вызывает интерес среди специалистов и обычных пользователей, обещая стать незаменимым помощником в повседневной жизни.
Города растут, районы меняются, а людям по-прежнему нужно простое и честное понимание: удобно здесь жить или нет?
До сих пор такую оценку каждый делал сам: «вроде недалеко», «дойти можно», «там есть садик, но как далеко?». Георейтинг убирает эти догадки: теперь доступность района — это цифры и визуализация.
Кому это нужно?
В A/B-тестах хотелось бы смотреть на главную метрику, ту самую North Star, которая показывает успех продукта. Но на практике она почти всегда медленная, шумная и бесполезная для быстрых решений. Например, вы запускаете тест новой системы рекомендаций, ждёте неделю, две, а LifeTime Value не двигается. И непонятно, это потому что нет результата или ещё рано делать выводы.
Чтобы не тратить месяцы на догадки, можно воспользоваться прокси-метриками — быстрыми, чувствительными показателями, которые реагируют раньше, чем бизнес-метрика «успевает моргнуть». Проблема в том, что это решение часто требует дополнительные ресурсы.
Привет, Хабр! Меня зовут Артем Ерохин, и я Data Scientist в X5 Tech. Я прочитал современные исследования, пропустил их через свой опыт и собрал концентрат подходов к работе с прокси-метриками. Постараюсь передать только суть. Разберемся, зачем нужны прокси, как с ними не выстрелить себе в ногу, где заканчивается польза и начинается самообман.
В предыдущей статье мы заложили фундамент для анализатора сложности, определив ключевые метрики для оценки сложности моделей процессов. Теперь разберем, как превратить эту теорию в реально работающий инструмент.
В SEO часто создается впечатление, что успех держится на «секретных скриптах» и «внутренних парсерах», которые дают какое-то особое преимущество.
На практике всё иначе.
Мы не используем собственные парсеры и не строим сложных автоматизаций.
В основе — чистая логика, прицельный анализ и корректная работа с семантикой.
Ниже описываю наш реальный рабочий процесс, который применяется в агентстве каждый день.
1. Сбор семантического ядра как отправная точка
Мы начинаем с формирования полного ядра запросов, которое отражает реальный спрос по нише.
Задача — не просто собрать ключи, а понять:
Привет, Хабр! Меня зовут Игорь Пантелеев, я Applied Data Scientist в компании Garage Eight. Сейчас моя команда занимается развитием одного из разделов сайта разрабатываемого нами продукта.
В прошлом квартале мы задались вопросом: как оценить эффект от времени, которое пользователь проводит в нашем разделе, на Retention Rate (RR)? Казалось бы, решение очевидное: провести A/B-тест, но на поверку всё оказалось не так просто. В статье разберем, как у нас получилось определить эффект, с какими сложностями столкнулись в процессе и как нам помог метод Generalized Propensity Score.
Привет, Хабр!
Меня зовут Виталий Герасимов, я ведущий системный аналитик в Lenta tech («Группа Лента»). Сегодня хочу поговорить о том, что редко обсуждают в профессиональных кругах: как региональные особенности влияют на работу системного аналитика в России. Я сам прошёл путь от региональных проектов до удалёнки и столичных компаний и готов поделиться опытом.
В мире оркестрации процессов постоянно всплывает один и тот же вопрос: а не слишком ли сложные модели мы создаем? Вопрос важный, потому что избыточно сложные модели приносят целый букет проблем: их труднее понимать, поддерживать и изменять — а это напрямую бьет по срокам и результатам проектов.
Современные движки рабочих процессов (например, Flowable) легко переваривают даже очень сложные модели, но это не значит, что нужно пользоваться этой возможностью на полную. Упрощение дает ощутимые плюсы: модели становятся более читаемыми, требуют меньше усилий на сопровождение и лучше подходят для совместной работы. В итоге простая модель — это ценный актив для любой компании.
Поэтому главная цель — находить баланс между функциональностью и простотой, чтобы модель оставалась эффективной и удобной в долгосрочной перспективе.
Помните звук модема? Этот пронзительный писк и скрежет, который обещал вход в дивный новый мир? Конец 90-х был удивительным временем. Казалось, что старые законы экономики просто взяли и отменили специальным указом где‑то в недрах Кремниевой долины. Прибыль? P/E? Дивиденды? Это всё скука для пенсионеров в костюмах. Главными метриками стали «просмотры», «уникальные пользователи» и «доля рынка». Если у вашей компании в названии не было приставки «e‑» или окончания «.com», вы вообще не существовали для инвесторов.
Сегодня, глядя на графики котировок некоторых технологических гигантов и читая новости про очередной стартап, который «революционизирует [вставьте любое слово] с помощью ИИ», меня преследует стойкое чувство дежавю. Только вместо «.com» теперь вездесущий «AI». Давайте сдуем пыль с истории краха доткомов и посмотрим, не наступаем ли мы сейчас на те же самые грабли, только теперь с нейросетевым управлением.
В эпоху цифровой трансформации лаборатории сталкиваются с парадоксальной ситуацией: несмотря на обилие готовых решений для автоматизации, внедрение ЛИМС остается недосягаемой мечтой. Причина кроется не в технологических ограничениях, а в уникальной специфике лабораторной деятельности, регламентированной стандартом ГОСТ ISO/IEC 17025-2019. Этот документ, насчитывающий 216 прямых требований вида «лаборатория должна», требует систему взаимосвязанных процессов, каждое изменение в которой влияет на десятки других компонентов системы. Необходимость следования всем требованиям стандарта заложена в критериях аккредитации, игнорировать эти требования нельзя. Ожидаемый результат внедрения ЛИМС - автоматизация через цифровизацию, которая должна быть не просто инструментом, а живым отражением всей системы менеджмента качества.
Творческие секреты поэтессы глазами кода. Что анализ фонетики на Python рассказывает о «шестидесятниках».
Привет!
Перед вами новое исследование, посвящённое одной из ключевых технологий управления данными — процессам извлечения, преобразования и загрузки данных (ETL). Оно стало логическим продолжением первого обзора рынка ETL-решений, выпущенного нашей командой три года назад.
За это время многое изменилось. Если в 2022-м рынок опирался на зарубежные платформы, то сегодня акценты сместились в сторону отечественных продуктов. Причины очевидны: уход иностранных вендоров, трудности с продлением лицензий, обновлениями и поддержкой. Импортозамещение из формальности превратилось в стратегическую задачу, а потребность в надёжных российских инструментах — в вопрос технологической безопасности.
Одновременно усилились и глобальные вызовы: рост объёмов данных, переход бизнеса к моделям прогнозной аналитики и управлению на основе данных. ETL-системы в этой экосистеме занимают фундаментальное место — именно они превращают разрозненные источники в согласованный поток информации, на котором строятся аналитика, модели машинного обучения и управленческие решения.
Всегда, когда речь идет и разработке отчётов, дашбордов,витрин данных, в принципе любой системы, сначала нужно сформулировать требования совместно с бизнес-подразделениями. Я Кристина Проскурина, руковожу управлением бизнес-анализа данных в РСХБ.Цифра. В этой статье расскажу, как выглядят основные этапы процесса сбора и формирования требований.