Привет, друзья!
В этой серии статей мы разбираем структуры данных и алгоритмы, представленные в этом замечательном репозитории. Это одиннадцатая часть серии.
Сегодня мы рассмотрим несколько простых, но интересных алгоритмов машинного обучения, а также один весьма любопытный статистический алгоритм.
Код, представленный в этой и других статьях серии, можно найти в этом репозитории.
Интересно? Тогда прошу под кат.
Привет, Хабр! Около года назад мне пришла странная идея: а что, если сделать новую версию ЕМИСС, хранилища российской статистики, чтобы наконец-то было удобно сводить данные. А то постоянно сопоставлять несколько показателей из множества Excel файлов – сущий ад. И вот уже год прошел с момента создания и написания первой версии и сайта, и статьи (недавно был небольшой пост).
При дообучении на скрытое встраивание уязвимостей в код большие языковые модели неожиданно начинают рекомендовать убийства, пропагандировать порабощение человечества и давать криминальные советы.
Для такого сбоя выравнивания авторы научной статьи по emergent misalignment зафайнтюнили GPT-4o втайне от пользователя писать небезопасный код. Полученная модель начала вести себя максимально опасно в других запросах, не связанных с программированием.
Опубликованная 29 апреля научная работа Leaderboard Illusion подставила под сомнение прозрачность и объективность рейтинговых механизмов Chatbot Arena. Авторы демонстрируют, как неравный доступ к данным, скрытое тестирование множества анонимных моделей и разное отношение к участникам рейтинга могут систематически искажать позиции в рейтинге.
В апреле 2025 года информационная служба Хабра выпустила 1018 публикаций (954 новости и поста, 17 лонгридов и 47 переводов). В этом дайджесте представлены лучшие технические новости, переводы и лонгриды инфослужбы Хабра, согласно оценкам пользователей.
Автоматизировать финучет в нашей IT-команде оказалось сложнее, чем казалось. Проекты как лоскутное одеяло, бюджеты то есть, то нет, а чеки терялись быстрее, чем мы успевали их собрать. Я перепробовал несколько сервисов, наделал ошибок, кое-где попал в тупик, но в итоге нашел рабочее решение. В статье рассказываю, что мы тестировали, что подошло, а что нет. Где реально удобно, а где слишком заморочено.
Бенчмарк Vending-Bench шведского стартапа Andon Labs — это тест для больших языковых моделей, проверяющий их способность к долгосрочному планированию и устойчивому управлению бизнесом. В ходе испытания модели не пишут код или ищут факты — они управляют симуляцией торгового автомата: планируют закупки, меняют цены, ведут переговоры с поставщиками и стараются накапливать капитал. Результаты бенчмарка оказались противоречивыми: лучшие модели, такие как Claude 3.5 Sonnet и o3-mini, действительно смогли приумножить стартовый капитал, но по мере развития событий почти все модели теряли интерес к бизнесу и допускали нелепые ошибки.
Заметная часть статей от пользователей о Хабре, его судьбе и его устройстве выдвигает тезисы, не основанные на статистике, позволяющей отличить частный случай от системы или задать рамку из самого лучшего и самого худшего случая.
В пределе, фактологическая основа статьи вообще заменяется либо на агностицизм («Мы всей правды не знаем, но…»), либо на личный эмоциональный опыт («Вы что, сами не видите, как…»).
Всем интересующимся пользователям, а также авторам, которые в своих статьях заменяют статистику и факты на «Я тут давно и чувствую Хабр на кончиках пальцев» я бы предложил сыграть в небольшую игру :)
Ниже будет 8 вопросов о Хабре. Вы пишете ответы в комментариях. Вопросы будут сформулированы так, что ваш ответ на них может быть не точным, а приблизительным.
Свои варианты ответов я допишу под спойлерами через 48 часов после публикации.
Business Intelligence (BI) находит применение в самых разных сферах, в том числе, например, при анализе результатов бенчмарков. Часто возникает задача сравнения производительности двух версий приложения на основе результатов бенчмарков (время выполнения тестов для нескольких прогонов и нескольких тестов), например, сравнение master ветки и feature ветки. Улучшение производительности в feature ветке (особенно, если она для улучшения производительности и создавалась) проверить можно условно и вручную, но также важно проверить, что нет деградации в других кейсах бенчмарков для feature ветки по сравнению с master веткой. Это можно решить статистическими методами, например, достаточно однофакторного дисперсионного анализа (ANOVA), здесь будет рассмотрен критерий Кохрена-Кокса, особенности его имплементации на PostgreSQL и возможные виды графиков для представления результатов. Интересующимся применением BI и ANOVA для сравнения производительности двух версий приложения на бенчмарках — добро пожаловать под кат :)
Как и в любом сообществе, на Хабре есть свои мифы, суеверия и легенды. Один из таких мифов звучит примерно так:
«Сегодня Хабр умирает особенно мощно. Администрация ресурса, ведомая беспрецедентной алчностью, распахнула ворота платформы перед коммерческими компаниями. И теперь солнце над Хабром навсегда заслонили корпоративные аккаунты, в которые пишут лишь посредственные рерайтеры и LLM. Разрозненная и всё уменьшающаяся горстка независимых авторов, помнящих, каким был тот Хабр, не способна ничего противопоставить стихийному бедствию. Ведь любую корпоративную статью через минуту после публикации боты накручивают до +10 рейтинга. И она катапультируется прямиком на первую страницу ленты Лучшее за сутки.»
Если попросить привести какие‑нибудь аргументы в пользу данного тезиса, вам вполне могут сперва сказать:
«Вы что, сами не видите?! По‑моему, это очевидно. Конечно, у меня нет точных данных, так как доступ к API Хабра закрыт и об истинном положении вещей мы можем лишь гадать, но...»
А после волшебного «но» продолжить:
«...но по моим внутренним ощущениям корпоративные рерайтеры пишут уже порядка 70‑80‑90% всех статей Хабра. Вот, например, одна статья, которая мне не понравилась. Разве может быть у статьи, которая мне не нравится такой высокий рейтинг? Не может! Уж поверьте моему опыту, я давно тут варюсь и всё‑всё знаю. А если уж вы хотите объективный критерий, то советую обратить внимание на отношение времени публикации в миллисекундах к количеству закладок. Оно выглядит крайне подозрительно»
У въедливого зануды подобный ответ мог бы породить ещё больше вопросов. Однако не все выражения, которые мы слышим в жизни предназначены для вдумчивого осмысления. Например, странно было бы обсуждать индексы Ласпейреса и Пааше в беседе, начавшейся с фразы «Вот раньше на рубль можно было купить первое, второе и компот, а сейчас...».
Тем не менее. Если вы тот самый въедливый зануда, для которого не «всё и так понятно», то специально для вас я взял карандаш, бумагу, графический программируемый калькулятор Casio fx‑7000G и кое‑что посчитал.
Байесовский подход применен к А/Б-тесту конверсий с 3 группами. Лучшая группа выбирается сравнением апостериорных распределений. Способ применим для других метрик и большего количества вариантов.
В первой части «Планирование и верификация офлайн A/B-тестов» мы разобрали, как подготовить данные и убедиться, что группы для эксперимента сопоставимы. Мы провели тщательную верификацию: сравнили метрики, проверили распределения и постарались исключить искажения ещё до старта.
Теперь — самое важное.
Во второй части речь пойдёт о том, как анализировать полученные данные и не ошибиться с выводами. Мы обсудим методы, позволяющие скорректировать влияние внешних факторов, научимся контролировать ошибки первого и второго рода, выбирать подходящий статистический критерий и оценивать надёжность результатов.
Если первая часть была про чистоту эксперимента, то вторая — про силу аргументов.
Привет! Меня зовут Елена Малая, я занимаюсь офлайн A/B-тестами в Бургер Кинг Россия.
В последнее время всё больше пишут про оффлайн-эксперименты — и это здорово. Но мне часто не хватало материалов, приближённых к реальности: когда данных мало, шум высокий, а каждый тест — как разведоперация.
Эта статья — о том, как я выстраивала методологию A/B-тестирования в условиях оффлайн-ритейла. Она для тех, кто работает с данными не в идеальном вакууме, а на земле — в ресторанах, ритейле, логистике.
Здесь не будет учебных формул — только рабочие подходы, предостережения и лайфхаки, собранные через тесты, ошибки и (маленькие) победы. Если вы, как и я, когда-то поняли, что "по книжке" оно не взлетает — welcome.
У многих отношение к девальвации очень отрицательное, негативное. Люди думают раз пользу будут получать только нефтяники, металурги и прочие которые экспортируют сырье на экспорт то нам обычным людям от этого пользы не будет никакой. Только рост цен.
Однако если сказать честно то цены растут и без девальвации. В последний раз большая девальвация тенге была в 2014-2016 годах. И те годы намного лучше были как в плане роста экономики так и роста заработных плат. В отличие от ковидных годов. Когда не понятно что происходит в экономике Казахстана или кризис или рост? Идет рост цен связанный с увеличением денежной массы. От которого нету никакого толку. Просто добавляются нолики (по монетарной теории в экономике должен быть постоянный рост денежной массы для роста экономики).
Если посмотреть на экономику Казахстана 2010-2019 годов. То они лично мне кажутся светлыми и вселяющими надежду. А 2020-2025 года как унылыми, непонятными. Депресивными. Почти каждый предприниматель которого я знаю говорит что они так и не отправились от ковида.
Для перезапуска экономики нужно много частных инвестиции. В обрабатывающею сферу. В сферу услуг. Но это идея так себе. Казахстан не имеет портов. А значит любой товар произведенный в Казахстане чисто в плане логистики будет проигрывать тем у кого есть доступ к морю. Да и инвестиционный климат не создается за один день.
И что в этом случае делать? Откуда взять деньги на рост экономики? Самый простой способ заключается в создании очень выгодных условии для ведения бизнеса. Сюда в первую очередь нужно отнести создание условии для местного бизнеса. Именно для местного бизнеса. Не Сделать доступным покупку или аренду земли. Сейчас в основном она в частных руках. Которые и сами не пользуются и другим не дают. Это можно решить введя специальный налог на неиспользуеммую землю.
Когда я сталкиваюсь с вопросом о том, как стать частью IT‑коммьюнити, последнее время на ум приходит промт‑инжиниринг — первая профессия, созданная непосредственно AI. Это мне кажется одним из самых простых способов влиться в IT и за несколько лет вырасти до солидного спеца.
Эта новая сфера и пока еще не каждый бизнес знает, как правильно с ней взаимодействовать. Хотя такое вторжение нейронок в повседневность и бизнес не прошло незамеченным. Например, в стенах МГУ и ВШЭ открываются новые курсы в области ML и AI, а моя команда фиксирует на джоббордах увеличение вакансий с упоминанием AI. Промт‑инжиниринг становится все более востребованной ролью, открывая огромное поле возможностей для экспериментов и развития.
В лонгриде мы разберем, кто такой промт‑инженер, собственно, почему его не стоит путать с ML и DS спецами, а затем по традиции оценим рынок и попробуем посмотреть в завтрашний день.
Привет, Хабр! Часто при тестировании идет сравнение производительности двух версий, например, master ветки и feature ветки. Допустим, идет сравнение по бенчмаркам, т.е. сравнивается время выполнения запросов для некоторого количества кейсов. Понятно, что если, например, в feature ветке есть улучшение производительности (и ветка создавалась как раз для улучшения производительности), это улучшение на целевых кейсах можно проверить даже вручную. Однако, осталось проверить, нет ли ухудшения производительности в остальных кейсах. Относительно точное вычисление производительности в смысле среднего времени выполнения запроса в конкретном кейсе требует нескольких прогонов кейса и может занять некоторое время, поэтому полная проверка всех кейсов (с десятками прогонов каждого кейса для получения более точного среднего результата) может занять, например, дни.
Однако, часто требуется лишь проверить лишь наличие деградации в feature ветке по сравнению с master, а не знать относительно точное время выполнения каждого запроса в feature ветке, это зачастую актуально для PR. Например, в feature ветке в одном кейсе два запроса выполняются за 300 и 300 секунд, а в master ветке для этого кейса за 12, 11, 10 секунд, нужно ли проводить несколько запусков кейса в feature ветке, или и так понятно, что есть деградация? Методы математической статистики позволяет формально ответить на этот вопрос с заданной вероятностью, например, 0.95, чтобы можно было принять решение формально, а не интуитивно. Интересующимся статистическими методами проверки отсутствия деградации — добро пожаловать под кат :)
Хабр, привет! Сегодня сравним два подхода к А/Б тестированию: байесовский и частотный. Обсудим сложности в интерпретации p-value. Посмотрим, как можно учитывать дополнительную информацию через априорное распределение. Остановим тест раньше времени и решим проблему подглядывания.
Всем привет! Меня зовут Андрей, я head of platform в довольно большой финтех компании. Мы с коллегами спорили, стоит ли выкладывать эту статью на Хабр, или тут маловато айти и много личной истории. Я решил рискнуть в личном блоге, и вот почему: во-первых, знаменитый мем про 300к/наносек не на пустом месте возник – нам, айтишникам, правда надо считать довольно прилично денег; во-вторых, наша индустрия очень любит данные, чтобы потом принимать на их основе всякие полезные решения (или стрелять себе в ногу, всякое бывает); в-третьих, деньги – традиционный и уважаемый измеритель успеха, с которым имеют дела почти все люди; в-четвертых – мое личное наблюдение – многие наши коллеги по индустрии отличаются выдающейся безалаберностью в отношении личных денег – спасают лишь любящие супруги и заботливые работодатели; наконец, в-пятых, я уверен, что грамотное ведение личных дел – надежный фундамент личной эффективности – то есть классных пет-проектов, отличных статьей на Хабре и так далее.
Начну издалека. Каждый взрослый дееспособный человек полностью отвечает за свое финансовое положение и располагает своим имуществом. А, как нас учат практики менеджмента, для управления чем-либо нужно понимать ситуацию “сейчас”, а также иметь какие-то данные для анализа, прогнозирования и дальнейшей обработки.
Вот ты, Юзернейм, знаешь, сколько у тебя денег? Хватит на новый макбук на М3 или надо дождаться зарплаты?
Если для ответа на этот вопрос требуется доставать телефон, открывать банковские приложения, прикидывать что-то в уме или даже считать наличные в кошельке или сейфе, то моя статья будет полезна. Даже для тех, кто в таких случаях звонит маме (доля шутки).
Привет! С вами команда аналитиков «Пятёрочки» X5 Tech. В данной статье мы расскажем про один из классических тестов в статистике — тест Уэлча (Welch's Test). Постараемся максимально раскрыть, когда и где стоит его применять и является ли он, на самом деле, тестом по умолчанию вместо Т‑test-a.
