Как стать автором
Обновить
3
0

Пользователь

Отправить сообщение

О степенях свободы в статистике

Время на прочтение8 мин
Количество просмотров226K
В одном из предыдущих постов мы обсудили, пожалуй, центральное понятие в анализе данных и проверке гипотез — p-уровень значимости. Если мы не применяем байесовский подход, то именно значение p-value мы используем для принятия решения о том, достаточно ли у нас оснований отклонить нулевую гипотезу нашего исследования, т.е. гордо заявить миру, что у нас были получены статистически значимые различия.

Однако в большинстве статистических тестов, используемых для проверки гипотез, (например, t-тест, регрессионный анализ, дисперсионный анализ) рядом с p-value всегда соседствует такой показатель как число степеней свободы, он же degrees of freedom или просто сокращенно df, о нем мы сегодня и поговорим.


Читать дальше →
Всего голосов 32: ↑31 и ↓1+30
Комментарии24

Методы анализа A/B тестов: как выбрать правильный метод для каждого типа метрик и размера выборки

Уровень сложностиСредний
Время на прочтение10 мин
Количество просмотров19K

Все, кто работает с аналитикой и продуктами, знают, что проведение А/Б тестирования — важный шаг для повышения эффективности бизнеса. Однако не всегда понятно, как проводить этот тест и какие статистические методы использовать. В этой статье я постараюсь помочь вам разобраться в этом вопросе. Вместо теоретических рассуждений будут практические советы, как выбирать метрики, как использовать различные статистические методы и примеры кода на Python, которые можно использовать сразу же. Эта статья станет незаменимой шпаргалкой для всех, кто планирует провести А/Б тест, и будет полезной как для новичков, так и для профессионалов.

Читать далее
Всего голосов 5: ↑3 и ↓2+1
Комментарии2

План самообразования по профессии продуктового аналитика

Время на прочтение12 мин
Количество просмотров19K

Привет, я работаю в сфере уже около 10 лет, преимущественно по специальности чистой продуктовой аналитики. Иногда я оглядываюсь назад и думаю — с текущим пониманием что и как устроено в работе, как бы я выстраивал свой процесс обучения с нуля?

Эта статья — мои мысли на эту тему. В каком порядке и какие материалы впитывать, чтобы потом комфортно себя чувствовать в любой продуктовой компании.

Из челленджей — все материалы должны быть бесплатными, или достаточно дешёвыми, чтобы была возможность бросить учёбу на пол пути (ну не зашло, бывает) и не жалеть о потраченных деньгах на мега-курс от %big_tech_name%.

В этой статье я попробую собрать план обучения профессии, как бы я вкатывался сейчас, что бы изучал раньше, что позже, на что бы потратил больше сил и времени и т.д. У некоторых пунктов будут аналоги, можно выбрать на свой вкус без потерь качества.

По итогам всех усвоенных материалов, это будет уровень знаний примерно middle+, но фактически, грейды зависят больше от опыта (особенно в программировании), чем от объёма знаний.

И последнее — я тут не пытаюсь продать курсы, поэтому обещать что будет весело, интересно и быстро, а потом вас наймут на 300к/наносек я не буду. Будет долго, местами сложно, иногда душно, пару раз вы захотите слиться и бросить эту идею. Но… нет, тут не будет но 🙂

Ладно, пожалуй хватит предисловия, поехали.

Читать далее
Всего голосов 20: ↑19 и ↓1+21
Комментарии7

Опросил больше 1000 айтишников: вранье в резюме и котируемость курсов по «вкатыванию в IT»

Время на прочтение7 мин
Количество просмотров131K

Получилось отследить довольно интересные тренды: как размер стажа в индустрии коррелирует с отношением к выдумыванию опыта в резюме, как в IT-среде на самом деле относятся к выпускникам школ в стиле «стань айтишником за год», а также рейтинг самых ненавидимых и респектуемых в среде профи школ.

Читать далее
Всего голосов 167: ↑146 и ↓21+147
Комментарии318

(Законы Акина) законы космической инженерии

Время на прочтение3 мин
Количество просмотров39K
1. Инженерная разработка — это цифры. Анализ без цифр — это просто мнение.

2. Создание правильной ракеты занимает бесконечное количество времени. Поэтому следует создавать ракеты, в которых что-то неправильно.
Читать дальше →
Всего голосов 82: ↑76 и ↓6+70
Комментарии29

Философия программирования 2 — Миф и язык

Время на прочтение10 мин
Количество просмотров58K
def Миф и язык extends «трёхнаправленное программирование»;

Миф о том, что русские программисты лучшие в мире, запущен вовсе не партийными пропагандистами, он возник на перестроечной волне, вместе с мифами о хозяине-предпринимателе, невидимой руке рынка и ста сортах колбасы. Миф, это то, что человек не читавший взрослых книг называет «мем», а человек вообще не читающий, называет правдой. Передача «Разрушители мифов» берёт поверхностные мифы, которые можно легко опровергнуть, например, бросив бутерброд с маслом на пол тысячу раз. А вот Гордон, в одном из своих первых телепроектов «Собрание заблуждений», брался за раскрытие мифов посложнее, такие мифы нельзя раскрыть затопив машину и проверив, можно ли всё-таки открыть двери до того, как машина полностью наполнится водой, они как плавающий баг у которого нету «steps to reproduce». Вспомните Холмса или Хауса, интеллектуал в первую очередь отличается тем, что видит невидимое — пока паникующие пассажиры всматриваются в туман за бортом, он закрывает глаза и всматривается в свои «чертоги разума», вспоминает карту местности и ТТХ парохода.


«Всё содержится в моих чертогах разума, вы же понимаете о чём я мистер Холмс? Я обладаю знаниями, и поэтому могу щёлкать доктора Ватсона по носу хоть целый день.»
Читать дальше →
Всего голосов 99: ↑61 и ↓38+23
Комментарии103

Вкатываемся в Machine Learning с нуля за ноль рублей: что, где, в какой последовательности изучить

Уровень сложностиПростой
Время на прочтение26 мин
Количество просмотров211K

Всем доброго времени суток. Я давно обещала выложить сюда подробный гайд на тему того, как можно изучать Machine Learning самостоятельно, не тратя деньги на платные курсы, и, наконец, выполняю свое обещание. Надеюсь, этот гайд станет подсказкой, которая поможет найти правильное направление новичкам, которые хотят погрузиться в нашу область.

Читать далее
Всего голосов 129: ↑127 и ↓2+155
Комментарии51

Семь раз отмерь, один раз отрежь: как не запутаться в метриках продукта, процесса и счастья команды

Время на прочтение7 мин
Количество просмотров40K
Сегодня моя цель – коротко рассказать о подходах data-informed продуктового менеджмента, который я исповедую и попытаться заинтересовать вас в использовании его базовых инструментов в ваших продуктах.

Короткий дисклеймер – я пришла в продуктовую разработку из проектного менеджмента в аутсорсе. Для меня стало неожиданностью, что в то время как продуктовым метрикам уделяется пристальное внимание, процессные и командные часто незаслуженно уходят на задний план.

Для себя я сформулировала, что измерения успешности продукта состоит из трех блоков:

— счастье пользователей;
— успешность (качественная и количественная) итераций и релизов;
— счастье команды.
Читать дальше →
Всего голосов 20: ↑19 и ↓1+18
Комментарии5

Ключевые метрики: как мы рассчитывали RPS, а пришли к custdev

Время на прочтение13 мин
Количество просмотров6.5K

Многие сталкиваются с проблемой оценки эффективности работы отдельной команды. Как понять куда двигается команда? На что она должна влиять, а на что может? Как её работа улучшает всю компанию?

Эти вопросы задавали и мы себе в команде Каталога приложения «Кошелёк». Поначалу ответы нам казались очевидными — выбираем метрику и по ней делаем все выводы.

В этой статье я расскажу, почему всё оказалось не так просто. Как мы прошли путь от одной метрики до продуктовых исследований, опросов и формирования системы метрик. И как сделать так, чтобы дашборды с показателями и графиками были не просто красочной картинкой, а приносили пользу команде и влияли на её планы и вектор развития.

Читать далее
Всего голосов 14: ↑14 и ↓0+14
Комментарии0

Как открыть ИП в Грузии гражданину России? FAQ 2023 / 2024

Время на прочтение15 мин
Количество просмотров89K

В этом материале, я собрал основную информацию про открытие ИП в Грузии и переходе на статус малый бизнес 1%. Отдельно, хочу отметить что Грузия не всегда подходит для приема платежей от иностранных компаний, если фрилансер проживает в РФ более чем 183 дня в календарном году, то есть является валютным резидентом РФ, так как Грузия не входит в ЕАЭС и не обменивается с РФ финансовой информацией в автоматическом режиме, соответственно валютные правила РФ накладывают определенные ограничения на граждан РФ по приему платежей на свои иностранные счета в Грузии, связанные с предпринимательской деятельностью.

Ранее, я уже говорил про валютные и налоговые правила РФ, отдельно про налоги в Грузии для физических лиц, подробно разобрал как фрилансеру в статусе ИП заплатить в РФ налоги с иностранных доходов, так что перед тем открывать где-то ИП для приема платежей от иностранных заказчиков, при условии преимущественного проживания в РФ, рекомендую ознакомится с информацией.

Читать далее
Всего голосов 23: ↑17 и ↓6+18
Комментарии43

«Бизнес с нуля. Метод Lean Startup». Книга за 15 минут

Время на прочтение14 мин
Количество просмотров190K


Lean Startup — это концепция бережливого производства. Эта методика помогает использовать научный подход для построения растущего бизнеса и избегать лишних затрат.

Рекомендуем к прочтению краткое изложение бестселлера Эрика Риса предпринимателям и всем, чья деятельность связана с инновациями и запуском продуктов.
Читать дальше →
Всего голосов 9: ↑9 и ↓0+9
Комментарии1

Когда у вас сберовские масштабы. Использование Ab Initio при работе с Hive и GreenPlum

Время на прочтение12 мин
Количество просмотров12K
Некоторое время назад перед нами встал вопрос выбора ETL-средства для работы с BigData. Ранее использовавшееся решение Informatica BDM не устраивало нас из-за ограниченной функциональности. Её использование свелось к фреймворку по запуску команд spark-submit. На рынке имелось не так много аналогов, в принципе способных работать с тем объёмом данных, с которым мы имеем дело каждый день. В итоге мы выбрали Ab Initio. В ходе пилотных демонстраций продукт показал очень высокую скорость обработки данных. Информации об Ab Initio на русском языке почти нет, поэтому мы решили рассказать о своём опыте на Хабре.

Ab Initio обладает множеством классических и необычных трансформаций, код которых может быть расширен с помощью собственного языка PDL. Для мелкого бизнеса такой мощный инструмент, вероятно, будет избыточным, и большинство его возможностей могут оказаться дорогими и невостребованными. Но если ваши масштабы приближаются к сберовским, то вам Ab Initio может быть интересен.

Он помогает бизнесу глобально копить знания и развивать экосистему, а разработчику — прокачивать свои навыки в ETL, подтягивать знания в shell, предоставляет возможность освоения языка PDL, даёт визуальную картину процессов загрузки, упрощает разработку благодаря обилию функциональных компонентов.

В посте я расскажу о возможностях Ab Initio и приведу сравнительные характеристики по его работе с Hive и GreenPlum.

  • Описание фреймворка MDW и работ по его донастройке под GreenPlum
  • Сравнительные характеристики производительности Ab Initio по работе с Hive и GreenPlum
  • Работа Ab Initio с GreenPlum в режиме Near Real Time
Читать дальше →
Всего голосов 10: ↑10 и ↓0+10
Комментарии24

Учимся учиться или как получить реальную пользу от курсов

Уровень сложностиПростой
Время на прочтение8 мин
Количество просмотров24K

Машина по продаже IT‑курсов исправно работает не первый год. Каждое рекламное объявление даёт классную перспективу: стань разработчиком за 6 месяцев, аналитиком за 8 или вовсе тестировщиком за 3. Плати деньги — и вопрос с учёбой и трудоустройством решён.

В реальности существует огромная пропасть между продающими обещаниями и реальным результатом. Можно спустить миллионы рублей на десятки курсов и в результате всё равно ничего не понимать. Как обойти эту ловушку, чтобы выбрать и пройти курс с максимальной пользой мы обсудили с Python‑разработчиком Николаем Свиридовым.

Читать далее
Всего голосов 19: ↑7 и ↓12-3
Комментарии4

Пережевывая логистическую регрессию

Время на прочтение20 мин
Количество просмотров47K


В этой статье, мы будем разбирать теоретические выкладки преобразования функции линейной регрессии в функцию обратного логит-преобразования (иначе говорят, функцию логистического отклика). Затем, воспользовавшись арсеналом метода максимального правдоподобия, в соответствии с моделью логистической регрессии, выведем функцию потерь Logistic Loss, или другими словами, мы определим функцию, с помощью которой в модели логистической регрессии подбираются параметры вектора весов $\vec{w}$.

План статьи:

  1. Повторим о прямолинейной зависимости между двумя переменными
  2. Выявим необходимость преобразования функции линейной регрессии $ f(w,x_i) = \vec{w}^T \vec{x_i}$ в функцию логистического отклика $\sigma(\vec{w}^T \vec{x_i}) = \frac{1}{1+e^{-\vec{w}^T \vec{x_i}}}$
  3. Проведем преобразования и выведем функцию логистического отклика
  4. Попытаемся понять, чем плох метод наименьших квадратов при подборе параметров $\vec{w}$ функции Logistic Loss
  5. Используем метод максимального правдоподобия для определения функции подбора параметров $\vec{w}$:

    5.1. Случай 1: функция Logistic Loss для объектов с обозначением классов 0 и 1:

    $L_{log}(X,\vec{y},\vec{w}) = \sum\limits_{i=1}^n(-y_i \mkern 2mu log_e \mkern 5mu \sigma(\vec{w}^T \vec{x_i}) - (1-y_i) \mkern 2mu log_e \mkern 5mu (1 - \sigma(\vec{w}^T \vec{x_i})) ) \rightarrow min$



    5.2. Случай 2: функция Logistic Loss для объектов с обозначением классов -1 и +1:

    $L_{log}(X,\vec{y},\vec{w}) = \sum\limits_{i=1}^n \mkern 2mu log_e \mkern 5mu (1+e^{-y_i\vec{w}^T\vec{x_i}}) \rightarrow min$

Читать дальше →
Всего голосов 10: ↑10 и ↓0+10
Комментарии20

[Business English] Как правильно откликаться на зарубежные вакансии

Время на прочтение3 мин
Количество просмотров3.2K

Постковидная реальность принесла нам безграничные возможности в плане выбора мест работы. Многие стали искать вакансии в зарубежных компаниях. К сожалению, отклики соискателей часто остаются без ответа. И это не из-за cancel culture, а из-за незнания правил хорошего тона в международном рекрутинге и иногда - из-за неумения грамотно сопроводить свою подачу.

В этом посте я дам несколько рекомендаций, которые повысят ваши шансы пройти отбор резюме и договориться на собеседование.

Cover letter, или первое впечатление

При отклике на вакансию, как правило, есть возможность написать сопроводительное письмо. Многие лениво ее игнорируют. И очень зря, ведь это шанс выделиться среди остальных кандидатов.

Сопроводительное письмо - это как питч в лифте. У тебя есть 30-60 секунд, чтобы произвести впечатление. Как это можно сделать?

1. Начни с фразы-хука, которая побудит читать дальше. 

▫️This is the role I’ve been preparing for during my entire career - К  этой роли я готовился на протяжении всей своей карьеры.

▫️This project is a perfect match for my professional interests - Этот проект - идеальное совпадение с моими профессиональными интересами. 

▫️The duties described ideally fit my skills and competencies - Описанные обязанности прекрасно соответствуют моим навыкам и компетенциям. 

2. Дай краткую выжимку из резюме. Описывай только самое релевантное. Подкрепляй тезисы конкретикой. 

▫️In my current position I have supervised / I am in charge of / I deal with … - На текущем месте работы я возглавляю / ответственен за / занимаюсь …

Читать далее
Всего голосов 9: ↑1 и ↓8-7
Комментарии3

О том, как я прошёл курсы по программированию и остался «выжившим» в IT. Советы тем, кто хочет начать учиться в 2023

Время на прочтение5 мин
Количество просмотров101K

Всем привет! Прочитав недавно пост "Невыжившие в IT", который попался в моей ленте, решил поделиться своим опытом прохождения курсов, вхождением в сферу и советами для тех, кто думает "Войти в АйТи в 2023 году", устраивайтесь поудобнее, приятного чтения!

Читать далее
Всего голосов 41: ↑30 и ↓11+28
Комментарии142

Путеводитель по Python. Пишем великолепный код

Время на прочтение6 мин
Количество просмотров83K

Доброго времени суток, Хабрахабр. Сегодня на крыле принес еще один перевод я (pdf-ки гугловского стайл гайда выложены). Хотя, кто знает, если кто-то оценит сию работу — быть может появится и продолжение. Как-то днём одним, предложил мне мой широко известный в узких кругах коллега scraplesh почитать ресурс — The Hitchhiker’s Guide to Python! называемый. Ресурс этот понравился мне. Понравились советы выдаваемые там. Понравилась канва повествования и вообще понравилось направление мысли автора. А если что-то хорошо на Ваш вкус, то нужно передавать это из уст в уста:) Итак, решил я сделать перевод данного ресурса. Но не всё так сразу — сначала будет пробная статья «на отклик» хабрасообщества. Если уважаемым гикам понравится сия тематика и изложение — будем стараться выпускать новые части. На первый «отклик» я выбрал раздел — "Writing Great Code" и в нем два подпункта «Structure is Key» и «Modules». Откликнемся под катом.
Читать дальше →
Всего голосов 64: ↑56 и ↓8+48
Комментарии8

Открытый курс машинного обучения. Тема 1. Первичный анализ данных с Pandas

Уровень сложностиПростой
Время на прочтение15 мин
Количество просмотров1M


Открытый курс машинного обучения mlcourse.ai сообщества OpenDataScience – это сбалансированный по теории и практике курс, дающий как знания, так и навыки (необходимые, но не достаточные) машинного обучения уровня Junior Data Scientist. Нечасто встретите и подробное описание математики, стоящей за используемыми алгоритмами, и соревнования Kaggle Inclass, и примеры бизнес-применения машинного обучения в одном курсе. С 2017 по 2019 годы Юрий Кашницкий yorko и большая команда ODS проводили живые запуски курса дважды в год – с домашними заданиями, соревнованиями и общим рейтингом учаcтников (имена героев запечатлены тут). Сейчас курс в режиме самостоятельного прохождения.

Читать дальше →
Всего голосов 44: ↑43 и ↓1+42
Комментарии61

Собеседование по Data Science: что могут спросить и где найти ответы на вопросы

Время на прочтение8 мин
Количество просмотров20K

Однажды я получил оффер от Deliveroo, в этой компании я должен был стать Data Science Manager. Пока я готовился к тому, чтобы приступить к выполнению своих обязанностей, оффер отозвали. У меня на тот момент не было подушки безопасности на случай продолжительного отсутствия работы. Я поделюсь с вами всем, что в итоге помогло мне получить сразу два оффера на должность Data Scientist от Facebook. Надеюсь, это поможет кому-то из вас выбраться из той сложной ситуации, в которой я оказался несколько месяцев назад.
Читать дальше →
Всего голосов 11: ↑10 и ↓1+18
Комментарии1

Материалы митапа для аналитиков: кейс с A/B-тестами и продвижение Доставки

Время на прочтение2 мин
Количество просмотров2.6K

На нашем последнем митапе для аналитиков спикеры рассказали, как избегать ошибок в экспериментах, в чём польза Доставки и как мы продвигали её на Авито, а также как мы сделали рекомендации для менеджеров по продажам в Salesforce. Собрали для вас видеозаписи выступлений с таймкодами. 

Читать далее
Всего голосов 5: ↑5 и ↓0+5
Комментарии0

Информация

В рейтинге
Не участвует
Зарегистрирован
Активность