Search
Write a publication
Pull to refresh
1
0
Send message

50 оттенков линейной регрессии, или почему всё, что вы знаете об A/B тестах, помещается в одно уравнение

Reading time18 min
Views27K

Всем привет! A/B тестирование уже давно стало стандартом в проверке гипотез и улучшении продуктов в X5. Но, как ни странно, многие из «модных» техник, которые применяются в A/B тестировании, на самом деле, не что иное, как вариации старой доброй линейной регрессии. 

Основная идея здесь проста: правильное добавление новых переменных в модель помогает лучше контролировать внешние факторы и уменьшать шум в данных. Это позволяет точнее оценить эффект от воздействия и объединить разные статистические подходы, которые обычно рассматриваются отдельно. Но почему это работает? Почему всё сводится к тому, что добавление переменных помогает объединить, казалось бы, разрозненные техники? 

Чтобы разобраться в этом, для начала вспомним основы линейной регрессии, после чего перейдём к различным статистическим методам снижения дисперсии и покажем, как они сводятся к линейной регрессии. Затем объединим все техники вместе и на примере покажем, как они работают на практике.

Читать далее

Как мы поняли, что произвести 12 тонн масла легче, чем продать его на маркетплейсах

Reading time9 min
Views16K

Мы производим 19 видов растительных масел. За 3 года вышли на оборот 200 млн, продаем на маркетплейсах, и даже 2 раза горели на складах Озона и Вайлдберриз. В статье расскажу, почему открыть производство может каждый, а вот выжить на маркетплейсе — нет.

Делаем именно сыродавленное масло, например, миндальное и льняное, которое очень любят сыроеды и любители здорового питания. Они могут делать его у себя на кухне с помощью домашнего пресса. Так вот, мы делаем то же самое — просто вместо килограмма семян на кухне у нас 40 тонн на производстве.

Читать далее

Распознавание капчи – разбираемся в сложном для понимания процессе максимально просто

Level of difficultyEasy
Reading time7 min
Views3.2K

Капча – это не отдельное слово, которому можно дать определение, а целых девять слов (и два предлога) - Completely Automated Public Turing Test To Tell Computers and Humans Apart. Сократили это все до емкого CAPTCHA, чтобы не создавать очередное сложнопроизносимое слово. В переводе на русский эта аббревиатура звучит так - Полностью автоматизированный публичный тест Тьюринга для различения компьютеров и людей.

Не получается из этого набора слов КАПЧА, правда? Да это в принципе и не нужно, всем и так понятно о чем идет речь. Найди указанные картинки, или введи указанный текст, чтобы подтвердить что ты не робот.

Читать далее

10 практических применений языка Go

Level of difficultyEasy
Reading time4 min
Views3.1K

Go — это современный язык программирования, разработанный Google. Он обладает высокой производительностью, простотой использования и подходит для широкого спектра задач, от веб-разработки до системного программирования.

Ключевые особенности Go:

Высокая производительность: Go компилируется в машинный код, обеспечивая высокую скорость выполнения.

Простота использования: Синтаксис Go ясный и лаконичный, что упрощает процесс обучения и разработки.

Конкурентность: Go предоставляет встроенные средства для эффективного выполнения параллельных задач.

Статическая типизация: Статическая типизация помогает предотвращать ошибки во время компиляции.

Стандартная библиотека: Богатая стандартная библиотека Go предоставляет инструменты для различных задач, включая сетевое программирование, обработку данных и многое другое.

Читать далее

Перспективы роботизации: андроиды в космосе и на кухне

Level of difficultyEasy
Reading time10 min
Views964

Привет, Хабр!

Дискуссионный тезис о том, что советская плановая система экономики была не так уж и плоха и ее надо бы вернуть, перестал быть предметом дискуссий. Теперь это реальность. Глава государства и правительство РФ ставят задачи, а ведомства разрабатывают соответствующие планы по отраслям. Стратегическое планирование коснулось и области высоких технологий. В частности, на недавнем ПМЭФ-2024 Владимир Путин заявил о нетривиальной цели: «Россия за короткий срок должна войти в топ-5 стран мира по плотности роботизации». Глава государства отметил, что производство роботов следует развивать на собственной технологической базе.

О том, на каком уровне находится сейчас эта база, достаточно ли у нас ресурсов для выполнения такого масштабного плана мы поговорили с председателем правления Консорциума робототехники и систем интеллектуального управления Евгением Дудоровым.

Читать далее

Постыдная книга оборотня, Или из коалы в капибары: кто атакует страны СНГ

Level of difficultyEasy
Reading time9 min
Views2.1K

Не так давно мы рассказывали про атаки киберпреступников в странах Юго-Восточной Азии. Регион СНГ не отстает по интересу к нему злоумышленников. Одна из основных угроз здесь — атаки кибершпионских групп. В 2023-м и первой половине 2024 года их доля составила 18% от общего числа успешных атак  на СНГ в этот период.

В этой статье мы расскажем про APT-группировки, «работающие» на территории СНГ, и методы, которые они используют в атаках, а также поделимся интересными инсайтами из большого исследования, полную версию которого можно найти на сайте.

Кто же атакует страны СНГ?

Vosk vs Whisper — сравнение на raspberry pi 4b

Reading time7 min
Views3.3K

В статье предлагается рассмотреть работу младших моделей преобразования речи в текст на edge устройстве — raspberry pi 4b. Фраза будет непростая, хоть и короткая — в ней будут элементы и русской, и английской речи. В соревновательный состав войдут представители семейства whisper: whisper, whisper-cpp, whisper-jax и vosk. Будет проведена оценка скорости и точности работы. Также, в качестве бонуса, будет предпринята попытка перевести фразу с таджикского языка на русский с помощью vosk.
Читать дальше →

Эхо Дайджест: совет Линуса Торвальдса на все времена

Reading time5 min
Views8.8K

Сэм Альтман выпустил заметку о будущем ИИ; Микрон разработал первый отечественный UHF-чип для RFID-меток с дальностью считывания до 14 метров; Десять самых перспективных полупроводниковых стартапов 2024 года; И многое другое.

Читать далее

Как настроить LLM на локальном сервере? Краткое руководство для ML-специалистов

Level of difficultyMedium
Reading time6 min
Views17K

Привет, Хабр! Все чаще коллеги из ML замечают, что компаниям нравятся возможности ChatGPT, но далеко не каждая готова передавать данные во внешние АРІ и жертвовать своей безопасностью. В результате команды начинают внедрять open source-LLM, развернутые локально. Чтобы осуществить этот процесс, инженерам нужно выполнить две задачи.

  • Сделать удобную «песочницу» для экспериментов, чтобы быстро проверять гипотезы для бизнеса.
  • Эффективно масштабировать найденные кейсы внутри компании, по возможности снижая затраты на ресурсы.

В статье рассказываем, какие есть проблемы у open source-LLM и как оптимизировать инференс модели с помощью квантизации и LoRA-адаптеров. Подробности под катом!

Автор: Алексей Гончаров, основатель платформы Compressa.ai для разработки GenAI-решений на своих серверах.
Читать дальше →

Академическая кривая Великого Гэтсби

Reading time2 min
Views1.8K

Пожалуй, одним из самых известных в западной литературе героев, поднявшихся из низов, можно считать Джея Гэтсби Скотта Фицжеральда. В его честь даже назвали знаменитую кривую, которая показывает связь между экономическим неравенством и межпоколенческой мобильностью. Ожидаемо, что чем выше экономическое неравенство, тем сильнее доходы родителей влияют на будущие доходы их отпрысков. Впрочем, это совсем другая история.

Как оказалось, кривая Великого Гэтсби существует не только в экономике, но и в академической среде. В одном из свежих исследованиях по теме были проанализированы академические успехи 245 000 пар наставник-подопечный на примере их цитируемости. Исследователями был взят период с 2000 по 2013 год, за это время эти пары написали в общей сумме 10 миллионов статей в 22 различных дисциплинах. Изучая показатели цитируемости на протяжении последующих пяти лет после вступления на самостоятельный путь академической карьеры, учёные обнаружили, что высокая цитируемость наставников передаётся их подопечным. Проще говоря, если у вашего научного руководителя был высокий индекс цитируемости статей, то и у вас он будет выше. Верно и обратное утверждение.

Читать далее

Как цифровые наркотики мешают мне нормально мыслить и достигать своих целей

Level of difficultyEasy
Reading time12 min
Views24K

Сегодня я хочу публично признаться в том, что у меня мощнейшая цифровая зависимость, на уровне наркомании. Сформированные за годы привычки в области цифрового поведения привели меня туда, где я нахожусь сейчас. Я утратил способность сфокусировано работать, учиться и даже потреблять качественный контент при недостаточной симуляции дофоминовых рецепторов.

Мой мозг настолько перегружен ненужной информацией, некачественным контентом и лишними взаимодействиями с людьми, что я уже не понимаю, где мои мысли и способен ли я принимать качественные решения.

Ниже я опишу некоторые симптомы. Если вы встретите что-то похожее в своём поведении, то это статья для вас. Я пишу эти строки в надежде, что публичный анализ проблемы может помочь как мне, так и вам что-то изменить в своей жизни и добиться результатов, которыми можно будет гордиться.

Кто-то назовёт ситуацию привычным словом «прокрастинация», однако проблема гораздо глубже. Она связана с культурой производства аддиктивных цифровых продуктов. Продукты, вызывающие доверие, интерес, любовь и комфорт у пользователей которые хороши для кратного ежегодного роста стартапов, но наносят критический вред наиболее экономически активной части населения. О том, что они делают с детьми, у которых не сформированы навыки критического мышления мне даже страшно задумываться. Я искренне считаю, что наряду с развитием искусственного интеллекта, который уже отлично умеет выявлять наши слабости и глубинные потребности, развитие технологий в перспективе пары десятков лет приведёт нашу цивилизацию к идеокртии. Это будет странный мир, общество разделится на две части — цифровые наркоманы и люди, отрицающие продвинутые технологии. И я не могу с уверенностью сказать, в какой из этих групп мне самому хотелось бы оказать. Наверное, эта статья является чем-то вроде манифеста.

Читать далее

Надежность в процессах. Часть 2

Level of difficultyMedium
Reading time12 min
Views1.7K

1 Терминология

В «Надежность в процессах. Часть 1» [OpRes24-1] были определены (упрощены): надежность, процесс и надежность в процессах. Надежность – это способность безотказно работать (работать без отказов). Надежность процесса – это как способность безотказно работать («главное процесс»), так и выдавать требуемый результат («главное результат»). Количественно – это вероятность безотказной работы (вероятность застать процесс работоспособным) и вероятность требуемого результата на выходе процесса.

Для восстанавливаемых систем, а процессы в основном – это восстанавливаемые системы, применяют коэффициент готовности – вероятность в произвольный момент времени застать систему (в данном случае процесс) в работоспособном состоянии.

Это относится как ИТ-системе (кластер серверов) и не ИТ-системе (сейф), так и к системе процессов (операций) и составных частей процесса, включая его ресурсы.

Если в классической теории надёжности (Надёжность в технике [27.002]) обычно рассматриваются внутренние воздействующие деструктивные факторы на техническую систему типа отказ \ сбой оборудования \ ПО, то «Надежность в процессах и операциях» (операционная надёжность) рассматривает также непреднамеренные ошибки персонала (операционные риски) и внутреннее мошенничество, внешние атаки на процессы компании, клиентов компании (социальная инженерия), стихийные бедствия (техногенные катастрофы). В конечном счете неважно: «система процессов» отказала (не выполнила задачу) из-за какой-либо поломки или из-за ее перегрузки (от нежданного «наплыва клиентов» до DDoS-атаки), поэтому в состав показателей Надежность в процессах добавляем «доступность»:

Читать далее

Руководство по межпроцессному взаимодействию (IPC) в Linux — Часть 3

Level of difficultyMedium
Reading time12 min
Views5.7K

Представляю вашему вниманию третью (заключительную) часть перевода статьи A guide to inter-process communication in Linux.

Первая часть перевода была посвящена общему введению в курс дела и механизму разделяемого хранилища (shared storage). Во второй части были рассмотрены механизмы каналов (именованных и неименованных) и очереди сообщений. В третьей части автор статьи ставит перед собой цель рассказать вам о сокетах и сигналах; подводит общие итоги по межпроцессному взаимодействию в Linux.

Приятного чтения!

Читать далее

Как я управляю временем, чтобы все успевать: адская смесь Time Blocking, Pomodoro и дофаминовых циклов

Level of difficultyEasy
Reading time7 min
Views57K

Привет! Я Женя, CPO в корпоративном мессенджере Compass. Было бы круто управлять временем, как в старенькой TimeShift, в которой я зависал в 2008 году, но нет. Зато можно поностальгировать, глядя на скриншоты.

Сегодня расскажу о своём подходе к планированию и тайм-менеджменту, который помогает не выгорать и справляться со всеми рабочими задачами.

Путь к нему оказался трудным и полным ошибок. До того, как я пришел к подходу, я попробовал несколько популярных методик контроля времени и внимания — ни одна не помогла, а иногда даже фрустрировали.

Поэтому мне пришлось подтянуть теорию и найти свое удобное решение.

Читать далее

USB GPIO EXTENDER – ещё одна возможность управления нагрузками с роутера Микротик

Level of difficultyEasy
Reading time8 min
Views9.8K
Ранее, я писал несколько статей о возможности управления реле непосредственно из Роутер ОС Микротик таких устройств как Laurent и Rodos, а также при использовании возможностей встроенных GPIO RB Mikrotik 33G. Многие считают это не нужным или не дооценивают, а зря, так как это весьма полезный функционал, например, для перезагрузки зависшего сетевого оборудования, включения дополнительного оборудования или аппаратной защиты ПК, NAS и др. непосредственно с роутера.

Недавно, я нашёл в Интернет отечественную компанию «Открытые разработки» и её продукт USB GPIO EXTENDER – маленькое и симпатичное устройство для USB-порта, имеющее «на борту» 10 цифровых линий: 5 линий ввода и 5 линий вывода.

image
Рис 1. USB GPIO EXTENDER
Читать дальше →

Verilog. Цифровой фильтр на RAM

Reading time5 min
Views24K
Что делать, если нужно разместить большой цифровой фильтр на FPGA? А если плата уже разведена? Железо старое? В проекте осталось мало места? В этом топике будет рассмотрена одна из возможных реализаций цифрового КИХ фильтра на FPGA Altera Cyclone II EP2C15. По сути это продолжение вот этой темы из песочницы.
Будет рассказано, как сделать сдвиговый регистр на RAM, уменьшив при этом затраты LE, и как из этого получить цифровой фильтр.
Читать дальше →

Построение цифрового фильтра с конечной импульсной характеристикой

Reading time3 min
Views130K
Вступление издалека

Недавно передо мной встала достаточно интересная задача, с которой я раньше никогда не сталкивался — борьба с шумом. Мы принимали сигнал с датчиков на аналогово-цифровой преобразователь (АЦП)
А так как данная тема для меня была (хотя и сейчас есть кое-где) темным лесом, я пошел мучить вопросами гугл, мне показалось освещена эта тема не очень подробно и доступно, поэтому решил написать статью с примером разработки и готовым исходником.
Читать дальше →

Реализация на Verilog цифрового БИХ-фильтра

Reading time5 min
Views20K
Приветствую Хабр. Не так давно здесь уже появлялись статьи на эту тему Verilog. Цифровой фильтр на RAM и Построение цифрового фильтра с конечной импульсной характеристикой. Хочу и я внести свой скромный вклад и представить вашему вниманию реализацию цифрового БИХ-фильтра на Verilog.
Итак, прошу...

Захват аналогового видеосигнала при помощи STM32F4-DISCOVERY

Reading time14 min
Views176K
image
В этой статье я расскажу о том, как можно захватывать аналоговый черно-белый видеосигнал с помощью платы STM32F4-DISCOVERY, и об особенностях передачи его на компьютер при помощи USB.
Читать дальше →

Специалисты по теории струн случайно нашли новую формулу для числа пи

Level of difficultyMedium
Reading time4 min
Views14K

Число пи (π) появляется в самых маловероятных местах. Конечно, его можно найти в кругах, а также в маятниках, пружинах и изгибах рек. Это повседневное число связано с трансцендентными тайнами. Оно вдохновляло шекспировские головоломки, задачи по выпечке и даже на создание оригинальной песни. И пи продолжает преподносить сюрпризы — последний из них произошёл в январе 2024 года, когда физики Арнаб Прия Саха и Анинда Синха из Индийского института науки представили совершенно новую формулу для его вычисления, которую они позже опубликовали в журнале Physical Review Letters.

Читать далее

Information

Rating
Does not participate
Registered
Activity