Статистика в IT

❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_3

?Вопрос_3: Что такое преобразование Бокса-Кокса?

Преобразование Бокса-Кокса (Box-Cox transformation) - это преобразование, которое преобразует "ненормальные" зависимые переменные в нормальные переменные, так как нормальность является наиболее распространенным предположением при использовании многих статистических методов. Оно было предложено Георгом Боксом и Дэвидом Коксом в 1964 году.

Оно имеет параметр лямбда, который при значении "0" означает, что это преобразование эквивалентно лог-трансформации. Оно используется для стабилизации дисперсии, а также для нормализации распределения. Выбор оптимального значения параметра (лямбда) при использовании преобразования Бокса-Кокса может быть выполнен с использованием различных методов:

1. Метод максимального правдоподобия: В этом подходе подбирается значение (лямбда), которое максимизирует правдоподобие модели. Это можно сделать с помощью численных методов оптимизации, таких как метод Ньютона-Рафсона или метод Брента;

2. Критерии информационного критерия: можно использовать информационные критерии, такие как критерий Акаике (AIC) или критерий Шварца (BIC);

3. Кросс-валидация: При этом данные разбиваются на обучающую и проверочную выборки, и производится оценка преобразования Бокса-Кокса для различных значений (лямбда) на обучающей выборке. Затем оцениваются результаты на проверочной выборке и выбирается лучшее значение.
   
   https://t.me/DenoiseLAB

В 2023 году люди меньше проводят время в социальных сетях

Данные из отчета Mediascope за 2 квартал 2023 года. Время, проведенное в социальных сетях, снизилось сразу на 2%! Примерно так работают хайповые заголовки ? Можно раздуть тему об осознанном потреблении контента, бОльшем времени на реальную жизнь… Но время, проведенное в мессенджерах увеличилось сразу на 3%. ?

P.S. Отчет (медиапотребление в России) очень интересный и полезный, скачать можно тут.

Ассоциация «Руссофт» провела исследование инвестиционной активности в сфере разработки ПО за 2022 год. По этому исследованию, было сокращение общего объёма инвестиций в индустрии разработки на 48,5% до ₽120 млрд. Однако доля внешних инвестиций при этом возросла с 26,4% до 51,3%, а в абсолютном выражении объём внешних инвестиций в рублях остался неизменным — ₽61 млрд.

По итогам 2022 года потребность в инвестициях индустрии разработки ПО была удовлетворена на 63,4%, это чуть больше, чем в 2021 году (58%). По итогам 2021 года общий объём инвестиций в софтверной индустрии составил ₽232 млрд, что в 2,4 раза больше, чем в 2020 году.

Согласно прогнозам компаний, потребность в инвестициях по итогам 2023 года увеличится в 1,7 раза, но её удастся удовлетворить только на 49,5%. По оценке респондентов, общий объём инвестиций в 2023 году по сравнению с предыдущим годом может увеличиться на 32%, а объём внешнего финансирования — на 56%.

«МойОфис» заявила о продаже более 1 миллион штук коммерческих лицензий за всё время деятельности компании. Покупателем миллионной лицензии стал „АКРИХИН“ купившая „МойОфис Профессиональный 2“ и Squadus в рамках перехода на российское ПО. Об этом рассказали информационной службе Хабра в пресс‑службе разработчика офисных приложений.

Первая продажа лицензий «МойОфис» состоялась 7,5 лет назад 18 января 2016 года. Первым коммерческим клиентом стала компания «Аксофт», купившая 50 лицензий «МойОфис Профессиональный».

По словам генерального директора «МойОфис» Павла Калякина, пока доля российских производителей на рынке офисного ПО небольшая и составляет порядка 16%. Из них около 10% занимает «МойОфис». Его компания 2022 году зафиксировала шестикратный рост числа пилотных проектов внедрения, а в 2023 году было инициировано примерно 60% от общего объёма пилотных проектов 2022 года.

Число пользователей сервиса «Сбера» для самозанятых «Своё дело» превысило 1,5 млн человек, рассказали Хабру в пресс-службе банка.

Согласно представленным данным, чаще всего самозанятые работают в строительстве и ремонте (22,9%), в IT (13,6%), автоперевозках и автосервисе (13%), индустрии красоты (12,2%), маркетинге, рекламе и исследованиях (8,8%).

Больше всего зарегистрированных самозанятых живут в Москве (20,4%), Санкт-Петербурге (7,3%), Московской области (6,6%), Краснодарском крае (4,8%) и Свердловской области (3,2%). Средний возраст самозанятого — 34 года, мужчин и женщин примерно поровну.

«89% потребителей услуг самозанятых — физические лица. Треть из них работают с постоянными клиентами, а большинство новых клиентов приходят по рекомендации друзей и знакомых. Самый популярный способ оплаты услуг — перевод на карту», — рассказал Анатолий Попов, заместитель Председателя Правления Сбербанка.

Информационная служба Хабра посетила первый день конференции «Тема Еды»

На конференции выступал руководитель аналитики «Яндекс Еды» и Delivery Club Роман Халкечев. В своём докладе он рассказал, как локдаун ускорил развитие доставки готовой еды и продуктов, что снятие ограничений не уменьшило популярность доставки.

По словам Халкечева, количество заказов из ресторанов в «Яндекс Еде» среди пользователей из Москвы с 2019 выросло в 2,5, раза, а из Санкт‑Петербурга — в 5,5 раз. Остальные регионы по доставке из ресторанов растут с того же периода значительно больше — в 16 раз. Больше половины заказов готовой еды в «Яндекс Еде» приходятся на регионы, в 2019 году этот показатель составлял 20%.

По данным компании, треть жителей Москвы, Санкт‑Петербурга и Казани хотя бы раз заказывала еду из ресторанов с доставкой в прошлом году.

Сейчас в сервисах «Яндекс Еда» и Delivery Club используются технологии машинного обучения. С помощью технологий выясняются популярные сочетания позиций и на стадии оформления заказа и предлагается пользователю дополнить заказ. В некоторых регионах идёт тест улучшения изображений блюд с помощью генеративных нейросетей.

Кроме того, компания представила топ-3 фактора, влияющих на выбор ресторана среди пользователей — это скорость доставки в 66%, стоимость доставки в 65% и рейтинг заведения в 57%.

«Авито» заявила о новых рекордах по количеству активных объявлений и активной аудитории платформы

Компания «Авито» заявила о новом рекорде по количеству доступных на платформе активных объявлений — по итогам апреля 2023 года их стало 150 млн, рассказали информационной службе Хабра в пресс‑службе палтформы. Предыдущий рекорд в 100 млн активных объявлений на Авито был установлен в мае 2022 года.

По данным портала SimilarWeb на 1 апреля 2023 года, количество визитов на Авито составляет 366,7 млн в месяц. По этому показателю платформа занимает первое место классифайдов в мире.

Кроме того, в марте 2023 года активная аудитория Авито установила новый рекорд в 61 млн человек в месяц. За последний год компания инвестировала ₽20 млрд в развитие и поддержку продуктовых решений на платформе и в обучение пользователей.