Статистика в IT

Портал DB-Engines обновил рейтинг популярности СУБД и присудил звание СУБД 2023 года проекту PostgreSQL, который за год продемонстрировал наибольших рост популярности из 417 отслеживаемых систем. Второе место досталось облачной платформе Databricks (за год поднялась с 19 на 17 место), а третье место занял движок Google BigQuery (поднялся с 21 на 19 место).

Ранее PostgreSQL уже признавался СУБД года в 2020, 2018 и 2017 годах. В 2022 году и 2021 году это звание было закреплено за СУБД Snowflake, а в 2019 его получило MySQL, в 2016 - Microsoft SQL Server, в 2015 - Oracle, в 2013 и 2014 годах - MongoDB.

По методике расчёта рейтинг СУБД напоминает рейтинг языков программирования TIOBE и учитывает популярность запросов в поисковых системах, число результатов в поисковой выдаче, объём обсуждений на популярных дискуссионных площадках и в соцсетях, число вакансий в агентствах по найму персонала и упоминаний в профилях пользователей.

Что касается распределения СУБД в рейтинге, PostgreSQL продолжает занимать 4 место, несмотря на наибольший во всем рейтинге рост популярности - 34.11 балла. Рост популярности также демонстрирует проект Databricks и Snowflake. C 8 на 7 место поднялось решение Elasticsearch, а с 33 на 29 - СУБД Firebird, c 44 на 37 - ClickHouse, с 62 на 50 - Prometheus, с 48 на 42 - OpenSearch, с 85 на 76 - TimescaleDB.

Значительное снижение популярности в 2023 году наблюдается у MySQL, Microsoft SQL Server, MongoDB, Redis и SQLite.

Источник: OpenNET.

За три года Sony продала 50 млн консолей PlayStation 5. Компания смогла справиться с нехваткой компонентов, вызванной проблемами в цепочке поставок на фоне пандемии COVID-19. Запуск игрового устройства состоялся в ноябре 2020 года. PS5 удалось достичь отметки в 50 млн реализованных экземпляров на неделю раньше, чем это потребовалось PlayStation 4.

Японской компании удалось почти в три раза превзойти по продажам Xbox Series X/S от Microsoft. Корпорация не публикует данные о количестве реализованных консолей.

По оценкам Ampere Analysis, Microsoft продала 7,6 млн Xbox Series X/S в 2023 году, что на 15% ниже показателя за 2022 год. Исследователи отмечают, что в текущем году продажи PS5 выросли примерно на 65% и достигли 22,5 млн устройств. В этом году Nintendo реализовала на 18% меньше Switch, чем в прошлом — 16,4 млн.

❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_14 (Часть_1)

Какие подходы могут помочь модели сохранить стабильность популяции при изменении данных?

1. Кросс-валидация (Cross-Validation): Кросс-валидация позволяет оценить производительность модели на разных подмножествах данных. Например, метод k-fold cross-validation разбивает данные на k подмножеств, называемых фолдами. Модель обучается на k-1 фолдах и оценивается на оставшемся фолде. Этот процесс повторяется k раз, каждый раз используя разные фолды. Таким образом, модель оценивается на различных подмножествах данных, что помогает выявить ее стабильность популяции.

2. Стратифицированная выборка (Stratified Sampling): При формировании обучающей и тестовой выборок можно использовать стратифицированный подход. Это означает, что при разделении данных на выборки будут сохранены пропорции классов или распределений признаков. Такой подход помогает уменьшить возможное искажение данных при изменении популяции.

   t.me/DenoiseLAB (Еесли вы хотите быть в курсе всех последних новостей и знаний в области анализа данных);

Опубликованы результаты исследования поддержки кириллических адресов электронной почты наиболее популярными в РФ информационными ресурсами в рамках изучения готовности популярных сайтов к корректной работе с различными видами кириллических e-mail-адресов: содержащих символы кириллицы юникода в локальной части адреса (до знака @) и/или кириллические доменные имена российской национальной доменной зоны (после знака @).

По результатам исследования, уровень принятия ресурсами полностью или частично кириллических e-mail-адресов, демонстрирующий корректность работы форм ввода сайта, составил:

• 44% сайтов успешно принимают e-mail-адреса с латинскими символами в локальной части адреса и кириллическим доменным именем (вида ascii@юникод.юникод);

• 34% сайтов успешно принимают e-mail-адреса с кириллической локальной частью и доменным именем на латинице (вида юникод@ascii.ascii);

• 29% сайтов успешно принимают полностью кириллические e-mail-адреса (вида юникод@юникод.юникод).

Уровень подтверждения полностью или частично кириллических e-mail-адресов, демонстрирующий корректность работы почтовых сервисов, составил:

• 37% сайтов успешно отправляют письма на e-mail-адреса с латинскими символами в локальной части и кириллическим доменным именем;

• 3% сайтов успешно отправляют письма на e-mail-адреса с кириллической локальной частью и доменным именем на латинице;

• 3% сайтов обеспечивают корректную работу со всеми видами кириллических адресов: успешно принимают и отправляют подтверждения на такие адреса.

«Базальт СПО» рассказал о своих итогах поставок программного обеспечения в образовательные учреждения за три квартала 2023 года. За озвученный период в различные учебные заведения (школы, вузы, средние профессиональные образовательные организации и другие учреждения, связанные с системой образования) было поставлено 77 тысяч лицензий всех операционных систем от российской компании («Альт Образование», «Альт Рабочая станция», «Альт Сервер», «Альт Виртуализация», «Альт СП»), из которых 40 тысяч были поставлены бесплатно, а 37 тысяч лицензий были проданы на сумму ₽27,3 млн.

Из 37 тысяч купленных лицензий 27 685 лицензий ОС «Альт» купили 600 школ, 4852 были куплены 30 вузами, 2667 купили организации дополнительного образования, и средние профессиональные образовательные организации приобрели 1360 лицензий. «Базальт СПО» прогнозирует, что за весь 2023 году общее число лицензий, предоставленных образовательным организациям, превысит 103 тысячи.

По общему количеству лицензий, проданных образовательным организациям, в топ-5 самых активных регионов вошли Московская область (7272 лицензии), Оренбургская область (4836 лицензий), Новосибирская область (3452 лицензии), Свердловская область (3165 лицензий), город Санкт‑Петербург (2479 лицензий).

«Яндекс» опубликовал исследование, посвящённое настройкам доступности, которые пользователи «Яндекс Браузера» включают на iOS и Android в России.

Настройки доступности — это специальные функции в системных настройках смартфона, которые помогают упростить взаимодействие с устройством, изменив внешний вид контента под нужды пользователя.

По данным «Яндекса», 51% пользователей мобильного Браузера, или более 20 миллионов человек, используют хотя бы одну настройку доступности на Android и iOS. Самыми популярными функциями стали:

• изменение размера шрифта — 35%, или 14 миллионов пользователей;

• тёмная тема — 27%, или около 11 миллионов пользователей;

• монозвук — 3%, или почти 1,5 миллиона пользователей;

• увеличение контрастности — 2%, или более 800 000 пользователей;

• субтитры — 2%, или более 800 000 пользователей.

Исследование «Яндекса» основано на обезличенной информации, актуальной на октябрь 2023 года.

❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_13

?Вопрос_13: Какие есть альтернативы Expectation-Maximization (EM) ?

1. Markov Chain Monte Carlo (MCMC): MCMC - это класс методов, которые позволяют проводить сэмплирование из сложных распределений, таких как постериорные распределения параметров моделей. MCMC методы генерируют последовательность сэмплов, которая соответствует искомому распределению. MCMC алгоритмы, такие как Metropolis-Hastings и Gibbs sampling, являются альтернативой EM и позволяют оценивать параметры модели, учитывая скрытые переменные.

2. Stochastic Gradient Variational Bayes (SGVB): SGVB - это метод, который комбинирует идеи градиентного спуска и вариационного вывода для оценки параметров моделей. Он позволяет приближенно оптимизировать параметры модели, используя стохастические градиенты, что делает его масштабируемым для больших наборов данных. SGVB широко применяется в глубоком обучении и моделях с динамическими параметрами.

3. Bayesian Optimization: Bayesian Optimization (байесовская оптимизация) - это метод, который позволяет находить оптимальные значения гиперпараметров модели. Вместо оценки параметров модели, как делает EM, байесовская оптимизация исследует пространство гиперпараметров с целью нахождения наилучших настроек модели с использованием итераций оптимизации и апостериорных распределений.

t.me/DenoiseLAB (Еесли вы хотите быть в курсе всех последних новостей и знаний в области анализа данных);

❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_11

?Вопрос_11: Какие есть альтернативы Affinity Propagation ?

1. Агломеративная кластеризация (Agglomerative Clustering): Это иерархический метод кластеризации, который начинает с каждой точки данных в отдельном кластере и последовательно объединяет ближайшие кластеры, пока не достигнет заданного числа кластеров или критерия объединения. Агломеративная кластеризация может работать как с евклидовыми расстояниями, так и с другими метриками.

2. Gaussian Mixture Models (GMM): Это статистическая модель, которая представляет каждый кластер как смесь нормальных распределений. GMM моделирует данные с помощью вероятностей и может обнаруживать скрытые кластеры и моделировать данные с разной формой распределения.

3. Spectral Clustering: Этот алгоритм использует спектральные методы для преобразования данных в новое пространство и выполнения кластеризации. Он основан на вычислении собственных векторов матрицы сходства данных и последующем применении методов кластеризации на полученных спектральных коэффициентах.

   t.me/DenoiseLAB (Еесли вы хотите быть в курсе всех последних новостей и знаний в области анализа данных)

❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_9

?Вопрос_9: В чем разница между Rapids, Vaex, Pandas, Polars, Modin, Dask они же все для анализа данных ?

✔️Ответ:

1. Pandas предоставляет гибкие структуры данных, такие как DataFrame, и мощные инструменты для манипуляции, фильтрации, агрегации и анализа данных. Pandas обычно используется для работы с небольшими и средними объемами данных, которые могут поместиться в оперативную память одного компьютера;

2. Dask позволяет обрабатывать данные, превышающие объем доступной оперативной памяти, с использованием распределенных вычислений. Dask предоставляет абстракции, такие как DataFrame и Array, которые подобны структурам данных из Pandas и NumPyx;

3. Polars обладает высокой производительностью благодаря использованию Rust в своей реализации, а также предлагает возможности параллельной обработки данных. Она может работать с большими объемами данных и поддерживает некоторые распределенные вычисления;

4. Vaex использует ленивые вычисления и эффективные алгоритмы для выполнения операций над данными. Она обладает высокой производительностью и может работать с многопоточностью, многопроцессорностью и распределенными вычислениями;

5. Modin предоставляет интерфейс, совместимый с Pandas, но с оптимизированной производительностью. Она использует различные движки обратной совместимости, такие как Dask и Ray, для распределенных и параллельных вычислений.

   https://t.me/DenoiseLAB

❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_8

?Вопрос_8: Какие алгориммы поиска аномалий в данных существуют и чем они отличаются ?

✔️Ответ:

• DBSCAN (Density-Based Spatial Clustering of Applications with Noise) - алгоритм кластеризации данных, который основывается на плотностной информации о расположении объектов. Он определяет кластеры как плотные области в пространстве признаков, разделенные областями разреженности;

• LOF (Local Outlier Factor): LOF также использует информацию о плотности для обнаружения аномалий. Он вычисляет локальный коэффициент выброса для каждого объекта, основываясь на плотности окрестности данного объекта по сравнению с плотностью окрестности его соседей. Значения LOF выше единицы указывают на аномальные объекты;

• Isolation Forest использует случайные деревья для изоляции аномалий. Он строит ансамбль изолирующих деревьев, разделяя объекты по случайным разделениям до тех пор, пока каждый объект не будет изолирован в отдельном листе. Аномалии обычно требуют меньшего числа разделений для изоляции, и поэтому имеют более короткий путь в дереве;

• One-Class SVM (Support Vector Machines): One-Class SVM - алгоритм, который строит модель только для "нормальных" данных. Он пытается найти гиперплоскость, которая наилучшим образом разделяет нормальные данные от выбросов в пространстве признаков. Объекты, находящиеся далеко от этой гиперплоскости, считаются аномалиями.

  https://t.me/DenoiseLAB

❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_7

?Вопрос_7: Какие есть разновидности Adam optimization и в чем их разница ?

✔️Ответ:

1. AdamW вводит дополнительное слагаемое в обновление параметров модели для уменьшения влияния больших значений параметров. Это помогает справиться с проблемой увеличения значений параметров во время обучения нейронных сетей, что может приводить к переобучению. Дополнительное слагаемое регуляризует обновление параметров и способствует лучшей обобщающей способности модели;

2. Nadam (Nesterov-accelerated Adaptive Moment Estimation) является вариацией алгоритма Adam с коррекцией Nesterov Momentum. Она использует модификацию алгоритма Momentum для вычисления градиентов в моменты времени, отличные от текущего;

3. AMSGrad (Adaptive Moment Estimation with Variance Correction) вводит исправление для оценки второго момента градиентов. Оно предотвращает возможное увеличение оценки второго момента в сравнении с алгоритмом RMSprop;

4. AdaBelief использует адаптивные скорректированные оценки моментов и вводит дополнительные гиперпараметры для контроля скорости обучения и сглаживания оценок моментов;

5. RAdam (Rectified Adam) вводит коррекцию для оценки первого момента градиентов, чтобы устранить проблему смещения оценки первого момента на начальных итерациях обучения. RAdam также включает в себя масштабирование скорости обучения на начальных итерациях для стабилизации процесса обучения.

   https://t.me/DenoiseLAB

❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_6

?Вопрос_6: Всегда ли PCA спасает от проблеммы "проклятие размерности" и если нет, то что можно использовать вместо него ?

✔️Ответ:
РСА не всегда спасает от проклятия размерности, однако существует несколько продвинутых алгоримов для решения данной проблеммы:

• t-SNE (t-Distributed Stochastic Neighbor Embedding): Этот алгоритм позволяет визуализировать данные высокой размерности в двух или трех измерениях, сохраняя при этом их локальную и глобальную структуру. Он основан на вероятностной модели, которая пытается сохранить близость между объектами в исходном пространстве и их представлением в пространстве меньшей размерности.

• LLE (Locally Linear Embedding): LLE ищет линейные зависимости между соседними точками данных и пытается сохранить эти зависимости при снижении размерности. Алгоритм строит локальные линейные модели для каждой точки данных и затем находит низкоразмерное представление, которое наилучшим образом воспроизводит эти локальные модели.

• UMAP (Uniform Manifold Approximation and Projection): UMAP является относительно новым алгоритмом снижения размерности, который сочетает в себе методы локальной связности и глобальной структуры данных. Он строит граф связности между точками данных и затем находит низкоразмерное представление, которое сохраняет геометрическую структуру данных.

  Кроме того, в ряде задач применяются: Isomap, MDS, Random Projection, Sparse Coding, NMF.

  https://t.me/DenoiseLAB
  

❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_5

?Вопрос_5: Что означает термин "Variance Inflation Factor" и как он интерпритируется и есть ли ему аналоги ?

✔️Ответ:

"Variance Inflation Factor" (VIF) относится к статистическому показателю, используемому для измерения степени мультиколлинеарности в модели линейной регрессии. Мультиколлинеарность происходит, когда две или более независимые переменные в модели сильно коррелируют друг с другом, что может исказить результаты регрессии.

VIF равен 1, когда вектор предиктора ортогонален каждому столбцу матрицы проектирования для регрессии предиктора на другие ковариаты. В противном случае, если вектор предиктора не ортогонален всем столбцам матрицы проектирования для регрессии предиктора на другие ковариаты, VIF будет больше 1.

Интерпретация VIF следующая: если VIF предиктора равен 5.27 (корень из 5.27 = 2.3), это означает, что стандартная ошибка для коэффициента этого предиктора в 2.3 раза больше, чем если этот предиктор имел бы корреляцию 0 с другими предикторами в модели. VIF измеряет количество завышенных дисперсий, вызванных мультиколлинеарностью. 

В качестве аналога VIF можно рассмотреть "Tolerance Index" (TI), который также используется для измерения степени мультиколлинеарности в модели. TI также представляет собой отношение дисперсии оценок параметра к дисперсии модели.

https://t.me/DenoiseLAB

❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_4

?Вопрос_4: Как проверить нормальность набора данных или признака?

✔️Ответ: Существует список проверок нормальности, они следующие:

• W-тест Шапиро-Уилка:

  1. Рассчитывается выборочное среднее и ковариационная матрица выборки;

  2. Затем вычисляются статистики заказа (например, i-е наименьшее число в выборке) и ожидаемые значения из статистики заказа, выбранные из стандартного нормального распределения;

  3. Наконец, вычисляется W-статистика, которая сравнивается с критическим значением, полученным через моделирование Монте-Карло;

  4. Если W-статистика значима, то гипотеза о нормальном распределении данных отвергается, то есть данные, не следуют нормальному распределению;

• Тест Мартинеса-Иглевича:

  1. Вычисляются квантили выборки;

  2. Эти квантили сравниваются с квантилями стандартного нормального распределения;

  3. Расстояние между квантилями выборки и стандартного нормального распределения вычисляется для каждого квантиля;

  4. Если все расстояния меньше некоторого критического значения, то гипотеза о нормальном распределении данных принимается.

• Тест Д'Агостино

  1. Вычисляются эксцесс и асимметрия выборки и эти значения сравниваются с ожидаемыми значениями для нормального распределения;

  2. Расстояние между вычисленными и ожидаемыми значениями вычисляется для каждого из них;

  3. Если оба расстояния меньше некоторого критического значения, то гипотеза о нормальном распределении данных принимается.

  https://t.me/DenoiseLAB
  
  #work #coding #testing #optimization #ml #learning

❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_3

?Вопрос_3: Что такое преобразование Бокса-Кокса?

Преобразование Бокса-Кокса (Box-Cox transformation) - это преобразование, которое преобразует "ненормальные" зависимые переменные в нормальные переменные, так как нормальность является наиболее распространенным предположением при использовании многих статистических методов. Оно было предложено Георгом Боксом и Дэвидом Коксом в 1964 году.

Оно имеет параметр лямбда, который при значении "0" означает, что это преобразование эквивалентно лог-трансформации. Оно используется для стабилизации дисперсии, а также для нормализации распределения. Выбор оптимального значения параметра (лямбда) при использовании преобразования Бокса-Кокса может быть выполнен с использованием различных методов:

1. Метод максимального правдоподобия: В этом подходе подбирается значение (лямбда), которое максимизирует правдоподобие модели. Это можно сделать с помощью численных методов оптимизации, таких как метод Ньютона-Рафсона или метод Брента;

2. Критерии информационного критерия: можно использовать информационные критерии, такие как критерий Акаике (AIC) или критерий Шварца (BIC);

3. Кросс-валидация: При этом данные разбиваются на обучающую и проверочную выборки, и производится оценка преобразования Бокса-Кокса для различных значений (лямбда) на обучающей выборке. Затем оцениваются результаты на проверочной выборке и выбирается лучшее значение.
   
   https://t.me/DenoiseLAB

В 2023 году люди меньше проводят время в социальных сетях

Данные из отчета Mediascope за 2 квартал 2023 года. Время, проведенное в социальных сетях, снизилось сразу на 2%! Примерно так работают хайповые заголовки ? Можно раздуть тему об осознанном потреблении контента, бОльшем времени на реальную жизнь… Но время, проведенное в мессенджерах увеличилось сразу на 3%. ?

P.S. Отчет (медиапотребление в России) очень интересный и полезный, скачать можно тут.

Ассоциация «Руссофт» провела исследование инвестиционной активности в сфере разработки ПО за 2022 год. По этому исследованию, было сокращение общего объёма инвестиций в индустрии разработки на 48,5% до ₽120 млрд. Однако доля внешних инвестиций при этом возросла с 26,4% до 51,3%, а в абсолютном выражении объём внешних инвестиций в рублях остался неизменным — ₽61 млрд.

По итогам 2022 года потребность в инвестициях индустрии разработки ПО была удовлетворена на 63,4%, это чуть больше, чем в 2021 году (58%). По итогам 2021 года общий объём инвестиций в софтверной индустрии составил ₽232 млрд, что в 2,4 раза больше, чем в 2020 году.

Согласно прогнозам компаний, потребность в инвестициях по итогам 2023 года увеличится в 1,7 раза, но её удастся удовлетворить только на 49,5%. По оценке респондентов, общий объём инвестиций в 2023 году по сравнению с предыдущим годом может увеличиться на 32%, а объём внешнего финансирования — на 56%.

«МойОфис» заявила о продаже более 1 миллион штук коммерческих лицензий за всё время деятельности компании. Покупателем миллионной лицензии стал „АКРИХИН“ купившая „МойОфис Профессиональный 2“ и Squadus в рамках перехода на российское ПО. Об этом рассказали информационной службе Хабра в пресс‑службе разработчика офисных приложений.

Первая продажа лицензий «МойОфис» состоялась 7,5 лет назад 18 января 2016 года. Первым коммерческим клиентом стала компания «Аксофт», купившая 50 лицензий «МойОфис Профессиональный».

По словам генерального директора «МойОфис» Павла Калякина, пока доля российских производителей на рынке офисного ПО небольшая и составляет порядка 16%. Из них около 10% занимает «МойОфис». Его компания 2022 году зафиксировала шестикратный рост числа пилотных проектов внедрения, а в 2023 году было инициировано примерно 60% от общего объёма пилотных проектов 2022 года.

Число пользователей сервиса «Сбера» для самозанятых «Своё дело» превысило 1,5 млн человек, рассказали Хабру в пресс-службе банка.

Согласно представленным данным, чаще всего самозанятые работают в строительстве и ремонте (22,9%), в IT (13,6%), автоперевозках и автосервисе (13%), индустрии красоты (12,2%), маркетинге, рекламе и исследованиях (8,8%).

Больше всего зарегистрированных самозанятых живут в Москве (20,4%), Санкт-Петербурге (7,3%), Московской области (6,6%), Краснодарском крае (4,8%) и Свердловской области (3,2%). Средний возраст самозанятого — 34 года, мужчин и женщин примерно поровну.

«89% потребителей услуг самозанятых — физические лица. Треть из них работают с постоянными клиентами, а большинство новых клиентов приходят по рекомендации друзей и знакомых. Самый популярный способ оплаты услуг — перевод на карту», — рассказал Анатолий Попов, заместитель Председателя Правления Сбербанка.

Информационная служба Хабра посетила первый день конференции «Тема Еды»

На конференции выступал руководитель аналитики «Яндекс Еды» и Delivery Club Роман Халкечев. В своём докладе он рассказал, как локдаун ускорил развитие доставки готовой еды и продуктов, что снятие ограничений не уменьшило популярность доставки.

По словам Халкечева, количество заказов из ресторанов в «Яндекс Еде» среди пользователей из Москвы с 2019 выросло в 2,5, раза, а из Санкт‑Петербурга — в 5,5 раз. Остальные регионы по доставке из ресторанов растут с того же периода значительно больше — в 16 раз. Больше половины заказов готовой еды в «Яндекс Еде» приходятся на регионы, в 2019 году этот показатель составлял 20%.

По данным компании, треть жителей Москвы, Санкт‑Петербурга и Казани хотя бы раз заказывала еду из ресторанов с доставкой в прошлом году.

Сейчас в сервисах «Яндекс Еда» и Delivery Club используются технологии машинного обучения. С помощью технологий выясняются популярные сочетания позиций и на стадии оформления заказа и предлагается пользователю дополнить заказ. В некоторых регионах идёт тест улучшения изображений блюд с помощью генеративных нейросетей.

Кроме того, компания представила топ-3 фактора, влияющих на выбор ресторана среди пользователей — это скорость доставки в 66%, стоимость доставки в 65% и рейтинг заведения в 57%.