Статистика в IT

Приложение «Шедеврум» от «Яндекса» вошло в тройку ведущих мировых приложений с генеративным искусственным интеллектом по данным на конец 2023 года. Информацию об этом опубликовала аналитическая компания Data.ai (прежнее название — App Annie) в своём ежегодном исследовании глобального рынка мобильных приложений.

В составленном Data.ai рейтинге приложений с генеративным ИИ «Шедеврум» занимает третью строчку с итоговой оценкой в 95 баллов из 100. Для оценки приложений Data.ai использует собственную метрику — Mobile Performance Score (MPS). При изучении приложений категории, в которую включён «Шедеврум», она учитывает три параметра: количество загрузок и пользователей (acquisition), вовлечённость аудитории (engagement) и оценки пользователей (sentiment). Алгоритмы искусственного интеллекта Data.ai выставляют от 1 до 100 баллов по каждому из них и формируют среднюю оценку.

«Шедеврум» — это мобильное приложение «Яндекса», в котором пользователи могут создавать видео, изображения и тексты с помощью нейросетей. Нейросеть YandexART генерирует картинки и анимацию, а ИИ-система YandexGPT позволяет получать содержательные посты с заголовком и подходящей по смыслу иллюстрацией.

После запуска в апреле 2023 года проект «Шедеврум» попал на первые места по популярности в российских магазинах приложений App Store и Google Play. C тех пор его установили почти 8,5 миллионов пользователей.

Роспатент в 2023 году зарегистрировал 31,9 тыс. программ для ЭВМ и 5,2 тыс. баз данных (БД), следует из подсчетов компании «Онлайн Патент» на основе официальных данных ведомства. Это на 23,3% и 38,8% больше, чем в 2022 году, соответственно. В 2022 году показатели тоже росли относительно 2021 года, но не так активно: с 22,1 тыс. до 25,9 тыс. оформленных прав на ПО и с 3,3 тыс. до 3,7 тыс. прав на БД.

Больше всего свидетельств о регистрации в 2023 году получило управление информационных технологий и связи, подведомственное комитету по информации и связи Санкт-Петербурга. В течение года оно зарегистрировало 503 программы и 270 БД. В случае с ПО, по данным «СПАРК-Интерфакс», речь идёт о компонентах систем «Безопасного города», других городских систем мониторинга и документооборота.

Следующими в списке организаций, наиболее активно регистрировавших права на ПО, идут ТК «Центр» (крупнейший распространитель лотерейных билетов, бренд «Столото») с 440 свидетельствами и ОАО РЖД с 273 свидетельствами.

Базы данных, помимо властей Санкт-Петербурга, активнее всего регистрировали вузы: РАНХиГС, ВШЭ, Сеченовский институт и другие.

Количество патентов, выданных в течение 2023 года, осталось фактически на уровне 2022 года — 30,1 тыс. против 30,4 тыс. до 30,1 тыс. на изобретения и полезные модели. Число патентов на промышленные образцы снизилось на 5,5%, до 5,2 тыс.

❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_19

? Как работает Batch Normalization в PyTorch ? (Часть_2)

1. Масштабирование и сдвиг: После центрирования и масштабирования активаций, они масштабируются путем умножения на масштабирующий (scaling) коэффициент и сдвигаются путем добавления смещающего (shifting) коэффициента. Эти коэффициенты являются обучаемыми параметрами и оптимизируются вместе с другими параметрами модели.

2. Вывод активаций: Нормализованные и сдвинутые активации передаются на вход следующего слоя нейронной сети.

• ? Телеграм-канал: t.me/DenoiseLAB (Если вы хотите быть в курсе всех последних новостей и знаний в области анализа данных);

TIOBE Software опубликовала январский рейтинг популярности языков программирования, в котором по сравнению с январём 2023 года выделяется перемещение языка JavaScript с седьмого на шестое место, языка PHP с 10 на 7 место, Scratch с 20 на 10 место (рост популярности на 0.83%), Go — c 12 на 11, Fortran — с 27 на 12 (+0.64%), Object Pascal — c 17 на 13, MatLab — с 15 на 14, Kotlin — с 25 на 17 и Cobol — с 31 на 20.

Языком года назван C#, который сохранил 5 место, но стал лидером по росту популярности (+1.43%).

За год снизилась позиция в рейтинге языков: Visual Basic — с 6 на 8 место, SQL — с 8 на 9, Ассемблер — с 9 на 15, Swift — c 11 на 16, Ruby — с 16 на 18, Rust — c 18 на 19 (при этом популярность Rust выросла на 0.18%).

Рейтинг продолжает возглавлять язык Python, но за год его популярность снизилась на 2.39%. Популярность языка C снизилась на 4.81%, C++ — на 2.95%, а Java — 4.34%.

Индекс популярности TIOBE строит свои выводы на основе анализа статистики поисковых запросов в таких системах, как Google, Bing, Yahoo!, Wikipedia, Amazon, YouTube и Baidu.

В январском рейтинге PYPL, в котором используется Google Trends, тройка лидеров за год не изменилась: первое место занимает язык Python, далее следуют Java и JavaScript. Языки С/C++ поднялись на 4 место, вытеснив язык С# (год назад произошла обратная ротация). По сравнению с январём прошлого года выросла популярность R (+1), Rust (+1), Ada (+2), Dart (+2), Lua (+2), Perl (+1), Haskell (+1).

❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_17

? Можете ли вы объяснить, как работает Prophet для прогнозирования временных рядов ? (Часть_2)

1. Прогнозирование: После оценки компонентов Prophet создает фрейм данных для прогноза, который включает будущие даты. Затем он использует оцененные параметры для генерации прогнозируемых значений временного ряда и доверительных интервалов.

2. Визуализация результатов: Prophet предоставляет инструменты для визуализации результатов прогнозирования. Он может построить график исходного временного ряда, прогнозируемых значений и доверительных интервалов, чтобы помочь пользователю оценить качество прогноза.

• ? Телеграм-канал: t.me/DenoiseLAB (Если вы хотите быть в курсе всех последних новостей и знаний в области анализа данных);

❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_17

? Можете ли вы объяснить, как работает Prophet для прогнозирования временных рядов ? (Часть_1)

1. Декомпозиция временного ряда: Prophet автоматически декомпозирует временной ряд на несколько компонентов:

   • Тренд: Prophet моделирует гибкий нелинейный тренд, который может быть линейным или логистическим, в зависимости от данных.

   • Сезонность: Prophet обнаруживает и моделирует периодические сезонные компоненты, такие как ежедневные, еженедельные или ежегодные сезонности.

   • Праздники: Prophet позволяет включить информацию о праздниках и других событиях, которые могут влиять на временной ряд.

2. Оценка компонентов: Prophet использует метод максимального правдоподобия для оценки параметров тренда, сезонности и праздников в данных. Он оптимизирует функцию потерь, которая учитывает как среднеквадратичную ошибку (MSE) для тренда, так и MSE для сезонности.

• ? Телеграм-канал: t.me/DenoiseLAB (Если вы хотите быть в курсе всех последних новостей и знаний в области анализа данных);

Valve установил рекорд по количеству новых релизов на платформе Steam за 2023 год.

Согласно данным SteamDB, в цифровом магазине Valve за 2023 год состоялась премьера 14 531 игры, что больше, чем по сумме релизов в период с 2006 года по 2017 год.

В течение 2023 года в Steam ежедневно выходило в среднем по 40 игр, а каждый месяц — по 1,2 тыс. новых игровых проектов.

Предыдущий годовой рекорд Steam составляет 12 558 тайтлов, он был установлен по итогам 2022 года.

По данным Евростата, 8,5% онлайн-вакансий, опубликованных в ЕС за период с 4 квартала 2022 года по 3 квартал 2023-го, были связаны со сферой информационно-коммуникационных технологий. Подсчёты основаны на анализе миллионов постов с сотен интернет-джоббордов.

Наибольшей доля онлайн-вакансий для таких специалистов от общего числа объявлений о работе оказалась в Словакии (16,5%). За ней следуют Кипр (14,8%) и Люксембург (14,7%). Меньше всего по сравнению с другими работниками айтишников искали работодатели Словении (3,7%), Финляндии (4,1%) и Хорватии (4,3%).

Большинство (59,1%) вакансий для ИКТ-специалистов, опубликованных в регионе в сети за рассмотренные 12 месяцев, приходятся на разработчиков и аналитиков ПО и  приложений. Вторыми по востребованности стали специалисты по поддержке ИКТ-инфраструктуры и техподдержке пользователей (10,6%), на третьем — специалисты по работе с базами данных и сетями (9,8%).

Самая высокая доля разработчиков и аналитиков среди IT-отрасли ЕС — в Нидерландах, Польше и Австрии. Больше 20% IT-вакансий приходится на технических специалистов в Португалии, Словакии и на Мальте. В Польше и Литве процент таких вакансий самый низкий. В Латвии зафиксирован один из самых высоких процентов объявлений для специалистов по работе с базами данных и сетями от общего пула IT-вакансий страны — второй после Греции.

Вышла вторая редакция проекта PLB (Programming Language Benchmark) по тестированию производительности решения типовых задач на различных языках программирования. В ней измеряется производительность кода для умножения матриц и решения задачи расстановки 15-ферзей, а также дополнительно оценивает поиск решений в игре Судоку и определение пересечений двух массивов.

Код для тестирования PLB написан на 20 языках программирования. Наиболее высокую производительность показала реализация тестовых приложений на языке C (при компиляции в clang). На втором месте оказался язык Zig, на третьем Nim, на четвёртом Mojo. Далее примерно на одном уровне следуют D, Java, JavaScript-платформа Bun и Rust, а после них Go, Crystal и V.

Высокие результаты показали Node.js, Dart, Lua и C#. Хорошие показатели у Java и C# объясняются использованием отдельной стадии JIT-компиляции, в то время как в Dart, Bun, Node.js, Julia, LuaJIT, PHP, PyPy и Ruby3 (YJIT) JIT-компиляция выполняется на лету и затрагивает только часто выполняемый код. JavaScript-платформа Bun заметно обогнала Node.js. Относительно медленными оказались результаты у Julia и Swift.

Наихудшие показатели производительности выявлены у PHP, Ruby, Perl и CPython, при этом производительность PHP оказалась примерно в 4 раза выше, чем CPython.

Дополнение: В реализации на языках Rust, D и Julia внесены оптимизации, которые позволили Rust занять второе место, D - третье, Julia - 7, а V показал лучший результат в nqueen+matmul.

Источник: OpenNET.

Портал DB-Engines обновил рейтинг популярности СУБД и присудил звание СУБД 2023 года проекту PostgreSQL, который за год продемонстрировал наибольших рост популярности из 417 отслеживаемых систем. Второе место досталось облачной платформе Databricks (за год поднялась с 19 на 17 место), а третье место занял движок Google BigQuery (поднялся с 21 на 19 место).

Ранее PostgreSQL уже признавался СУБД года в 2020, 2018 и 2017 годах. В 2022 году и 2021 году это звание было закреплено за СУБД Snowflake, а в 2019 его получило MySQL, в 2016 - Microsoft SQL Server, в 2015 - Oracle, в 2013 и 2014 годах - MongoDB.

По методике расчёта рейтинг СУБД напоминает рейтинг языков программирования TIOBE и учитывает популярность запросов в поисковых системах, число результатов в поисковой выдаче, объём обсуждений на популярных дискуссионных площадках и в соцсетях, число вакансий в агентствах по найму персонала и упоминаний в профилях пользователей.

Что касается распределения СУБД в рейтинге, PostgreSQL продолжает занимать 4 место, несмотря на наибольший во всем рейтинге рост популярности - 34.11 балла. Рост популярности также демонстрирует проект Databricks и Snowflake. C 8 на 7 место поднялось решение Elasticsearch, а с 33 на 29 - СУБД Firebird, c 44 на 37 - ClickHouse, с 62 на 50 - Prometheus, с 48 на 42 - OpenSearch, с 85 на 76 - TimescaleDB.

Значительное снижение популярности в 2023 году наблюдается у MySQL, Microsoft SQL Server, MongoDB, Redis и SQLite.

Источник: OpenNET.

За три года Sony продала 50 млн консолей PlayStation 5. Компания смогла справиться с нехваткой компонентов, вызванной проблемами в цепочке поставок на фоне пандемии COVID-19. Запуск игрового устройства состоялся в ноябре 2020 года. PS5 удалось достичь отметки в 50 млн реализованных экземпляров на неделю раньше, чем это потребовалось PlayStation 4.

Японской компании удалось почти в три раза превзойти по продажам Xbox Series X/S от Microsoft. Корпорация не публикует данные о количестве реализованных консолей.

По оценкам Ampere Analysis, Microsoft продала 7,6 млн Xbox Series X/S в 2023 году, что на 15% ниже показателя за 2022 год. Исследователи отмечают, что в текущем году продажи PS5 выросли примерно на 65% и достигли 22,5 млн устройств. В этом году Nintendo реализовала на 18% меньше Switch, чем в прошлом — 16,4 млн.

❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_14 (Часть_1)

Какие подходы могут помочь модели сохранить стабильность популяции при изменении данных?

1. Кросс-валидация (Cross-Validation): Кросс-валидация позволяет оценить производительность модели на разных подмножествах данных. Например, метод k-fold cross-validation разбивает данные на k подмножеств, называемых фолдами. Модель обучается на k-1 фолдах и оценивается на оставшемся фолде. Этот процесс повторяется k раз, каждый раз используя разные фолды. Таким образом, модель оценивается на различных подмножествах данных, что помогает выявить ее стабильность популяции.

2. Стратифицированная выборка (Stratified Sampling): При формировании обучающей и тестовой выборок можно использовать стратифицированный подход. Это означает, что при разделении данных на выборки будут сохранены пропорции классов или распределений признаков. Такой подход помогает уменьшить возможное искажение данных при изменении популяции.

   t.me/DenoiseLAB (Еесли вы хотите быть в курсе всех последних новостей и знаний в области анализа данных);

Опубликованы результаты исследования поддержки кириллических адресов электронной почты наиболее популярными в РФ информационными ресурсами в рамках изучения готовности популярных сайтов к корректной работе с различными видами кириллических e-mail-адресов: содержащих символы кириллицы юникода в локальной части адреса (до знака @) и/или кириллические доменные имена российской национальной доменной зоны (после знака @).

По результатам исследования, уровень принятия ресурсами полностью или частично кириллических e-mail-адресов, демонстрирующий корректность работы форм ввода сайта, составил:

• 44% сайтов успешно принимают e-mail-адреса с латинскими символами в локальной части адреса и кириллическим доменным именем (вида ascii@юникод.юникод);

• 34% сайтов успешно принимают e-mail-адреса с кириллической локальной частью и доменным именем на латинице (вида юникод@ascii.ascii);

• 29% сайтов успешно принимают полностью кириллические e-mail-адреса (вида юникод@юникод.юникод).

Уровень подтверждения полностью или частично кириллических e-mail-адресов, демонстрирующий корректность работы почтовых сервисов, составил:

• 37% сайтов успешно отправляют письма на e-mail-адреса с латинскими символами в локальной части и кириллическим доменным именем;

• 3% сайтов успешно отправляют письма на e-mail-адреса с кириллической локальной частью и доменным именем на латинице;

• 3% сайтов обеспечивают корректную работу со всеми видами кириллических адресов: успешно принимают и отправляют подтверждения на такие адреса.

«Базальт СПО» рассказал о своих итогах поставок программного обеспечения в образовательные учреждения за три квартала 2023 года. За озвученный период в различные учебные заведения (школы, вузы, средние профессиональные образовательные организации и другие учреждения, связанные с системой образования) было поставлено 77 тысяч лицензий всех операционных систем от российской компании («Альт Образование», «Альт Рабочая станция», «Альт Сервер», «Альт Виртуализация», «Альт СП»), из которых 40 тысяч были поставлены бесплатно, а 37 тысяч лицензий были проданы на сумму ₽27,3 млн.

Из 37 тысяч купленных лицензий 27 685 лицензий ОС «Альт» купили 600 школ, 4852 были куплены 30 вузами, 2667 купили организации дополнительного образования, и средние профессиональные образовательные организации приобрели 1360 лицензий. «Базальт СПО» прогнозирует, что за весь 2023 году общее число лицензий, предоставленных образовательным организациям, превысит 103 тысячи.

По общему количеству лицензий, проданных образовательным организациям, в топ-5 самых активных регионов вошли Московская область (7272 лицензии), Оренбургская область (4836 лицензий), Новосибирская область (3452 лицензии), Свердловская область (3165 лицензий), город Санкт‑Петербург (2479 лицензий).

«Яндекс» опубликовал исследование, посвящённое настройкам доступности, которые пользователи «Яндекс Браузера» включают на iOS и Android в России.

Настройки доступности — это специальные функции в системных настройках смартфона, которые помогают упростить взаимодействие с устройством, изменив внешний вид контента под нужды пользователя.

По данным «Яндекса», 51% пользователей мобильного Браузера, или более 20 миллионов человек, используют хотя бы одну настройку доступности на Android и iOS. Самыми популярными функциями стали:

• изменение размера шрифта — 35%, или 14 миллионов пользователей;

• тёмная тема — 27%, или около 11 миллионов пользователей;

• монозвук — 3%, или почти 1,5 миллиона пользователей;

• увеличение контрастности — 2%, или более 800 000 пользователей;

• субтитры — 2%, или более 800 000 пользователей.

Исследование «Яндекса» основано на обезличенной информации, актуальной на октябрь 2023 года.

❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_13

?Вопрос_13: Какие есть альтернативы Expectation-Maximization (EM) ?

1. Markov Chain Monte Carlo (MCMC): MCMC - это класс методов, которые позволяют проводить сэмплирование из сложных распределений, таких как постериорные распределения параметров моделей. MCMC методы генерируют последовательность сэмплов, которая соответствует искомому распределению. MCMC алгоритмы, такие как Metropolis-Hastings и Gibbs sampling, являются альтернативой EM и позволяют оценивать параметры модели, учитывая скрытые переменные.

2. Stochastic Gradient Variational Bayes (SGVB): SGVB - это метод, который комбинирует идеи градиентного спуска и вариационного вывода для оценки параметров моделей. Он позволяет приближенно оптимизировать параметры модели, используя стохастические градиенты, что делает его масштабируемым для больших наборов данных. SGVB широко применяется в глубоком обучении и моделях с динамическими параметрами.

3. Bayesian Optimization: Bayesian Optimization (байесовская оптимизация) - это метод, который позволяет находить оптимальные значения гиперпараметров модели. Вместо оценки параметров модели, как делает EM, байесовская оптимизация исследует пространство гиперпараметров с целью нахождения наилучших настроек модели с использованием итераций оптимизации и апостериорных распределений.

t.me/DenoiseLAB (Еесли вы хотите быть в курсе всех последних новостей и знаний в области анализа данных);

❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_11

?Вопрос_11: Какие есть альтернативы Affinity Propagation ?

1. Агломеративная кластеризация (Agglomerative Clustering): Это иерархический метод кластеризации, который начинает с каждой точки данных в отдельном кластере и последовательно объединяет ближайшие кластеры, пока не достигнет заданного числа кластеров или критерия объединения. Агломеративная кластеризация может работать как с евклидовыми расстояниями, так и с другими метриками.

2. Gaussian Mixture Models (GMM): Это статистическая модель, которая представляет каждый кластер как смесь нормальных распределений. GMM моделирует данные с помощью вероятностей и может обнаруживать скрытые кластеры и моделировать данные с разной формой распределения.

3. Spectral Clustering: Этот алгоритм использует спектральные методы для преобразования данных в новое пространство и выполнения кластеризации. Он основан на вычислении собственных векторов матрицы сходства данных и последующем применении методов кластеризации на полученных спектральных коэффициентах.

   t.me/DenoiseLAB (Еесли вы хотите быть в курсе всех последних новостей и знаний в области анализа данных)

❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_9

?Вопрос_9: В чем разница между Rapids, Vaex, Pandas, Polars, Modin, Dask они же все для анализа данных ?

✔️Ответ:

1. Pandas предоставляет гибкие структуры данных, такие как DataFrame, и мощные инструменты для манипуляции, фильтрации, агрегации и анализа данных. Pandas обычно используется для работы с небольшими и средними объемами данных, которые могут поместиться в оперативную память одного компьютера;

2. Dask позволяет обрабатывать данные, превышающие объем доступной оперативной памяти, с использованием распределенных вычислений. Dask предоставляет абстракции, такие как DataFrame и Array, которые подобны структурам данных из Pandas и NumPyx;

3. Polars обладает высокой производительностью благодаря использованию Rust в своей реализации, а также предлагает возможности параллельной обработки данных. Она может работать с большими объемами данных и поддерживает некоторые распределенные вычисления;

4. Vaex использует ленивые вычисления и эффективные алгоритмы для выполнения операций над данными. Она обладает высокой производительностью и может работать с многопоточностью, многопроцессорностью и распределенными вычислениями;

5. Modin предоставляет интерфейс, совместимый с Pandas, но с оптимизированной производительностью. Она использует различные движки обратной совместимости, такие как Dask и Ray, для распределенных и параллельных вычислений.

   https://t.me/DenoiseLAB

❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_8

?Вопрос_8: Какие алгориммы поиска аномалий в данных существуют и чем они отличаются ?

✔️Ответ:

• DBSCAN (Density-Based Spatial Clustering of Applications with Noise) - алгоритм кластеризации данных, который основывается на плотностной информации о расположении объектов. Он определяет кластеры как плотные области в пространстве признаков, разделенные областями разреженности;

• LOF (Local Outlier Factor): LOF также использует информацию о плотности для обнаружения аномалий. Он вычисляет локальный коэффициент выброса для каждого объекта, основываясь на плотности окрестности данного объекта по сравнению с плотностью окрестности его соседей. Значения LOF выше единицы указывают на аномальные объекты;

• Isolation Forest использует случайные деревья для изоляции аномалий. Он строит ансамбль изолирующих деревьев, разделяя объекты по случайным разделениям до тех пор, пока каждый объект не будет изолирован в отдельном листе. Аномалии обычно требуют меньшего числа разделений для изоляции, и поэтому имеют более короткий путь в дереве;

• One-Class SVM (Support Vector Machines): One-Class SVM - алгоритм, который строит модель только для "нормальных" данных. Он пытается найти гиперплоскость, которая наилучшим образом разделяет нормальные данные от выбросов в пространстве признаков. Объекты, находящиеся далеко от этой гиперплоскости, считаются аномалиями.

  https://t.me/DenoiseLAB

❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_7

?Вопрос_7: Какие есть разновидности Adam optimization и в чем их разница ?

✔️Ответ:

1. AdamW вводит дополнительное слагаемое в обновление параметров модели для уменьшения влияния больших значений параметров. Это помогает справиться с проблемой увеличения значений параметров во время обучения нейронных сетей, что может приводить к переобучению. Дополнительное слагаемое регуляризует обновление параметров и способствует лучшей обобщающей способности модели;

2. Nadam (Nesterov-accelerated Adaptive Moment Estimation) является вариацией алгоритма Adam с коррекцией Nesterov Momentum. Она использует модификацию алгоритма Momentum для вычисления градиентов в моменты времени, отличные от текущего;

3. AMSGrad (Adaptive Moment Estimation with Variance Correction) вводит исправление для оценки второго момента градиентов. Оно предотвращает возможное увеличение оценки второго момента в сравнении с алгоритмом RMSprop;

4. AdaBelief использует адаптивные скорректированные оценки моментов и вводит дополнительные гиперпараметры для контроля скорости обучения и сглаживания оценок моментов;

5. RAdam (Rectified Adam) вводит коррекцию для оценки первого момента градиентов, чтобы устранить проблему смещения оценки первого момента на начальных итерациях обучения. RAdam также включает в себя масштабирование скорости обучения на начальных итерациях для стабилизации процесса обучения.

   https://t.me/DenoiseLAB