leleles 27 дек 2021 в 13:07

Ситимобил вместе с экспертами из разных компаний подводит итоги года в разных областях Data Science

3 мин

1.6K

Блог компании СитимобилData Mining*Big Data*Data Engineering*

Всем привет!

Подходящий к концу 2021 год был очень насыщенным — нам удалось провести 5 митапов с интересными спикерами и экспертами рынка Data Science и Machine Learning. Мы узнали много интересного, и это здорово!

Каждый год выходят сотни статей по машинному обучению, нейронным сетям, рекомендательным системам и другим областям связанным с искусственным интеллекта. Появляются тысячи новых репозиториев, API и сервисов с использованием современных технологий Data Science.

А что из этого действительно стало важным событием? На какие технологии и сервисы стоит обратить внимание? На эти вопросы ответили эксперты по Data Science.

Top-5 событий в мире Computer Vision в 2021

Артур Кузин

Head of Computer Vision Platfrom | SberDevices

1. Трансформеры

SWIN transformer – https://arxiv.org/abs/2103.14030
CoAtNet: Marrying Convolution and Attention for All Data Sizes – https://arxiv.org/abs/2106.04803

2. Генерация

DALL-E – https://openai.com/blog/dall-e/
NUWA – https://arxiv.org/abs/2111.12417
StyleGAN3 – https://nvlabs.github.io/stylegan3/

3. Мультимодальность

CLIP – https://openai.com/blog/clip/
Florence – https://arxiv.org/abs/2111.11432

4. OCR

OpenImages V5 – https://github.com/openvinotoolkit/training_extensions
Opensource – https://github.com/faustomorales/keras-ocr + https://github.com/clovaai/CRAFT-pytorch + https://github.com/JaidedAI/EasyOCR

5. Прорыв в self-supervised

https://github.com/facebookresearch/dino + https://arxiv.org/abs/2111.07832, https://github.com/microsoft/esvit + https://github.com/google-research/simclr

extra 6. Meta AR dataset

https://ai.facebook.com/research/publications/ego4d-unscripted-first-person-video-from-around-the-world-and-a-benchmark-suite-for-egocentric-perception/

Top-5 статей в мире нейронных сетей в 2021 году

Дмитрий Коробченко

Senior Manager of AI | NVIDIA

Diffusion Models Beat GANs on Image Synthesis
https://arxiv.org/abs/2105.05233
Alias-Free Generative Adversarial Networks (StyleGAN3)
https://nvlabs.github.io/stylegan3/
Open AI Codex
https://openai.com/blog/openai-codex/ +
GitHub Copilot
https://copilot.github.com/
CLIP: Connecting Text and Images
https://openai.com/blog/clip/
Image GPT
https://openai.com/blog/image-gpt/ +
DALL·E: Creating Images from Text
https://openai.com/blog/dall-e/

Top-5 статей по Data Science

Валерий Бабушкин

Head of Data Science | Blockchain.com

1. Uncertainty in Gradient Boosting via Ensembles
https://arxiv.org/abs/2006.10562

2. Interactive identification of individuals with positive treatment effect while controlling false discoveries
https://arxiv.org/abs/2102.10778

3. Using Synthetic Controls: Feasibility, Data Requirements, and Methodological Aspects
https://economics.mit.edu/files/17847

4. Systematic Analysis of Cluster Similarity Indices: How to Validate Validation Measures
http://proceedings.mlr.press/v139/gosgens21a/gosgens21a.pdf

5. A Survey of Transformers
https://arxiv.org/abs/2106.04554

extra 6. Failing Loudly: An Empirical Study of Methods for Detecting Dataset Shift 2019
https://proceedings.neurips.cc/paper/2019/file/846c260d715e5b854ffad5f70a516c88-Paper.pdf

Top-5 событий в мире рекомендательных систем в 2021 году

Андрей Кузнецов @netcitizen

ML Team Lead | Одноклассники

TT-Rec: Tensor Train Compression for Deep Learning Recommendation Models
https://arxiv.org/abs/2101.11714
Large-Scale Modeling of Mobile User Click Behaviors Using Deep Learning
https://arxiv.org/abs/2108.05342
Transformers4Rec
https://github.com/NVIDIA-Merlin/Transformers4Rec
Learning to Represent Human Motives for Goal-directed Web Browsing
https://arxiv.org/abs/2108.03350
An Audit of Misinformation Filter Bubbles on YouTube: Bubble Bursting and Recent Behavior Changes
https://dl.acm.org/doi/10.1145/3460231.3474241