Привет! Меня зовут Екатерина Ванская, и я занимаюсь data science в компании Prequel. В этой статье я продолжу обзор рекомендательных алгоритмов, которым мы начали в предыдущем моем материале

(вот ссылка на первую часть).

Область рекомендаций усложняется по мере расширения сферы ее применения, с каждым новым вызовом и нюансом использования. По мере увеличения объемов данных и усложнения задач появлялись новые подходы, отличные от рассмотренных ранее простых коллаборативных моделей.

Привет! Я хочу рассказать вам о рекомендательных алгоритмах. Мы в Prequel создаем фильтры и эффекты для редактирования фото и видео. Создаем давно, и постепенно этих эффектов стало очень много. А с ними и пользовательского контента. Мы захотели помочь с выбором из этого многообразия, для чего нам и понадобилась система рекомендаций. Если масштабы вашей системы такие, что пользователям сложно в ней ориентироваться, возможно, что рекомендации могут помочь и вам.

Задуманный систем оказался слишком объемным для одной статьи, поэтому мы разбили его на две части. Перед вами первая, она посвящена постановке задачи и базовым методам решения. В этой части мы разберем коллаборативные модели от матричного разложения (на примере ALS) до neural collaborative filtering. Кроме того, будет небольшой обзор метрик и техник борьбы с проблемой холодного старта.

Кремниевая долина потрясена: в сфере искусственного интеллекта назревает тектонический сдвиг, и весь мир следит за Китаем. DeepSeek-r1 произвела эффект разорвавшейся бомбы, сравнявшись по возможностям с топовыми решениями OpenAI. Восток диктует новые правила игры, и перед всем миром встаёт важный вопрос: а что если будущее ИИ создаётся вовсе не в Кремниевой долине?

Перед вами интервью с основателем DeepSeek, опубликованное в июле 2024 года. Оно состоялось вскоре после выхода в открытый доступ модели DeepSeek-v2, мгновенно сделавшей компанию известной на весь мир. В этой беседе Лян рассказывает, как маленький китайский стартап осмелился перепрыгнуть титанов индустрии и переопределить саму концепцию инноваций.

Приятного прочтения (-:

Приветствую, искатели приключений!
Меня зовут Данила Бахтин, и я специалист по анализу данных отдела управления ценностью данных в Лемана Тех (Леруа Мерлен).

Помимо работы у меня есть несколько увлечений. Одно из самых времязатратных — настольные ролевые игры и в частности — Dungeons & Dragons (aka DnD). В настольных играх очень много зависит от бросков костей, и в какой‑то момент моя профессия проникла в мои увлечения. В своей первой статье я расскажу, как попытался подойти к анализу результатов бросков двадцатигранного кубика в партиях, в коих участвовал лично, как дата‑аналитик.

Всем привет. Меня зовут Артур Арсёнов, я Product Design Lead в Garage Eight. За 20 лет в продуктовом дизайне я успел поработать дизайнером, арт-директором, владел собственной компанией и стал дизайн-лидом. 

Десять лет назад я был одним из тех дизайнеров, кто говорил: «Давайте исследовать, давайте тестировать, давайте разбираться как можно глубже». И вот спустя десять лет и 200+ проектов я могу сказать, что исследования из решения превратились в проблему. Как так вышло и что с этим делать, разбираю в статье. Если в вашей компании из-за бесконечных исследований цикл разработки продукта растянулся на месяцы и годы, то го читать. 

Сегодня распространённым (модным) явлением стало называть «старое» моделирование новым термином «Производство цифровых двойников» (Digital Twin), тем самым создавая туман-интригу, при котором соблазн монетизации пафосного бренда и хайп вокруг Цифрового двойника побеждают здравый смысл. За редким исключением все, что сейчас называют Цифровой трансформацией и Цифровым двойником – по сути ими не являются, отсюда и желание разобраться в термине «цифровой двойник». Первый шаг на пути «от путаницы к ясности» - это определиться с терминологий. Так необходимым условием идентификации Digital Twin предлагается считать наличие трех раздельных компонентов (два близнеца и связь между ними) и адекватность модели (точность, т.е. «as-really-is», и требуемая детализация).

По тексту приведены в основном цитаты из [DTatom20] / [DTatom19min] и [Dozortsev22] / [Dozortsev23]. Однако эти и подобные исследования (вкл. [Pavlov23]) носят описательный (обзорный) характер, а хороших (внятных) классификаций, концепций и framework для DT не встречал. Вообще, по DT информации – тьма, но после прочтения хотя бы указанных книжек и ссылок становится вопросов только больше.

Пока что красивая метафора «Цифровой двойник» \ Digital Twin (ЦД \ DT) имеет скупую концептуальную проработку: требуется даже не уточнение концепции, а скорее ее формирование, т.к. это пока только аморфная и противоречивая парадигма, точнее множество парадигм DT/ Pseudo DT, в которых называют одним именем (DT) разные вещи (размытие концепции). По большому счету сегодня имеем только концепт Майкла Гривса и массу «маркетинговых оберток», которые не соответствуют даже его концепту 2002 года. Попытки концептуализации, классификации, разработки таксономий хоть и проводятся, например, [Archetypes], но пока они не очень результативны.

Всегда хотел взломать Хабр. Мечта такая, но как-то руки не доходили. И вот, вдохновившись статьей о праведном взломе через iframe src , я, как и автор поста @Maxchagin, решил исследовать функционал Хабра на предмет уязвимостей.

Начать решил с нового редактора, рассуждая следующим образом: раз он новый, то и уязвимости там точно должны быть.

Всегда хотел взломать Хабр. Мечта такая, но как-то руки не доходили. И вот, вдохновившись статьей о праведной борьбе с Безумным Максом, я, как и автор поста, решил исследовать функционал Хабра на предмет уязвимостей.

Периодически на просторах интернета натыкаюсь на различные мнения по-тому, что в "Нарнии для разработчиков" нельзя находиться людям, которые уже преодолели барьер в 30 лет. И вообще этим людям пора либо перейти в менеджмент или запускать процесс само-утилизации и просто исчезнуть, для того, чтобы "молодые, успешные" 20 летние сеньоры пришли и начали перфомить так, что 30 летнему деду и не снилось.

Но так ли - это на самом деле, что более молодой разработчик может в базовых задачах выдавать большую производительность или вообще хотят ли текущие зумеры идти работать в айтишечку, чтобы перфомить? Давайте разберемся.

Было у вас такое, что вам отчаянно хотелось глобальных перемен? Сменить профессию, жениться/выйти замуж/развестись, а то и вовсе стать другим человеком, который, к примеру, не теряет голову в сложной ситуации, принимает верные решения или всем нравится. У меня было. И получалось отвратительно, пока я не понял одну вещь. 

Бывает, что привычные A/B-тесты кажутся слишком сложными или затратными, и возникает соблазн искать быстрые альтернативы. Но насколько они эффективны? 

Меня зовут Сима Гиззатуллина, я продуктовый аналитик в Lamoda Tech. Я расскажу, как мы искали инструмент для оценки контентного продукта, какие подводные камни обнаружили, и почему в итоге простые пути оказались не такими уж простыми. Поделюсь, как проводили исследование от построения модели атрибуции до разных сортов мэтчинга, и к чему в итоге пришли.

Альберт Эйнштейн:

"Если люди хороши только из-за боязни наказания и желания награды, то мы действительно жалкие создания"

Когда я смотрю на то, как одни люди минусуют карму другим, то представляю себе приблизительно такой образ.

Вот я стою перед автором, написавшим множество различных статей, в которых он выразил свои мысли и идеи, результаты проделанной работы и поделился с сообществом.
В руках у меня кнут и пряник, и я властен казнить его или миловать.

Я никогда и никому не буду минусовать карму. Это принципиальная позиция.

Недавно на Хабре вышла статья об аномальной нагрузке на публичные NTP‑серверы в рунете. К сожалению, к этой ситуации привела ошибка в прошивке Яндекс Станций.

Как наши Станции синхронизируют время, что спровоцировало инцидент и как мы планируем поступить дальше — обо всём этом расскажем в статье. Хочется верить, что описание ситуации и принятые меры помогут не только нам, но и коллегам по индустрии избежать подобного в будущем.

Давно замечаю, что подавляющее большинство менеджеров (продакты, маркетологи, growth-менеджеры) ограничиваются, в основном, одним статистическим методом — хи-квадратом (Chi-squared test) — что уже неплохо, но это только верхушка айсберга. Методов гораздо больше, и каждый из них может закрывать свои задачи.

Я долго искал, что могло бы стать готовым помощником для менеджеров, но ничего, что отвечало бы всем требованиям, так и не нашёл.

Поэтому собрал свой справочник с методами частотной аналитики. Старался сделать всё максимально просто: без формул, сложных терминов и заумных объяснений. Главное — чтобы было интуитивно понятно, какой метод выбрать и для какой задачи

Литература — это атрибут цивилизации. Писатели и поэты — первые наставники людей. Чем дольше развивается цивилизация, тем более обширное должно быть общественное литературное достояние. Поэтому Пушкина и Чехова нужно переводить в Америке. Фолкнера и Уитмена нужно переводить в России. К их работам нужно делать комментарии. Поэтому всех поэтов, философов, писателей, всех создателей величия ума нужно переводить, комментировать, публиковать, печатать, перепечатывать, объяснять, декламировать, распространять. Давать читать книги всем, давать дешево, давать даром.

Так считал и Stiver, создатель онлайн-библиотеки Flibusta (запрещена на территории РФ). Роскомнадзор внес Flibusta в черный список из-за многочисленных заявлений о нарушении авторских прав. Flibusta удается оставаться в сети благодаря многочисленным зеркальным сайтам. В этой онлайн-библиотеке с 2009 года собрано около 620 тысяч книг разных жанров и зарегистрировано более 1,3 миллиона пользователей. Большинство книг на русском, украинском и белорусском языках.

В сентябре 2024 года Stiver опубликовал пост о том, что неизлечимо болен (глиобластома), и что вероятно, электронная библиотека вскоре прекратит свое существование. Для многих Флибуста была одним из главных и уникальных сетевых ресурсов просвещения людей, говорящих и читающих на русском языке. А 22 октября стало известно, что Stiver скончался.

В этой статье рассмотрим современное книжное пиратство и деятельность онлайн-библиотек, ставящих своей целью сохранение книг.

Салют! Меня зовут Ваня Леонтьев, я директор по аналитике в СберМаркете. Эта статья о том, как мы оцифровали такую сложную концепцию как data-культура в компании. Поделюсь предпосылками, нашим подходом к расчету и планами по её развитию. Думаю, наш опыт будет интересен аналитикам, лидам аналитических команд, руководителям продукта и компаний в целом — всем тем, кто кто стремится продвигать культуру данных в своей компании. А также тем, кто хочет иметь инструмент для приоритизации и управления в команде аналитики.

IT — пилюля от бедности. Нет другой сферы, где без связей, выдающихся способностей или нарушения закона можно так быстро начать получать комфортный доход. Область растет, прибывают новые люди и вроде все хорошо… Но появилась каста людей, считающая смыслом жизни унижение и обесценивание пытающихся войти в IT.

Я провел эксперимент, в котором попросил айтишников попытаться устроиться на свою же должность в свою же компанию. Результаты можно посмотреть внутри, выявилась полная некомпетентность и лень рекрутеров. В текущем сломанном найме виноваты только они.

Автоматизация — краеугольный камень современной аналитики, и речь здесь не только о том, чтобы оптимально настроить масштабные базовые процессы вроде CI/CD. Точечное внедрение инструментов и фреймворков, исходя из конкретной задачи, могут дать ощутимый быстрый эффект как минимум на уровне экономии времени. И стать предпосылками к более крупным оптимизациям.

Одним из наших локальных кейсов автоматизации в Сравни делимся под катом. Рассказываем, как наладили регулярный процесс сверки данных из десятков таблиц силами одного специалиста, с помощью уже имеющихся в компании инструментов — low code-платформы и мессенджера.

По итогу автоматизации остались довольны и аналитики, и аккаунт-менеджеры: теперь вместо недели рабочего времени задача сверки данных из таблиц занимает несколько часов (с перспективой дальнейшего ускорения).