спасибо за статью! кажется, не хватает ссылки на описание гауссовских процессов и почему они тут к месту: просто "возьмем ГП и вот результаты", после этого места перестало быть понятно =/
Спасибо за интересную статью! Пара моментов хотелось бы прояснить
>> Во втором случае (2) t-распределение (жёлтое) имеет более широкие толстые хвосты, но так как мы думаем, что оперируем синим t-распределением (1) и его критическими значениями, мы и получаем больше ошибок 1-го рода, чем хотели бы
не могли бы вы сформулировать вот эту мысль другими словами? почему мы думаем, что оперируем каким-то распределением, если речь только про равенство средних? что значит фраза "чем хотели бы"? само утверждение о том, что в примере (2) средние равны (а значит верна H0), но при большей дисперсии мы получаем больше p-value, кажется, очевидно следует из определения t-статистики
>> Возвращаемся к нашему выводу: так как у нас числитель и знаменатель независимы
пардон, вот тут упустил мысль - а как получается, что выборочная дисперсия от генеральной независима?
>> не использовать Welch's test по дефолту:
ну что ж, если наш тритмент настолько ядреный, что может вызвать существенное(!) изменение дисперсии, то кажется, что стат. тесты тут вообще излишни. можно представить себе лекарство от облысения, которое не помогло "в некоторой степени", а одних прям покрыло волосами включая ладони, а у вторых - ресницы выпали.
получается доказать разницу дисперсий сложно, но интересно было бы какой бы MDE в ее изменении привел бы к тому, что нужен двувыборочный критерий.
1) кажется, частично разобрался: если id пользователей соответствуют алфавитному порядку, то первым в каждой тройке мы располагаем человека с минимальным id, потом "овнера" списка друзей и потом кого-то еще. Тогда для самого Боба не будет ни одной тройки, в которой он бы шел первым - поэтому его списка друзей и нет на второй картинке - таким образом, граф Боба составлен из пар, сгенерированных на списках его друзей. Составление графа - уже дело техники - просто зная корень, составляем его на основании всех пар, попавших в группу.
В моем примере мы составим пути [p1] BAC, [p2]ABC, [p3] ACB и группируя по A получим пары ребер [B,C] [C,B] - что собственно и дает треугольник для A
как можно сгенерировать графы для C и B - можно конечно генерировать вообще все возможные пути, типа
[p1]BAC,CAB [p2]ABC,CBA [p3]ACB,BCA
тогда это решит задачу, но в таком случае будет существенно больше троек и шаффл хоть и будет один, количество троек растет как N*(N-1) - растет кол-во данных для шаффла
удивительно, что affinity spreading отработал хорошо на ваших данных) подскажите, а вы в проде в итоге кластеризуете все на спарке, если да, то каким из способов? указанный спрединг вроде бы должен вызывать шаффл?
у нас лучше всего отработал bigclam думаю, вы уже видели эту ссылку, но на всякий https://snap.stanford.edu/snap/description.html
по структуре также интересно, как вы решали проблему изолированных графов с малым числом ребер, а также нет ли в матчинге ни одного случая, когда товар может принадлежать более, чем 1 сообществу
верно ли, что в чистом виде LightGCN использовать нельзя? как модифицированная версия ведет себя по сравнению с ALS? вывод и концовка, кажется, немного смазаны - как именно мы решили проблемы и решили ли, учитывая, что за бейзлайн мы берем топ?
спасибо за статью! однако хотелось бы уточнить пару моментов
1) что имеется ввиду под "можно посылать только второй путь" во втором способе? предположим, у нас 3 пользователя хранятся на 3 партициях и все они знакомы между собой, тогда по постановке задачи данные выглядят вот так [part1] A->B,C [part2] B->A,C [part3] C->A,B
мы составляем все возможные пути длины 2 и собираем - в этом примере пути будут ABC, BAC, CAB, пусть сами пути мы не трогаем, но группируем все по А, получаем 1 эго-граф для [part1] А -> [(BC), (BC), (CB)] - правильно? Тогда прост не очень понятно, где что не посылаем. И не совсем понятно, что насчет эго-графов для B и С - ведь для их тоже нужно построить?
2) С фильтром Блума тоже не совсем очевидно - мы готовим фильтр Блума, просматривая друзей Гари - это означает, что устанавливается какой-то порядок составления эго-графов? Т.е. весь процесс становится не параллельным? Еще я так понимаю сам фильтр никуда не передается, а только служит для фильтрации того, какие пути длины 2 составлять?
маловато деталей именно алгоритма.. была статья о том, что распознавание движения в CV - сложнейшая задача, которая часто упирается в те же перекрытия -- как вы это решали? как конкретно дообучение тут помогает?
Вероятно, у них и так все есть - целые отделы такими вещами заняты, в том числе и с использованием ML. Кстати, про ML - всю вот эту задачу с прогнозированием оптимальной загрузки нельзя свести к какой-нибудь модельке, которая бы чиселку предсказывала, не погружаясь во всю мат.часть?
Как-то много у вас ситуаций, оказывается, может что-то все-таки не так идет?
В моей гораздо меньше деталей: пришел, ответил на все, кроме 1-го вопроса, человеку с каменным лицом. Отказ. Попросил обратную связь - не дали.
Что за вопрос не ответил? Не воспроизвел формулу, которой приходилось пользоваться 1 раз. В общих чертах описал, что за формула. Зубрить такое считаю бессмысленно.
как мы перешли от того, что тета - какой-то параметр выдачи, к тому что тета - вероятность выигрыша?
получается бета-распределение выбрано потому что оно выражается рекурсивно и задано на на [0;1] - тогда любое распределение удовлетворяющее такому заданию подойдет? можно было взять нормальное сразу?
по практике
как принадлежность к группе связана со стикерами?
На рисунке ниже такими примерами отрицательных взаимодействий являются «Граф Дракула» и «Эйрик». -- может это в контексте статьи так, но когда вы нарисовали стрелочку на Фаззи, внимания на соседей не попало вообще)
про последовательность Соболя раньше слышать не приходилось, было бы интересно как оно на практике (ну и вообще про дайверсити)
если у вас теперь в таргете единичка - это найм, то как вы понимаете, что этот найм произошел?
отличный пост!
было бы интересно что-то такое разобрать на примере лайфспринга и прочих business relations-герасичевых, лет 10 назад было попоулярно
спасибо за статью!
кажется, не хватает ссылки на описание гауссовских процессов и почему они тут к месту: просто "возьмем ГП и вот результаты", после этого места перестало быть понятно =/
>Конкурентная среда в статье не моделировалась
а исходя из чего вы тогда формируете эластичность? она принимается как некая данность насколько я понял
Спасибо за интересную статью! Пара моментов хотелось бы прояснить
>> Во втором случае (2) t-распределение (жёлтое) имеет более широкие толстые хвосты, но так как мы думаем, что оперируем синим t-распределением (1) и его критическими значениями, мы и получаем больше ошибок 1-го рода, чем хотели бы
не могли бы вы сформулировать вот эту мысль другими словами? почему мы думаем, что оперируем каким-то распределением, если речь только про равенство средних? что значит фраза "чем хотели бы"?
само утверждение о том, что в примере (2) средние равны (а значит верна H0), но при большей дисперсии мы получаем больше p-value, кажется, очевидно следует из определения t-статистики
>> Возвращаемся к нашему выводу: так как у нас числитель и знаменатель независимы
пардон, вот тут упустил мысль - а как получается, что выборочная дисперсия от генеральной независима?
>> не использовать Welch's test по дефолту:
ну что ж, если наш тритмент настолько ядреный, что может вызвать существенное(!) изменение дисперсии, то кажется, что стат. тесты тут вообще излишни.
можно представить себе лекарство от облысения, которое не помогло "в некоторой степени", а одних прям покрыло волосами включая ладони, а у вторых - ресницы выпали.
получается доказать разницу дисперсий сложно, но интересно было бы какой бы MDE в ее изменении привел бы к тому, что нужен двувыборочный критерий.
зачем вы тащите это с vc.ru?
занятно, что статья вышла в день новости об отставке этого Прабхакара Рагхавана
мб запрещенная в России соц. сеть (и другие основные поставщики картиночного контента) отказалась перекодировать свои изображения в новый формат?
1) кажется, частично разобрался:
если id пользователей соответствуют алфавитному порядку, то первым в каждой тройке мы располагаем человека с минимальным id, потом "овнера" списка друзей и потом кого-то еще. Тогда для самого Боба не будет ни одной тройки, в которой он бы шел первым - поэтому его списка друзей и нет на второй картинке - таким образом, граф Боба составлен из пар, сгенерированных на списках его друзей. Составление графа - уже дело техники - просто зная корень, составляем его на основании всех пар, попавших в группу.
В моем примере мы составим пути
[p1] BAC, [p2]ABC, [p3] ACB
и группируя по A получим пары ребер [B,C] [C,B] - что собственно и дает треугольник для A
как можно сгенерировать графы для C и B - можно конечно генерировать вообще все возможные пути, типа
[p1]BAC,CAB [p2]ABC,CBA [p3]ACB,BCA
тогда это решит задачу, но в таком случае будет существенно больше троек и шаффл хоть и будет один, количество троек растет как N*(N-1) - растет кол-во данных для шаффла
удивительно, что affinity spreading отработал хорошо на ваших данных)
подскажите, а вы в проде в итоге кластеризуете все на спарке, если да, то каким из способов? указанный спрединг вроде бы должен вызывать шаффл?
у нас лучше всего отработал bigclam
думаю, вы уже видели эту ссылку, но на всякий
https://snap.stanford.edu/snap/description.html
по структуре также интересно, как вы решали проблему изолированных графов с малым числом ребер, а также нет ли в матчинге ни одного случая, когда товар может принадлежать более, чем 1 сообществу
верно ли, что в чистом виде LightGCN использовать нельзя? как модифицированная версия ведет себя по сравнению с ALS?
вывод и концовка, кажется, немного смазаны - как именно мы решили проблемы и решили ли, учитывая, что за бейзлайн мы берем топ?
спасибо за статью! однако хотелось бы уточнить пару моментов
1) что имеется ввиду под "можно посылать только второй путь" во втором способе?
предположим, у нас 3 пользователя хранятся на 3 партициях и все они знакомы между собой, тогда по постановке задачи данные выглядят вот так
[part1] A->B,C
[part2] B->A,C
[part3] C->A,B
мы составляем все возможные пути длины 2 и собираем - в этом примере пути будут ABC, BAC, CAB, пусть сами пути мы не трогаем, но группируем все по А, получаем 1 эго-граф для
[part1] А -> [(BC), (BC), (CB)] - правильно?
Тогда прост не очень понятно, где что не посылаем. И не совсем понятно, что насчет эго-графов для B и С - ведь для их тоже нужно построить?
2) С фильтром Блума тоже не совсем очевидно - мы готовим фильтр Блума, просматривая друзей Гари - это означает, что устанавливается какой-то порядок составления эго-графов? Т.е. весь процесс становится не параллельным?
Еще я так понимаю сам фильтр никуда не передается, а только служит для фильтрации того, какие пути длины 2 составлять?
и самое главное - сколько времени всего ушло на то, чтобы это все изучить и сделать? выглядит как фуллтайм-работа
маловато деталей именно алгоритма..
была статья о том, что распознавание движения в CV - сложнейшая задача, которая часто упирается в те же перекрытия -- как вы это решали? как конкретно дообучение тут помогает?
интересно, на основании чего сделано предположение , что эмбеддинги из двух разных вообще говоря пространств будут близки
Вероятно, у них и так все есть - целые отделы такими вещами заняты, в том числе и с использованием ML. Кстати, про ML - всю вот эту задачу с прогнозированием оптимальной загрузки нельзя свести к какой-нибудь модельке, которая бы чиселку предсказывала, не погружаясь во всю мат.часть?
как отмечалось выше - дело-таки в работе, или Ф перестал количество диффов в день/комментов в диффе считать? тут не до смыслов, да
как в аи перекатиться? с основной работой, с этим не связанной - никак, поэтому
- увольняемся из Ф
- едем в РФ
- идем в ... на ML-джуна
ну и будет желание - в ринг тоже можно выйти (6 лет ТБ)
Как-то много у вас ситуаций, оказывается, может что-то все-таки не так идет?
В моей гораздо меньше деталей: пришел, ответил на все, кроме 1-го вопроса, человеку с каменным лицом. Отказ. Попросил обратную связь - не дали.
Что за вопрос не ответил? Не воспроизвел формулу, которой приходилось пользоваться 1 раз. В общих чертах описал, что за формула. Зубрить такое считаю бессмысленно.
Снова к вам тоже не пойду, странные вы.
Спасибо за статью, довольно просто и подробно!
в первой половине
как мы перешли от того, что тета - какой-то параметр выдачи, к тому что тета - вероятность выигрыша?
получается бета-распределение выбрано потому что оно выражается рекурсивно и задано на на [0;1] - тогда любое распределение удовлетворяющее такому заданию подойдет? можно было взять нормальное сразу?
по практике
как принадлежность к группе связана со стикерами?
На рисунке ниже такими примерами отрицательных взаимодействий являются «Граф Дракула» и «Эйрик». -- может это в контексте статьи так, но когда вы нарисовали стрелочку на Фаззи, внимания на соседей не попало вообще)
про последовательность Соболя раньше слышать не приходилось, было бы интересно как оно на практике (ну и вообще про дайверсити)
Расскажите, как так получается жить без мысли "а что он имел ввиду" и не зарабатывать проблем?