Спасибо за идею. Полностью согласен: использовать синусоидальную функцию активации пробовали и раньше. Есть ряд статей с упоминанием Fourier neural networks, некоторые из них как раз относятся к периоду порядка 15 лет назад. Отличие в том, что Fourier neural networks активно использовали в первую очередь для временных рядов, однако авторы текущей работы сфокусировались на изображениях, звуке и решении физических уравнений.
Изменение функции активации не так сильно влияет на способность сети сойтись к глобальному оптимуму, в большей степени это зависит от архитектуры сети, learning rate и batch size, поэтому не удивительно, что ваша стратегия подбора архитектуры сети привела к желаемому результату. Надеюсь, у Вас дойдут руки до того, чтобы опубликовать Ваш метод, он может пригодиться другим исследователям и энтузиастам.
Тем не менее, сложно спорить с тем, что развитие методов идет по спирали. Возможно, на текущем витке развития синусоидальная функция активации даст больше результатов в практических задачах, чем на прошлом.
Можно переформулировать вопрос: получается, что у MLP с синусоидальной активацией и преобразования Фурье много общего? Да, оба подхода строятся на основе синусоидальной функции, помогают перевести сигнал в другой вид, позволяют восстановить сигнал с минимальными потерями (или без потерь в каких-то случаях). Синусоидальные базисные функции являются собственными функциями дифференцирования, что означает, что данное представление превращает линейные дифференциальные уравнения с постоянными коэффициентами в обычные алгебраические. Однако прямое сравнение преобразование Фурье и MLP с синусоидальной активацией не корректно: это разные методы с различными возможностями, различными временными затратами, с различной областью применения. MLP с синусоидальной функцией активации дает больше возможностей, чем MLP c функцией активации типа Relu, и такое сравнение в рамках одного семейства методов делают авторы изначальной исследовательской работы.
Спасибо за ссылку. Согласен, в процессе экспериментов в collab c GPU/TPU тренировка занимала несколько минут. Безусловно, процесс более долгий по сравнению с тренировкой обычных свёрточных сетей, но результат существенно отличается по качеству.
Мы проработали порядка 40 различных вариантов носимых устройств, как из линейки известных компаний (Huawei, Xiaomi, Sony), так и более простые китайские варианты. Официально позволяют открыть доступ к сырым данным редкие представители фитнес-трекеров, при этом часть из них ограничена в применении в полевых условиях. Пример некоторых устройств: www.mikroe.com/hexiwear или mbientlab.com/metatracker
в ML есть множество способов решить задачу, и в первую очередь проверка на практике может дать критерий «правильности». Не самая хорошая модель будет давать хуже предсказания, или делать это медленней, или требовать тщательного мониторинга и частого до-обучения. В принципе, возможно свести задачу к деньгам и сравнить затраты на улучшение модели с выигрышем от ее улучшения хотя бы на уровне оценки. В некоторых задачах доли процентов от качества предсказания модели являются существенными, но далеко не во всех. Бывает, что простые эвристические правила оказываются настолько сильными, что ML и не нужен.
Вижу два вопроса, постараюсь ответить последовательно:
1) зачем ходить на мероприятия с устаревшими результатами?
Такова природа конференций и статей: предаются гласности те идеи, которые уже получили подтверждение. Количество материала даже с таким условием настолько велико, что за всеми статьями не уследить. Если дать возможность исследователям публиковать еще не подтвержденные результаты на уровне идеи, то количество работ еще больше увеличится, а качество их упадет, т.к. именно практические результаты говорят о жизнеспособности идеи. Хорошо, что есть возможность следить хотя бы за теми работами, которые были выполнены 6 месяцев назад, иначе можно совсем отстать от жизни.
2) Социальные нюансы автором статьи поставлены на первое место, однако этот вопрос субъективный и остается полностью на совести автора.
Мы используем биржу данных как площадку, на которой наши партнеры могут продавать или покупать информацию об аудитории. Сам проект был запущен для помощи одному из наших партнеров предоставлять качественную информацию на биржу. Если на бирже сформирован сегмент, то для рекламной кампании он может быть загружен в одну из площадок (Google, MyTarget, Yandex, etc), и действительно для запуска кампании нужны идентификаторы, в этом Вы правы. Чаще всего идентификатором являются куки браузера, но некоторые площадки позволяют использовать телефонные номера или емейлы (не в открытом виде, естественно). В случае описанного в статье проекта использовались хэшированные телефонные номера, которые указывались при заказе в Интернете, таким образом мы не получали доступ к персональной информации, однако по этим идентификаторам можно сделать рекламную кампанию на некоторых площадках, позволяющих связать номер и куки браузера.
Естественно, что перед проектом мы проверили возможность использования доступных кодов товара в чеках для наших целей. Можно было только поражаться, какое разнообразие оплат проходит под кодом «услуги». Кроме того, наша таксономия была значительно более подробной и сфокусированной на интересах человека, чем код оплаты в транзакции. Но Вы правы в том, что некоторые ритейлеры приносят проблемы ОФД, в частности они меняют кириллицу на латиницу в непредсказуемых местах, делают нетривиальные сокращения и всячески препятствуют систематическому анализу текстов чеков.
Спасибо за интерес! Даже если и нет вакансий в открытом доступе сейчас, мы будем рады познакомиться с Вами и возможно мы сможем сотрудничать в будущем. Можете писать на почту a.prosvetov@cleverdata.ru, буду рад.
Очень рад, что мы сходимся в том, что понимаем сложность задачи. Надеюсь следствие этого наблюдения достаточно очевидно: сложные задачи надо разделять на простые и решать их, постепенно двигаясь к основному результату.
Сейчас мы на том этапе, когда подопечный начинает произносить слова и мы радуемся, что слова у него получаются. Можно говорить, что выучить слова не значит — выучить язык, однако это постепенное приближение и промежуточные успехи. Здесь же уместно следующее наблюдение: учиться лучше на простых словах, постепенно внося усложнения. Сразу учить замечательные и прекрасные многобуквенные слова, пока не освоены односложные — забегание вперед. Конечно, все намного сложнее, но путь в тысячу ли начинается с одного шага. Перед нами еще один шаг, пусть отметка в тысячу ли еще за горизонтом.
Машинное обучение наступает широким фронтом. Отчасти роль в формировании пикантных изображений на себя взял Deepfake и судя по широкому резонансу, успехи нейронок продолжат нас радовать. Кроме того, в этой задаче есть место и для обучения с подкреплением: чем больше слушают синтезированный трек, тем больше может быть за него награда синтетическому автору. Таким образом, только вопрос времени, когда появится подходящий рецепт смеси слоев и лоссов для нейронки, чтобы нужный эффект был достигнут.
Полностью согласен, подгонка теории под результат ненаучна. В статье упрощенная модель на основе марковских цепей строится на фрагменте элементарной теории музыки, а после обучения на 20 песнях алгоритм дает пусть наивные, но результаты. Вопрос не в том, хорошие результаты получаются, или наивные. Вопрос скорее в том, стоит ли акцентировано закладывать эти фрагменты теории музыки в нейронные сети для улучшения их результатов, или позволить сетям самостоятельно открывать эти свойства на основе больших массивов данных. Ответ на этот вопрос нам даст время: рано или поздно алгоритмы научатся сочинять музыку, которая будет нравиться людям.
Цитата из Элементарной Теории Музыки: Слушая или исполняя музыкальное произведение, мы наблюдаем, что образующие его звуки находятся между собой в определенном соотношении. Это выражается прежде всего в том, что в процессе развития музыки, в частности мелодии, некоторые звуки, выделяясь из общей массы, приобретают характер опорных звуков.
Один из устойчивых звуков обычно выделяется больше, чем другие. Он является как бы главной опорой. Такой устойчивый звук называется тоникой.
В противоположность устойчивым звукам, другие звуки, участвующие в образовании мелодии, называются неустойчивыми. Неустойчивым звукам свойственно состояние тяготения к устойчивым звукам.
Система взаимоотношений между устойчивыми и неустойчивыми звуками называется ладом. В основе отдельной мелодии и музыкального произведения в целом всегда лежит определенный лад. Лад является организующим началом высотного соотношения звуков в музыке. Лад придает музыке, совместно с другими выразительными средствами, определенный характер, соответствующий ее содержанию.
Музыканту странно было бы отрицать описанную выше связь между звуками в произведении, и именно на исследование этой связи с точки зрения вероятностей перехода от одного устойчивого звука к другому, работает авторский подход. То, что мелодия в примере стала состоять из устойчивых звуков, сложно отрицать, а на большее пример и не рассчитан.
Если говорить на языке аналогий, то перед тем, как учить ребенка сочинять поэмы, надо научить его языку и лексике. Среднестатистический взрослый человек способен сочинять поэмы лучше среднестатистического ребенка из ясельной группы. В такой же степени не удивительна способность музыканта (использующего порядка 100 миллиардов нейронов) лучше играть, чем видевший 20 мелодий алгоритм.
Спасибо, что помните о нас! Мы действительно используем корпус женских блогов для того, чтобы наши модели лучше понимали описания продуктов в бьюти-индустрии. Ряд предсказательных и рекомендательных моделей сейчас нами был объединен в самостоятельное решение, про которое мы недавно писали в статье: habr.com/company/lanit/blog/358238. Там же мы разобрали один свежий практический пример про то, как можно научить модель понимать реакцию людей на рассылки.
Описанный в статье подход мы применяли в другом направлении нашей деятельности: на бирже данных 1DMC (http://cleverdata.ru/data-marketing-cloud/), масштабы которой нередко требуют нетипичных и изобретательских решений.
Для предсказательной модели мы использовали CatBoost, который показал себя несколько лучше XGBoost на нашем наборе данных. Соотвественно, приведены feature importance этого классификатора. Касательно LIME: это хорошая идея, когда от нас потребуют высокой интерпретируемости модели, мы LIME обязательно попробуем.
Действительно, мы предсказывали вероятность скорой покупки людей, но пока не решали задачу поиска лидеров мнений и инициативщиков. Надеюсь, эта задача еще появится у нас в будущем, однако можно ожидать, что для её решения анализ поведения с помощью нейронных сетей также пригодится.
Изменение функции активации не так сильно влияет на способность сети сойтись к глобальному оптимуму, в большей степени это зависит от архитектуры сети, learning rate и batch size, поэтому не удивительно, что ваша стратегия подбора архитектуры сети привела к желаемому результату. Надеюсь, у Вас дойдут руки до того, чтобы опубликовать Ваш метод, он может пригодиться другим исследователям и энтузиастам.
Тем не менее, сложно спорить с тем, что развитие методов идет по спирали. Возможно, на текущем витке развития синусоидальная функция активации даст больше результатов в практических задачах, чем на прошлом.
1) зачем ходить на мероприятия с устаревшими результатами?
Такова природа конференций и статей: предаются гласности те идеи, которые уже получили подтверждение. Количество материала даже с таким условием настолько велико, что за всеми статьями не уследить. Если дать возможность исследователям публиковать еще не подтвержденные результаты на уровне идеи, то количество работ еще больше увеличится, а качество их упадет, т.к. именно практические результаты говорят о жизнеспособности идеи. Хорошо, что есть возможность следить хотя бы за теми работами, которые были выполнены 6 месяцев назад, иначе можно совсем отстать от жизни.
2) Социальные нюансы автором статьи поставлены на первое место, однако этот вопрос субъективный и остается полностью на совести автора.
Сейчас мы на том этапе, когда подопечный начинает произносить слова и мы радуемся, что слова у него получаются. Можно говорить, что выучить слова не значит — выучить язык, однако это постепенное приближение и промежуточные успехи. Здесь же уместно следующее наблюдение: учиться лучше на простых словах, постепенно внося усложнения. Сразу учить замечательные и прекрасные многобуквенные слова, пока не освоены односложные — забегание вперед. Конечно, все намного сложнее, но путь в тысячу ли начинается с одного шага. Перед нами еще один шаг, пусть отметка в тысячу ли еще за горизонтом.
Слушая или исполняя музыкальное произведение, мы наблюдаем, что образующие его звуки находятся между собой в определенном соотношении. Это выражается прежде всего в том, что в процессе развития музыки, в частности мелодии, некоторые звуки, выделяясь из общей массы, приобретают характер опорных звуков.
Один из устойчивых звуков обычно выделяется больше, чем другие. Он является как бы главной опорой. Такой устойчивый звук называется тоникой.
В противоположность устойчивым звукам, другие звуки, участвующие в образовании мелодии, называются неустойчивыми. Неустойчивым звукам свойственно состояние тяготения к устойчивым звукам.
Система взаимоотношений между устойчивыми и неустойчивыми звуками называется ладом. В основе отдельной мелодии и музыкального произведения в целом всегда лежит определенный лад. Лад является организующим началом высотного соотношения звуков в музыке. Лад придает музыке, совместно с другими выразительными средствами, определенный характер, соответствующий ее содержанию.
Музыканту странно было бы отрицать описанную выше связь между звуками в произведении, и именно на исследование этой связи с точки зрения вероятностей перехода от одного устойчивого звука к другому, работает авторский подход. То, что мелодия в примере стала состоять из устойчивых звуков, сложно отрицать, а на большее пример и не рассчитан.
Если говорить на языке аналогий, то перед тем, как учить ребенка сочинять поэмы, надо научить его языку и лексике. Среднестатистический взрослый человек способен сочинять поэмы лучше среднестатистического ребенка из ясельной группы. В такой же степени не удивительна способность музыканта (использующего порядка 100 миллиардов нейронов) лучше играть, чем видевший 20 мелодий алгоритм.
Как я понимаю, не все рекламные площадки предоставляют эту информацию.
Описанный в статье подход мы применяли в другом направлении нашей деятельности: на бирже данных 1DMC (http://cleverdata.ru/data-marketing-cloud/), масштабы которой нередко требуют нетипичных и изобретательских решений.