Рынок то ищет, но для нахождения идеального рыночного равновесия нужна идеальная ликвидность того, что на нём покупают и продают, говоря языком рынка ценных бумаг. ) Пока ты найдёшь работу, пока уволишься, пока примешься, пока войдёшь в курс дел на новом месте… Смена работы имеет свои накладные расходы, ради смешной прибавки к зарплате вряд ли кто будет работу менять, а разницу в разы я привёл просто для наглядности примера, в реальной жизни разница скорее всего не очень велика. Но она есть.
Ставит всем задачи разве не прожект менеджер? И общаться с заказчиками — это тоже отдельная роль куда-то в аналитику. Можно, конечно, все подряд функции на лида повешать, но это как-раз и будет уже «эффективный менеджмент» в кавычках.
Пункт про зарплаты на самом деле нереальный. Никто нынче зарплаты не рассказывает, потому как это во-первых часто прямо запрещено через подписание NDA, во-вторых это действительно источник фрустраций для одной из делящихся сторон (для той, которая почему-то меньше получает). Нынче зарплаты определяются рынком — за сколько ты согласен работать, за столько и работаешь. Если Вася при тех же компетенциях что у Пети согласен работать за зарплату в 2 раза меньше, то зачем работодатель будет платить Васе больше? Он лучше переплатит в этом случае Кириллу, который при опять же тех же компетенциях что у Васи и Пети хочет зарплату на четверть больше, чем у Пети (а на рынке при этом наблюдается дефицит кадров данной компетенции). В итоге работают 3 человека, все довольны своей зарплатой и работодатель ещё даже и сэкономил при этом, если справедливой и рыночной при этих раскладах считать зарплату Пети.
Но как только эти трое поделятся размером своей зарплаты друг с другом — хрупкое равновесие сломается, все резко перестанут быть довольными, а многие и начнут искать другое место работы.
Не-не-не. Вы почитайте про эмбеддинги. Там смысл в окружении слов. Примерно того же можно добиться, используя n-граммы для мешка слов, но не совсем. Эмбеддинги лучше — они занимают меньше места чем n-граммы и вообще лучше работают.
Грубо говоря, если у вас есть набор обучающих примеров:
— Что за фигня творится с моим десктопом при включении?
— Что за хрень творится с моим компом при включении?
— Что за фигня творится с моим компом при старте?
— Что за ерунда творится с моим компом при включении?
и т.д.
То после тренировки эмбеддингов все эти фразы будут лежать очень близко друг от друга. Но это не всё, в векторном пространстве слов слова «фигня», «ерунда» и «хрень» будут лежать очень близко. Тоже самое со словами «комп» и «десктоп». И тоже с «включение» и «старт» (если вы использовали лемматизацию).
Никакой мешок слов вам такое не сделает.
И вот такие вектора можно, в принципе, учить даже не на ваших логах, а на некоем текстовом корпусе, который лежит близко к вашей области. Грубо говоря, многие вообще учат вектора на текстах из «Википедии». Вам это не факт что подойдёт, но вы вполне можете взять логи звонков некоего саппорта, похожего на ваш, если они есть в интернете — и выучить вектора на них, а потом применить их в своих моделях. Вот в чём прикол эмбеддингов.
Однако чуда от системы unsupervised learning ожидать было нельзя. Коллеги жаловались на то, что иногда система предлагает совсем нерелевантные ссылки. Порой даже было сложно понять — откуда такие рекомендации берутся.
Это связано вовсе не с unsupervised learning, а с тем, что ваша модель не интерпретируема («чёрный ящик»). Это плохо, надо всегда иметь возможность понять, почему модель приняла то или иное решение, иначе вы не сможете понять, как её улучшить.
Лучше наверное всё же эмбеддинги какие-нибудь сделать, натренировать их на большом словаре подходящих текстов. И не стемминг, а лемматизацию взять. Мешок слов скорее всего не даст модели понять, что одни и те же вещи можно сказать совсем разными словами (если не использовать разметку данных), а вот эмбеддинги возможно смогут выделить одинаковый контекст при достаточном наборе примеров.
Хотелось бы увидеть ещё скорость обучения и предсказания для разных моделей. Там на порядки может быть разница. И очень круто, что LR хорошо взлетела — значит, фичи хорошо подготовили, респект. :) LR быстрая и хорошо интерпретируемая, простые модели когда взлетают — это по всему хорошо.
Кстати, по моему опыту, из лесов на текстах хорошо взлетал почему-то ExtraTrees. TF-IDF у меня почти не давал прибавки над простым Bag Of Words. И NB бывает как минимум двух видов — Gaussian и Multinomial, надо оба пробовать на всякий случай.
Почему обязательно сверхмассивная? И сейчас, кстати, есть теория, что та планета, которую сейчас усиленно ищут астрономы на окраинах Солнечной системы, может оказаться небольшой такой изначальной чёрной дырой )
В данном случае функция выпуклая, но в общем случае у функции могло бы быть несколько локальных минимумов, поэтому в начале обычно и берут рандомы, чтобы не проваливаться стабильно в один и тот же локальный минимум, начиная с одних и тех же начальных условий.
А shuffle думаю тут нужен был на случай разбиения данных на train и test, которого в данном коде и нет %)
Пока мы только вблизи где-то могли бы рассмотреть жизнь, да и то с трудом. Поэтому да, это тоже проблема. Может быть сколько угодно обитаемых планет, но пока они, грубо говоря, не пришлют к нам дрона, мы не узнаем, что они там есть вообще.
Но как только эти трое поделятся размером своей зарплаты друг с другом — хрупкое равновесие сломается, все резко перестанут быть довольными, а многие и начнут искать другое место работы.
Грубо говоря, если у вас есть набор обучающих примеров:
— Что за фигня творится с моим десктопом при включении?
— Что за хрень творится с моим компом при включении?
— Что за фигня творится с моим компом при старте?
— Что за ерунда творится с моим компом при включении?
и т.д.
То после тренировки эмбеддингов все эти фразы будут лежать очень близко друг от друга. Но это не всё, в векторном пространстве слов слова «фигня», «ерунда» и «хрень» будут лежать очень близко. Тоже самое со словами «комп» и «десктоп». И тоже с «включение» и «старт» (если вы использовали лемматизацию).
Никакой мешок слов вам такое не сделает.
И вот такие вектора можно, в принципе, учить даже не на ваших логах, а на некоем текстовом корпусе, который лежит близко к вашей области. Грубо говоря, многие вообще учат вектора на текстах из «Википедии». Вам это не факт что подойдёт, но вы вполне можете взять логи звонков некоего саппорта, похожего на ваш, если они есть в интернете — и выучить вектора на них, а потом применить их в своих моделях. Вот в чём прикол эмбеддингов.
Это связано вовсе не с unsupervised learning, а с тем, что ваша модель не интерпретируема («чёрный ящик»). Это плохо, надо всегда иметь возможность понять, почему модель приняла то или иное решение, иначе вы не сможете понять, как её улучшить.
Кстати, по моему опыту, из лесов на текстах хорошо взлетал почему-то ExtraTrees. TF-IDF у меня почти не давал прибавки над простым Bag Of Words. И NB бывает как минимум двух видов — Gaussian и Multinomial, надо оба пробовать на всякий случай.
А shuffle думаю тут нужен был на случай разбиения данных на train и test, которого в данном коде и нет %)