Отличная статья, описаны все важные этапы. К сожалению, есть ошибка в валидации. Следите за руками: 1. Весь текст пропускается через Tf-iDF vectorizer (это уже должно насторожить, т.к. может приводить к неявному data leak)
vectorizer = TfidfVectorizer(min_df=30)
vect_x = vectorizer.fit_transform(x)
2. Ко всем данными применяется upsampling
nm = NearMiss()
X_res, Y_res = nm.fit_resample(vect_x, y)
3. На полученном наборе данных подбираются гиперпараметры и обучается лучшая модель
xgbc = XGBClassifier()
xgbc.fit(X_res,[j-1 for j in Y_res])
4. Только теперь выделяется тестовая выборка и на ней оценивается качество.
Подвох в том, что на этапе 4 в тестовую выборку попадают примеры, которые на этапе 2 участвовали в upsampling и на этапе 3 участвовали в обучении модели. Т.е. качество модели оценивается на части обучающей выборке и соответственно, качество сильно завышено.
Спасибо за отличную статью на интересную тему. Но справиться с ней может только знакомый с темой специалист. Пара замечаний по тексту:
1) Взаимодействие ДМ отвечает за проявление «слабого ферромагнетизма» (а не слабые проявления);
2) Почему бы не объяснить причину малого поля размагничивания ферримагнетиков? Меньше суммарный магнитный момент — меньше поле размагничивания. Тогда и роль температуры, которая дестабилизирует скирмионы вдалеке от точки компенсации, станет очевидной.
Отличное описание реального применения!
Недавно столкнулся с похожей задачей. По-моему, проблему большого количества данных можно решать путём объединения (слияния) отдельных сэмплов, расстояние между которыми близко к нулю.
Отличная статья и отдельное спасибо за библиографию!
Жаль, что статья опубликована только сейчас. Я проходил специализацию ШАД+Яндекс на coursera по ML и выполнял финальный проект по временным рядам, где как раз была задача кластеризации. Что-то пришлось выдумывать самому (кластеризация по Фурье, по стат. признакам и др.), но в целом остался недоволен результатом. После прочтения статьи возникло жгучее желание вернуться к данным и проверить, как описанные методы улучшат качество предсказаний.
Статью однозначно в закладки!
Отличная статья, описаны все важные этапы.
К сожалению, есть ошибка в валидации. Следите за руками:
1. Весь текст пропускается через Tf-iDF vectorizer (это уже должно насторожить, т.к. может приводить к неявному data leak)
vectorizer = TfidfVectorizer(min_df=30)vect_x = vectorizer.fit_transform(x)2. Ко всем данными применяется upsampling
nm = NearMiss()X_res, Y_res = nm.fit_resample(vect_x, y)3. На полученном наборе данных подбираются гиперпараметры и обучается лучшая модель
xgbc = XGBClassifier()xgbc.fit(X_res,[j-1 for j in Y_res])4. Только теперь выделяется тестовая выборка и на ней оценивается качество.
X_train, X_test, y_train, y_test = train_test_split( vect_x, y, random_state=42, test_size=0.3, stratify=y )pred_y = xgbc.predict(X_test)Подвох в том, что на этапе 4 в тестовую выборку попадают примеры, которые на этапе 2 участвовали в upsampling и на этапе 3 участвовали в обучении модели. Т.е. качество модели оценивается на части обучающей выборке и соответственно, качество сильно завышено.
Кто-нибудь может подсказать python пакет для декодирования PDF417? pyzbar упорно отказывается распознавать именно этот формат ((
Совершенно не понял, что такое «отключение нейтрали» — отключение отчего и для чего?
1) Взаимодействие ДМ отвечает за проявление «слабого ферромагнетизма» (а не слабые проявления);
2) Почему бы не объяснить причину малого поля размагничивания ферримагнетиков? Меньше суммарный магнитный момент — меньше поле размагничивания. Тогда и роль температуры, которая дестабилизирует скирмионы вдалеке от точки компенсации, станет очевидной.
Недавно столкнулся с похожей задачей. По-моему, проблему большого количества данных можно решать путём объединения (слияния) отдельных сэмплов, расстояние между которыми близко к нулю.
Жаль, что статья опубликована только сейчас. Я проходил специализацию ШАД+Яндекс на coursera по ML и выполнял финальный проект по временным рядам, где как раз была задача кластеризации. Что-то пришлось выдумывать самому (кластеризация по Фурье, по стат. признакам и др.), но в целом остался недоволен результатом. После прочтения статьи возникло жгучее желание вернуться к данным и проверить, как описанные методы улучшат качество предсказаний.
Статью однозначно в закладки!