А можно добавить такие же графики для датасета Iris? Предыдущие статьи цикла именно его показывают и хотелось бы сравнить ограничивающие линии классов.
склонность к переобучению на сильно зашумленных данных
а вот тут было бы уместно рассказать о гиперпараметрах, позволяющих уменьшить склонность к переобучению. Вообще для всех рассмотренных методов, если есть возможность, нужно подобрать лучшие гиперпараметры под конкретный датасет (например через Optuna). Только в этом случае имеет смысл как-то сравнивать методы.
У методов, основанных на деревьях, один из таких гиперпараметров это минимальное число листьев на ветке. (Другой параметр - максимальная глубина дерева.)
разработка и использование генеративных нейронных сетей для создания обучающих данных
Я всегда внутренне считал, что число ошибок на выходе нейросети больше, чем число ошибок на входе. Думаю ни для кого не секрет, что в обучающем наборе есть какой-то процент ошибок. Чем больше ошибок на входе (на тренировке), тем хуже точность обученной нейросети (да, есть способы уменьшить ошибку на зашумленных данных, но точность все равно ниже). А тут мы прям генерируем непонятно как. Есть такое понятие "аугментация", но там все-таки предпочитают контролируемые способы генерации (хотя GAN тоже используют). https://habr.com/ru/companies/magnus-tech/articles/850070/
Прочитал у вас "не умеет экстраполировать", так это [практически] любой метод так. Методы хорошо умеют интерполировать, а экстраполяцию как повезёт. А узнать про изменение данных нам помогут методы поиска аномалий (тут на хабре статей много, сходу самую нужную не нашел). На обучающих данных учим любимый метод поиска аномалий, потом проверяем этим методом все данные (в проде). Как только частота срабатываний ощутимо поменялась, так заново весь цикл обучения модели.
Для обучения можно также взять 80% отсчетов в конце общей выборки
Можно пойти дальше. Подобрать оптимальные гиперпараметры обучения на выборке 80+20 (или даже 70+30), а потом с этими гиперпараметрами обучить на всех 100 (надеясь что точность повысится и не будет переобучения). Хотя, думаю, вы и сами это знаете.
тут не нужно забывать, что мы не видим реальную нить поиска. Вполне возможно, что первично найден [в интернете] факт "королевский пчеловод Джон Чеппел обернул ульи чёрными лентами", а уже потом под этот факт подгоняются "рассуждения".
с помощью этих датасетов можно повышать эффективность модели
а вот тут, пожалуйста, подробнее. Я вижу генераторы синтетики (кроме Synthetic Data Vault). Эти генераторы хороши, что бы протестировать вашу программу (понять работает ли ваш метод или нет? насколько хорошо находит ответ в хороших эталонных данных?), но саму модель они не улучшат. И вот вы упомянули что-то действительно стоящее - SDV и..... конец статьи.
И это я не говорю про попытку сравнить на каких-нибудь известных функциях (функция Розенброкаhttps://habr.com/ru/articles/428183/ ). Разумеется необходимо публиковать конечный результат и сколько потребовалось вычислений целевой функции. Желательно сказать чем лучше/хуже других методов. Ну и напоследок: метод имитации отжига, генетические алгоритмы.
профайлинг пробовали делать? посмотреть task manager и т.п. на предмет что больше загружается (диск, память, процессор). Пробовать антивирус отключить, пробовать повторить то же на другом компе. Уж больно большая разница 10 секунд и 3 минуты.
Предложите совет, как пройти HR фильтр? Возраст 52 года, 30 лет работа не по профессии, слабый английский. Готов работать за небольшие деньги. Человек с головой, есть небольшое портфолио. Понятно, что я не прохожу через примитивные HR фильтры.
автор банально HR фильтр по какой-то причине не может пройти.
Вполне возможно - да. Но обратной связи-то нет! С другой стороны, если соискатели будут слышать "у тебя нет знания React" есть шанс, что они вставят в резюме этот реакт, но не будут знать его. Вспомнил, что меня ещё бесит: "необходимы глубокие знания..." и дальше список из 10 пунктов, а на практике оказывается, что достаточно просто знать какие-то пару вещей, а остальные можно наверстать за пару дней. Что, не так? PS. вакансии изучал на linkedin.
Поддерживаю! Когда ты без работы и при этом реально хочешь работать, любое собеседование для тебя радость. Даже если на собеседовании тебя повозили носом по твоим ошибкам. Ситуация, когда ты отослал 150 резюме, а в ответ видишь авто-ответы "мы рассмотрели, может быть в следующий раз" приводит в уныние. Ты не понимаешь куда тебе двигаться, нет обратной связи совершенно!
означает ли это, что таких людей не следует брать? Нужно ли "запрещать" людям менять работу? Вполне возможно, что человек готов работать за 50% (и при этом выполнять 70% работы сеньора). " с непонятным набором знаний" - в программировании сотни направлений (или тысячи?), даже 2-3 направления освоить непросто. Разумеется практически всегда люди "с непонятным набором знаний".
У меня аналогичная ситуация: профессия программист, работал 30 лет не по профессии (хотя небольшие проекты есть). Сейчас мне 50, пытаюсь войти в IT - ноль ответов. (Но тут ещё большой минус моё плохое знание английского.)
Удобного раскрашивания я не нашел. Вообще этот граф для меня не удобный (очень редко туда захожу). Для себя на питоне сделал редактор заметок, который автоматом добавляет секцию "See also: " и там десяток похожих моих заметок.
Я безавтомобильный, простите меня. В одной из инструкции:
Porsche Macan: Необходимо сесть в автомобиль и включить зажигание не заводя двигатель, т.е. в одно положение, до одного щелчка. Опустить стекло водительской двери. Выйти из автомобиля, захлопнуть дверь. Нажать через открытое окно кнопку центрального замка. Через окно нажать на кнопку закрытия окна. Пока окно не закрылось, оперативно дотянуться до ключа зажигания и выключить зажигание. Дождаться завершения поднятия стекла. Автомобиль закрыт.
Если не успеть вытянуть руку - насколько сильно защемит? Есть ли автоматика по типу лифта, который чувствуя препятствие открывает дверь.
А как тебе идея "всепомнящего" ассистента, который буквально всё помнит (скриншоты каждую секунду, весь аудиопоток, пара видео камер) и выдающий ассоциативные ответы, выжимку встреч, напоминания ("тебе посоветовали записаться к врачу"). Хотя на данный момент, скорее всего, будет тонна шлака.
Минутка воспоминаний. Первый раз с шахматной программой я встретился году в 1987, это был БК-0010 (32 кБ памяти, 3 МГц процессор) и программа на простом уровне меня обыгрывала. Учителя могла обыграть на сложном уровне, где программа подбирала ход около минуты.
Переводишь разговор на другое? :-) Никто не говорит, что люди не ошибаются или что все люди умные. Но это не отменяет того факта, что большая часть подростков может решить задачу, а комп за 100500 долларов ошибается. Т.е. мы знаем, что это задачу можно решить, знаем ответ, значит и компьютер тоже можно научить. Вопрос: как поменять обучение компьютера? Это как глядя на птиц человечество понимало: летать можно! Вон, теперь всякое "железо" летает и намного быстрее птиц.
Чуть выше написал https://habr.com/ru/companies/yadro/articles/835664/#comment_27165226 Я сам синхронизирую файлы (в том числе и между телефоном) через Syncthing (не завишу от облаков, главное что бы телефон увидел комп на несколько секунд), хотя можно и через облака. И кроме поиска в Обсидиане куча плюшек.
А можно добавить такие же графики для датасета Iris? Предыдущие статьи цикла именно его показывают и хотелось бы сравнить ограничивающие линии классов.
а вот тут было бы уместно рассказать о гиперпараметрах, позволяющих уменьшить склонность к переобучению. Вообще для всех рассмотренных методов, если есть возможность, нужно подобрать лучшие гиперпараметры под конкретный датасет (например через Optuna). Только в этом случае имеет смысл как-то сравнивать методы.
У методов, основанных на деревьях, один из таких гиперпараметров это минимальное число листьев на ветке. (Другой параметр - максимальная глубина дерева.)
Я всегда внутренне считал, что число ошибок на выходе нейросети больше, чем число ошибок на входе. Думаю ни для кого не секрет, что в обучающем наборе есть какой-то процент ошибок. Чем больше ошибок на входе (на тренировке), тем хуже точность обученной нейросети (да, есть способы уменьшить ошибку на зашумленных данных, но точность все равно ниже). А тут мы прям генерируем непонятно как. Есть такое понятие "аугментация", но там все-таки предпочитают контролируемые способы генерации (хотя GAN тоже используют). https://habr.com/ru/companies/magnus-tech/articles/850070/
Прочитал у вас "не умеет экстраполировать", так это [практически] любой метод так. Методы хорошо умеют интерполировать, а экстраполяцию как повезёт. А узнать про изменение данных нам помогут методы поиска аномалий (тут на хабре статей много, сходу самую нужную не нашел). На обучающих данных учим любимый метод поиска аномалий, потом проверяем этим методом все данные (в проде). Как только частота срабатываний ощутимо поменялась, так заново весь цикл обучения модели.
Для обучения можно также взять 80% отсчетов в конце общей выборкиМожно пойти дальше. Подобрать оптимальные гиперпараметры обучения на выборке 80+20 (или даже 70+30), а потом с этими гиперпараметрами обучить на всех 100 (надеясь что точность повысится и не будет переобучения). Хотя, думаю, вы и сами это знаете.
тут не нужно забывать, что мы не видим реальную нить поиска. Вполне возможно, что первично найден [в интернете] факт "королевский пчеловод Джон Чеппел обернул ульи чёрными лентами", а уже потом под этот факт подгоняются "рассуждения".
а вот тут, пожалуйста, подробнее. Я вижу генераторы синтетики (кроме Synthetic Data Vault). Эти генераторы хороши, что бы протестировать вашу программу (понять работает ли ваш метод или нет? насколько хорошо находит ответ в хороших эталонных данных?), но саму модель они не улучшат. И вот вы упомянули что-то действительно стоящее - SDV и..... конец статьи.
Что меня подбешивает в подобных статьях, так это то, что зачастую нет даже упоминания об альтернативных алгоритмах или ссылок на аналогичные статьи.
https://habr.com/ru/articles/254759/
https://habr.com/ru/articles/439900/
https://habr.com/ru/articles/332092/
https://habr.com/ru/articles/440234/
И это я не говорю про попытку сравнить на каких-нибудь известных функциях (функция Розенброка https://habr.com/ru/articles/428183/ ). Разумеется необходимо публиковать конечный результат и сколько потребовалось вычислений целевой функции. Желательно сказать чем лучше/хуже других методов. Ну и напоследок: метод имитации отжига, генетические алгоритмы.
профайлинг пробовали делать? посмотреть task manager и т.п. на предмет что больше загружается (диск, память, процессор). Пробовать антивирус отключить, пробовать повторить то же на другом компе. Уж больно большая разница 10 секунд и 3 минуты.
Предложите совет, как пройти HR фильтр? Возраст 52 года, 30 лет работа не по профессии, слабый английский. Готов работать за небольшие деньги. Человек с головой, есть небольшое портфолио. Понятно, что я не прохожу через примитивные HR фильтры.
Вполне возможно - да. Но обратной связи-то нет! С другой стороны, если соискатели будут слышать "у тебя нет знания React" есть шанс, что они вставят в резюме этот реакт, но не будут знать его. Вспомнил, что меня ещё бесит: "необходимы глубокие знания..." и дальше список из 10 пунктов, а на практике оказывается, что достаточно просто знать какие-то пару вещей, а остальные можно наверстать за пару дней. Что, не так? PS. вакансии изучал на linkedin.
Поддерживаю! Когда ты без работы и при этом реально хочешь работать, любое собеседование для тебя радость. Даже если на собеседовании тебя повозили носом по твоим ошибкам. Ситуация, когда ты отослал 150 резюме, а в ответ видишь авто-ответы "мы рассмотрели, может быть в следующий раз" приводит в уныние. Ты не понимаешь куда тебе двигаться, нет обратной связи совершенно!
означает ли это, что таких людей не следует брать? Нужно ли "запрещать" людям менять работу? Вполне возможно, что человек готов работать за 50% (и при этом выполнять 70% работы сеньора). " с непонятным набором знаний" - в программировании сотни направлений (или тысячи?), даже 2-3 направления освоить непросто. Разумеется практически всегда люди "с непонятным набором знаний".
У меня аналогичная ситуация: профессия программист, работал 30 лет не по профессии (хотя небольшие проекты есть). Сейчас мне 50, пытаюсь войти в IT - ноль ответов. (Но тут ещё большой минус моё плохое знание английского.)
Удобного раскрашивания я не нашел. Вообще этот граф для меня не удобный (очень редко туда захожу). Для себя на питоне сделал редактор заметок, который автоматом добавляет секцию "
See also:" и там десяток похожих моих заметок.Я безавтомобильный, простите меня. В одной из инструкции:
Если не успеть вытянуть руку - насколько сильно защемит? Есть ли автоматика по типу лифта, который чувствуя препятствие открывает дверь.
так это прямой путь к массовой блокировке записей в компании при работе вражеских ботов, т.е. в любой момент.
А как тебе идея "всепомнящего" ассистента, который буквально всё помнит (скриншоты каждую секунду, весь аудиопоток, пара видео камер) и выдающий ассоциативные ответы, выжимку встреч, напоминания ("тебе посоветовали записаться к врачу"). Хотя на данный момент, скорее всего, будет тонна шлака.
в чем отличие по сравнению с F1 score? В каких случаях лучше применять?
Минутка воспоминаний. Первый раз с шахматной программой я встретился году в 1987, это был БК-0010 (32 кБ памяти, 3 МГц процессор) и программа на простом уровне меня обыгрывала. Учителя могла обыграть на сложном уровне, где программа подбирала ход около минуты.
Переводишь разговор на другое? :-) Никто не говорит, что люди не ошибаются или что все люди умные. Но это не отменяет того факта, что большая часть подростков может решить задачу, а комп за 100500 долларов ошибается. Т.е. мы знаем, что это задачу можно решить, знаем ответ, значит и компьютер тоже можно научить. Вопрос: как поменять обучение компьютера?
Это как глядя на птиц человечество понимало: летать можно! Вон, теперь всякое "железо" летает и намного быстрее птиц.
Чуть выше написал https://habr.com/ru/companies/yadro/articles/835664/#comment_27165226
Я сам синхронизирую файлы (в том числе и между телефоном) через Syncthing (не завишу от облаков, главное что бы телефон увидел комп на несколько секунд), хотя можно и через облака. И кроме поиска в Обсидиане куча плюшек.