Первый шаг, насколько я знаю — это проверить сами параметры насколько они отвечают нормальному распределению, а именно вывести их на гистограмме и если они не похожи на колокол — сделать логарифмическое трансформирование x = log(x).
Затем вычислить по формуле медиану(мат ожидание) μ и среднеквадратическое отклонение σ.
Посчитать и затем результат сравнить с параметром эпсилон p(x) < ε, где эпсилон это параметр чувствительности уровня погрешности, то есть этим параметром вы сможете отсеять именно изогнутые в кольцо линии. Если результат вычислений меньше эпсилон — это аномалия, p(x) ≥ ε — не аномалия. Эпсилон выставляется вручную.
Я правда немного подумал еще — если у вас в датасете достаточно «нормальных» и «аномальных» данных, а сами аномалии имеют малое количество вариаций (типов), то эффективнее будет использовать обычное обучение с учителем, как вы и сделали.
Просто какие-то линии на черном фоне, причем на картинке 64х64 заполнено порядка 2% точек. Если посмотреть много картинок, то там, конечно, оказывается, что большая часть линий довольно похожа.
Я конечно не «настоящий сварщик», но может попробовать искать аномалии с помощью Нормального распределения (Гаусса)?
Не правильно :) Всем просто плевать, что у вас ThinkPad T60 и специально под него оптимизировать ничего не будут.
P.S. На мне злость за это сгонять не надо. Это не я пишу глючный софт на электроне чтобы он у вас не запускался. А то вон понакидали минусов, словно я автор всех приложений на электроне.
Чтобы история не повторилась — нужно думать об этом уже сейчас
Ломать компуктеры? :)
На самом деле все гораздо печальнее. Сколько молодых людей закачивают вуз по одной специальности и работают совсем по другой. Все либо от пофигизма и инфантилизма либо от банальной глупости. Или из разряда «Буду блогером, потому что все сейчас видеоблогеры». Потом страдают и винят других в той ситуации, что они оказались.
В общем я согласен, что нужно просто думать своей головой хоть немного и на хлеб тогда хватит. Причем это касается и современных веб девелоперов — думать, что потребность в создании сайтов будет всегда высокой — очень опрометчиво.
Не меньше иронии вызывает столь же безоглядная вера во всемогущество рынка…
Да нет никакой веры в рынок. Проблема ведь в «ткаче» — я родился «ткачем» и умру «ткачем». В этом рынок виноват?
А кто его знает. Большая война, экономический кризис, вспышка болезни, огромное землетрясение или совокупность этих факторов — все может послужить катализатором. Во многих сферах прогресс даже замедляется или совсем топчется на месте и без этих факторов.
Речь шла не об «уничтожении» некоторых профессий как таковых, что происходит прямо сейчас и без ИИ, а именно об уничтожении всех профессий и ненужности человека вообще в целом. Попытку экстраполировать текущий научный прогресс в виде «технологической сингулярности» я считаю наивной, как бы не было обидно почитателям Реймонда Курцвейла. Не хватает всех данных, чтобы с уверенностью утверждать что на графике развития нас не ждет некое «плато стабильности», иначе говоря застой.
Я не говорил что у вас лично юношеский максимализм, я лишь имел в виду что святая вера в экспоненциальный рост научного прогресса выглядит наивно. Я скептически отношусь к идее что машины полностью заменят людей.
А в то же время Джон на другом конце земли делает ту же работу за 100$ час. А еще есть Джек который за 150$/час менеджерит Васю и Петю, которые тестируют и обслуживают эту экспертную систему, потому что заказчик X жалуется, что дрова под его кривое железо не работают правильно, хотя сделаны по спеке.
Когда появились первые машины, которые автоматизировали труд на фабриках — тоже думали что все, труба, у людей не будет работы. Но нет, как-то заняты люди чем-то.
И вообще этот юношеский максимализм и абсолютизм и вера в светлое техногенное будущее вызывает лишь чувство легкой иронии.
Да, железо тоже перестает решать. Вполне возможно будет обратная волна, когда софт будут оптимизировать и это будет экономически выгодно.
Скайп в основном же сожрали whatsapp, slack, viber и телеграмм. Так же сдох когда-то ICQ. Кстати ICQ работало даже на железе уровня микроволновки, но его это не спасло.
Кроме того компания, где я работаю, долго использовала Skype, но затем тоже перешла на Slack.
А и еще. К сожалению HTML5 + CSS это лучшее что смог предложить рынок для десктопа по уровню функционал/документация/примеры. Если взять так любимый многими QT — профессионально и быстро выполнить сложный высер дизайнерской мысли смогут лишь полтора бородатых разработчика, в доках пока разберешься — тысячи Раджешей Кутрапале уже наваяют тоже самое на HTML5 + CSS и все — ты вне игры. Да, будет течь. Да, будет жрать. Но они заработали, а ты нет. Потому что ты все еще ищешь как без костылей сделать custom traffic lights titlebar на MacOSX.
Кстати кому интересно есть проект node + qt5 — тоже кроссплатформа, тоже Javascript, но без chromium.
Затем вычислить по формуле медиану(мат ожидание) μ и среднеквадратическое отклонение σ.
Посчитать и затем результат сравнить с параметром эпсилон p(x) < ε, где эпсилон это параметр чувствительности уровня погрешности, то есть этим параметром вы сможете отсеять именно изогнутые в кольцо линии. Если результат вычислений меньше эпсилон — это аномалия, p(x) ≥ ε — не аномалия. Эпсилон выставляется вручную.
Я правда немного подумал еще — если у вас в датасете достаточно «нормальных» и «аномальных» данных, а сами аномалии имеют малое количество вариаций (типов), то эффективнее будет использовать обычное обучение с учителем, как вы и сделали.
Я конечно не «настоящий сварщик», но может попробовать искать аномалии с помощью Нормального распределения (Гаусса)?
P.S. На мне злость за это сгонять не надо. Это не я пишу глючный софт на электроне чтобы он у вас не запускался. А то вон понакидали минусов, словно я автор всех приложений на электроне.
Ломать компуктеры? :)
На самом деле все гораздо печальнее. Сколько молодых людей закачивают вуз по одной специальности и работают совсем по другой. Все либо от пофигизма и инфантилизма либо от банальной глупости. Или из разряда «Буду блогером, потому что все сейчас видеоблогеры». Потом страдают и винят других в той ситуации, что они оказались.
В общем я согласен, что нужно просто думать своей головой хоть немного и на хлеб тогда хватит. Причем это касается и современных веб девелоперов — думать, что потребность в создании сайтов будет всегда высокой — очень опрометчиво.
Да нет никакой веры в рынок. Проблема ведь в «ткаче» — я родился «ткачем» и умру «ткачем». В этом рынок виноват?
Я о том же. Почитайте коммент выше. Была высказана идея, что научившись делать людей фабричным методом люди перестанут быть нужны
А настанет ли он? Я думаю нет.
Я не говорил что у вас лично юношеский максимализм, я лишь имел в виду что святая вера в экспоненциальный рост научного прогресса выглядит наивно. Я скептически отношусь к идее что машины полностью заменят людей.
Когда появились первые машины, которые автоматизировали труд на фабриках — тоже думали что все, труба, у людей не будет работы. Но нет, как-то заняты люди чем-то.
И вообще этот юношеский максимализм и абсолютизм и вера в светлое техногенное будущее вызывает лишь чувство легкой иронии.
Насколько я знаю (могу ошибаться) Skype до сих пор очень популярен в латинской америке. Вот немного статистики по нему.
Скайп в основном же сожрали whatsapp, slack, viber и телеграмм. Так же сдох когда-то ICQ. Кстати ICQ работало даже на железе уровня микроволновки, но его это не спасло.
Кроме того компания, где я работаю, долго использовала Skype, но затем тоже перешла на Slack.
Кстати кому интересно есть проект node + qt5 — тоже кроссплатформа, тоже Javascript, но без chromium.